💬 NLP

Compositional Generalization from Learned Skills via CoT Training: A Theoretical and Structural Analysis for Reasoning

Dit artikel toont aan dat Chain-of-Thought-training de redeneergeneralisatie van grote taalmodellen verbetert door ze te leren complexe problemen op te lossen via compositie van eenvoudigere vaardigheden, wat theoretisch wordt onderbouwd door verbeterde generalisatiegrenzen en structureel door een tweestapscomposi-tiecircuit dat diepere lagen vrijmaakt voor verdere redenering.

Oorspronkelijke auteurs: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Gepubliceerd 2026-02-13

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xinhao Yao, Ruifeng Ren, Yun Liao, Lizhong Ding, Yong Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Samenvatting: Waarom "Stap-voor-Stap Denken" LLM's Slimmer Maakt

Stel je voor dat je een grote, slimme robot (een Large Language Model of LLM) wilt leren wiskunde oplossen. Je hebt twee manieren om dit te doen:

De oude manier: Je geeft de robot een vraag en het juiste antwoord. "Wat is 2 + 2? Het antwoord is 4." De robot probeert dan te raden welk antwoord bij welke vraag hoort. Het is als een kind dat een antwoord uit zijn hoofd leert zonder te begrijpen hoe je er komt.
De nieuwe manier (Chain-of-Thought of CoT): Je leert de robot niet alleen het antwoord, maar ook de weg ernaartoe. "Oké, eerst tellen we 1 en 1 bij elkaar op, dat is 2. Dan tellen we nog 2 erbij, dat wordt 4."

Deze paper (van onderzoekers van o.a. de Renmin Universiteit) onderzoekt waarom die tweede manier zo veel beter werkt, vooral als de robot een vraag krijgt die hij nog nooit eerder heeft gezien.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het Geheim: "Samenstellen" in plaats van "Onthouden"

De onderzoekers ontdekten dat het succes van "stap-voor-stap denken" te maken heeft met samenstellen (compositional generalization).

De Vergelijking: Stel je voor dat je een Lego-set hebt.
- Zonder CoT (zonder stap-voor-stap) probeert de robot elke complete Lego-kasteel (het antwoord) als één groot blokje te onthouden. Als je hem een nieuw kasteel vraagt dat er anders uitziet, faalt hij omdat hij dat specifieke blokje niet kent.
- Met CoT leert de robot de losse blokkjes (de vaardigheden) en hoe je die aan elkaar klikt. Als je hem een nieuw kasteel vraagt, pakt hij de bekende blokkjes en klikt ze op een nieuwe manier samen. Hij begrijpt het principe van bouwen, niet alleen het eindresultaat.

2. De Theorie: Waarom werkt het zo goed?

De paper gebruikt wiskunde om te bewijzen dat dit logisch is.

Het Bekende vs. Het Onbekende:
- Bekend terrein (ID): Als de robot een vraag krijgt die lijkt op wat hij al heeft geoefend, doet hij het goed, of hij nu stap-voor-stap heeft geleerd of niet.
- Onbekend terrein (OOD): Dit is het echte bewijs. Als de robot een vraag krijgt met een nieuwe combinatie van dingen (bijvoorbeeld: "Als de koe in de lucht vliegt en de maan van kaas is, wat is dan...?"), faalt de robot die alleen antwoorden heeft geleerd.
- De Oplossing: De robot die CoT heeft geleerd, ziet dit als: "Oké, ik ken het blokje 'koe', ik ken het blokje 'lucht', en ik weet hoe ik ze combineer." Hij kan het nieuwe probleem oplossen omdat hij de losse vaardigheden beheerst.

3. De Binnenkant: Hoe ziet het eruit in de hersenen?

De onderzoekers keken "in de hersenen" van de robot (de interne lagen van het model) om te zien wat er gebeurt.

De Vergelijking: Stel je het model voor als een fabriek met een productielijn.
- Zonder CoT: De fabriek wacht tot het hele product bijna klaar is voordat hij de eerste stap controleert. Het is een chaotische, lange weg. Als er een nieuw product komt, raakt de fabriek in de war omdat hij niet weet waar hij moet beginnen.
- Met CoT: De fabriek is georganiseerd in twee duidelijke stations.
  - Station 1: Hier wordt het eerste deel van het probleem opgelost (bijv. "Wat is de hoofdstad van Frankrijk?"). Het antwoord wordt hier alvast vastgelegd.
  - Station 2: Hier wordt dat antwoord gebruikt om het tweede deel op te lossen (bijv. "En wat is de buurland?").
- Het Geniale: Door CoT te gebruiken, hoeft de robot niet alles in één keer te doen. Hij lost het eerste stukje op, legt het neer, en gebruikt de resterende ruimte in zijn "hersenen" (diepere lagen) om het tweede stukje te doen. Dit maakt het veel efficiënter en robuuster.

4. Wat als er fouten in de les zitten? (Robuustheid)

Een heel belangrijk punt is: Moeten de voorbeelden perfect zijn?

De Vergelijking: Stel je voor dat je een kind leert fietsen, maar soms zeg je per ongeluk "trap links" in plaats van "trap rechts".
De paper laat zien dat CoT-training zeer robuust is. Zelfs als 10% tot 20% van de stap-voor-stap uitleg fout is, leert de robot nog steeds hoe hij moet denken. Hij kan de fouten "doorzien" en toch het juiste patroon leren.
Dit is enorm belangrijk voor de praktijk, want het is bijna onmogelijk om miljoenen perfecte voorbeelden met stap-voor-stap uitleg handmatig te maken. Als de robot tolerant is voor kleine fouten in de lesmateriaal, kunnen we veel sneller en goedkoper slimme modellen bouwen.

Conclusie: "Leren Denken" vs. "Leren Antwoorden"

De belangrijkste boodschap van deze paper is:

Chain-of-Thought training leert modellen niet alleen wat ze moeten antwoorden, maar hoe ze moeten denken.

Zonder CoT: Het model is als een parate student die alleen antwoorden uit zijn hoofd leert. Als de toets anders is, faalt hij.
Met CoT: Het model leert een mentale gereedschapskist. Het leert hoe je losse vaardigheden combineert om elk nieuw probleem op te lossen, zelfs als dat probleem er nog nooit eerder is geweest.

Kortom: Door stap-voor-stap te trainen, bouwen we AI's die niet alleen slimme antwoorden kunnen geven, maar die echt kunnen redeneren en zich kunnen aanpassen aan de wereld om hen heen.

Probleemstelling

Hoewel Chain-of-Thought (CoT) training de redeneercapaciteiten van Large Language Models (LLMs) aanzienlijk heeft verbeterd, blijft het onderliggende mechanisme onduidelijk. Bestaande studies tonen aan dat CoT de expressiviteit van transformers vergroot, maar ze leggen niet uit hoe deze vaardigheden ontstaan tijdens het trainen van modellen om redeneerketens te genereren.

De kernvragen die dit paper adresseert zijn:

Q1: Verbeterd CoT-training de generalisatie zowel binnen de verdeling (In-Distribution, ID) als buiten de verdeling (Out-of-Distribution, OOD)? Zo ja, welke theoretische principes beheersen dit vermogen?
Q2: Hoe wordt deze generalisatiecapaciteit gerealiseerd binnen de interne representaties van het model?

Bestaande modellen zonder CoT-training lijken vaak te vertrouwen op vaste input-output mappingen en falen bij OOD-taken die nieuwe compositiepatronen vereisen, zelfs als ze de basisvaardigheden (simplere skills) kennen.

Methodologie

Het paper combineert een theoretisch raamwerk gebaseerd op informatietheorie met een structurele analyse van de interne circuits van het model.

1. Theoretische Analyse (Informatietheorie):

De auteurs formaliseren generalisatiefouten door de Kullback-Leibler (KL) divergentie tussen trainings- en testverdelingen te analyseren.
Ze definiëren de testverdeling als een mengsel van ID- en OOD-data.
Ze bewijzen dat CoT-training de generalisatiefout decomposeert in ID- en OOD-componenten. Voor OOD-taken, waar de compositiepatronen nieuw zijn, faalt een model zonder CoT omdat het de verdeling $P(C|X)$ (de redeneerstappen) niet expliciet leert. Een CoT-model leert echter zowel $P(C|X)$ als $P(Y|X, C)$ , waardoor het nieuwe patronen kan samenstellen uit eerder geleerde vaardigheden.
Ze analyseren ook de robuustheid tegen ruis (verkeerde redeneerstappen) in de trainingsdata.

2. Structurele Analyse (Interne Circuits):

De auteurs gebruiken Logit Lens en Causal Tracing om de interne werking van het model te inspecteren tijdens het genereren van redeneringen.
Ze trainen modellen op synthetische data (relaties tussen entiteiten, "atomic facts" en "multi-hop facts") om de mechanismen te isoleren.
Ze vergelijken modellen die met CoT zijn getraind (waarbij het model tussenstappen voorspelt) met modellen die alleen de eindantwoorden leren.

3. Experimentele Validatie:

Gecontroleerde Experimenten: Training op synthetische datasets met variabele verhoudingen tussen één-stap en twee-stap feiten, en variatie in modelgrootte.
Ruis-Experimenten: Het introduceren van fouten in de redeneerstappen van de trainingsdata om de tolerantie van CoT te testen.
Real-world Validatie: Fine-tuning van bestaande modellen (LLaMA3.1-8B, Qwen2.5-3B) op wiskundige datasets (MetaMathQA) en evaluatie op GSM8K, inclusief scenario's met ruis in de redenering.

Belangrijkste Bijdragen

1. Theoretisch Bewijs voor Compositional Generalization:
Het paper stelt dat CoT-training modellen leert hoe ze moeten denken (compositional reasoning) in plaats van alleen wat ze moeten denken (het juiste antwoord).

Theorema 1 & 2: De generalisatiefout voor OOD-taken wordt sterk beperkt door de KL-divergentie van de geleerde tussenstappen ( $C$ ). Omdat CoT-training de tussenstappen expliciet modelleert, kan het model nieuwe problemen oplossen door bekende vaardigheden te combineren, zelfs als de specifieke combinatie nieuw is.
Ruis-robustheid: Theoretisch wordt aangetoond dat de generalisatiefoutgrenzen toenemen met ruis, maar dat CoT-training robuust blijft zolang de ruis binnen een bepaald bereik blijft.

2. Ontdekking van een Twee-Staps Compositie Circuit:
Via mechanische interpretatie (Logit Lens/Causal Tracing) ontdekken de auteurs een fundamenteel verschil in de interne architectuur:

Zonder CoT: Het model leert alleen een circuit tijdens ID-generalisatie. Voor OOD-taken faalt het circuit. Intermediaire resultaten worden pas in diepere lagen (bijv. laag 5) opgelost, wat minder lagen overlaat voor verdere redenering.
Met CoT: Het model internaliseert redenering in een twee-staps compositie circuit.
- Stap 1: Het model lost het eerste deel van het probleem op en slaat het tussenresultaat op in een lagere laag (bijv. laag 3 voor ID).
- Stap 2: De diepere lagen worden vrijgegeven om zich te specialiseren in de tweede redeneerstap.
- Dit "losmaken" van lagen stelt het model in staat om complexe taken systematischer aan te pakken.

3. Empirische Validatie van Robuustheid:
De experimenten tonen aan dat CoT-training niet alleen de convergentie versnelt, maar ook zorgt voor systematische generalisatie naar OOD-scenario's. Cruciaal is dat het model zelfs presteert met trainingsdata die een zekere mate van ruis (verkeerde tussenstappen) bevat, wat suggereert dat de kwaliteit van de structuur van de redenering belangrijker is dan de absolute perfectie van elke stap.

Resultaten

Convergentie en Generalisatie: Modellen getraind met CoT bereiken bijna perfecte nauwkeurigheid op ID- en OOD-taken aanzienlijk sneller dan modellen zonder CoT. Modellen zonder CoT vertonen vaak "grokking" (plotselinge generalisatie na overtraining) alleen voor ID-taken, maar falen volledig voor OOD.
Lagere Laag Intermediaire Resultaten: In CoT-modellen worden tussenresultaten (bijv. de brug-entiteit in een multi-hop vraag) eerder in het netwerk (lagere laag index) gegenereerd dan in niet-CoT modellen. Dit betekent dat meer lagen beschikbaar blijven voor de volgende redeneerstap, wat de prestaties verbetert.
Ruis Tolerantie: Zelfs met een ruisratio van 20% in de redeneerstappen, behoudt het CoT-model een hoge generalisatiecapaciteit. Alleen wanneer beide stappen volledig foutief zijn, stort de prestatie in.
Real-world Succes: Op GSM8K (wiskundige woordproblemen) verbeterde CoT-finetuning de prestaties van LLaMA3.1-8B van 33% naar 74%, terwijl "antwoord-only" finetuning de prestaties zelfs liet dalen. Zelfs met 100% ruis in de redenering (alleen de structuur behouden) behaalde CoT-training significant betere resultaten dan geen CoT.

Beteekenis en Impact

Dit paper biedt een fundamenteel inzicht in waarom CoT zo effectief is voor LLMs:

Van "Wat" naar "Hoe": CoT-training transformeert het leerproces van het memoriseren van input-output paren naar het leren van een systematische, samenstellende redeneerstrategie.
Architecturale Inzicht: Het onthult dat CoT-training de interne "diepte" van het model effectief vergroot door het oplossen van tussenstappen in lagere lagen te faciliteren, waardoor de resterende lagen kunnen worden gebruikt voor complexere afleidingen.
Praktische Implicaties: Voor het trainen van toekomstige redeneermodellen (zoals O1 of DeepSeek-R1) suggereert dit dat het verzamelen van lange CoT-data met enkele fouten acceptabel en zelfs nuttig kan zijn, zolang de structuur van de redenering behouden blijft. De focus moet liggen op het leren van de compositiepatronen, niet op de perfecte perfectie van elke stap.

Kortom, het paper bewijst dat CoT-training de sleutel is tot het overwinnen van de "compositie-gap" in taalmodellen, waardoor ze in staat zijn om nieuwe, complexe problemen op te lossen door bestaande vaardigheden op een systematische manier te combineren.