💬 NLP

Training Continuous Chain of Thought Models: A Tale of Two Regimes

Dit artikel introduceert C-MTP, een snellere methode voor directe supervisie bij het trainen van continue Chain-of-Thought-modellen die eerdere directe benaderingen overtreft en tragere indirecte methoden evenaart bij korte redeneersporen, terwijl het onthult dat huidige continue CoT-technieken aanzienlijk moeite hebben wanneer ze worden toegepast op complexe taken met langere redeneerketens.

Oorspronkelijke auteurs: Varun Yerram, He He, Eunsol Choi

Gepubliceerd 2026-07-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Varun Yerram, He He, Eunsol Choi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een superintelligente robot probeert te leren hoe hij een lastige puzzel moet oplossen. In het verleden zou de robot gewoon het antwoord uitbreken, wat vaak fout ging omdat hij de dingen niet goed overwoog. Toen ontdekten wetenschappers een magische truc: als ze de robot vertelden om eerst "hardop na te denken", door elke kleine stap van zijn redenering op te schrijven, werd de robot veel beter in het oplossen van problemen. Dit wordt "Chain-of-Thought" genoemd. Het is alsof een leerling zijn werk laat zien bij een wiskundetoets; hoe meer stappen hij opschrijft, hoe groter de kans dat hij het juiste antwoord krijgt.

Maar er is een addertje onder het gras. Het opschrijven van elke afzonderlijke stap kost veel tijd en computerkracht. Het is alsof je een hardloper vraagt om na elke stap een dagboekfragment te schrijven. Het vertraagt hem tot een kruipend tempo. Dus begonnen onderzoekers met de vraag: "Kunnen we de robot leren denken in een geheime, gecomprimeerde taal? Kan hij al dat nadenken in zijn hoofd doen met korte, dichte aantekeningen in plaats van lange zinnen?" Dit idee wordt "Continuous Chain-of-Thought" genoemd. Het doel is om het slimme denken te behouden, maar het trage, woordenrijke praten kwijt te raken. Maar hier is de grote vraag: kunnen we de robot echt leren om in deze geheime aantekeningen te denken zonder zijn slimheid te verliezen?

Dit artikel, getiteld "Training Continuous Chain of Thought Models: A Tale of Two Regimes", duikt diep in die vraag. De auteurs, Varun Yerram, He He en Eunsol Choi, treden op als detectives die twee manieren testen om de robot deze geheime taal te leren. Ze noemen deze twee methoden "Direct Supervision" en "Indirect Supervision".

Denk bij Indirect Supervision aan een leraar die een leerling stap voor stap een probleem ziet oplossen op een whiteboard. De leraar gebruikt een speciaal proces waarbij de robot autoregressief tussenliggende gedachten (latents) één voor één voorspelt. Om deze trage, seriële voorspelling te begeleiden, deelt het leraarmodel (dat het probleem al heeft opgelost met volledige tekst) zijn interne "hersentoestanden" (activaties) met de student-robot. De robot leert deze interne toestanden na te bootsen om zijn eigen reeks gedachten te genereren, één na het ander, als een rij domino's die omvalt. Het is accuraat, maar traag.

Direct Supervision, dat de auteurs introduceren als een nieuwe methode genaamd C-MTP, is meer als een leraar die de leerling een stapel indexkaarten overhandigt. Elke kaart vertegenwoordigt een deel van het denkproces. De leraar zegt: "Hier is het antwoord voor deze hele brok denken; leer gewoon de woorden te voorspellen die op deze kaart horen." Dit stelt de robot in staat om veel stappen tegelijk te leren, zoals het lezen van een hele pagina van een boek in plaats van één letter per keer. Het is veel sneller en efficiënter.

De onderzoekers testten beide methoden op drie verschillende moeilijkheidsgraden, zoals het beklimmen van een berg met drie kampen.

Kamp 1: Het makkelijke, gestructureerde pad.
Bij eenvoudige wiskundeproblemen waarbij het denken kort en netjes is (zoals "18 maal 12 is 216"), was de nieuwe Direct Supervision (C-MTP) methode een superster. Het was sneller te trainen, had minder voorbeelden nodig om te leren, en was zelfs beter in het oplossen van problemen die het nog nooit eerder had gezien vergeleken met de oude, trage Indirect-methode. Het was als een sprinter die net zo snel kon rennen als de marathonloper, maar met veel minder training.

Kamp 2: Het uitgebreide, pratende pad.
Wanneer de problemen iets complexer werden en het denken langere, praatgraag uitleg vereiste (zoals het schrijven van volledige zinnen voor elke stap), draaiden de rollen om. De Indirect Supervision methode nam de leiding. Waarom? Omdat deze is ontworpen om lange, rommelige gedachten te comprimeren tot een paar korte aantekeningen. De Direct-methode worstelde hier omdat het probeerde elk woord van de lange uitleg te voorspellen, en als het één kleine fout maakte, viel de hele keten van gedachten uit elkaar. Het was als het proberen te kopiëren van een lang verhaal door elk woord te raden; één typefout verpest de hele paragraaf.

Kamp 3: De realistische, chaotische top.
Ten slotte testten de onderzoekers beide methoden op de moeilijkste, meest realistische problemen — complexe wiskundepuzzels met honderden woorden aan redenering, precies zoals een mens dat zou schrijven. Dit is waar het verhaal een droevige wending neemt. Beide methoden — de snelle Direct-methode en de zorgvuldige Indirect-methode — stortten in en faalden spectaculair. Hun prestaties daalden met ongeveer 65% vergeleken met de standaardmethode waarbij de robot gewoon al zijn gedachten opschrijft.

De auteurs ontdekten dat beide methoden, de snelle Direct-methode en de zorgvuldige Indirect-methode, de complexiteit op deze realistische, lange taken niet aankonden. De Direct-methode bleef kleine wiskundige fouten maken die zich opstapelden, en de Indirect-methode kon de lange, rommelige gedachten niet nauwkeurig genoeg comprimeren. Het blijkt dat de huidige "geheime taal" van Continuous Chain-of-Thought nog niet klaar is voor de echte wereld. Het artikel suggereert dat de gemakkelijke benchmarks die we gebruiken om deze robots te testen ons misschien voor de gek houden, waardoor ze slimmer lijken dan ze in werkelijkheid zijn wanneer ze geconfronteerd worden met echte, rommelige problemen.

Uiteindelijk verklaart het artikel geen enkele winnaar. In plaats daarvan vertelt het ons dat hoewel de nieuwe Direct-methode een fantastisch, snel hulpmiddel is voor eenvoudige, gestructureerde taken, we nog een lange weg te gaan hebben voordat robots in geheime codes kunnen denken voor complexe, echte problemen. De droom van een robot die snel en slim denkt zonder alles op te schrijven, is nog steeds een werk in uitvoering.

Probleemstelling
Large Language Models (LLM's) bereiken een hoge prestatie op complexe redeneertaken door langdurige Chain-of-Thought (CoT) sporen te genereren. Echter, het autoregressief genereren van deze uitgebreide tokensequenties brengt aanzienlijke computationele kosten met zich mee tijdens de inferentie. Continuous Chain-of-Thought (ContinuousCoT) methoden beogen dit te verzachten door discrete redeneertokens te vervangen door een korte sequentie van dichte latente representaties. Bestaande benaderingen vallen over het algemeen uiteen in twee categorieën: indirecte supervisie, waarbij modellen worden getraind om autoregressief latents te voorspellen die later worden gedecodeerd of gedestilleerd (bijv. COCONUT, CODI), en directe supervisie, die probeert redeneersporen direct naar latente ruimtes te mappen (bijv. CoLaR).

Indirecte methoden lijden onder trage, sequentiële training door autoregressieve latente generatie en vertrouwen vaak op complexe distillatie-pipelines. Directe methoden, hoewel ze parallelle training mogelijk maken, hebben historisch gezien te kampen gehad met optimalisatieproblemen, zoals het modelleren van complexe distributies over latente ruimtes, en hebben prestatievermindering vertoond op uitgebreide of realistische redeneersporen vergeleken met standaard CoT fine-tuning.

Methodologie: C-MTP
De auteurs introduceren C-MTP (Continuous Chain-of-Thought via Multi-Token Prediction), een nieuw direct supervisiekader dat is ontworpen om continue latente redenering efficiënter te simuleren.

Kernconcept: In plaats van latents te modelleren als geparametriseerde Gaussische distributies (zoals in CoLaR) of ze autoregressief te voorspellen (zoals in indirecte methoden), behandelt C-MTP een intermediaire latente representatie als een geaggregeerde token-embedding van een span van tokens uit het oorspronkelijke CoT-spoor.
Trainingsdoel: Het model wordt getraind met behulp van Multi-Token Prediction (MTP). Gegeven een redeneerspoor $y$ , wordt dit opgedeeld in niet-overlappende spans van $s$ tokens. Elke span wordt gecomprimeerd tot een enkele latente vector $z_i$ door de token-embeddings te middelen. Het model wordt vervolgens getraind om de $s$ tokens die elk latente span componeren parallel te voorspellen, geconditioneerd op de input prompt en voorgaande latents.
Verliesfunctie: Het doel combineert een multi-token voorspellingsverlies (het voorspellen van de tokens binnen elke span) en een standaard antwoordgeneratieverlies. De auteurs gebruiken ook een CoT-teacher voor kennisdistillatie ( $L_{KD}$ ) om de training te begeleiden, hoewel ablatie-studies aantonen dat C-MTP effectief blijft zonder deze.
Inferentie: Tijdens de redeneerfase samplet het model $s$ tokens bij elke stap, aggregeert hun embeddings om de volgende latente te vormen, en herhaalt dit totdat een end-of-thinking token wordt gegenereerd. Het model schakelt vervolgens over naar standaard autoregressieve generatie voor het uiteindelijke antwoord.

Belangrijkste Bijdragen

C-MTP Framework: Een nieuwe directe supervisiemethode die MTP gebruikt om continue latente redenering af te stemmen op standaard pretraining-doelstellingen, wat volledige parallelle training via teacher forcing mogelijk maakt.
Systematische Regime Vergelijking: Een uitgebreide empirische evaluatie over drie verschillende CoT-trace regimes:
- Gestructureerd: Compacte wiskundige expressies (bijv. GSM8k-Aug).
- Semi-Natuurlijk: Uitgebreide natuurlijke taal uitleg (bijv. GSM8k-Aug-NL).
- Realistisch: Lange, complexe sporen gegenereerd door sterke LLM's (bijv. MATH dataset).
Identificatie van Beperkingen: Het artikel toont aan dat hoewel C-MTP uitblinkt in gestructureerde settings, zowel directe als indirecte supervisie methoden niet in staat zijn om de standaard CoT fine-tuning (CoT-SFT) te evenaren bij realistische, lange-horizon redeneertaken.

Experimentele Resultaten

Gestructureerde Sporen (GSM8k-Aug): C-MTP presteert significant beter dan bestaande directe supervisiemethoden (CoLaR) over alle compressieratio's. Het evenaart of overtreft indirecte supervisiemethoden (CODI) in nauwkeurigheid, terwijl het sneller is (ongeveer 2x versnelling in training) en meer sample-efficiënt is. C-MTP vertoont ook een superieure generalisatie naar out-of-distribution probleemstructuren vergeleken met de sequentiële training van indirecte methoden.
Semi-Natuurlijke Sporen (GSM8k-Aug-NL): Op uitgebreide sporen presteert indirecte supervisie (CODI) beter dan directe methoden. De auteurs schrijven dit toe aan het "compressie"-karakter van indirecte methoden, die het model dwingen om filler-tokens weg te laten, terwijl directe methoden moeite hebben met foutaccumulatie wanneer ze via teacher forcing gedwongen worden volledige uitgebreide sporen te voorspellen.
Realistische Sporen (MATH): Bij complexe taken met honderden redeneertokens, falen zowel directe als indirecte supervisieregimes, waarbij ze slechts ~30–35% van de nauwkeurigheid van standaard CoT-SFT bereiken. Analyse laat zien dat fouten in vroege redeneerstappen (met name in rekenkundige expressies) onherstelbaar cascaderen, wat leidt tot onjuiste uiteindelijke antwoorden.

Betekenis en Claims
Het artikel claimt dat huidige benchmarks die steunen op gestructureerde of semi-natuurlijke sporen de praktische bruikbaarheid overschatten van ContinuousCoT-methoden. Hoewel C-MTP een efficiëntere en effectievere oplossing biedt voor gestructureerde redeneertaken, blijft het fundamentele probleem van het comprimeren van lange, complexe redeneersporen in vaste latente budgetten onopgelost. De auteurs suggereren dat toekomstige vooruitgang mogelijk hybride benaderingen vereist die adaptief schakelen tussen token-gebaseerde en continue redenering, in plaats van uitsluitend te vertrouwen op één supervisieregime. Het werk onderstreept de noodzaak van evaluatie op realistische, lange-horizon taken om de levensvatbaarheid van latente redenering werkelijk te beoordelen.

Meer zoals dit