💬 NLP

Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought

Dit paper introduceert **Abstract Chain-of-Thought**, een methode waarbij een taalmodel efficiënter kan redeneren door korte reeksen abstracte tokens te genereren in plaats van lange tekstuele verklaringen, wat resulteert in een enorme besparing aan rekenkracht met behoud van prestaties.

Oorspronkelijke auteurs: Keshav Ramji, Tahira Naseem, Ramón Fernandez Astudillo

Gepubliceerd 2026-04-27

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Keshav Ramji, Tahira Naseem, Ramón Fernandez Astudillo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een ingewikkelde puzzel moet oplossen. Je hebt twee manieren om dat te doen:

De "Hardop Denker" (Verbal CoT): Je spreekt elke stap van je denkproces hardop uit. "Eerst kijk ik naar de blauwe hoekjes, dan zoek ik de randen, dan probeer ik dit stukje..." Dit werkt heel goed, maar het duurt een eeuwigheid en je bent constant aan het praten. Het is vermoeiend en kost veel tijd.
De "Stille Denker" (Abstract-CoT): Je denkt in een soort geheime, supersnelle code. In plaats van hele zinnen te zeggen, maak je in je hoofd razendsnelle klikjes of korte signalen. Het is alsof je een ingewikkelde berekening in één oogopslag ziet in plaats van alles op te schrijven.

Dit is precies waar de onderzoekers van IBM Research AI aan hebben gewerkt met hun paper "Thinking Without Words".

Wat is het probleem?

Moderne AI (zoals ChatGPT) wordt steeds slimmer door "Chain-of-Thought" (CoT) te gebruiken. Dat betekent dat de AI eerst een stap-voor-stap uitleg schrijft voordat hij het definitieve antwoord geeft. Dit helpt de AI om niet te overhaasten. Maar er is een nadeel: die lange teksten kosten enorm veel rekenkracht, tijd en geld. Het is alsof je een hele handleiding moet lezen om alleen maar te weten hoe je een lamp aanzet.

De oplossing: De "Geheime Code"

De onderzoekers hebben een methode bedacht genaamd Abstract-CoT. In plaats van dat de AI een lange tekst schrijft om na te denken, heeft de AI een eigen, privétaal geleerd. Dit zijn geen woorden zoals "appel" of "auto", maar een reeks van speciale, abstracte symbolen (denk aan: <TOKEN_A>, <TOKEN_B>).

Je kunt dit vergelijken met een geheimtaal-club:
In plaats van te zeggen: "Ik denk dat we eerst de blauwe blokjes moeten pakken en daarna de rode," zegt de AI simpelweg: "Blauw-Rood-Klaar." Het is korter, sneller, maar de AI "begrijpt" nog steeds precies wat hij moet doen.

Hoe hebben ze dit geleerd? (De training)

Je kunt een AI niet zomaar een willekeurige code geven; hij zou het niet begrijpen. Ze hebben een slim trainingsproces gebruikt in twee stappen:

De "Spiegel-fase" (Warm-up): Eerst laat je de AI eerst de normale, lange tekst schrijven. Daarna dwing je de AI om diezelfde informatie te "comprimeren" in de geheime code. Het is alsof je een kind leert om een heel verhaal samen te vatten in slechts drie woorden.
De "Zelfvertrouwen-fase" (Reinforcement Learning): Daarna laat je de AI alleen nog maar in zijn geheime code denken. Als de AI met de code een goed antwoord geeft, krijgt hij een "digitale schouderklop" (een beloning). Als hij het fout heeft, leert hij zijn code aan te passen.

Waarom is dit een doorbraak?

De resultaten zijn indrukwekkend:

Super efficiënt: De AI heeft tot wel 11,6 keer minder tokens (tekens) nodig om na te denken. Dat is alsof je een boek van 100 pagina's inkort tot een briefje van 10 centimeter, zonder dat de inhoud verloren gaat.
Net zo slim: Ondanks dat de AI "stopt met praten" tijdens het denken, blijft hij net zo goed (of zelfs beter) in wiskunde, logica en het volgen van instructies.
Een eigen taal: De onderzoekers ontdekten dat de AI tijdens het trainen een soort natuurlijke structuur in zijn geheime taal ontwikkelt. Het is geen chaos, maar een georganiseerde "denk-taal".

De conclusie

In plaats van dat AI-modellen steeds meer gaan "praten" om slimmer te worden, laat dit onderzoek zien dat ze juist efficiënter kunnen worden door minder te praten. Ze leren denken in een abstracte, razendsnelle code die alleen voor henzelf bedoeld is. Dit maakt AI in de toekomst sneller, goedkoper en krachtiger.

Technische Samenvatting: Abstract Chain-of-Thought (Abstract-CoT)

1. Het Probleem: De Kosten van Verbaal Redeneren

Huidige Large Language Models (LLM's) maken steeds vaker gebruik van Chain-of-Thought (CoT) prompting om complexe taken op te lossen. Hoewel dit de nauwkeurigheid verhoogt, brengt het grote nadelen met zich mee:

Inference-kosten: Het genereren van lange, expliciete tekstuele redeneringen verhoogt de latentie en de computationele kosten aanzienlijk.
Ingetogenheid (Unfaithfulness): Er is bewijs dat de expliciete tekstuele redenering niet altijd overeenkomt met het werkelijke interne denkproces van het model.
Efficiëntie: Het is inefficiënt om menselijke taal te gebruiken als een "tussenstap" (scratchpad) voor processen die fundamenteel abstract of computationeel van aard zijn.

2. Methodologie: Abstract-CoT

De auteurs stellen Abstract-CoT voor: een mechanisme waarbij het model in plaats van natuurlijke taal een korte reeks tokens genereert uit een speciaal gereserveerde, abstracte vocabulaire (een codebook). Dit dient als een latente "kladblok" voordat het uiteindelijke antwoord wordt gegenereerd.

Het trainingsproces bestaat uit twee cruciale fasen:

Fase A: Warm-up via Policy Iteration
Omdat de nieuwe abstracte tokens in het begin willekeurig geïnitialiseerd zijn en geen betekenis hebben, is een "cold-start" onmogelijk. De auteurs gebruiken een iteratieve loop:

Bottlenecked SFT (Supervised Fine-Tuning): Het model krijgt een prompt ( $x$ ), een gouden verbaal CoT ( $c$ ) en een antwoord ( $y$ ). Er wordt een attention mask toegepast die een informatie-bottleneck creëert: de abstracte tokens mogen naar de verbaal CoT kijken, maar het uiteindelijke antwoord mag niet direct naar de verbaal CoT kijken, enkel naar de abstracte tokens. Hierdoor wordt het model gedwongen de informatie uit de tekst te comprimeren naar de abstracte tokens.
Self-Distillation: Het model wordt getraind om de abstracte tokens direct uit de prompt te genereren, zonder hulp van de verbaal CoT.

Fase B: Warm-started Reinforcement Learning (RL)
Na de warm-up wordt GRPO (Group Relative Policy Optimization) gebruikt. Het model exploreert verschillende abstracte sequenties. Een generatief beloningsmodel (zoals GPT-OSS) beoordeelt de kwaliteit van het uiteindelijke antwoord. De RL-fase optimaliseert zowel de abstracte reeks als het antwoord, waardoor het model leert welke abstracte "denkstappen" leiden tot de beste resultaten.

3. Belangrijkste Bijdragen

Nieuw Paradigma: De introductie van een discrete, latente redeneertaal die volledig tijdens de post-training fase wordt geleerd, zonder dat de basisarchitectuur of pre-training hoeft te worden aangepast.
Efficiënte Token-compressie: Het vermogen om complexe redeneringen te comprimeren tot een fractie van de oorspronkelijke lengte.
Ontdekking van een "Abstracte Taal": De auteurs observeren dat de abstracte tokens een power-law distributie (vergelijkbaar met Zipf's wet in natuurlijke taal) ontwikkelen, wat suggereert dat het model daadwerkelijk abstracte concepten en herbruikbare patronen heeft geleerd.

4. Resultaten

De resultaten over verschillende modelfamilies (Qwen, Granite) en benchmarks (MATH-500, AlpacaEval, HotpotQA) zijn indrukwekkend:

Token-efficiëntie: Abstract-CoT reduceert het aantal benodigde redeneertokens met factor 10,4× tot 11,6× op wiskundige taken (MATH-500).
Prestaties: Ondanks de enorme compressie presteert Abstract-CoT vergelijkbaar met, of zelfs beter dan, traditionele verbaal CoT. Op AlpacaEval (instructie-opvolging) werd zelfs een verbetering in win-rate gezien.
Robuustheid: Ablatie-studies tonen aan dat de abstracte taal compositioneel is; het omkeren van de volgorde van tokens (permutatie) leidt tot een significante prestatiedaling, wat bewijst dat de volgorde van de abstracte tokens betekenis draagt.

5. Significatie en Conclusie

Dit onderzoek markeert een belangrijke verschuiving in hoe we naar "denkende" LLM's kijken. Het bewijst dat denken niet noodzakelijkerwijs verbaal hoeft te zijn.

De implicaties zijn groot:

Inference Scaling: Het biedt een pad naar krachtigere modellen die sneller en goedkoper zijn door de "denktijd" te optimaliseren in een compacte, latente ruimte.
Interpretabiliteit: Hoewel de tokens niet menselijk leesbaar zijn, biedt de discrete aard ervan (in tegenstelling tot continue verborgen toestanden) een nieuwe interface voor het monitoren en auditeren van de redeneerprocessen van AI.
Toekomst: Het opent de deur naar hiërarchische abstracte talen en budget-adaptieve redenering, waarbij het model zelf bepaalt hoeveel abstracte tokens het nodig heeft voor een specifieke moeilijkheidsgraad.