Technische Samenvatting: CoLT – Chain of Latent Thoughts

1. Probleemstelling

Hoewel Chain-of-Thought (CoT) redeneren de capaciteiten van Multi-Modale Large Language Models (MLLM's) aanzienlijk heeft verbeterd bij complexe visuele taken, kampt het heersende tekstgebaseerde paradigma met drie kritieke beperkingen:

1. Inferentie-latentie: Het genereren van uitgebreide redeneerketens in natuurlijke taal is autoregressief en token-intensief, wat vaak honderden of duizenden tokens consumeert, wat de primaire computationele bottleneck vormt tijdens de inferentie.
2. Beperkingen in Expressiviteit: Tekstgebaseerd redeneren is inherent deterministisch. Zodra een redeneerstap wordt vastgelegd in een specifieke natuurlijke taalvorm, reduceert dit de rijke distributie van potentiële oplossingspaden tot een enkele oppervlakterealisatie, waardoor alternatieve redeneerpaden worden geëlimineerd.
3. Foutpropagatie: Fouten die in vroege redeneerstappen worden gemaakt, kunnen voortplanten en cumuleren in daaropvolgende stappen, een fenomeen dat bijzonder schadelijk is in lange redeneerketens.

Bestaande pogingen tot "latente redenering" (redeneren in continue representatieruimtes) hebben moeite gehad met trainingsinstabiliteit en het genereren van semantisch betekenisloze vectoren. Bovendien introduceren recente methoden voor latente visuele redenering die vertrouwen op hulp-afbeeldingen voor supervisie hoge annotatiekosten en schaalbaarheidsproblemen.

2. Methodologie: CoLT Framework

De auteurs stellen CoLT (Chain of Latent Thoughts) voor, een framework dat MLLM's in staat stelt om te redeneren via een keten van latente gedachte-representaties ($h_1, \dots, h_K$) in plaats van talrijke teksttokens. Het framework vervangt het standaard tekstgeneratieproces door $K$ discrete latente stappen (waarbij $K \ll L$, het aantal teksttokens), waardoor de tekstgeneratie-bottleneck wordt omzeild terwijl de multi-path exploratie in de latente ruimte behouden blijft.

Om de uitdaging van stabiele en betekenisvolle latente redenering aan te pakken, introduceert CoLT een uitgebreide supervisiestrategie bestaande uit drie complementaire mechanismen:

A. Latente Gedachte-representatie

In plaats van teksttokens te genereren, produceert het model verborgen toestandsvectoren (hidden state vectors) op aangewezen redeneerposities. Deze vectoren worden teruggevoerd naar het taalmodel als input-embeddings voor de daaropvolgende stappen, waardoor het autoregressieve karakter van het model behouden blijft zonder de vocabulaire uit te breiden.

B. Externe Decoder-supervisie

Een lichtgewicht externe decoder ($D_\phi$), die dezelfde tokenizer en vocabulaire deelt als het backbone-model, biedt stap-niveau supervisie in twee richtingen:

• Forward Decoding: De decoder neemt de voorafgaande latente gedachte $h_k$ als input en wordt getraind om de tekstuele redeneerinhoud van de volgende stap ($r_{k+1}$) te decoderen. Dit zorgt ervoor dat latente gedachten voldoende informatie coderen om expliciete redenering te reconstrueren.
• Backward Decoding: De decoder ontvangt voorafgaande tekstuele redeneerstappen ($r_{k-1}$) en produceert verborgen toestanden ($\tilde{h}_k$) die zijn uitgelijnd met de latente gedachte $h_k$ van het model. Dit verankert de latente ruimte aan de semantische structuur van expliciete redeneerketens.

C. Interne Stap-niveau Supervisie

Een lichtgewicht projectiekop ($f_\theta$) stimuleert coherente overgangen tussen opeenvolgende latente stappen. Het voorspelt de representatie van de volgende stap ($\hat{h}_{k+1}$) vanuit de huidige stap ($h_k$), waardoor de latente keten wordt geregulariseerd door stap-tot-stap consistentie.

D. Trainingsdoel (Training Objective)

De totale verliesfunctie combineert de standaard taakverlies (het genereren van het uiteindelijke antwoord) met de drie supervisiesignalen:
$$\mathcal{L} = \mathcal{L}_{task} + \alpha \mathcal{L}_{fwd} + \beta \mathcal{L}_{bwd} + \gamma \mathcal{L}_{int}$$
De training verloopt in twee fasen:

1. Supervised Fine-Tuning (SFT): Het backbone-model en de decoder worden getraind op CoT-annotaties (van de OneThinker dataset) met behulp van de gecombineerde loss om gestructureerde latente gedachten te leren.
2. Reinforcement Learning (RL): Group Relative Policy Optimization (GRPO) wordt toegepast op CoT-samples. In deze fase worden de hulp-decoder en de interne supervisie verwijderd, waardoor het model de latente gedachten vrij kan bijwerken op basis van resultaatgerichte beloningen.

Tijdens de inferentie worden de externe decoder en de projectiekop weggegooid, wat geen extra computationele overhead veroorzaakt.

3. Belangrijkste Bijdragen

• Nieuw Framework: Introductie van CoLT, dat MLLM's leert te redeneren via latente vectoren in plaats van teksttokens, waarbij effectieve redenering wordt bereikt met slechts 3 stappen.
• Stabilisatiemechanisme: Een principieel supervisieframework met behulp van een lichtgewicht externe decoder (forward en backward modi) en interne voorspelling om te voorkomen dat latente representaties instorten tot betekenisloze semantiek.
• Annotatie-efficiëntie: In tegen tegenstelling tot methoden voor latente visuele redenering, opereert CoLT volledig binnen de latente ruimte van het taalmodel, waardoor geen hulp-afbeeldingannotaties of gespecialiseerde encoders nodig zijn.
• Efficiëntie: De methode elimineert de noodzaak voor uitgebreide tekstgeneratie tijdens de redeneerfase, wat de inferentietijd aanzienlijk vermindert.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op acht diverse multi-modale benchmarks (SeedBench, MMBench, ChartQA, TextVQA, ScienceQA, MMStar, AI2D, en MMT-Bench) met een Qwen3-VL-8B backbone.

• Prestaties: CoLT presteert beter dan bestaande methoden voor latente redenering (bijv. CODI, SIM-CoT) en methoden voor latente visuele redenering (bijv. LVR). Specifiek overtreft het de sterkste latente baseline (SIM-CoT) met +5,1% in gemiddelde nauwkeurigheid en de sterkste latente visuele baseline (LVR) met +5,5%.
• Vergelijking met Tekst CoT: CoLT behaalt +3,4% hogere gemiddelde nauwkeurigheid vergeleken met tekstgebaseerde CoT, met significante winsten op ChartQA (+9,6%) en TextVQA (+6,1%).
• Efficiëntie: CoLT vermindert de inferentietijd met 10,1× en de tekstdecoderingstijd met 22,6× vergeleken met tekst CoT-methoden, terwijl het een hogere nauwkeurigheid behoudt.
• Robuustheid: Onder visuele ruis (Gaussische vervaging, occlusie) en tekstuele ruis (spelfouten, verwijdering van sleutelwoorden), vertoont CoLT superieure robuustheid, waarbij de afname in nauwkeurigheid aanzienlijk lager is dan bij zowel Direct Answer als Text CoT baselines.
• Ablatie-studies:
  • Alle drie de supervisiesignalen (forward, backward, intern) zijn niet-redundant; de volledige combinatie levert optimale prestaties op.
  • Een lichtgewicht 0,6B decoder is voldoende voor effectieve supervisie; grotere decoders bieden verwaarloosbare winst.
  • Het optimale aantal latente stappen is $K=3$; de prestaties nemen licht af bij een excessief aantal stappen.

5. Betekenis en Claims

Het paper beweert dat CoLT een fundamentele verschuiving vertegenwoordigt in de manier waarop multi-modale modellen redeneren. Door over te stappen van expliciete tekstgeneratie naar latente gedachtevectoren, adresseert CoLT de inherente inefficiëntie en de expressiviteitslimieten van tekstgebaseerde CoT. De auteurs benadrukken dat hun methode superieure efficiëntie bereikt (tot 22,6× versnelling) zonder de kwaliteit van de redenering op te offeren, en deze zelfs vaak te verbeteren.

De betekenis ligt in het vermogen om te "denken" in een continue ruimte die zowel interpreteerbaar is (geverifieerd via forward decoding visualisatie) als robuust tegen inputruis. Het framework demonstreert dat complexe visuele redenering kan worden geïnternaliseerd in compacte latente representaties, waardoor de afhankelijkheid van kostbare hulp-annotaties en de latentie van token-voor-token generatie wordt weggenomen. De auteurs concluderen dat deze aanpak een schaalbaar pad biedt naar hoog-intelligente agenten die efficiënt kunnen redeneren.