The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models

Probleemstelling

Recente ontwikkelingen in Large Language Models (LLM's) hebben "Latent Chain-of-Thought" (Latent CoT) reasoning geïntroduceerd als een alternatief voor de traditionele discrete CoT. Bij Latent CoT redeneert het model in een continue ruimte in plaats van één voor één discrete tokens te kiezen. Een centrale hypothese voor het voordeel van deze methode is superpositie: het vermogen van het model om meerdere mogelijke oplossingspaden of kandidaat-antwoorden gelijktijdig in één enkele representatie vast te houden voordat het zich vastlegt op een antwoord.

Hoewel theoretische argumenten suggereren dat superpositie de expressiviteit verhoogt en efficiëntere zoekprocessen mogelijk maakt, ontbreekt er empirisch bewijs dat LLM's deze capaciteit daadwerkelijk benutten tijdens het redeneren. De kernvraag van dit onderzoek is: Treedt superpositie daadwerkelijk op in modellen die gebruikmaken van Latent CoT, of is het een illusie?

Methodologie

De auteurs analyseren dit probleem in drie complementaire regimes, waarbij ze gebruikmaken van interpretability-tools zoals Logit Lens (om interne representaties te projecteren op het vocabulaire) en entity-level probing (om te volgen hoe de waarschijnlijkheid van entiteiten evolueert tijdens het redeneren).

1. Training-vrij regime (Soft Thinking):
   • Gebruikmakend van de "Soft Thinking" methode (Zhang et al., 2025), worden latent thoughts geconstrueerd als convexe combinaties van token-embeddings op basis van de logit-distributie.
   • Er wordt getest of bestaande, voorgeprogrammeerde modellen (zoals QwQ-32B en Qwen2-1.5B) deze "zachte" tokens anders verwerken dan discrete tokens.
2. Fine-tuned regime (Coconut):
   • Analyse van het "Coconut"-framework (Hao et al., 2024), waarbij een bestaand model (GPT-2) wordt gefine-tuned om te redeneren met continue latent thoughts in plaats van discrete tokens.
   • Het model wordt getraind op een synthetische taak (ProsQA) die multi-hop redenering vereist.
3. Vanaf-scratch regime:
   • Een klein GPT-2-achtig model wordt volledig vanaf het begin getraind met latent thoughts om een specifieke taak op te lossen, zonder voorafgaande training op natuurlijke taal of discrete CoT.

Belangrijkste Bijdragen en Resultaten

1. Superpositie stort in bij bestaande modellen (Training-vrij en Fine-tuned)

• Training-vrij: Wanneer bestaande LLM's worden geprikkeld met superpositie-inputs (zachte tokens), stort de superpositie binnen de eerste paar lagen van het netwerk in. De entropieprofielen van de logit-distributies zijn bijna identiek aan die van discrete CoT. De KL-divergentie tussen zachte en discrete tokens daalt snel naar nul, wat aangeeft dat het model de zachte input interpreteert als een enkel, discreet token.
• Fine-tuned (Coconut): Analyse van het gefine-tuned Coconut-model toont aan dat het model geen stap-voor-stap redenering uitvoert. In plaats van de waarschijnlijkheid van het juiste volgende pad te verhogen terwijl het andere paden uitsluit, domineert het doel-entiteit (het uiteindelijke antwoord) de distributie vanaf het eerste moment. Het model leert een shortcut: het voorspelt het antwoord direct op basis van de vraag en kopieert dit vervolgens door de latent tokens. De latent tokens zijn hierbij niet noodzakelijk voor de prestatie; het model behaalt 96,6% nauwkeurigheid zelfs zonder latent tokens.

2. Superpositie treedt alleen op bij "Vanaf-scratch" training

• Alleen modellen die volledig vanaf het begin zijn getraind met latent thoughts tonen tekenen van echte superpositie.
• In deze modellen blijft de entropie hoger en evolueert de "belief" (overtuiging) over de entiteiten stap voor stap: het model houdt onzekerheid vast tussen het juiste volgende pad en andere mogelijke paden, wat overeenkomt met de theoretische definitie van superpositie.
• Latent tokens zijn hier cruciaal: het verwijderen ervan leidt tot een drastische daling in prestaties.

3. Oorzaken van het falen van superpositie
De auteurs identificeren twee complementaire fenomenen die verklaren waarom superpositie in de meeste gevallen faalt:

• Bias door Next-Token Prediction: Modellen die zijn getraind op het voorspellen van het volgende token (autoregressief) leren om zich in de laatste lagen vast te leggen op één specifiek token. Dit creëert een inductieve bias die superpositie onderdrukt, ongeacht de input.
• Capaciteit (Modelgrootte): Zelfs bij training vanaf scratch is superpositie kwetsbaar. Modellen met te veel capaciteit (te veel lagen) neigen ertoe om shortcuts te leren in plaats van superpositie te gebruiken. Alleen modellen met beperkte capaciteit (bijv. 2 of 4 lagen) tonen de gewenste gedragingen.

Significantie en Conclusie

De studie biedt een genuanceerd en principieel inzicht in de werking van Latent CoT:

• Ontmaskering van de illusie: Voor de huidige staat van de kunst (bestaande LLM's en fine-tuning) is het idee dat modellen meerdere redeneringspaden gelijktijdig verkennen via superpositie een illusie. Ze vervangen complexe zoekprocessen door snelle shortcuts.
• Voorwaarde voor succes: Superpositie is geen automatisch gevolg van het gebruik van continue ruimtes; het vereist specifieke training (vanaf scratch) en beperkte modelcapaciteit om te ontstaan.
• Toekomstperspectief: Hoewel superpositie op token-niveau vaak faalt, blijft Latent Reasoning een veelbelovend richting. De echte meerwaarde zou kunnen liggen in flexibiliteit (het kunnen uitdrukken van tussenstappen die geen natuurlijke taal-tokens zijn) in plaats van superpositie. De auteurs pleiten voor het ontwerpen van nieuwe methoden die rekening houden met deze beperkingen en de inductieve bias van bestaande modellen.

Kortom, het artikel waarschuwt tegen het overmatige vertrouwen in superpositie als een inherente eigenschap van Latent CoT en benadrukt dat de trainingsparadigma's en modelarchitectuur bepalend zijn voor of dit mechanisme daadwerkelijk wordt geactiveerd.