Technische Samenvatting: Geometrische Latente Redenering Induceert Kortere Generaties in LLM's

Probleemstelling

Large Language Models (LLM's) lossen momenteel complexe problemen op door lange ketens van expliciete redeneertokens te genereren (bijv. Chain-of-Thought of CoT). Hoewel effectief, brengt deze aanpak aanzienlijke computationele overhead met zich mee, is het gevoelig voor de lengte van de generatie en dwingt het tussenliggende redeneerstappen in discrete natuurlijke taal. Deze rigiditeit dwingt modellen om zich voortijdig vast te leggen op specifieke vocabulaire-tokens bij elke stap, wat de werkelijke interne berekening potentieel kan verhullen.

Terwijl "latente redenering" een continu alternatief biedt door de tussenliggende berekening te verschuiven naar continue representatieruimtes, kampen bestaande methoden met fundamentele uitdagingen. Benaderingen die onbeperkte verborgen toestanden (hidden states) terugvoeren in het model, lijden aan mismatch in de embedding-ruimte, terwijl methoden die vertrouwen op hulpmodules of kennisdistillatie complexe trainingsafhankelijkheden en architecturale frictie introduceren. Een kernuitdaging blijft: het bepalen van de optimale structuur voor tussenliggende continue toestanden die aansluit bij de geometrie van het voorgetrainde model.

Methodologie: Geometrische Latente Redenering (GLR)

De auteurs stellen Geometric Latent Reasoning (GLR) voor, wat latente redenering herformuleert als een geometrisch pad-benaderingsprobleem binnen de voorgetrainde token-embeddingruimte van het model.

Kernconcept

In plaats van een onbeperkte latente ruimte te leren, veronderstelt GLR dat nuttige tussenliggende toestanden bestaan in de lokale buurten van discrete, door tokens geïnduceerde trajecten. De methode behandelt standaard tekstuele CoT als een discreet traject door de embeddingruimte en leert deze overgangen te benaderen met behulp van continue vectoren.

Architectuur en Training

1. Latent Transition Head: Een lichtgewicht lineaire laag ($g_\phi$) wordt toegevoegd aan het taalmodel. Deze neemt de huidige verborgen toestand ($h_{i-1}$) en voorspelt een continue verplaatsingsvector ($\Delta \hat{e}_i$) in de embeddingruimte.
2. Trainingsdoelstelling: Het model wordt getraind met een procedure van twee passes op tekstuele CoT-sporen:
   • Eerste Pass: Het model verwerkt de originele discrete sequentie om exacte embedding-verplaatsingen ($\Delta e_i = e_i - e_{i-1}$) tussen opeenvolgende redeneertoekens te verzamelen.
   • Tweede Pass: De discrete redeneertoekens worden vervangen door continue latente toestanden, gegenereerd door de output van de transition head toe te passen op de vorige latente toestand.
   • Loss-functie: De totale loss combineert standaard Cross-Entropy (CE) op de uiteindelijke antwoord-tokens met een positie-gedisconteerde Mean Squared Error (MSE) op de latente transities. De discontiefactor ($\gamma$) vermindert de straf voor latere redeneerposities, waardoor het model meer kan afwijken van het originele tekstspoor naarmate de redenering vordert. Cruciaal is dat er geen token-niveau CE wordt toegepast op de posities waar de latente vervanging plaatsvindt, aangezien deze toestanden niet bedoeld zijn om onafhankelijk te verbaaliseren.
3. Inference: Tijdens de inference initieert het model de redenering met een vast aantal continue latente stappen ($K$). Voor elke stap voorspelt de transition head een update, en de resulterende continue embedding wordt teruggevoerd in het model. Na $K$ stappen hervat het model de standaard autoregressieve token-decodering om het uiteindelijke antwoord te genereren.

Belangrijkste Bijdragen

• Geometrische Formulering: Het artikel formuleert latente redenering als een geometrisch pad-benaderingsprobleem binnen de voorgetrainde token-embeddingruimte van het model, wat een gestructureerd alternatief biedt voor onbeperkte verborgen toestand-feedback.
• GLR-methode: Introductie van een methode die continue embedding-ruimte updates leert van tekstuele CoT-trajecten met behulp van een eenvoudige, positie-gedisconteerde transition-doelstelling.
• Emergente Lengtevermindering: Demonstratie dat GLR substantieel kortere generaties induceert op wiskundige redeneringsbenchmarks zonder een expliciete lengtestraf of doelstelling.
• Accuracy-Length Tradeoff: Identificatie van een controleerbare tradeoff die wordt beheerd door het aantal latente stappen ($K$), wat een nieuwe mechanisme voor inference-tijd blootlegt om berekening toe te wijzen tussen continue latente updates en expliciete tekstgeneratie.

Experimentele Resultaten

De auteurs evalueerden GLR met behulp van Qwen3-modellen (0.6B en 1.7B) op zes wiskundige redeneringsbenchmarks (GSM8K, MATH500, MultiArith, AMC23, OlympiadBench en SVAMP), waarbij ze vergeleken met een standaard Chain-of-Thought Supervised Fine-Tuning (CoT-SFT) baseline.

• Prestaties onder Beperkt Budget: Onder strikt beperkte generatiebudgetten (bijv. $\le$ 256 stappen) presteert GLR aanzienlijk beter dan CoT-SFT. Op MATH500 met een budget van 512 stappen behaalde CoT-SFT bijvoorbeeld bijna nul accuratesse, terwijl GLR-10 meer dan 40% van de problemen oploste. Dit suggereert dat latente transities redundante expliciete redeneringsprefixes vervangen, waardoor het model kan hervatten met een meer geavanceerde redeneertoestand.
• Verminderde Generatielengte: Voor correcte antwoorden vereist GLR aanzienlijk minder totale generatiestappen dan CoT-SFT. Op MATH500 was de mediane generatielengte voor Coote-SFT ongeveer 2.000 tokens, terwijl gematigde latente budgetten (GLR-10, GLR-20) dit terugbrachten naar ongeveer 350 stappen. Deze reductie is emergent en niet expliciet geoptimaliseerd via een lengtestraf.
• Generalisatie: De reductie in redundante redeneringssporen werd waargenomen over diverse benchmarks, inclusief eenvoudige aritmetica (SVAMP), waar GLR de mediane generatielengtes verminderde van ongeveer 500–700 tokens naar ongeveer 100 stappen.
• Latente Dynamiek: Een ablatie-studie met $K=0$ (het uitschakelen van de latente rollout tijdens inference terwijl de GLR-getrainde backbone behouden blijft) toonde aan dat het model terugviel op lange expliciete generaties. Dit bevestigt dat de lengtevermindering wordt gedreven door het gebruik van geleerde continue verplaatsingen tijdens inference, en niet louter door het trainingsrecept of de loss-masking.
• Niet-monotoniteit: De relatie tussen het aantal latente stappen ($K$) en de accuratesse is niet-monotoon. Mogelijke waarden van $K$ leveren de beste tradeoff op, terwijl excessieve latente stappen (bijv. $K=80$ of $100$) de accuratesse kunnen verslechteren door geaccumuleerde geometrische drift, waarbij fouten in de transition head de latente toestand weg bewegen van het door tokens geïnduceerde redeneertraject.

Betekenis en Claims

Het artikel beweert dat voorgetrainde token-embeddingruimtes nuttige tussenliggende redeneertoestanden kunnen ondersteunen buiten de discrete tokens om. Door vroege expliciete redenering te vervangen door continue latente stappen, stelt GLR modellen in staat om correcte antwoorden te bereiken met aanzienlijk minder totale generatiestappen.

De auteurs positioneren GLR als een fundamenteel geometrisch fundament voor efficiënte token-redenering. Het legt een nieuwe tradeoff bloot tussen het latente computationele budget, de outputlengte en de accuratesse, en biedt een eenvoudig mechanisme om de kosten en vorm van reasoning tijdens de test-tijd te controleren. Het werk suggereert dat continue trajecten fungeren als compacte tussenliggende redeneertoestanden, die effectief de redundante discrete transities omzeilen die vaak nodig zijn voor leesbare tekst maar weinig redeneerinhoud dragen.