Technische Samenvatting: TYLER (Typed Latent Reasoning)

1. Probleemstelling

Grote taalmodellen (LLM's) vertrouwen momenteel op Chain-of-Thought (CoT) prompting om complexe redeneertaken op te lossen. Hoewel effectief, externaliseert CoT tussenliggende berekeningen als discrete teksttokens, wat redundantie introduceert, de inferentiekosten verhoogt en een rigide interface oplegt waarbij redenering volledig gearticuleerd moet worden voordat het uiteindelijke antwoord wordt gegeven.

Latente redenering biedt een alternatief door tussenliggende berekeningen in continue representaties te houden. Bestaande methoden voor latente redenering lijden echter onder twee primaire beperkingen:

1. Gebrek aan Functionele Differentiatie: Huidige benaderingen behandelen latente tokens doorgaans als een uniforme, ongedifferentieerde drager van berekening. Ze slagen er niet in om verschillende functionele rollen van redeneerstappen te onderscheiden, zoals globale oriëntatie, lokale statusupdates of procedurele abstractie.
2. Rigide of Externe Controle: Bestaande methoden bepalen ofwel de positie van latente berekening vooraf (vastgelegde positie), of vertrouwen op externe triggers/onzekerheidssignalen om te beslissen wanneer latente berekening wordt aangeroepen. Ze stellen de LLM niet in staat om zelf te beslissen wanneer er na te denken, welk type berekening uitgevoerd moet worden, of hoeveel computationeel budget toegewezen moet worden tijdens autoregressieve decodering.

2. Methodologie: TYLER-framework

De auteurs stellen TYLER (Typed Latent Reasoning) voor, een framework dat latente redenering herformuleert als een online, getypeerd en gebudgetteerd berekeningsprobleem. De kerninnovatie is een beleid dat zichtbare tokendecodering afwisselt met de aanroep van gespecialiseerde latente operatoren.

2.1 Getypte Latente Operatoren

TYLER introduceert drie onderscheidende latente operatoren, elk ontworpen voor een specifieke computationele rol:

• $O_g$ (Global Orientation): Ondersteunt globale planning en probleemoriëntatie.
• $O_s$ (Local State Update): Ondersteunt updates aan de evoluerende redeneerstatus.
• $O_p$ (Procedural Abstraction): Legt herbruikbare procedurele patronen vast.

In plaats van een enkele latente ruimte, mappen deze operatoren de huidige redeneercontext naar sequenties van operator-geconditioneerde latente tokens.

2.2 Architectuur en Decodering

Het framework breidt de standaard autoregressieve decoderingsinterface uit:

• Operator Aanroep: Het vocabulaire van het model wordt uitgebreid met speciale tokens ($u_g, u_s, u_p$) die overeenkomen met de drie operatoren. Bij elke decimeringstap kiest het model tussen het emitteren van een zichtbare teksttoken of het aanroepen van een van de getypte operatoren.
• Latente Synthese: Wanneer een operator wordt aangeroepen, genereert een Latent Synthesis Module een sequentie van latente tokens. Deze module gebruikt LoRA (Low-Rank Adaptation) lagen toegevoegd aan de backbone (waarbij de originele parameters bevroren blijven) en maakt gebruik van operator-specifieke query-tokens en projectiekoppen om tokens te synthetiseren die compatibel zijn met de input-embeddingruimte van de LLM.
• Context Integratie: De gesynthetiseerde latente tokens worden toegevoegd aan de context als "stille" berekening, die de daaropvolgende zichtbare decodering stuurt zonder aan de gebruiker te worden blootgesteld.

2.3 Tweestaps Trainingsprocedure

TYLER wordt getraind in twee afzonderlijke fasen:

1. Fase 1 (Latente Synthese Optimalisatie): De backbone LLM is bevroren. Het Latente Synthese Model en de operator-specifieke componenten (query-tokens, projectiekoppen) worden geoptimaliseerd. Het model leert latente tokens te synthetiseren die effectief de volgende zichtbare tokenvoorspelling ondersteunen. Heuristische regels op basis van de structuur van CoT-data (bijv. begin van een antwoord, stapgrenzen, codeblokken) worden gebruikt om operator-types toe te wijzen aan specifieke posities in de trainingssporen.
2. Fase 2 (Operator Aanroep Optimalisatie): De parameters voor latente synthese zijn bevroren. De backbone LLM wordt via LoRA gefinetuned om een budgetbewust operator-aanroepbeleid te leren. Deze fase maakt gebruik van Group Relative Policy Optimization (GRPO). De beloningsfunctie combineert taakprestaties met een straf voor het overschrijden van een vooraf gedefinieerd latent-aanroepbudget ($B_O$). Een operator-verankerd hulpdoel wordt geïntroduceerd om het leren bij schaarse aanroepposities te stabiliseren, zodat het beleid leert de juiste operator-type en timing te selecteren.

3. Belangrijkste Bijdragen

Het artikel schetst drie primaire bijdragen:

1. Formulering: Het formuleert latente redenering als een online, getypeerd en gebudgetteerd berekeningsprobleem, waardoor LLM's kunnen leren wanneer ze latente berekening aanroepen, welke operatie ze uitvoeren en hoeveel budget ze toewijzen.
2. Framework (TYLER): Het introduceert een framework dat zichtbare decodering afwisselt met drie getypte latente operatoren (Global Orientation, State Update, Procedural Abstraction), wat zorgt voor gedifferentieerde functionele rollen in de latente ruimte.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat TYLER de nauwkeurigheid verbetert ten opzichte van sterke baselines, generaliseert over diverse redeneerdomeinen (wiskunde, wetenschap, stellingen) en superieure vermogens tot voortdurende adaptatie vertoont met minder vergeten vergeleken met bestaande methoden.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op drie backbone-modellen (Qwen2.5-1.5B, SmolLM3-3B, Qwen3-4B) over vier benchmarks: GSM8K, MATH-500, GPQA-Diamond en TheoremQA.

• Prestatiewinsten: TYLER behaalt consistente verbeteringen. Op SmolLM3-3B verbetert het de gemiddelde nauwkeurigheid met 14,49 punten ten opzichte van CoT en met 4,30 punten ten opzichte van de sterkste baseline (MemGen). Op Qwen3-4B verbetert het met 9,22 punten ten opzichte van CoT en met 3,13 punten ten opzichte van de sterkste eerdere baseline (GRPO).
• Cross-Domain Generalisatie: Ondanks dat het primair is getraind op wiskundige sporen (OpenR1-Math), generaliseert TYLER effectief naar wetenschappelijke (GPQA) en stelling-georiënteerde (TheoremQA) redenering, wat suggereert dat de geleerde latente operatoren over domeinen heen overdraagbaar zijn.
• Voortdurend Leren: In een sequentiële adaptatiesetting (Code $\to$ Science $\to$ Math $\to$ Theorems) bereikt TYLER de hoogste uiteindelijke prestaties met de laagste vergetenscore ($F=2.3$), waarmee het SFT, GRPO en MemGen overtreft. Dit duidt op een betere stabiliteit-plasticiteit balans.
• Ablatie-studies:
  • Het verwijderen van het "getypte" karakter (het delen van operatoren) of het verwisselen van operatorrollen verslechtert de prestaties aanzienlijk, wat de noodzaak van functionele differentiatie bevestigt.
  • Willekeurige of vaste aanroepschema's presteren slechter dan het geleerde beleid, wat de waarde van adaptieve routing bewijst.
  • De "operator-verankerde" loss is cruciaal voor het stabiliseren van de prestaties in scenario's met schaarse aanroepen.
• Efficiëntie: TYLER bereikt een hogere nauwkeurigheid met lagere latentie en minder totale tokens vergeleken met CoT en andere latente baselines. Het verhogen van het latente budget boven de 5 aanroepen levert een afnemend rendement op.

5. Betekenis en Claims

Het artikel beweert dat TYLER een verschuiving vertegenwoordigt van het zien van latente redenering louter als een gecomprimeerde vorm van CoT naar het zien van het als een berekeningsmechanisme dat modellen in staat stelt te kiezen tussen zichtbare decodering en stille, gespecialiseerde berekening.

• Functionele Specialisatie: De resultaten suggereren dat latente operatoren onderscheidende, gedifferentieerde functionele rollen (planning, status-tracking, abstractie) kunnen verwerven in plaats van te vervallen in een homogene representatie.
• Adaptieve Resource Allocatie: Het framework demonstreert succesvol dat een LLM zijn interne computationele budget dynamisch kan toewijzen op basis van taakcomplexiteit en redeneerfase, in plaats van te vertround op rigide schema's of externe triggers.
• Robuustheid: De methode toont robuustheid over verschillende modelmaten en domeinen, waarbij de prestatiewinst behouden blijft, zelfs wanneer de trainingsdata domeinspecifiek (wiskunde) is maar de evaluatie multi-domein is.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van heuristische grenssupervisie in Fase 1, de huidige evaluatie op redeneerbenchmarks met verifier-stijl evaluatie, en de verminderde controleerbaarheid van "stille" redenering vergeleken met expliciete CoT. Zij positioneren TYLER als een onderzoeksbijdrage aan controleerbare latente berekening in plaats van een operationeel systeem.