Technische Samenvatting: J-CoT: Chain-of-Thought in J-Ruimte

1. Probleemstelling

Grote taalmodellen (LLM's) vertrouwen momenteel op twee primaire paradigma's voor recurrente redenering, die beide beperkingen kennen:

• Expliciete Chain-of-Thought (CoT): Deze aanpak gebruikt natuurlijke taal als de recurrente interface. Hoewel effectief, dwingt dit het model om elke tussenliggende staat te serialiseren in discrete tokens. Dit vereist dat het model zich vastlegt op grammaticale vormen, discursieve continuïteit en expliciete verklaringen, zelfs wanneer deze niet nodig zijn voor de volgende redeneerstap. Het beperkt de staat die tussen cycli wordt doorgegeven tot een specifieke linguïstische interpretatie.
• Dense Latent Reasoning: Methoden zoals Coconut verspreiden continue verborgen toestanden tussen berekeningsstappen, waardoor verbalisatie wordt vermeden. Echter, deze methoden geven een dichte verborgen vector als geheel door. Deze interface mist een expliciet mechanisme voor het selecteren en organiseren van de specifieke informatie die nodig is voor de volgende redeneerstap, wat potentieel irrelevante of ongestructureerde ruis met zich meebrengt.

Het artikel stelt de behoefte aan een intermediaire interface die linguïstisch gegrond is (verankerd in de vocabulaire van het model) maar niet-sententieel (geen gedecodeerde zin vereisend), waardoor volledige berekeningen in de verborgen ruimte binnen cycli mogelijk zijn terwijl een gestructureerde staat voor recursie wordt geboden.

2. Methodologie: J-CoT

De auteurs introduceren J-CoT, een recurrent redeneerframework dat opereert binnen de J-ruimte, een vocabulaire-geïndexeerd coördinatenstelsel afgeleid van de verborgen representaties van het model.

2.1 Kernconcept: De J-gedachte

In plaats van gedecodeerde tokens of dichte vectoren door te geven, geeft J-CoT een J-gedachte door: een vocabulaire-geïndexeerde coëfficiëntstaat.

• Constructie van de J-ruimte: De methode construeert voor elke laag $\ell$ een woordenboek door de finale laag vocabulaire-richtingen terug te trekken via de gemiddelde downstream Jacobiaan. Dit creëert een gedeeld vocabulaire-index over verschillende laag-geometrieën.
• Extractie en Reconstructie:
  • Schrijven (Extractie): Op een aangewezen schrijflaag extraheert het model niet-negatieve coëfficiënten over de J-ruimte woordenboek uit specifieke "carrier"-posities met behulp van een elastic-net decompositie. Dit vormt de J-gedachte matrix $A_t$.
  • Lezen (Reconstructie): Op een aangewezen leeslaag worden deze coëfficiënten gereconstrueerd in de residual stream met behulp van het leeslaag-woordenboek. Een geleerd lees-gate reguleert de integratie van deze staat met de prompt-geconditioneerde baseline.
• Carrier-posities: Het model voegt $M$ niet-linguïstische carrier-posities toe aan de input. Deze posities nemen deel aan standaard self-attention en feed-forward berekeningen, maar worden nooit gedecodeerd. Ze dienen als de lees-/schrijflocaties voor de J-gedachte.

2.2 Recurrente Mechanisme

De J-CoT cyclus werkt als volgt:

1. Initialisatie: De prompt en neutrale carrier-embeddings worden gepropageerd naar de leeslaag.
2. Lezen: De vorige J-gedachte wordt gereconstrueerd bij de leeslaag en in de carrier-activaties gegate.
3. Berekenen: De carriers en de prompt propageren door de tussenliggende Transformer-lagen (van de leeslaag naar de schrijflaag) met behulp van dichte, onbeperkte verborgen representaties.
4. Schrijven: Bij de schrijflaag worden nieuwe coëfficiënten geëxtraheerd uit de carrier-activaties om de volgende J-gedachte te vormen.
5. Terminatie: De recursie stopt wanneer de J-gedachte stabiliseert (lage verandering in Frobenius-norm) of wanneer een maximaal budget voor cycli is bereikt. De finale staat conditioneert de autoregressieve decodering van het antwoord.

2.3 Configuraties

• J-CoT-Zero: Een training-vrije configuratie die gebruikmaakt van vaste interface-componenten (gemiddelde pre-trained embeddings, eenheid-leessterkte). Dit vereist geen optimalisatie specifiek voor J-CoT.
• J-CoT-Train: Een trainbare variant die de carrier-embeddings en de lees-gate optimaliseert, terwijl de onderliggende Transformer en de J-lens woordenboeken bevroren blijven.

3. Belangrijkste Bijdragen

1. J-CoT Framework: Introductie van een recurrent redeneerframework dat een vocabulaire-geïndexeerde J-gedachte staat over cyclen draagt, waarmee de kloof wordt overbrugd tussen expliciete linguïstische redenering en dichte latente recursie.
2. Model-Native Read-Write Mechanisme: Ontwikkeling van een mechanisme dat J-ruimte coördinaten gebruikt om staat te transporteren zonder gedecodeerde rationales of volledige verborgen-toestand recursie, waardoor het model informatie kan behouden die moeilijk te uiten is in natuurlijke taal terwijl een gestructureerde interface behouden blijft.
3. Empirische Validatie: Uitgebreide evaluatie over wiskundig redeneren, wetenschappelijke QA, codegeneratie en gestructureerde padredenering, waarbij wordt aangetoond dat J-CoT sterke baselines evenaart of overtreft.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de Qwen3-8B-Base backbone (en geschaald naar grotere modellen) over acht benchmarks: GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench en CRUXEval.

• Prestaties vs. Baselines:
  • J-CoT-Train behaalde de hoogste scores over alle geëvalueerde taken en presteerde beter dan de sterkste latente redeneer-baseline (SIM-Coconut) met gemiddeld 2,7 procentpunt (50,2% vs. 47,5%).
  • J-CoT-Zero (training-vrij) evenarmde of overtrof SIM-Coconut op elke benchmark, wat de gemiddelde score verhoogde naar 47,9% zonder specifieke J-CoT optimalisatie.
  • Beide J-CoT varianten presteerden significant beter dan standaard linguïstische CoT en PS+ baselines.
• Scaling: J-CoT vertoont positieve schaling met zowel modelcapaciteit (van 7B tot 405B parameters) als redeneerdiepte (adaptieve cyclusbudgetten). Grotere modellen profiteren meer van extra redeneercycli.
• Interface Spectrum: Een interpolatie-experiment tussen dichte latente staten ($\lambda=0$), J-gedachten ($\lambda=0,5$) en expliciete linguïstische staten ($\lambda=1$) onthulde een niet-monotone trend. Prestaties piekten bij de J-CoT configuratie ($\lambda=0,5$), wat suggereert dat het een optimale balans biedt tussen het behouden van alternatieve redeneerpaden (in tegenstelling tot expliciete CoT) en het reduceren van persistentie van ongeldige paden (in tegenstelling tot dichte latente methoden).
• Ablaties: Het verwijderen van J-thought lezen of het reduceren van de J-thought tot een enkele carrier degradeerde de prestaties aanzienlijk, wat de noodzaak van het multi-carrier, vocabulaire-geïndexeerde ontwerp valideert.

5. Betekenis en Claims

Het artikel claimt dat J-CoT de levensvatbaarheid van model-native recurrente interfaces aantoont als een superieur alternatief voor zowel volledig verbaal als volledig dicht tussenliggend stadium.

• Linguïstische Gronding zonder Verbalisatie: De resultaten ondersteunen de hypothese dat een vocabulaire-geïndexeerd coördinatenstelsel (J-ruimte) de extractie en hergebruik van interne berekeningen mogelijk maakt zonder de overhead van het genereren van vloeiende tussenliggende tekst.
• Efficiëntie en Structuur: Door de verplichting tot een specifieke linguïstische interpretatie bij elke stap te vermijden, stelt J-CoT het model in staat om onzekere of gedistribueerde berekeningen effectiever voort te dragen dan expliciete CoT, terwijl de vocabulaire-indexering een selectiemechanisme biedt dat ontbreekt bij dichte latente methoden.
• Training-Free Potentieel: De sterke prestaties van J-CoT-Zero suggereren dat de pre-trained Transformer reeds een bruikbaar J-ruimte coördinatenstelsel bevat, wat geen extra training vereist om deze recurrente capaciteit te benutten.

De auteurs concluderen dat J-CoT verdere studie naar dergelijke interfaces stimuleert, wat een pad biedt naar efficiëntere en gestructureerdere redenering in grote taalmodellen.