Technische Samenvatting: AGCLR – Adaptive Gated Continuous Latent Reasoning

Probleemidentificatie: De Concept Bottleneck

Large Language Models (LLM's) hebben sterke redeneercapaciteiten getoond, met name wanneer ze worden gestuurd door Chain-of-Thought (CoT) prompting. CoT is echter beperkt tot een enkele forward pass waarbij elk gegenereerd token de input vormt voor het volgende, wat leidt tot een vroege vastlegging op een redeneringspad. Om dit aan te pakken, werd het CoCoNuT (Chain of Continuous Thought) paradigma geïntroduceerd, dat modellen in staat stelt om te redeneren in een continue latente ruimte door de laatste verborgen toestand (hidden state) terug te voeren als de volgende embedding. Dit maakt een impliciete breedtezoektocht (breadth-first search) over redeneringspaden mogelijk zonder discrete tokens.

Ondanks de belofende aard identificeert de auteur een kritieke beperking in de vanilla CoCoNuT, genaamd de concept bottleneck. In multi-pass inferentie worden intermediaire verborgen toestanden progressief overschreven naarmate er nieuwe latente tokens worden gegenereerd. Zonder een mechanisme om informatie te behouden, gaat cruciale informatie die in eerdere redeneringsstappen is berekend, verloren naarmate de redeneringsdiepte toeneemt. Empirisch bewijs laat zien dat terwijl vanilla CoCoNuT vergelijkbaar presteert met CoT bij ondiepe taken, de prestaties afnemen bij diepere redeneringsketens (bijv. op GSM8K en ProsQA), waardoor het niet boven de standaard CoT-baselines uitkomt bij multi-hop QA-taken zoals HotpotQA.

Methodologie: AGCLR

Om de concept bottleneck op te lossen, stelt de auteur AGCLR (Adaptive Gated Continuous Latent Reasoning) voor. Deze methode breidt CoCoNuT uit met een Gated Concept Stream, een persistente residuele geheugenvector ($c_t$) die behouden blijft over alle redeneringspasses heen.

Architectuur

Op elke positie van de latente token berekent het model een verborgen toestand ($h_t$) die wordt verwerkt via drie geleerde sigmoid-gates om de informatiestroom tussen de huidige toestand en het persistente geheugen te controleren:

1. Write Gate ($w_t$): Bepaalt hoeveel van de huidige gated verborgen toestand ($h'_t$) wordt vastgelegd in de concept stream. Dit voorkomt dat verborgen toestanden met een lage betrouwbaarheid of irrelevante toestanden het geheugen vervuilen.
2. Read Gate ($r_t$): Controleert hoeveel van de voorgaande concept stream ($c_{t-1}$) wordt opgehaald en geïntegreerd in de huidige verborgen toestand, waardoor het model toegang heeft tot feiten uit eerdere passes.
3. Forget Gate ($f_t$): Bepaalt hoeveel van de huidige verborgen toestand wordt behouden versus vervangen door het opgehaalde geheugen, wat het selectieve verwijderen van irrelevante context mogelijk maakt.

De update-vergelijkingen zijn gedefinieerd als:
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

De gated verborgen toestand $h'_t$ vervangt $h_t$ als de input voor de volgende positie van de latente token, terwijl $c_t$ dient als het persistente geheugen voor opeenvolgende passes.

Trainingsprotocol

AGCLR maakt gebruik van een multi-stage curriculum learning benadering geïnspireerd door CoCoNuT:

• Stage 0: Het model wordt getraind op standaard CoT-data met expliciete redeneringsstappen.
• Vervolgstadia: Expliciete redeneringsstappen worden progressief vervangen door continue latente tokens. In stage $k$ worden de eerste $k$ stappen vervangen door $k \times c$ latente tokens.
• Eindstadium: Alle redenering vindt plaats in de latente ruimte.
  Het model wordt getraind op GPT-2 (117M parameters) met dit curriculum over drie datasets: GSM8K (rekenen), HotpotQA (multi-hop QA) en ProsQA (planning).

Belangrijkste Bijdragen

1. Identificatie van de Concept Bottleneck: De auteurs tonen empirisch aan dat vanilla CoCoNuT lijdt onder informatieverlies in intermediaire toestanden naarmate de redeneringsdiepte toeneemt, wat leidt tot prestatieafname bij complexe taken.
2. AGCLR Architectuur: De voorstel van een gated residueel geheugenmechanisme dat deze bottleneck oplost met slechts een toename van 1,41% in parameters ten opzichte van het basis GPT-2 model.
3. Prestatiewinst: AGCLR presteert consequent beter dan vanilla CoCoNuT over alle geteste datasets, waarbij het voordeel in prestaties exponentieel groeit naarmate de curriculumdiepte (redeneringscomplexiteit) toeneemt.

Resultaten

Evaluatie op drie benchmarks onthult het volgende:

• GSM8K (Rekenen): AGCLR bereikt 34,0% nauwkeurigheid, waarmee het vanilla CoCoNuT (31,4%) verslaat (40,6% is de CoT baseline, maar CoCoNuT-varianten scoren over het algemeen lager op enkelvoudige rekenstappen; AGCLR verbetert significant ten opzien van de latent-only baseline).
• HotpotQA (Multi-hop QA): AGCLR bereikt 14,0% Exact Match (EM), een verbetering van +3,6% ten opzichte van vanilla CoCoNuT (10,4%) en een significante winst ten opzichte van de CoT baseline (11,0%).
• ProsQA (Planning): AGCLR bereikt 96,0% nauwkeurigheid, vergeleken met 92,0% voor vanilla CoCoNuT. Opvallend genoeg neemt de prestatie van vanilla CoCoNuT af bij het diepste curriculumstadium (Stage 6), terwijl AGCLR verbetering behoudt.

Analyse van Geheugenretentie

Een cosine-gelijkenheidsanalyse tussen de initiële verborgen toestand en opeenvolgende passes laat zien dat vanilla CoCoNuT lijdt onder een monotone geheugendecay (de gelijkenis daalt van 1,0 naar 0,126 bij pass 6, wat een informatieverlies van 87% vertegenwoordigt). In tegenstelling hiertoe stabiliseert AGCLR na pass 3, met een behouden gelijkenis van ~0,22, wat overeenkomt met 71% meer informatiebehoud dan de baseline.

Ablatie-studies bevestigen dat de winst voortkomt uit het persistente geheugenmechanisme en niet enkel uit extra parameters:

• Het verwijderen van de write gate verlaagt de prestaties naar 8,8% EM (lager dan vanilla CoCoNuT).
• Het bevriezen van de write gate na pass 2 resulteert in slechts een daling van 0,8% (13,2% vs 14,0% EM), wat suggereert dat vroege informatieopname voldoende is en dat de read/forget gates de kwaliteit van de opgeslagen informatie behouden.
• Het verwijderen van de forget gate veroorzaakt een aanzienlijke daling (8,4% EM), wat het belang van het wegfilteren van irrelevante context benadrukt om geheugenvervuiling te voorkomen.

Betekenis en Claims

Het artikel claimt dat AGCLR direct de concept bottleneck aanpakt door een persistent, gated residueel geheugen te introduceren dat modellen in staat stelt cruciale feiten te behouden tijdens iteratieve redeneringscycli. In tegenstelling tot eerdere benaderingen die opereren in de taalruimte (bijv. iCoT, pause tokens) of een gebrek aan persistente staat hebben, maakt AGCLR redeneren in een onbeperkte latente ruimte mogelijk terwijl de computationele toestanden die nodig zijn voor multi-hop taken behouden blijven.

De auteurs benadrukken dat de verbetering wordt gedreven door het vermogen van de architectuur om informatie op te slaan, te behouden en op te halen over passes heen, in plaats van simpelweg de modelcapaciteit te vergroten. Hoewel de resultaten consistent zijn over diverse redeneringstaken (rekenen, QA, planning), blijft het artikel bescheiden over de reikwijdte, waarbij wordt opgemerkt dat experimenten zijn uitgevoerd op een enkele seed met een GPT-2 124M basismodel. Schaalbaarheid naar grotere modellen en bredere taakdistributies blijft een onderwerp voor toekomstige validatie.