Technische Samenvatting: Redeneerfouten hebben een Regio en een Richting in de Residuele Stroom-trajectorie van LLM's

1. Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet voor taken die verifieerbaar redeneren vereisen, is het onderscheid tussen slank redeneren en gebrekkig redeneren een kritieke uitdaging geworden. Traditionele probing-methoden vertrouwen vaak op statische lineaire classificators die getraind zijn op activaties uit een enkele laag. Deze methoden lijden echter onder twee primaire beperkingen:

1. Label-gecorreleerde Signalen: Single-layer probes maken vaak gebruik van oppervlakkige dataset-regulariteiten (bijv. bewoording, formaat, token-identiteit) in plaats van de onderliggende geldigheid van het redeneren. Dit leidt tot een slechte generalisatie over benchmarks met verschillende formuleringen of onderwerpen.
2. Verlies van Context bij Trajectorie-methoden: Recente trajectorie-gebaseerde methoden (bijv. Truth as a Trajectory) analyseren laag-gewijze verplaatsingen ($\Delta h = h_{\ell+1} - h_\ell$) om stabiele, token-specifieke informatie te onderdrukken. Hoewel dit de cross-benchmark generalisatie verbetert, verwijdert het differentiëren de toestand (state) waaruit de update voortkomt. Omdat de betekenis van een representatieve verandering afhangt van de context (toestand) waarin deze plaatsvindt, kunnen zuivere verplaatsingssignalen cruciale informatie over het redeneren verliezen.

Het geïdentificeerde kernprobleem is een state-restoratie-trade-off: het herstellen van de volledige toestand introduceert opnieuw label-gecorreleerde signalen, terwijl het volledig weglaten ervan (via differentiëren) de noodzakelijke context verwijdert om beweging te interpreteren.

2. Methodologie

De auteurs stellen een Three-Stream Detector voor die deze trade-off balanceert door beweging te combineren met twee beperkte weergaven van locatie. Het framework werkt in een selectie-setting waarbij een model een vraag krijgt en kandidaat-antwoorden, waarbij de detector elke kandidaat scoort op basis van de trajectorie van de residuele stroom.

De Drie Stromen

1. Motion Reader (Verplaatsing):

   • Volgt eerdere trajectorie-gebaseerde benaderingen.
   • Berekent laag-gewijze verplaatsingen: $d_{t,\ell} = h_{t,\ell+1} - h_{t,\ell}$.
   • Dempt persistente, token-specifieke inhoud om signaaloverdracht over datasets mogelijk te maken.
   • Wordt verwerkt door een bidirectionele LSTM om een bewegings-embedding ($c_{mot}$) te produceren.

2. Region Reader (Grove Locatie):

   • Herstelt een grove toestand-locatie zonder de fijnmazige bewoording opnieuw te introduceren.
   • Neemt genormaliseerde toestand-richtingen ($u_{t,\ell} = h_{t,\ell} / \|h_{t,\ell}\|$) uit een vaste window van middelste tot late lagen.
   • Projecteert deze richtingen en stuurt ze door een encoder naar een geleerde codebook van grootte $K$.
   • Vervangt de continue toestand door de dichtstbijzijnde codebook-entry (Vector Quantization), wat een discrete regio-code ($c_{reg}$) oplevert.
   • Dit fungeert als een "bottleneck" die alleen de algemene regio van de toestand-ruimte behoudt.

3. Direction Reader (Fijne Locatie):

   • Herstelt fijne toestand-onderscheidingen terwijl magnitude en irrelevante tokens/lagen worden weggefilterd.
   • Behoudt de genormaliseerde toestand-richtingen ($u_{t,\ell}$) over de geselecteerde lagen en antwoord-tokens.
   • Gebruikt een gedeelde MLP om richtingen naar een representatie te mappen, waarbij de toestand van het laatste token (waar het antwoord tot rust komt) en het gemiddelde van de tussenliggende toestanden (het afgelegde pad) worden gecombineerd.
   • Produceert een richting-embedding ($c_{dir}$).

Fusie

De drie embeddings ($c_{mot}, c_{reg}, c_{dir}$) worden geconcateneerd en door een MLP-head gestuurd om een geldigheidsscore te produceren. Het model wordt end-to-end getraind op een paarvormige (pairwise) doelstelling om de correcte kandidaat te selecteren.

3. Belangrijkste Bijdragen

1. Identificatie van de State-Restoratie Trade-off: De paper demonstreert dat trajectorie-gebaseerd differentiëren de redeneer-gerelateerde toestand-informatie wegwerpt, terwijl volledige toestand-restoratie de label-gecorreleerde signalen opnieuw introduceert.
2. Complementaire Toestand-Readers: De auteurs introduceren een Region Reader (via vector quantisatie) en een Direction Reader (via genormaliseerde multi-layer toestanden) die selectief toestand-informatie herstellen op verschillende resoluties.
3. Generalisatie voorbij de Trainingsdistributie:
   • De methode verbetert de selectie-accuratesse op ongeziene redeneer-benchmarks met maximaal 21% ten opzichte van single-layer lineaire probing en met 12% ten opzichte van displacement-only state-of-the-art methoden.
   • Cruciaal is dat een detector die alleen op redeneer-benchmarks is getraind, ook feitelijke fouten (in fact-verificatie en completion-taken) succesvol identificeert waarvoor hij nooit getraind was, wat suggereert dat het signaal "correctheid" vangt in plaats van een specifiek type redeneren.
4. Complementaire Signalen: Ablatie-studies bevestigen dat beweging, regio en richting complementaire informatie bieden; geen enkele stroom domineert; hun combinatie levert de beste prestaties op.

4. Experimentele Resultaten

• Datasets: Training werd uitgevoerd op redeneer-donoren (ARC-Challenge, ARC-Easy, OpenBookQA, CommonsenseQA, Social IQa, HellaSwag). Evaluatie omvatte zero-shot transfer naar andere redeneer-benchmarks (MMLU, Story Cloze) en feitelijke benchmarks (FACTOR-wiki, FACTOR-news, FACTOR-expert, VitaminC).
• Prestaties:
  • Op redeneer-benchmarks presteerde het volledige drie-stromen model 7–12 procentpunt beter dan de motion-only baseline en 10–21 procentpunt beter dan lineaire probes in out-of-distribution (OOD) settings.
  • Op feitelijke benchmarks presteerde de op redeneren getrainde detector beter dan zowel de motion-only methode als de lineaire probes, wat aantoont dat het geleerde signaal generaliseert naar feitelijke juistheid.
• Ablaties:
  • Het toevoegen van ofwel de Region- of de Direction-stroom aan de Motion-baseline verbeterde de prestaties.
  • De Region-code (gekwantiseerd) alleen behield aanzienlijke voorspellende kracht, wat bewijst dat grove locatie-informatie een sterk signaal is voor correctheid.
  • De methode werkt over verschillende modelarchitecturen heen (Llama-3.1-8B, Qwen2.5-14B, Qwen3-30B-A3B).

5. Betekenis en Claims

De paper claimt dat redeneer-geldigheid beter afleesbaar is uit toestand-geconditioneerde beweging dan uit noch statische toestanden, noch decontextualiseerde trajectorieën alleen.

• Aard van het Signaal: De resultaten suggereren dat het geldigheids-signaal niet gebonden is aan een specifieke "soort" redeneren (bijv. wiskundig versus commonsense), maar een meer fundamentele eigenschap is van correctheid. De detector leert correcte van incorrecte trajectorieën te onderscheiden, ongeacht het specifieke taakdomein.
• Interpreteerbaarheid: Door te scheiden hoe de berekening beweegt ("hoe het beweegt" - motion) van waar het zich bevindt (regio/richting), biedt de methode een robuustere uitlezing van het interne redeneerproces van het model.
• Beperkingen: De auteurs merken op dat de detector beperkt is tot selectie-taken (kiezen tussen kandidaten) in plaats van het beoordelen van enkelvoudige antwoorden. Het vereist ook een forward pass per kandidaat en een gelabelde donor-benchmark voor training. De prestaties worden begrensd door het inherente vermogen van het model om correcte van incorrecte antwoorden te onderscheiden in de residuele stroom.

Samenvattend stelt dit werk vast dat het herstellen van een beperkt, context-bewust beeld van de toestand naast de trajectorie-beweging de trade-off oplost tussen het onderdrukken van oppervlakkige signalen en het behouden van de noodzakelijke redeneer-context, wat leidt tot robuuste, generaliseerbare detectoren voor redeneren en feitelijke juistheid.