Technische Samenvatting: De Readout-korte weg in Kleine Taalmodellen

Probleemstelling

Chain-of-thought (CoT)-prompting wordt algemeen erkend als noodzakelijk voor rekenredenering in kleine taalmodellen (SLM's), maar empirische waarnemingen tonen aan dat het door elkaar halen van de logische volgorde van CoT-stappen de prestaties vaak behoudt. Dit creëert een spanning: als de logische volgoring van stappen niet de primaire drijvende kracht achter nauwkeurigheid is, welk mechanisme stelt het model dan in staat het juiste antwoord te genereren? Eerdere studies hebben vastgesteld dat CoT ontrouw kan zijn (bijvoorbeeld: bevooroordeelde demonstraties veranderen antwoorden ondanks correct redeneren), maar het specifieke signaal dat het readout-mechanisme gebruikt, de locatie daarvan binnen het netwerk, en of het actief beschikbare berekening onderdrukt, blijven onverklaard.

Methodologie

De auteurs onderzoeken dit fenomeen met drie instructie-geoptimaliseerde modellen van 1–3 miljard parameters: Qwen2.5-1.5B-Instruct, Llama-3.2-1B-Instruct en Gemma-2-2B-it. De studie richt zich op het GSM8K-dataset (de eerste 500 problemen) en breidt zich uit tot GSM-Symbolic en BIG-Bench-Hard (BBH).

Het kernexperimentele protocol omvat prefix-completie (teacher-forced injectie). Een CoT-prefix (potentieel gewijzigd) wordt geïnjecteerd in de assistent-beurt, gevolgd door het antwoord-delimiet ####. Het model genereert vervolgens het laatste antwoord-token op een greedige manier. Dit isoleert de "readout"-fase van de generatietijd-verwarring van redenering.

Belangrijke experimentele ingrepen omvatten:

1. Corruptie-decompositie: Systematisch corrupte getallen in de CoT-prefix om de bijdrage van de aanwezigheid van het gouden antwoord versus tussentijdse berekening te isoleren.
2. Causale ladder: Een reeks voorwaarden (bijvoorbeeld het vervangen van het achterste getal door een afleider, het inkorten van de CoT voor het antwoord, het volledig verwijderen van het achterste getal) om te bepalen of het model vertrouwt op een "kopie"-kanaal of op voltooiing vanuit behouden context.
3. Positionele en inhoudelijke controles: Het injecteren van verkeerde getallen (afleiders) op de achterste positie, het variëren van de kaderscontext (antwoord-relevant versus kale getallen), en het door elkaar halen van stappen op verschillende granulariteiten (token, woord, stap).
4. Mechanistische ablatie: Zero-ablatie en mean-ablatie van attention-heads, en activatie-patching, om architectuurspecifieke circuits te identificeren die verantwoordelijk zijn voor de readout.
5. Schaling en generalisatie: Het testen van grotere modellen (7–8B) en niet-rekenkundige taken om de grenzen van het fenomeen te bepalen.

Belangrijkste Bijdragen en Resultaten

1. De Positionele Readout-korte weg

De primaire bevinding is dat bij 1–3B-modellen de CoT-readout wordt gedomineerd door een positionele korte weg: het model kopieert het getal dat de achterste positie inneemt, direct voor het antwoord-delimiet, mits het verschijnt in een antwoord-relevante context.

• Afhankelijkheid van het Gouden Antwoord: De aanwezigheid van het gouden antwoord op de achterste positie verklaart 54–92 procentpunten (pp) van de nauwkeurigheid (89–92% van het plafond voor teacher-forcing van het model).
• Maskering van Berekening: Wanneer een achterste getal aanwezig is, negeert het model correcte tussentijdse stappen. Het vervangen van het achterste gouden getal door een verkeerde waarde (afleider) doet de nauwkeurigheid instorten tot bijna nul, zelfs als alle tussentijdse redenering correct is.
• Overschrijdingsmechanisme: Het "kopie-kanaal" heeft voorrang op voltooiing vanuit behouden context. Het verwijderen van de achterste afleider (via inkorting) herstelt 5–32 pp aan nauwkeurigheid, wat aantoont dat het model wel kan rekenen vanuit behouden context, maar actief wordt onderdrukt door het positionele kopie-signaal.

2. Inhouds-gating en Architectuurverschillen

Hoewel het positionele mechanisme universeel is voor de geteste 1–3B-modellen, varieert de mate van inhoudelijke selectiviteit (het vermogen om een verkeerd getal te verwerpen):

• Qwen & Llama: Vertonen novelty-permissieve kopie. Ze kopiëren verkeerde getallen die aan het einde staan 87–95% van de tijd, ongeacht of het getal semantisch plausibel is.
• Gemma: Toont sterke inhouds-gating. Het verwerpt nieuwe afleiders 81–88% van de tijd (en kopieert ze slechts 12–19% van de tijd), wat wijst op een selectievere readout-mechanisme.
• Kadersensitiviteit: De korte weg is "antwoord-context-gegateerd". Kale getallen aan het einde triggeren geen kopie; het getal moet worden ingekaderd binnen antwoord-relevante tekst (bijvoorbeeld "het antwoord is X").

3. Mechanistische Lokalisatie

Ablatie op head-niveau onthult architectuurspecifieke profielen voor het kopie-circuit:

• Llama: Gelokaliseerde gevoeligheid (specifieke heads in lagen 10–15).
• Qwen: Gedistribueerde gevoeligheid (waarbij ablatie van ongeveer 17 heads nodig is om een fase-overgang te zien).
• Gemma: Geconcentreerd maar compenseerbaar (gedomineerd door een enkele head, L14H4, bij zero-ablatie).
• Activatie Patching: Het patchen van de top-20 heads in Qwen herstelt 61% van het nauwkeurigheidsverschil veroorzaakt door het door elkaar halen, wat een causaal verband bevestigt tussen deze heads en de readout.

4. Schalings- en Generalisatiegrenzen

• 7–8B Modellen: Naarmate modellen schalen naar 7–8B, blijft de afhankelijkheid van de aanwezigheid van het gouden antwoord bestaan, maar inhoudelijke selectiviteit ontstaat. Het tempo van het kopiëren van verkeerde afleiders daalt aanzienlijk (onder de 32%), en een substantieel "off-copy"-pad (dat vertrouwt op tussentijdse berekening) verschijnt opnieuw.
• Niet-rekenkundige Taken: De tolerantie voor het door elkaar halen stort in bij niet-rekenkundige taken (bijvoorbeeld logische deductie in BBH) waar geen kopieerbaar numeriek antwoord de achterste positie inneemt. Retentie daalt tot kansniveaus, wat bevestigt dat de korte weg specifiek is voor het rekenkundige/numerieke readout-patroon.
• Basismodellen: Het mechanisme bestaat in de gewichten van basismodellen, wat suggereert dat het niet uitsluitend een artefact van instructie-tuning is, hoewel tuning het effect versterkt.

Betekenis en Beweringen

Het artikel claimt de "spanning" tussen de noodzaak van CoT en tolerantie voor het door elkaar halen op te lossen door een specifieke faalmodus in kleine modellen te identificeren: de readout-fase is grotendeels ontkoppeld van de redeneringsfase.

• Implicaties voor Toezicht: De bevindingen ondermijnen de premisse van stap-gebaseerde CoT-monitoren (bijvoorbeeld process-reward modellen) voor 1–3B-modellen. Omdat de readout prioriteit geeft aan het achterste token boven tussentijdse berekening, kan een model een logisch correcte chain of thought genereren maar een verkeerd antwoord outputten op basis van een achterste afleider, of vice versa. Stap-gebaseerde beloningen kunnen opereren op een signaal dat zwak gekoppeld is aan de daadwerkelijke berekening die het antwoord produceert.
• Diagnostische Bruikbaarheid: De auteurs stellen dat het monitoren of het antwoord overeenkomt met het laatste CoT-getal dient als een eenvoudige diagnose voor kopie-dominantie.
• Veiligheid en Kwetsbaarheid: Het artikel benadrukt een kwetsbaarheid waarbij tegenstanders CoT's kunnen construeren met correcte tussentijdse stappen maar een achterste afleider om stap-gebaseerd toezicht te omzeilen, en het finale antwoord via de positionele korte weg routeren.

De auteurs blijven bescheiden wat betreft de reikwijdte, met de opmerking dat het fenomeen voornamelijk wordt waargenomen in 1–3B rekenkundige taken en dat inhoudelijke selectiviteit herwint bij grotere schalen (7–8B) en in redenering-getrainde modellen (bijvoorbeeld DeepSeek-R1-Distill), hoewel het positionele mechanisme zelfs daar blijft bestaan.