🤖 machine learning

Repeated-Token Counting Reveals a Dissociation Between Representations and Outputs

Dit artikel toont aan dat het falen van grote taalmodellen om herhaalde tokens te tellen niet voortkomt uit een onvermogen om het juiste aantal intern te representeren, maar uit een specifiek door het formaat geactiveerd MLP-mechanisme dat de accurate representatie tijdens het genereren van de output overschrijft met een vast verkeerd antwoord.

Oorspronkelijke auteurs: Sohan Venkatesh

Gepubliceerd 2026-05-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sohan Venkatesh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, goed gelezen bibliothecaris (het AI-model) hebt. Je vraagt deze bibliothecaris om te tellen hoe vaak het woord "appel" voorkomt in een lange lijst. Je zou verwachten dat hij het goed doet, maar in plaats daarvan zegt hij vol vertrouwen: "Er zijn 8 appels", terwijl er duidelijk 10 zijn.

Lange tijd dachten mensen dat de bibliothecaris gewoon slecht was in tellen. Ze gingen ervan uit dat het brein van de bibliothecaris geen "teller" ingebouwd had, waardoor ze de aantallen niet konden bijhouden.

Dit artikel stelt dat die aanname verkeerd is.

Hier is de eenvoudige uitleg van wat de onderzoekers eigenlijk hebben ontdekt, met behulp van alledaagse analogieën:

1. De bibliothecaris weet het antwoord

De onderzoekers keken diep in het brein van de bibliothecaris (de interne lagen van het model) bij elke enkele stap van het denkproces. Ze ontdekten dat het juiste aantal (10) vanaf de allereerste stap tot de allerlaatste stap duidelijk en perfect was opgeschreven.

De analogie: Stel je voor dat de bibliothecaris door een gang loopt met een whiteboard in zijn hand. Bij elke enkele stap van de wandeling staat er duidelijk "10" op het whiteboard. De informatie is er, luid en duidelijk. De bibliothecaris is niet verward; hij weet het antwoord eigenlijk.

2. De "glitchy" bordenschrijver

Dus, als de bibliothecaris weet dat het antwoord 10 is, waarom zegt hij dan "8"?

De onderzoekers vonden een specifieke "glitch" halverwege de gang. Ongeveer 90% van de weg door het denkproces is er een specifieke werknemer (een deel van de computercode genaamd een MLP-blok) die de lijstindeling ziet (woorden gescheiden door spaties) en besluit het whiteboard te negeren.

De analogie: Stel je voor dat de bibliothecaris door de gang loopt en het bord met "10" vasthoudt. Plotseling springt een specifieke werknemer (laten we hem "Format-Fred" noemen) naar buiten. Fred ziet dat de lijst is geschreven met spaties (zoals "appel appel appel"). Hij heeft een voorgeprogrammeerde regel: "Als ik een lijst van woorden met spaties zie, moet ik het bord veranderen naar '8'."
Fred grijpt het whiteboard, veegt de "10" uit en schrijft "8" erop.
Hoewel het brein van de bibliothecaris nog steeds weet dat het 10 is (het oorspronkelijke signaal is nog steeds op de achtergrond aanwezig), is de uiteindelijke output nu "8" omdat Fred het heeft overschreven.

3. Het gaat niet om de woorden, maar om de indeling

Deze glitch gebeurt alleen met woorden (zoals "appel" of "kat"), niet met cijfers (zoals "1" of "2").

De analogie: Als je de bibliothecaris een lijst met cijfers geeft ("1 1 1 1..."), geeft Format-Fred er niets om. Hij reageert alleen op woorden. De bibliothecaris telt de cijfers perfect. Maar als je hem woorden geeft, wordt Fred geactiveerd.
Ook als je de indeling verandert naar komma's in plaats van spaties (bijvoorbeeld "appel, appel, appel"), springt Fred er niet uit. De regel "8" wordt niet geactiveerd en de bibliothecaris krijgt het goed. Dit bewijst dat het probleem niet het telvermogen is; het is een specifieke reactie op hoe de lijst eruitziet.

4. Het "routing"-probleem, geen "representatie"-probleem

Het artikel maakt een groot onderscheid tussen twee soorten fouten:

Representatiefout: De bibliothecaris weet niet hoe hij moet tellen. (Dit artikel zegt dat dit NIET gebeurt).
Routingfout: De bibliothecaris weet hoe hij moet tellen, maar het signaal wordt gekaapt voordat het de mond bereikt. (Dit is wat er gebeurt).
De analogie: Het is als een radiozender die het juiste nummer afspeelt (de telling), maar een DJ in de cabine (het MLP-blok) besluit de muziek te onderbreken en net voordat het naar de luidsprekers gaat een ander nummer te draaien (het verkeerde getal). De muziek is prima; de routing is kapot.

5. Grotere modellen hebben een andere glitch

De onderzoekers keken ook naar grotere, slimmere modellen. Deze modellen krijgen het aantal meestal goed, maar ze falen als je een "banaan" in de lijst met appels stopt.

De glitch: Deze grotere modellen zien de banaan. Hun aandachtssysteem merkt het op. Maar, net als de kleinere modellen, slagen ze er niet in die informatie te laten leiden tot het uiteindelijke antwoord. Ze zien de afwijking, maar kunnen die nieuwe informatie niet "routen" naar de uiteindelijke output.

De kernboodschap

Het artikel concludeert dat deze AI-modellen niet "slecht zijn in wiskunde". Ze zijn eigenlijk heel goed in het intern bijhouden van de aantallen. Het probleem is dat een specifiek deel van hun brein wordt geactiveerd door de manier waarop de lijst is geschreven (spaties versus komma's, woorden versus cijfers) en een verkeerd antwoord forceert op de uiteindelijke output, waardoor het juiste antwoord dat er al was, wordt overschreven.

Om dit op te lossen, hoeven we de AI niet te leren tellen (het weet het al). We moeten de "verkeersagent" (het routingmechanisme) repareren die momenteel het juiste antwoord blokkeert om eruit te komen.

Technische Samenvatting: Herhaalde-Token-telling Onthult een Dissociatie tussen Representaties en Outputs

Probleemstelling
Grote taalmodellen (LLMs) vertonen systematische en reproduceerbare fouten bij het tellen van herhaalde tokens, ondanks sterke prestaties op bredere redeneerbenchmarks. Wanneer bijvoorbeeld wordt gevraagd om tien herhaalde woorden te tellen (bijvoorbeeld "appel"), geven modellen vaak een zelfverzekerd, deterministisch verkeerd antwoord (bijvoorbeeld "8" of "14") met nul variantie onder greedy decoding. Veelvoorkomende toeschrijvingen voor deze fouten suggereren een gebrek aan interne telrepresentaties of beperkingen in het bijhouden van aantallen binnen de modeltoestand. Dit artikel daagt die toeschrijving uit en stelt in plaats daarvan dat de fout niet ligt in de representatie, maar in het routeren van informatie naar de output.

Methodologie
De auteurs maken gebruik van mechanische interpretabiliteitstechnieken bij vijf instructie-gefine-tuned decoder-only modellen: Llama-3.2 (1B, 3B) en Qwen2.5 (1.5B, 3B, 7B). De experimentele opzet omvat drie condities:

P1 (Basislijn): Tellen van tien identieke tokens.
P2 (Anomalie): Tellen van negen identieke tokens met één indringer (bijvoorbeeld "banaan").
P3 (Controle): Tellen van tien unieke tokens.

De studie maakt gebruik van:

Lineaire Probes: Het trainen van Ridge-regressieprobes op de residustroom op elke laag om het tokenaantal te decoderen, om te testen of het juiste aantal lineair decodeerbaar is, zelfs wanneer de output verkeerd is.
Logit Lens: Het projecteren van verborgen staten via de laatste layernorm en unembedding-matrix op elke laag om te observeren wanneer het model zich "vastlegt" op een specifiek cijfertoken.
MLP versus Attention Decompositie: Het isoleren van de bijdragen van attention-sublagen en MLP-blokken om te bepalen welk component specifieke waarden in de residustroom schrijft of wist.
Causale Interventies: Zero-ablatie van specifieke MLP-blokken om causale betrokkenheid te testen.
Format- en Tokenvariatie: Het testen van door spaties gescheiden versus door komma's gescheiden scheidingstekens en het vervangen van woordtokens door cijfertokens om formatgevoeligheid en token-type-specificiteit te analyseren.

Belangrijkste Resultaten

Dissociatie tussen Representatie en Gedrag:
Lineaire probes onthullen dat het juiste aantal lineair decodeerbaar is met bijna perfecte nauwkeurigheid ( $R^2 > 0,99$ ) vanaf de eerste transformerlaag, zelfs in modellen die een onjuist aantal outputten. Cruciaal is dat het aantal zuiverder is gecodeerd in de conditie waarin het model faalt (herhaalde tokens) dan in de conditie waarin het slaagt (unieke tokens). Dit bevestigt dat het model de juiste interne representatie bezit, maar deze niet tot uitdrukking brengt.
De Routeringsfout (MLP Overschrijven):
De fout wordt veroorzaakt door een specifiek, door formaat geactiveerd Multi-Layer Perceptron (MLP)-blok dat zich bevindt op ongeveer 88–93% van de netwerkdiepte (bijvoorbeeld Laag 14 in Llama-1B, Laag 22/26 in Llama-3B, Laag 22 in Qwen-1.5B).
- Dit MLP-blok ontvangt een residustroomtoestand die het aantal correct codeert (of een toestand die er dichtbij ligt), maar overschrijft dit met een vast, onjuist geheel getal (bijvoorbeeld "8" of "14").
- De MLP-input is aantal-invariant; het activeert ongeacht de daadwerkelijke sequentielengte (bijvoorbeeld voor $n=8$ tot $n=15$ ), wat aangeeft dat het reageert op een specifiek formatsignatuur in plaats van een berekening uit te voeren.
- Causale ablatie van dit MLP-blok herstelt het juiste antwoord niet; in plaats daarvan verschuift de fout naar een ander verkeerd getal (bijvoorbeeld van "8" naar "16"), wat suggereert dat de prior gedeeltelijk verdeeld is over meerdere blokken.
Format- en Tokenspecificiteit:
- Formatgevoeligheid: In grotere modellen (Llama-3B, Qwen-3B) onderdrukt het veranderen van het scheidingsteken van spaties naar komma's de MLP-activering, waardoor het juiste aantal doorgaat. In kleinere modellen (Llama-1B) is de prior format-invariant.
- Tokentype: De prior activeert voor herhaalde alfabetische tokens (woorden) maar niet voor herhaalde cijfertokens. Modellen die niet in staat zijn om herhaalde woorden correct te tellen, tellen herhaalde cijfers (bijvoorbeeld "1", "1", "1") zonder fout, wat bewijst dat de fout een geleerde associatie is tussen het formaat "herhaalde woordenlijst" en een specifiek verkeerd output, en geen algemene onbekwaamheid om de sequentielengte te schatten.
Anomaliedetectie versus Tellen:
Grotere modellen (Qwen-3B, 7B) die de P1-taak voor het tellen oplossen, falen nog steeds bij de P2-taak voor anomaliedetectie (tellen van 9 appels en 1 banaan). Mechanische analyse toont aan dat hoewel attention-mechanismen de anomalie detecteren (de banaan ontvangt hoge attention), dit signaal niet wordt gerouteerd naar de output om het aantal te corrigeren. Dit vertegenwoordigt een tweede type routeringsfout waarbij het detectiesignaal wel bestaat, maar niet wordt omgezet in een gedragscorrectie.

Betekenis en Claims
Het artikel betoogt dat het tellen van fouten in deze modellen een fout in routering is, geen fout in representatie. De interne schakeling codeert het aantal correct, maar een specifieke "prior"-schakeling onderschept en overschrijft deze informatie op basis van oppervlakkige formatcues (herhaalde woordtokens).

De auteurs stellen dat het samenvoegen van representatiefouten met routeringsfouten leidt tot verkeerde interventies (bijvoorbeeld opnieuw trainen voor betere telcapaciteiten terwijl de capaciteit al bestaat). In plaats daarvan moeten interventies gericht zijn op de specifieke schakelingen die verantwoordelijk zijn voor signaalsuppressie. De studie toont aan dat gedragsfouten in capabele modellen vaak fouten in expressie zijn, en het identificeren van het specifieke routeringspad een noodzakelijke voorwaarde is voor elke succesvolle interventie. Dit werk vestigt een algemeen fenomeen waarbij interne waarheid en gedragsoutput volledig kunnen divergeren, wat mechanische analyse vereist om de twee van elkaar te onderscheiden.