From Early Encoding to Late Suppression: Interpreting LLMs on Character Counting Tasks

Probleemstelling

Grote Taalmodellen (LLMs) presteren uitstekend op complexe benchmarks, maar vertonen systematische fouten bij elementaire symbolische taken, zoals het tellen van karakters in een woord (bijv. "Hoe vaak komt de letter 'p' voor in 'apple'?"). Hoewel deze beperkingen eerder zijn vastgesteld, bleven de interne oorzaken onverkend. De auteurs stellen dat het onduidelijk is of deze fouten ontstaan door een gebrek aan representatie (het model weet het niet) of door interferentie tijdens het redeneren (het model weet het, maar gebruikt het niet).

Methodologie

De auteurs gebruiken karaktertelling als een strikt gecontroleerde "probe" om token-niveau redenering te isoleren van hogere taalkundige verwarring.

1. Dataset en Taken:

   • Er is een dataset samengesteld van 10.000 willekeurige woorden (uit WordNet en Wiktionary) met een gebalanceerde verdeling van doelkarakters (1, 2 of 3 keer voorkomend).
   • Er worden meerdere prompt-sjablonen gebruikt om bias te minimaliseren (bijv. "Het aantal 'p's in apple is...").
   • Er worden zowel base-modellen als instructie-gefine-tuned varianten getest.

2. Geanalyseerde Modellen:

   • Drie recente families: LLaMA 3.2 (3B, 8B), Qwen 2.5 (3B, 7B), en Gemma 2 (2B, 9B).

3. Interpreteerbaarheidstechnieken:

   • Probing Classifiers: Lineaire classificatoren worden getraind op de verborgen staten (residual stream) van elke laag om te bepalen of karaktertelling-informatie decodable is. Dit test of de informatie aanwezig is.
   • Logit Lens: Projectie van tussenliggende hidden states op de vocabulaire-ruimte om te zien hoe de kansverdeling voor het juiste antwoord evolueert door de lagen heen.
   • Activatie Patching (Causal Tracing): Systematisch overschrijven van hidden activations van een "corrupte" input (met een ander woord of letter) met die van een "schone" input. Dit identificeert welke componenten (lagen, attention heads, MLP's) causaal verantwoordelijk zijn voor het correcte of incorrecte gedrag.
   • Metingen: Gebruik van de Logit Difference ($\Delta$) om de voorkeur voor het juiste token te meten en de Probability Gap ($\Delta_p$) om onderdrukking te kwantificeren.

Belangrijkste Bevindingen

1. Informatie is wel degelijk gecodeerd (Early Encoding):

   • Probing-experimenten tonen aan dat karaktertelling-informatie betrouwbaar wordt gecodeerd in de vroege en middelste lagen van het model (probeer-accuraatheid > 80-90%).
   • Dit geldt voor zowel individuele tokens als samengestelde woord-tokens. Het model "weet" dus het antwoord in zijn interne representaties.

2. Actieve onderdrukking in late lagen (Late Suppression):

   • Ondanks dat de informatie aanwezig is, wordt deze niet gebruikt voor de uiteindelijke output.
   • Logit Lens-analyse toont aan dat de kans op het juiste antwoord daalt in de laatste lagen. De componenten in de voorlaatste en laatste laag (vooral de MLP en soms Attention Heads) fungeren als "negatieve circuits".
   • Deze circuits onderdrukken actief het correcte signaal ten gunste van hogere-kans, maar incorrecte uitkomsten (bijv. altijd "1" voorspellen of een willekeurige verdeling).

3. Geen gespecialiseerde Attention Heads:

   • Er zijn geen specifieke attention heads die zich specialiseren in het routeren van karakterinformatie van het woord naar het eindtoken. De informatie is verspreid en zwak gecoördineerd, wat leidt tot verlies tijdens de aggregatie.

4. Schaal en Post-training helpen niet:

   • Het vergroten van het model (van 3B naar 9B parameters) lost het probleem niet op; het onderdrukkingspatroon blijft bestaan.
   • Instructie-finetuning (SFT) verandert de strategie (bijv. van "altijd 1" naar een wisseling tussen "1" en "2"), maar verbetert de fundamentele tellende vaardigheid niet. De onderdrukking in de late lagen blijft een structureel kenmerk.

Kernbijdragen

1. Structuur van het falen: Symbolische redeneringsfouten in LLMs zijn voornamelijk het gevolg van gestructureerde interferentie binnen het computationele graf, niet van een gebrek aan representatie of schaal. Het model encodeert het antwoord, maar leert om dit te onderdrukken ten gunste van eenvoudigere heuristieken.
2. Competitieve Decoding: De forward-pass van LLMs implementeert een vorm van competitieve decoding waarbij correcte en incorrecte hypotheses naast elkaar bestaan en dynamisch worden herschikt. De uiteindelijke output wordt evenveel bepaald door onderdrukking van het juiste antwoord als door versterking van het verkeerde.
3. Negatieve Circuits: De auteurs identificeren specifieke subnetwerken (vooral in de laatste MLP's) die systematisch correcte symbolische signalen verzwakken.

Resultaten en Betekenis

• Prestaties: De modellen presteren nauwelijks beter dan een willekeurige baseline (ongeveer 33% nauwkeurigheid voor 3 mogelijke antwoorden).
  • Qwen en Gemma neigen naar een degeneratieve strategie: "altijd 1" voorspellen.
  • LLaMA vertoont een bijna uniforme verdeling (willekeurig gokken).
• Implicaties voor Interpretatie: Dit onderzoek toont aan dat hoge nauwkeurigheid op complexe taken een vals gevoel van veiligheid kan geven; de fundamentele mechanica voor symbolische precisie is kwetsbaar.
• Implicaties voor Robuustheid: Het feit dat schaling en instructie-tuning het probleem verergeren of niet oplossen, suggereert dat huidige architecturen niet ontworpen zijn om lage-niveau orthografische informatie betrouwbaar te behouden tot het output-stadium.
• Toekomstige Richtingen: Er is behoefte aan nieuwe ontwerpstategieën die ervoor zorgen dat informatie niet alleen wordt gecodeerd, maar ook betrouwbaar wordt gebruikt. Dit vereist mogelijk architecturale wijzigingen of trainingsdoelen die de onderdrukking van correcte signalen in late lagen tegengaan.

Conclusie: Het paper onthult dat LLMs niet "niet kunnen tellen" omdat ze de informatie missen, maar omdat hun interne computationele circuit het correcte antwoord actief onderdrukt voordat het de output bereikt. Dit is een fundamenteel structureel probleem dat niet opgelost wordt door simpelweg het model groter te maken.