Failure by Interference: Language Models Make Balanced Parentheses Errors When Faulty Mechanisms Overshadow Sound Ones

Technische Samenvatting: Falen door Interferentie in Taalmodellen

Probleemstelling
Ondanks aanzienlijke vooruitgang in codegeneratiecapaciteiten, gedreven door de toename van modelgrootte en trainingsdata, blijven Large Language Models (LMs) worstelen met fundamentele syntactische taken, specifiek het genereren van gebalanceerde haakjes. Dit falen houdt stand, zelfs in state-of-the-art modellen zoals GPT-4 en Phi-3. De kernuitdaging die in dit werk wordt aangepakt, is het begrijpen van de interne mechanismen die deze fouten veroorzaken. Terwijl eerder onderzoek probeerde de volledere computationele circuits van LMs te reverse-engineeren, betogen de auteurs dat zelfs eenvoudige taken complexe "zakken" (bags) van berekeningen bevatten, wat bottom-up reverse engineering moeilijk maakt. Het artikel stelt dat het falen niet te wijten is aan een gebrek aan correcte mechanismen, maar aan een falen van interferentie waarbij foutieve mechanismen de gezonde mechanismen overschaduwen.

Methodologie
De studie hanteert een top-down interpreteerbaarheid benadering om zeven LMs te analyseren die variëren van 124M tot 7B parameters (inclusief GPT-2 varianten, CodeLlama-7b, Llama2-7b en Pythia-6.9b). De methodologie bestaat uit drie primaire fasen:

1. Taakdecompositie en Mechanisme-identificatie:
   De taak van gebalanceerde haakjes wordt gedecomponeerd in vier sub-taken op basis van het aantal sluitende haakjes ($N=1, 2, 3, 4$) dat vereist is, zoals bepaald door tokenizer-gedrag. De auteurs maken gebruik van de "logit lens"-techniek om de activaties van individuele componenten (attention heads en Feed-Forward neuronen) te projecteren naar de vocabulaire-ruimte.

   • Algoritme 1 meet taakcorrectheid door te controleren of de logit-projectie van een component de hoogste waarde oplevert voor de grondwaarheid-token vergeleken met distractoren.
   • Algoritme 2 identificeert token-promotie door te controleren of een component een doel-token boven een specifieke drempelwaarde tilt.

2. Karakterisering van Mechanismen:
   De auteurs categoriseren componenten in "gezonde mechanismen" (betrouwbaar, generaliseerbaar over sub-taken) en "foutieve mechanismen" (onbetrouwbaar, introducerend ruis). Ze analyseren de precisie en recall van deze componenten en observeren dat LMs zwaar leunen op "ruizige promotie" (noisy promotion), waarbij componenten activeren voor zowel correcte als incorrecte tokens, in plaats van te vertrouwen op zeer selectieve, precieze mechanismen.

3. RASTEER (Ranking and Steering):
   Gemotiveerd door de bevinding dat fouten ontstaan door het overschaduwen van gezonde mechanismen door foutieve mechanismen, stellen de auteurs RASTEER voor. Deze methode:

   • Rankt LM-componenten op basis van hun betrouwbaarheid (gebruikmakend van metrieken zoals recall, precisie en F1-score) en generaliseerbaarheid over sub-taken.
   • Stuurt (steers) het model door de activatie van de hoogst gerankte componenten (attention heads of FF-neuronen) te schalen met een multiplier $\alpha \in [1.1, 2.0]$ voordat ze aan de residual stream worden toegevoegd. Dit versterkt de bijdrage van betrouwbare componenten aan de uiteindelijke logits.

Belangrijkste Bijdragen

• Mechanistisch Inzicht: Het artikel onthult dat LMs niet vertrouwen op één enkel mechanisme voor syntactische taken, maar op een diverse set van componenten met variërende betrouwbaarheid. Cruciaal is dat het identificeert dat LMs niet falen omdat gezonde mechanismen ontbreken, maar omdat foutieve mechanismen ruis introduceren die de gezonde mechanismen overschaduwen.
• Ruizige Promotie: De studie karakteriseert een "ruizige promotie"-strategie waarbij componenten vaak zowel correcte als distractor-tokens promoten, waarbij de correcte token een sterkere maar niet exclusieve boost ontvangt.
• RASTEER Framework: De auteurs introduceren een sturingsmethode die systematisch betrouwbare componenten identificeert en versterkt zonder de volledige causale circuits te hoeven reconstrueren.
• Vergelijking met Circuit Baseline: Het werk contrasteert RASTEER met een "circuit baseline" afgeleid van mechanistische interpreteerbaarheid (activation patching). Het demonstreert dat terwijl circuit discovery effectief is voor grotere modellen, het faalt in het bieden van consistente sturingsstrategieën voor kleinere modellen, terwijl RASTEER succesvol is voor alle groottes.

Resultaten

• Prestaties Gebalanceerde Haakjes: RASTEER verbetert de prestaties op de taak van gebalanceerde haakjes aanzienlijk. Voor verschillende modellen (bijv. GPT-2 XL) werd de nauwkeurigheid op de drie- en vier-haakjes sub-taken verhoogd van 0% naar ongeveer 100% door alleen de top-10 tot top-60 attention heads te sturen.
• Effectiviteit van Componenten: Het sturen van attention heads bleek aanzienlijk effectiever dan het sturen van FF-neuronen. Het promoten van de hoogst gerankte attention heads bereikte resultaten die vergelijkbaar zijn met gezamenlijke promotie, terwijl het alleen promoten van FF-neuronen weinig tot geen verbetering opleverde, met name voor kleinere modellen.
• Generaliseerbaarheid:
  • Codegeneratie: Sturen voor de taak van haakjes degradeerde de algemene programmeervaardigheden op de HumanEval benchmark niet. Sterker nog, Llama2-7b zag een bescheiden verbetering van 5,49%.
  • Arithmetisch Redeneren: De methode generaliseerde naar een taak van rekenkundig redeneren met twee operanden, waarbij prestatiewinsten tot 20,25% werden behaald (bijv. voor Pythia-6.9b bij vermenigvuldiging).
• Falen van de Circuit Baseline: De circuit baseline slaagde er niet in om de prestaties op kleinere modellen (GPT-2 varianten) te verbeteren en in sommige gevallen veroorzaakte het een daling in prestaties naarmate er meer heads werden gepromote, wat suggereert dat componenten die als causaal belangrijk voor tussenliggende stappen worden geïdentificeerd, instabiliteit kunnen introduceren wanneer ze worden gestuurd.

Betekenis en Claims
Het artikel claimt dat het voortbestaan van syntactische fouten in LMs een resultaat is van interferentie tussen concurrerende interne mechanismen, in plaats van een fundamenteel onvermogen om de taak te leren. Door te identificeren dat er een kleine subset van zeer betrouwbare, generaliseerbare componenten binnen het model bestaat, demonstreren de auteurs dat prestaties kunnen worden hersteld door deze specifieke signalen te versterken.

De betekenis van dit werk ligt in de verschuiving van het proberen volledig te reverse-engineeren van complexe circuits naar een functionele benadering van "sturen" op basis van de betrouwbaarheid van componenten. De auteurs merken op dat hoewel RASTEER effectief is, de studie steunt op synthetische data en uitgaat van een eenvoudig additief motief voor modelberekening (waarbij de uiteindelijke logit de som is van de bijdragen van componenten). Zij erkennen dat deze aanname mogelijk niet-additieve mechanismen over het hoofd ziet, zoals actieve ruisonderdrukking, wat een openstaande richting voor toekomstig onderzoek blijft. Het werk suggereert dat functionele interpreteerbaarheid — gericht op hoog-impact componenten voor praktische interventie — een levensvatbaar en onderbelicht pad is voor het verbeteren van modelprestaties zonder hertraining.