Are Arithmetic Heuristic Neurons Form-Invariant? A Mechanistic Analysis of Symbols, Text, and Code in LLMs

Technische Samenvatting: Zijn Arithmetische Heuristische Neuronen Vorm-Invariant?

Probleemstelling
Large Language Models (LLM's) slagen vaak bij één formulering van een wiskundig probleem, terwijl ze falen bij een equivalente formulering (bijv. het oplossen van een symbolische vergelijking, maar falen bij een natuurlijke taal woordprobleem met dezelfde operanden). Hoewel recente studies naar mechanistische interpreteerbaarheid suggereren dat rekenen in LLM's voortkomt uit een "zak met heuristieken" die gecodeerd zijn door ijle (sparse) MLP-neuronen, blijft het onduidelijk of deze interne circuits specifiek zijn voor een bepaalde invoerformaat (symbolisch, natuurlijke taal, of code) of of ze vorm-invariant zijn. Het is specifiek onbekend of prestatieverschillen tussen formaten voortkomen uit verschillende interne circuits of louter uit verschillende activatietoestanden van een gedeeld circuit.

Methodologie
De auteurs voerden een mechanistische analyse uit over drie Llama-3 modellen (8B, 3.2-3B, en 3.2-1B), waarbij de focus primair lag op Llama-3-8B. De studie maakte gebruik van drie semantisch equivalente prompt-formaten: symbolische rekenkunde, Python-code, en natuurlijke taal woordproblemen.

1. Identificatie van Neuronen: De auteurs gebruikten een tweefasige pipeline om arithmetische heuristische neuronen te identificeren:

   • Fase 1 (Attribution Patching): Gebruikt om de top 2.000 kandidaat-neuronen per laag efficiënt te rangschikken op basis van hun indirecte effect op de output-waarschijnlijkheid.
   • Fase 2 (Activation Patching): Gebruikt om de top-kandidaten opnieuw te rangschikken met behulp van exacte causale interventies, waarbij de top 200 neuronen per laag werden behouden voor analyse.
   • Laagselectie: De analyse werd beperkt tot lagen $\ell \ge 16$ en het laatste (antwoord) token, waar lineaire probes bevestigden dat arithmetische berekening betrouwbaar naar voren kwam.

2. Circuit Validatie: Om te bepalen of de geïdentificeerde neuronen een functioneel circuit vormen, voerden de auteurs de volgende tests uit:

   • Keep-Only Interventies: Het ableren van alle niet-gedeelde neuronen om sufficiëntie (voldoendeheid) te testen.
   • Knockout Interventies: Het ableren van enkel de gedeelde neuronen om noodzakelijkheid te testen.
   • Getrouwheidsmeting (Faithfulness Metric): Het gemeten van het fractie van de prestatiekloof die wordt hersteld ten opzichte van het volledige model en een volledig geableerd model.

3. Cross-Format Activatie Transfer: De auteurs transfiereerden de activaties van gedeelde neuronen van een succesvolle uitvoering in één formaat (donor) naar een mislukte uitvoering in een ander formaat (target) om te bepalen of falen voortkomt uit activatietoestanden in plaats van circuitverschillen.

4. Heuristische Classificatie: Gedeelde neuronen werden geclassificeerd in heuristische families (bijv. operandengebied, resultaatmodulus, patroonherkenning) om functionele consistentie over formaten te beoordelen.

Belangrijkste Resultaten

• Compact Gedeeld Circuit: De intersectie van top-gerangschikte arithmetische neuronen over de symbolische, code, en woordprobleem-formaten is niet-monotoon en piekt bij ongeveer 50–100 neuronen per laag. Dit duidt op een compact kerncircuit dat gedeeld wordt tussen de formaten, terwijl lager gerangschikte neuronen steeds meer formatspecifiek zijn.
• Noodzakelijkheid en Sufficiëntie:
  • Sufficiëntie: Het behouden van enkel het gedeelde circuit (Keep-Only) herstelde bijna de volledige arithmetische prestatie voor optellen en aftrekken (nabij het plafond van het volledige model) met 100–500 neuronen per laag.
  • Noodzakelijkheid: Het ableren van enkel het gedeelde circuit (Knockout) veroorzaakte een snelle degradatie in getrouwheid, terwijl het ableren van een even grote willekeurige set neuronen een verwaarloosbaar effect had.
• Herstel van Activatietoestand: Het transfereren van de activaties van gedeelde neuronen van een succesvolle donor-formaat naar een mislukte target-formaat herstelde meer dan 97% van de foutieve voorspellingen voor optellen en aftrekken, en 80–90% voor vermenigvuldigen en delen. Het transfereren van willekeurige neuronen leverde bijna nul herstel op. Dit bevestigt dat prestatievariaties tussen formaten voortkomen uit verschillen in activatietoestanden, en niet uit afzonderlijke circuits.
• Functionele Consistentie: Gedeelde neuronen behoren consistent tot dezelfde heuristische families over alle drie de formaten. De paarsgewijze Jaccard-gelijkenis van de heuristische toewijzingen bedroeg gemiddeld 0,75, en de drieweg-gelijkenis gemiddeld 0,64, wat aanzienlijk hoger is dan bij toeval.

Betekenis en Claims
Het artikel beweert aan te tonen dat arithmetische berekening in LLM's grotendeels vorm-invariant is op neuronniveau. De bevindingen suggereren dat:

1. Wiskundig equivalente problemen over symbolische, natuurlijke taal en code-formaten dezelfde ijle set causale arithmetische heuristische neuronen rekruteren.
2. Prestatievariantie tussen formaten primair wordt gedreven door de activatietoestanden van dit gedeelde circuit, in plaats van de rekrutering van afzonderlijke, formatspecifieke circuits.
3. Mechanistische circuits geïdentificeerd in één representatie (bijv. symbolische rekenkunde) generaliseren over invoermodaliteiten.

De auteurs houden een bescheiden reikwijdte aan door te vermelden dat hun analyse beperkt is tot elementaire gehele getallenrekenkunde in basis Llama-modellen en zich uitsluitend richt op MLP-neuronen bij het laatste token. Zij erkennen dat het uitbreiden van deze bevindingen naar complexe redenering, instructie-getunede modellen of attention-gebaseerde routingmechanismen een richting is voor toekomstig werk.