Fragile Reasoning: A Mechanistic Analysis of LLM Sensitivity to Meaning-Preserving Perturbations

Probleemstelling

Grote Taalmodellen (LLMs) presteren indrukwekkend op wiskundige redeneerbenchmarks zoals GSM8K, met nauwkeurigheden die vaak boven de 75% liggen. Echter, er is een groeiende twijfel of deze prestaties voortkomen uit echt wiskundig begrip of uit breekbare patroonherkenning op oppervlakkige kenmerken. Het paper identificeert een kritiek probleem: hoewel modellen goed presteren op standaardtests, zijn ze opvallend kwetsbaar voor betekenisbehoudende perturbaties (meaning-preserving perturbations).

De onderzoekers tonen aan dat triviale wijzigingen, zoals het vervangen van personennamen of het herschrijven van getalnotaties (bijv. "$5" naar "5 dollars"), de antwoorden van LLMs aanzienlijk kunnen veranderen. Zelfs bij open-weight modellen met vergelijkbare grootte en trainingsparadigma's leidt dit tot "flip-rates" (het omkeren van een correct antwoord naar een fout antwoord) van 28,8% tot 45,1%. Het centrale vraagstuk is niet alleen dat deze fouten optreden, maar waar en hoe ze mechanistisch in de interne werking van het model ontstaan.

Methodologie

De auteurs introduceren een nieuw diagnostisch raamwerk genaamd Mechanistic Perturbation Diagnostics (MPD). De methodologie bestaat uit drie fasen:

1. Dataset Constructie: Er werd een dataset van 677 geldige probleemparen uit GSM8K samengesteld. Elk paar bestaat uit een origineel probleem en een variant met betekenisbehoudende perturbaties:
   • Naamvervanging: Alle personennamen worden vervangen door willekeurige alternatieven.
   • Getalnotatie-parafraase: Numerieke expressies worden herschreven (bijv. "60%" naar "60 percent").
2. Paired Robustness Evaluation: Drie open-weight instructiemodellen werden getest: Mistral-7B, Llama-3-8B en Qwen2.5-7B. Een "flip" wordt gedefinieerd als een geval waarin het model het originele probleem correct oplost, maar de perturbatievariant fout.
3. Mechanistische Analyse: Voor de geflipste samples worden vier technieken toegepast om de interne oorzaken te traceren:
   • Logit Lens: Om de laag te identificeren waar de voorspellingen van het originele en het perturbatie-input voor het eerst divergeren.
   • Activation Patching: Het vervangen van verborgen staten in de perturbatie-forward pass door die van de correcte forward pass om te testen of fouten lokaal te herstellen zijn.
   • Component Ablation: Het uitschakelen van specifieke sublagen (Attention of MLP) om hun causale bijdrage aan de fout te bepalen.
   • Cascading Amplification Index (CAI): Een nieuwe metriek die kwantificeert of divergentie tussen de twee inputs zich door de lagen van het model versterkt (amplificeert) of afneemt.

Belangrijkste Bijdragen

1. Mechanistische Fouten-Taxonomie: De auteurs stellen een classificatiesysteem voor dat fouten indeelt in drie kwalitatief verschillende categorieën:
   • Lokaal (Localized): Fouten zijn beperkt tot specifieke lagen en kunnen worden hersteld.
   • Gedistribueerd (Distributed): Fouten zijn verspreid over het netwerk en moeilijk te lokaliseren.
   • Verstrengeld (Entangled): Fouten zijn complex verweven tussen componenten (voornamelijk MLP) en lagen.
2. Cross-Model Vergelijking: Het paper toont aan dat modellen met vergelijkbare parameters (7B-8B) fundamenteel verschillende interne foutenpatronen vertonen, ondanks hun gelijke prestaties op benchmarks.
3. De CAI-metriek: De Cascading Amplification Index wordt geïntroduceerd als een superieure voorspeller voor falen vergeleken met de "eerste divergentie-laag", vooral voor modellen met gedistribueerde en lokale fouten (AUC tot 0,679).
4. MPD Framework: Een herbruikbare diagnostische pijplijn die logit lens, patching, ablatie en CAI combineert voor elk transformer-model.

Resultaten

De analyse onthult opvallende verschillen tussen de drie onderzochte modellen:

• Mistral-7B: Toont de hoogste flip-rate (45,1%), vooral gevoelig voor getalnotaties. De fouten zijn gedistribueerd: ze zijn moeilijk te lokaliseren (slechts 5,0% herstel via patching) en worden voornamelijk veroorzaakt door Attention-heads in midden- en late lagen, maar de effecten zijn redundant gecodeerd.
• Llama-3-8B: Heeft een gemiddelde flip-rate (33,5%) maar vertoont lokale fouten. Deze zijn zeer herstelvriendelijk: 71,7% van de fouten kon worden gecorrigeerd door activatie-patching op specifieke lagen. De divergentie begint later dan bij Mistral.
• Qwen2.5-7B: Heeft de laagste flip-rate (28,8%) maar vertoont een uniek verstrengeld patroon. Er is 0% herstel via patching. In tegenstelling tot de andere modellen zijn hier de MLP-sublagen (in plaats van Attention) de dominante oorzaak van de fouten.

Belangrijke bevindingen:

• Geflipste samples divergeren significant eerder in het netwerk dan stabiele samples (p < 0,05).
• Getalnotatie-parafraase is consequent verstorender dan naamvervanging.
• Herstel-experimenten: Gerichte interventies bevestigen de taxonomie.
  • Lokaal (Llama-3): Layer Fine-tuning en Steering Vectors herstellen respectievelijk 11,3% en 12,2% van de fouten.
  • Verstrengeld (Qwen) & Gedistribueerd (Mistral): Herstel is minimaal (5,2% - 7,2%). ROME-editing op Qwen resulteerde zelfs in negatief herstel (-1,1%), wat aantoont dat verstrengelde fouten resistent zijn tegen lokale ingrepen.

Betekenis en Conclusie

Dit paper biedt een diepgaand inzicht in de kwetsbaarheid van LLM-redenering. Het belangrijkste inzicht is dat "kwetsbaarheid voor redenering" geen monolithisch fenomeen is, maar zich manifesteert via architectuurspecifieke foutmodi.

De studie concludeert dat:

1. Hoge benchmarknauwkeurigheid niet garandeert dat een model robuust redeneert.
2. De interne dynamiek van fouten (lokaal vs. gedistribueerd vs. verstrengeld) bepaalt hoe moeilijk een model te repareren is.
3. De voorgestelde MPD-framework en CAI-metriek essentiële tools zijn voor het diagnosticeren van deze kwetsbaarheden.

De bevindingen suggereren dat toekomstige verbeteringen in redeneermodellen niet alleen gericht moeten zijn op meer data of grotere modellen, maar ook op het veranderen van de interne architectuur om "verstrengelde" of "gedistribueerde" foutpatronen te voorkomen, en dat interventiestrategieën moeten worden afgestemd op het specifieke mechanische profiel van het model.