Technische Samenvatting: Manifold-Gestuurde Aandachtsturing (MAGS)

Probleemstelling

Grote Taalmodellen (LLMs) beschikken vaak over de onderliggende kennis die vereist is voor complexe redeneertaken, maar slagen er frequent niet in om dit vermogen betrouwbaar tot uiting te brengen tijdens de generatie. Hoewel herhaaldelijk bemonsteren van hetzelfde model en dezelfde prompt zowel correcte als incorrecte oplossingen kan opleveren, geven procesniveau-annotaties aan dat fouten doorgaans ontstaan bij tussenstappen in het redeneren en niet door een gebrek aan kennis aan het einde.

Bestaande methoden voor sturing van activaties tijdens de inferentie proberen deze gedragingen te corrigeren door vaste, vooraf berekende correctievectoren toe te passen op de residustroom of de uitvoer van de aandachtslagen. Deze benaderingen lijden echter aan een kritiek structureel tekortkoming ten opzichte van redeneertaken:

1. Ondiscriminerende Perturbatie: Ze passen correcties uniform toe, ongeacht de huidige staat van het model. Dit riskeert het corrumperen van stappen die al correct zijn, terwijl het falen om fouten die zich nog niet hebben gemanifesteerd, te onderscheppen.
2. Statische Aard: Ze missen mechanismen om te detecteren wanneer een redeneertraject afwijkt naar een fouttoestand, en behandelen alle generatiestappen als evenzeer in behoefte aan correctie.

De kernhypothese van dit werk is dat redeneerfouten zich manifesteren als een gestructureerde drift in een laagdimensionale deelruimte van de uitvoerruimten van individuele aandachtkoppen. Correcte en incorrecte trajecten bezetten geometrisch scheidbare gebieden, en de overgang van correct naar incorrect gedrag volgt een specifieke, laag-rang richting.

Methodologie: Manifold-Gestuurde Aandachtsturing (MAGS)

MAGS is een adaptieve, trajectbewuste interventie tijdens de inferentie die de uitvoer van aandachtkoppen alleen stuurt wanneer een afwijking van een "correctheidsmanifold" wordt gedetecteerd. De methode werkt in drie fasen:

1. Constructie van Contrastieve Foutmanifold

Tijdens een trainingsfase analyseert het systeem contrastieve paren van redeneersporen (zelfde probleem, één correcte oplossing, één incorrecte) om de geometrische structuur van fouten te leren.

• Per-Kop Verschilvectoren: Voor elke aandachtkop $(l, h)$ berekent het systeem de gemiddelde activatie voor correcte sporen ($\mu_c$) en incorrecte sporen ($\mu_e$). De verschilvector $\delta = \mu_e - \mu_c$ isoleert de directionele verschuiving die toe te schrijven is aan fouten, en annuleert probleemspecifieke kenmerken.
• Subruimte Leren: Door deze verschilvectoren over meerdere problemen te stapelen en Principal Component Analysis (PCA) uit te voeren, ontleedt MAGS een laagdimensionale basis $B$ (de top-$k$ singuliere vectoren). Deze basis overspant de "foutsubruimte"—de richtingen in de uitvoerruimte van de kop waar de afwijking van correct naar incorrect de grootste variantie heeft.
• Globale Referentie: Een globale centroid $\mu_c$ wordt berekend uit alle correcte sporen om te dienen als referentiepunt tijdens de inferentie.

2. Nabijheidsgebaseerde Foutdetectie

Tijdens de inferentie bewaakt MAGS de uitvoer van geselecteerde aandachtkoppen in real-time.

• Nabijheidsscore: Voor elke tokenstap $t$ berekent het systeem de genormeerde kwadratische norm van de projectie van de gecentreerde kopuitvoer op de geleerde foutsubruimte:
  $$d_t = \| B(a_t - \mu_c) \|^2$$
  Een hoge score geeft aan dat de activatie van de kop significant is afgedreven richting de foutmanifold.
• Dynamische Triggering: Een per-kop drempelwaarde $\tau$ wordt gekalibreerd op correcte sporen (bijvoorbeeld ingesteld op een hoog percentiel van scores van correcte trajecten). Een correctie wordt alleen toegepast als $d_t > \tau$. Dit zorgt ervoor dat stappen die zich al op het correcte traject bevinden, ongestoord blijven.

3. Gerichte Correctie

Wanneer een trigger afgaat, past MAGS een correctie in plaats toe op de uitvoer van de aandachtkop voordat deze wordt doorgegeven aan de outputprojectie van de laag:
$$\tilde{a}_t = a_t - \alpha B^\top B (a_t - \mu_c)$$
waarbij $\alpha \in (0, 1]$ een hyperparameter voor stuurkracht is.

• Geometrische Interpretatie: Deze operatie projecteert de afwijking $(a_t - \mu_c)$ op de foutsubruimte en trekt deze af, waardoor het foutcomponent effectief wordt verwijderd terwijl alle informatie in het orthogonale complement (de $(d_h - k)$ dimensies die niet gerelateerd zijn aan de foutmanifold) behouden blijft.
• Informatiebehoud: De methode garandeert dat informatie die niet gerelateerd is aan de foutmanifold behouden blijft, waardoor de "overcorrectie" die bij statische methoden wordt waargenomen, wordt vermeden.

Multi-Objectief Extensie (MAGSu)

Om conflicterende doelen aan te pakken (bijvoorbeeld syntactische validiteit versus chemische bindingsaffiniteit), stellen de auteurs MAGSu voor, wat onafhankelijke manifolds leert voor elk doel en correcties toepast via disjuncte sets van koppen, waardoor interferentie tussen stuurdoelen wordt voorkomen.

Belangrijkste Bijdragen

1. Validatie van Hypothese: Het artikel levert empirisch bewijs dat redeneerfouten zich manifesteren als gestructureerde drift in laagdimensionale deelruimten van specifieke aandachtkoppen. Diagnostische experimenten tonen aan dat correcte en incorrecte trajecten sterk scheidbaar zijn door deze deelruimten, waarbij foutsignalen schaars en geconcentreerd zijn in specifieke koppen.
2. Adaptief Interventiemechanisme: MAGS introduceert een dynamische, nabijheidsgebaseerde trigger die correcties alleen toepast wanneer een kop afwijkt naar de foutsubruimte. Dit staat in contrast met statische methoden die vaste vectoren toepassen ongeacht de huidige activatiestoestand.
3. Empirische Superioriteit: De methode presteert consequent beter dan ongestuurde baselines en bestaande statische sturingsbenaderingen (ITI, Angular Steering) over diverse benchmarks.

Experimentele Resultaten

De auteurs hebben MAGS geëvalueerd op drie model families (Llama-3.1-8B-Instruct, Gemma-4-E4b-it en GPT-OSS-20B) over drie domeinen:

• Wiskundig Redeneren (MATH-500, GSM8K): MAGS behaalde de grootste winst op MATH-500, met een verbetering van de nauwkeurigheid met +5,2% ten opzichte van de ongestuurde Llama-baseline en +3,4% ten opzichte van de ongestuurde Gemma-baseline. De verbetering was het meest uitgesproken bij taken met meerstapsafleidingen waar foutopstapeling waarschijnlijk is.
• Codegeneratie (HumanEval, MBPP): MAGS verbeterde HumanEval pass@1 met ongeveer 4 punten ten opzichte van ongestuurde baselines. Opmerkelijk is dat statische methoden (ITI, Angular Steering) de prestaties bij codegeneratie verslechterden, waarschijnlijk door het verstoren van syntactische coherentie, terwijl MAGS dit vermijdt door correcties op correcte stappen te onderdrukken.
• Moleculaire Generatie (SMILES): Bij een multi-objectief taak die zowel syntactische validiteit als hoge bindingsaffiniteit vereiste, slaagde MAGSu erin beide metrieken gelijktijdig te verbeteren. In tegenstelling hiermee verbeterde ITI de validiteit maar verslechterde het de bindingsaffiniteit aanzienlijk, wat de interferentie demonstreert die wordt veroorzaakt door verweven doelen in statische sturing.
• Vloeiendheid en Overhead: MAGS behield perplexiteitsniveaus vergelijkbaar met ongestuurde baselines, wat aangeeft dat het de generatiedistributie niet vervormt. De rekenkundige overhead is verwaarloosbaar en wordt gedomineerd door $O(K \cdot k \cdot d_h)$ operaties per stap, waarbij $K$ het aantal bewaakte koppen is.

Betekenis en Beweringen

Het artikel stelt dat MAGS activatiesturing herformuleert als een driftdetectieprobleem in plaats van een constante correctietaak. Door een laag-rang basis te identificeren die het begin van fouten voorspelt, biedt MAGS een interpreteerbare geometrische structuur die methoden op basis van scalare grootte missen.

De auteurs stellen het volgende:

1. Correctheidsmanifolds zijn Algemeen: Het bestaan van laagdimensionale deelruimten die correct en incorrect gedrag scheiden, lijkt een algemeen kenmerk te zijn van de LLM-aandachtsgometrie, toepasbaar op redeneren, coderen en wetenschappelijke generatie.
2. Trajectbewustzijn is Kritiek: Ondiscriminerende correctie verstoort geldige redeneerstappen. Het vermogen om alleen in te grijpen wanneer een afwijking wordt gedetecteerd, is de primaire drijvende kracht achter de superieure prestaties van MAGS en de robuustheid tegenover hyperparametergevoeligheid.
3. Geometrische Beperkingen Voorkomen Overcorrectie: Door activaties terug te projecteren op het complement van de foutsubruimte, behoudt MAGS de intrinsieke capaciteiten van het model terwijl het alleen de foutspecifieke componenten verwijdert.

Het werk concludeert dat MAGS, hoewel het een set van contrastieve sporen vereist voor manifold-aanpassing, een robuuste, laag-overhead oplossing biedt voor het verbeteren van de redeneerconsistentie in LLM's, en dat het statische interventies overtreft die geen rekening houden met de dynamische aard van het generatietraject.