Technische Samenvatting: Geometrisch Adaptieve Verklarer voor Getrouwe Woordenboekgebaseerde Interpretatie onder Distributieverandering

Probleemstelling

Mechanistische interpretatie is afhankelijk van woordenboekgebaseerde verklaringen, zoals Sparse Auto-encoders (SAEs) en Transcoders, om verborgen activaties van neurale netwerken te ontleden in schaarse, interpreteerbare feature-richtingen. Een kritieke vereiste voor deze verklaringen is getrouwheid: de verklarer moet de berekeningen die het model daadwerkelijk uitvoert, nauwkeurig weerspiegelen.

Echter, bestaande verklaringen worden doorgaans getraind op in-distributie (ID) data. Wanneer een model out-of-distributie (OOD) invoer tegenkomt, verandert de geometrische structuur van zijn verborgen activaties. Het artikel identificeert dat distributieverandering de OOD-actieve subruimte (de richtingen die het model actief gebruikt) roteert ten opzichte van de ID-getrainde verklarer-subruimte. Deze misalignatie, de getrouwheidsgap genoemd, zorgt ervoor dat ID-getrainde woordenboeken OOD-activaties niet getrouw kunnen reconstrueren. Eerdere werken hebben dit aangepakt via heuristische hertraining of residu-modulen, maar missen een principiële diagnose van de onderliggende geometrische misalignatie of een methode om deze te corrigeren zonder volledige hertraining.

Methodologie: Geometrisch Adaptieve Verklarer (GAE)

De auteurs stellen de Geometrisch Adaptieve Verklarer (GAE) voor, een gesloten-vorm, post-hoc methode die een ID-getrainde verklarer opnieuw aligneert met de OOD-actieve subruimte, uitsluitend gebruikmakend van ongelabelde OOD-activaties. GAE werkt zonder gradiëntupdates of iteratieve training.

Theoretische Grondslag

Het artikel formaliseert het probleem met behulp van de tweede-momentenmatrix van verborgen activaties, $M_e = \mathbb{E}[h(X)h(X)^\top]$.

1. Getrouwheidsgap ($\Delta$): Gedefinieerd als de Frobenius-afstand tussen de subruimte van de verklarer ($\Pi_{dec}$) en de OOD-actieve subruimte ($\Pi_{OOD}$).
2. Geometrisch Mechanisme: De auteurs bewijzen (Propositie 1) dat de getrouwheidsgap van een ID-getrainde verklarer van bovenaf begrensd wordt door de grootte van de tweede-momentenverschuiving ($\|M_{OOD} - M_{ID}\|_F$).
3. Beheersing van Degradatie: Zij bewijzen verder (Propositie 2) dat de verklarer-afhankelijke component van OOD-getrouwheidsverlies nauwkeurig wordt gecontroleerd door het kwadraat van de getrouwheidsgap. Het verkleinen van de gap is derhalve noodzakelijk en voldoende voor het verbeteren van OOD-getrouwheid.

Algorithmus

GAE past het woordenboek aan in twee stappen:

1. Stap 1: Subruimte Rotatie (Orthogonale Procrustes):
   Het ID-getrainde woordenboek $W_{dec}^{ID}$ wordt geroteerd om zijn kolomruimte te aligneren met de geschatte OOD-actieve subruimte $\hat{\Pi}_{OOD}$ (afgeleid van de top-$r$ eigenvectoren van de OOD tweede-momentenmatrix). De rotatiematrix $T^\star$ wordt gekozen om de afstand tot het oorspronkelijke woordenboek te minimaliseren, waarbij de oorspronkelijke feature-structuur zoveel mogelijk wordt behouden. Deze stap elimineert de getrouwheidsgap ($\Delta = 0$) per constructie.
2. Stap 2: Geconstrueerde Decoder Herfitting:
   Waar Stap 1 de subruimte aligneert, optimaliseert het niet de reconstructie op steekproefniveau. Stap 2 past de decodergewichten aan via een gesloten-vorm geconstrueerde ridge-regressie. Deze stap minimaliseert de reconstructiefout op OOD-activaties terwijl het afwijkingen van het in Stap 1 geroteerde woordenboek bestraft en garandeert dat de decoder binnen de OOD-actieve subruimte blijft.

De volledige pijplijn is analytisch en vereist geen backpropagatie.

Belangrijkste Bijdragen

1. Geometrische Diagnose: Het artikel identificeert de getrouwheidsgap als het geometrische mechanisme dat OOD-getrouwheidsdegradatie in woordenboekgebaseerde verklaringen drijft. Het biedt theoretische grenzen die aantonen dat deze gap groeit met de tweede-momentenverschuiving en direct het reduceerbare deel van OOD-getrouwheidsverlies controleert.
2. GAE Algorithmus: Een trainingsvrije, gesloten-vorm methode die het woordenboek van de verklarer opnieuw aligneert met de OOD-actieve subruimte. Het biedt een theoretische garantie (Stelling 1) dat de aangepaste verklarer strikt verbetert ten opzichte van de niet-aangepaste ID-verklarer, waarbij de verbetering kwadratisch groeit met de initiële misalignatie.
3. Empirische Superieure: GAE komt overeen met of overtreft alle trainingsgebaseerde baselines (inclusief volledige hertraining vanaf nul en fine-tuning) in causale getrouwheid over meerdere modellen en OOD-scenario's, ondanks dat het nul gradiëntberekeningen vereist en slechts ongeveer 2.000 ongelabelde OOD-steekproeven.

Experimentele Resultaten

De auteurs evalueerden GAE op GPT-2 Small en Pythia-1.4B met zowel Transcoders als Top-K SAE's. De evaluatie omvatte drie soorten distributieveranderingen:

• Temporeel: Webtekst verzameld na de cutoff voor pretraining van het model (FineWeb).
• Domein: Financiële rapporten met gespecialiseerde vocabulaire (Edgar).
• Adversariaal: Hallucinaties inducerende prompts (HaluEval).

Prestatiemetingen:

• Causale Getrouwheid: Gemeten via Genormaliseerde AOPC (nAOPC) en Genormaliseerde Comprehensiviteit (nComp).
• Kwaliteit van Reconstructie: Gemeten via Delta Cross-Entropy ($|\Delta CE|$).

Belangrijkste Bevindingen:

• GAE versus Trainingsgebaseerde Baselines: GAE presteerde beter dan methoden zoals Retrain (training vanaf scratch op OOD-data) en Finetune (warm-started fine-tuning) in de meerderheid van de scenario's. Bijvoorbeeld, op GPT-2 Transcoders onder adversariële verschuiving verbeterde GAE de nComp met 4,6% ten opzichte van de sterkste baseline (SAEBoost) en verlaagde het de reconstructiefout ($|\Delta CE|$) met 93%.
• Efficiëntie: Waar trainingsgebaseerde baselines verwerking van miljoenen tokens en uren aan GPU-tijd vereisten, voltooide GAE de aanpassing in minder dan 3 seconden (0,5s voor GPT-2, 2,9s voor Pythia-1.4B) met slechts één forward pass over 2.048 steekproeven.
• Validatie van Mechanisme: Ablatiestudies bevestigden dat Stap 1 (subruimte rotatie) de getrouwheidsgap succesvol dichtte, terwijl Stap 2 noodzakelijk was om causale coherentie (feature-attributie) te herstellen zonder de geometrische alignering te offeren.
• Casestudies: In circuit-attributietaken (bijvoorbeeld het voorspellen van "American" of "Henry") corrigeerde GAE de directionality van de decoder, waardoor geïdentificeerde features het model naar de juiste semantische klasse duwden, terwijl de vaste ID-verklarer vaak van de doelklasse afwees.

Betekenis en Claims

Het artikel claimt dat GAE een principiële, efficiënte en theoretisch onderbouwde oplossing biedt voor het probleem van OOD-getrouwheid in mechanistische interpretatie. Door het probleem te kaderen als een geometrische misalignatie in plaats van een data-dekkingprobleem, tonen de auteurs aan dat getrouwe verklaringen kunnen worden hersteld zonder de rekenkosten van hertraining.

De auteurs merken op dat GAE bijzonder significant is voor scenario's van adaptatie op het moment zelf waar implementatiedistributies dynamisch veranderen en hertraining onuitvoerbaar is. Zij erkennen nederig beperkingen, specifiek dat de methode afhankelijk is van een top-$r$ SVD-truncatie (waarbij residu-featureinformatie wordt weggegooid) en nog niet is geëvalueerd op grootschalige modellen. De resultaten suggereren echter dat geometrische heralignering een krachtige en onderbenutte hefboom is voor het behoud van robuustheid in interpretatie.