Technische Samenvatting: Het ontdekken van verwerkingsstrategieën van taalmodellen met Non-Negative Per-Example Fisher Factorisatie

Probleemstelling

Het begrijpen van de heuristieken en algoritmen die de werking van een taalmodel constitueren, is cruciaal voor veilige en betrouwbare inzet. Hoewel eerdere studies naar Transformer-circuits er succesvol in zijn geslaagd om interpreteerbare computationele grafen te identificeren voor specifieke, vooraf gespecificeerde gedragingen (bijv. indirect object identificatie), vereisen deze benaderingen dat onderzoekers de gedragingen van belang vooraf definiëren. Dit introduceert bias en brengt het risico met zich mee dat niet-intuïtieve strategieën van het model worden over het hoofd gezien.

Recente ongesuperviseerde methoden, zoals gradiëntclustering, proberen gedragingen van modellen te ontdekken door voorbeelden te groeperen op basis van de gradiënten van de loss met betrekking tot de modelparameters. Deze methoden kampen echter met twee primaire beperkingen:

1. Monogene Aanname: Ze opereren onder de aanname dat één enkel intern module het gedrag voor elk voorbeeld aanstuurt. In werkelijkheid zijn gedragingen van modellen vaak "polygeen", wat betekent dat ze gelijktijdig door meerdere factoren worden beïnvloed (bijv. ambigue contexten met meerdere mogelijke voortzettingen). Gradiëntclustering dwingt een enkele factor-toewijzing af, waardoor de complexiteit niet wordt gevangen.
2. Beperkte Scope van Gradiënten: Gradiënten van een enkele log-waarschijnlijkheid (of loss) vangen slechts een smalle doorsnede van de voorspellende distributie van het model op. Ze zijn bevooroordeeld naar de specifieke klasse die wordt voorspeld, waardoor ze minder geschikt zijn voor het vastleggen van factoren die voorspellingen over verschillende klassen heen beïnvloeden, met name in scenario's met een hoge entropie of meerdere klassen.

Methodologie: NPEFF

De auteurs introduceren NPEFF (Non-Negative Per-Example Fisher Factorization), een interpreteerbare methode ontworpen om polygene gedragsfactoren te ontdekken zonder deze vooraf te specificeren.

1. Per-Example Fisher (PEF) Matrices

In plaats van loss-gradiënten gebruikt NPEFF de Per-Example Fisher (PEF) matrix, $F(x)$, gedefinieerd als:
$$F(x) = \mathbb{E}_{y \sim p_\theta(y|x)} [\nabla_\theta \log p_\theta(y|x) \nabla_\theta \log p_\theta(y|x)^T]$$
De PEF is een positief semi-definite (PSD) matrix die de relatie legt tussen parameterperturbaties en veranderingen in de volledige voorspellende distributie van het model. In tegenstelling tot gradiënten, die zich richten op één uitkomst, legt de PEF de gevoeligheid vast over alle potentiële voorspellingen. Dit maakt het geschikt voor het analyseren van polygene gedragingen waarbij meerdere factoren de distributie beïnvloeden.

2. Efficiënte Berekening via Random Projecties

PEF-matrices zijn computationeel onhandelbaar voor moderne modellen vanwege hun omvang (kwintiljarden entries). Om dit aan te pakken, gebruiken de auteurs random projecties (Achlioptas, 2003) om de PEF te benaderen. Ze construeren een laag-dimensionale matrixrepresentatie (LRM-PEF) en passen random projecties toe om de dimensionaliteit te reduceren. Cruciaal is dat zij aantonen dat deze projecties kunnen worden "omgekeerd" met behulp van compressed sensing technieken (Donoho, 2006) om ijle (sparse) parameterruimte-vectoren te herstellen, wat de identificatie van specifieke modelrichtingen die corresponderen met gedragsfactoren mogelijk maakt.

3. Non-Negative Decompositie

De kern van NPEFF is een decompositie-algoritme dat een set PEF's benadert als een non-negatieve combinatie van rank-1 PSD-matrices:
$$\min \sum_{i=1}^m \| G_i^T G_i - \sum_{j=1}^C W_{ij} h_j h_j^T \|_F^2 \quad \text{onderworpen aan} \quad W_{ij} \geq 0$$
Hier vertegenwoordigt $h_j h_j^T$ de "pseudo-Fisher" van component $j$, en $W_{ij}$ zijn non-negatieve coëfficiënten. Deze formulering staat toe dat elk voorbeeld kan worden verklaard door een gewogen combinatie van meerdere factoren, wat polygeniteit direct modelleert. Het algoritme wisselt af tussen het updaten van coëfficiënten (met multiplicatieve updates vergelijkbaar met NMF) en het updaten van pseudo-Fisher vectoren (met gradiëntafdaling).

4. G-NPEFF Variant

Om de computationele kosten te verlagen, stellen de auteurs G-NPEFF voor, die hetzelfde decompositie-algoritme toepast op rank-1 matrices geconstrueerd uit de gradiënt van de log-waarschijnlijkheid van de voorspelde klasse/token. Hoewel goedkoper, is G-NPEFF minder effectief in het vastleggen van polygene factoren naarmate het aantal klassen toeneemt, omdat het bevooroordeeld blijft naar de dominante voorspelde klasse.

Belangrijkste Bijdragen en Resultaten

1. Ontdekking van Interpreteerbare Polygene Factoren

Door middel van menselijke en LLM-evaluaties op taken zoals sentimentanalyse (SST2), onderwerpidentificatie (Yahoo Answers Topics) en intentieclassificatie (CLINC150), tonen de auteurs aan dat NPEFF-componenten overeenkomen met interpreteerbare thema's (bijv. "vragen over snel gewichtsverlies" of "positieve beschrijvingen van acteurs").

• Polygeniteit: In tegenstelling tot gradiëntclustering, die bijna uitsluitend "monogene" (enkelvoudige factor) gedragingen herstelt, slaagt NPEFF erin een significant deel van de polygene factoren te herstellen. Dit wordt aangetoond door een hoog percentage componenten dat wel is afgestemd op de grondwaarheid-labels maar niet op de specifieke voorspellingen van het model (LnP-tuned), wat aangeeft dat ze factoren vastleggen die de distributie beïnvloeden buiten de top-voorspelling om.
• Vergelijking: NPEFF presteert beter dan baselines, waaronder gradiëntclustering, activation sparse autoencoders (SAEs) en SVD op gradiënten/activaties, bij het identificeren van deze genuanceerde, multi-factor gedragingen.

2. Causale Validatie via Parameterperturbaties

De auteurs valideren het causale belang van NPEFF-componenten door parameterruimte-vectoren te reconstrueren uit geprojecteerde pseudo-Fishers met behulp van compressed sensing. Ze passen perturbaties toe langs deze richtingen en observeren dat:

• Perturbaties de voorspellingen van het model aanzienlijk verstoren op voorbeelden waar de component een hoge coëfficiënt heeft.
• De verstoring selectief is, waarbij de doelgerichte voorbeelden veel sterker worden beïnvloed dan willekeurige voorbeelden.
• Dit bevestigt dat de richtingen die door NPEFF zijn ontdekt, causaal verbonden zijn met de verwerking van specifieke gedragsfactoren door het model.

3. Analyse van In-Context Learning (ICL)

De auteurs passen NPEFF toe om ICL te analyseren. Ze construeren een lineaire classifier gebaseerd op zero-shot NPEFF-component tuning. Deze classifier bereikt een nauwkeurigheid die vergelijkbaar is met 6-shot ICL en maakt zeer vergelijkbare voorspellingen.

• Bevinding: Dit suggereert dat een groot deel van de prestatiewinst van ICL voortkomt uit het herwegen van de bestaande zero-shot gedragsfactoren van het model om zich aan te passen aan de taakformulering, in plaats van het aanleren van volledig nieuwe gedragingen vanuit de context.

4. Efficiëntie en Schaalbaarheid

• G-NPEFF: De paper laat zien dat voor taken met weinig klassen, G-NPEFF vergelijkbaar presteert als de volledige NPEFF, wat een kosteneffectief alternatief biedt.
• Ablaties: Experimenten met de grootte van random projecties en het aantal componenten geven aan dat de methode robuust is. Zelfs met agressieve dimensionaliteitsreductie behoudt de decompositie significante informatie over het gedrag van het model.

Betekenis en Claims

De paper claimt dat NPEFF een nieuw en goed passend methode is voor het ontdekken van factoren van polygene modelgedragingen, waarmee een kritiek gat wordt opgevuld dat door gradiëntgebaseerde clusteringmethoden wordt achtergelaten.

• Methodologische Nieuwheid: Door gebruik te maken van Per-Example Fisher-matrices en een non-negatieve decompositie over rank-1 PSD-matrices, biedt NPEFF een raamwerk dat recht doet aan de multi-factor aard van taalverwerking.
• Causale Interpreteerbaarheid: Het vermogen om componenten terug te mappen naar richtingen in de parameterruimte en ze selectief te verstoren, levert sterk causaal bewijs dat deze componenten echte verwerkingsstrategieën vertegenwoordigen die door het model worden gebruikt.
• Praktisch Nut: De methode maakt het mogelijk om complexe gedragingen (zoals ICL) te ontleden in hun constituerende factoren, wat een pad biedt naar meer gerichte modelmodificatie en veiligheidsinterventies.

De auteurs blijven bescheiden over de reikwijdte van hun werk en merken op dat, hoewel NPEFF de richtingen in de parameterruimte identificeert die belangrijk zijn voor specifieke gedragingen, het construeren van de expliciete algoritmen of computationele circuits die bij deze richtingen horen, het domein blijft van toekomstig transformer-circuit onderzoek. Ze waarschuwen ook dat hoewel hun perturbatiecode disruptie mogelijk maakt, het op grote schaal wijzigen van modelgedrag risico's met zich meebrengt voor het onbedoeld verwijderen van zeldzame maar contextueel passende gedragingen.