Technische Samenvatting: Geometrische Evolutiekaarten (GEM's)

Probleemstelling

Lineaire probes die zijn geëxtraheerd uit de residustromen van transformers, zijn slechts zo betrouwbaar als de specifieke laag waaruit ze zijn gehaald. De huidige literatuur vertrouwt op drie naïeve heuristieken voor laagselectie: het proppen van de laatste laag, het proppen van de laag met de piek-scheidingsscore, of het proppen van een vaste midden-tot-late laag.

Het artikel betoogt dat deze benaderingen falen omdat ze geen rekening houden met een fundamentele structurele realiteit: conceptrepresentaties in residustromen van transformers zijn niet statisch. Ze ontstaan geleidelijk, ondergaan een aanzienlijke directionele rotatie tijdens hun assemblatiefase (binnen de Concept Allocation Zone of CAZ), en vestigen zich pas in een stabiele richting op een karakteristieke "overdrachtlaag" na de primaire CAZ. Het proppen op het scheidingsmaximum (dat binnen de CAZ optreedt) of bij de CAZ-ingang extrahert een richting die nog niet gestabiliseerd is, wat leidt tot onbetrouwbare conceptprobes.

Methodologie: Geometrische Evolutiekaarten (GEM's)

Het artikel introduceert Geometrische Evolutiekaarten (GEM's), een methode om de volledige directionele trajectorie van een concept door residustroom-activaties te volgen, om de precieze laag te identificeren waar de conceptrichting stabiliseert.

Kerndefinities

1. Conceptrichting ($u^{(l)}$): Op elke laag $l$ wordt de dominante conceptrichting gedefinieerd als de $L_2$-genormaliseerde verschil tussen de gemiddelde residustroom-activaties van positieve en negatieve contrastieve paren (Verschil-in-Gemiddelde).
2. Hoeksnelheid ($\omega^{(l)}$): De snelheid van directionele verandering wordt berekend als $\omega^{(l)} = 1 - |u^{(l)} \cdot u^{(l-1)}|$. Een hoge snelheid duidt op actieve rotatie; een lage snelheid duidt op stabiliteit.
3. Concept Allocation Zone (CAZ): Het laagbereik waar een concept zijn primaire scheidingsgebeurtenis ondergaat, gedetecteerd via Fisher-genormaliseerde scheidingsscores.
4. Overdrachtlaag ($L_H$): Operationeel gedefinieerd als de eerste laag direct na het einde van de CAZ waar de hoeksnelheid onder een drempelwaarde daalt ($\epsilon = 0.05$). Dit is de laag waar de conceptrichting "vastklikt".
5. Gevestigde Probe: De geëxtraheerde probe is de eenheidsvector $u^{(L_H)}$ op de overdrachtlaag.

Adaptieve Breedteregel

Bij het evalueren van probes via ablatie introduceert het artikel een adaptieve breedteregel ($w$). Standaard wordt 3 opeenvolgende lagen geablateerd, beginnend bij $L_H$. Echter, voor overdrachten dicht bij de laatste laag ($L_H/N > 0.85$) vormt het ablateren van 3 lagen het risico dat dit uitloopt in het gebied voor unembedding-voorbereiding, waardoor het signaal wordt verdund. Voor deze gevallen stelt de regel $w=1$ in om de richting exact op het convergentiepunt te extraheren.

Belangrijkste Bijdragen

1. Formalisatie van GEM: Een hanteerbare methode om de overdrachtlaag te berekenen en de gevestigde conceptrichting te extraheren.
2. Empirische Validatie van Rotatie: Aangetoond dat conceptrichtingen aanzienlijk roteren tijdens assemblage. Over 391 concept $\times$ modelparen (23 modellen, 17 concepten) is de gemiddelde Entry-Exit Cosine (EEC) binnen CAZ's 0,233, waarbij 93,9% van de paren een EEC < 0,5 vertoont. Dit bevestigt dat proppen bij de CAZ-ingang of het scheidingsmaximum een richting vastlegt die orthogonaal is aan de uiteindelijke gevestigde staat.
3. Superioriteit van Overdrachtprobes: GEM-geëxtraheerde probes zijn in 68,5% (268/391) van de trials minstens zo precies als pieklaag-probes en presteren in 66,2% (259/391) strikt beter. Een Wilcoxon signed-rank test op per-model proporties bevestigt significantie ($p=0,010$; $p=0,0036$ exclusief gpt2).
4. Architectuurspecifieke Bevindingen:
   • MHA vs. GQA: MHA-modellen geven de voorkeur aan de overdrachtlaag in 78,3% van de trials, terwijl GQA-modellen dit slechts in 47,1% doen.
   • Schaal: De GEM-structuur bestaat zelfs in 70M-modellen, maar de kwaliteit van de probe verbetert aanzienlijk in het bereik >500M.
5. Richtings-specifiekheid Controle: Ablatie van de specifieke conceptrichting onderdrukt de scheiding met een mediane snelheid 377$\times$ hoger dan willekeurige-richting ablatie (45,6% vs. 0,24%), wat bevestigt dat het effect wordt gedragen door de conceptrichting zelf en niet alleen door de diepte.
6. Diepte-gematchte Controle: Een controlexperiment waarbij GEM werd vergeleken met een niet-stabiliserende laag op dezelfde relatieve diepte bevestigde dat het stabiliseringscriterium een extra +32,5 procentpunten aan scheidingsonderdrukking bijdraagt, waardoor diepte van extractie als enige drijvende kracht wordt uitgesloten.
7. Gestructureerde Foutmodi:
   • gpt2: Geïdentificeerd als een echte foutmodus waarbij ablatie op de overdrachtlaag (vanwege de nabijheid van unembedding in een 12-laags model) pathologisch de scheiding verhoogt.
   • OPT-6.7b: Oorspronkelijk leek dit een falen in een kleiner corpus (41% verbetering), maar bereikte 76% verbetering bij $N=250$, wat aangeeft dat de initiële bevinding corpus-grootte-afhankelijk was.

Resultaten en Observaties

• Overdrachtdiepte: De meeste concepten vestigen zich in de laatste 15–30% van de modeldiepte. Veiligheidsrelevante en epistemische concepten (bijv. threat_severity, certainty) geven het diepst door (gemiddelde relatieve diepte $\ge$ 0,86), terwijl syntactische concepten (bijv. specificity, plurality) eerder overdragen.
• Relaisstructuur: Multi-knooppunt ablatie-experimenten op pythia-6.9b onthullen dat concepten vaak bestaan in een causaal relais. De diepste GEM-knooppunt is het meest causaal geconcentreerde interventiepunt, maar ondiepe knooppunten zijn causaal stroomopwaarts (cross-disruptie waargenomen bij 9/15 multi-knooppunt concepten).
• Effectiviteit Adaptieve Breedte: De regel voor nabij-de-laatste laag ($w=1$) verbetert de probekwaliteit in 75,9% van de geactiveerde gevallen (60/79), met een gemiddelde winst van +7,44pp voor die gevallen.

Betekenis en Claims

Het artikel beweert dat GEM de extractiemethodologie vormt die ten grondslag ligt aan de CAZ Validation en PRH artikelen in dit onderzoeksprogramma. De primaire betekenis ligt in:

1. Correctie van Probe-extractie: Het vaststellen dat de "gevestigde" richting op de overdrachtlaag de geometrisch precieze representatie van een concept is, superieur aan de tijdelijke richtingen die bij scheidingspieken worden gevonden.
2. In kaart brengen van Assemblagedynamiek: Het bieden van een methode om de "rotatie" van concepten te visualiseren en kwantificeren, wat onthult dat concepten niet statisch zijn maar een dynamisch assemblageproces ondergaan voordat ze stabiliseren.
3. Causale Karakterisering: Aantonen dat GEM de meest toegankelijke punten in een causaal relais identificeert voor interventie, hoewel het niet claimt de totaliteit van conceptcodering te vangen (die verspreid blijft).

Het artikel blijft bescheiden wat betreft zijn reikwijdte: het claimt niet het volledige mechanisme van conceptcodering te verklaren (bijv. de specifieke bijdragen van attention versus MLP-sublagen) noch claimt het alle conceptinformatie te vangen, alleen de "pieken" van de verdeling waar het signaal groot genoeg is om geïsoleerd en getest te worden. Het merkt expliciet op dat gedragsablatie (het meten van veranderingen in downstream output) is ontworpen maar nog niet op grote schaal is uitgevoerd.