🤖 machine learning

Polymorphism Is Rotation: Operational Mechanistic Interpretability from a Two-Layer Transformer to Pythia-70m

Dit artikel toont aan dat onafhankelijk getrainde transformers identieke functies berekenen met behulp van onderling onbegrijpelijke interne coördinaten die gerelateerd zijn door een uniforme willekeurige rotatie, een fenomeen dat "polymorfisme" wordt genoemd en dat kan worden opgelost via één enkele orthogonale Procrustes-aanpassing om de directe overdracht van feature-dictionaries en stuurvectoren mogelijk te maken zonder hertraining.

Oorspronkelijke auteurs: Jordan F. McCann

Gepubliceerd 2026-05-26

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jordan F. McCann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij en een vriend beide identieke, complexe Lego-kastelen bouwen volgens dezelfde instructiehandleiding. Jullie eindigen allebei met kastelen die er van buitenaf exact hetzelfde uitzien en precies dezelfde functies vervullen (ze hebben dezelfde deuren, ramen en torens).

Echter, binnenin jullie kastelen zijn de "blauwdrukken" voor hoe de blokken zijn geplaatst volledig verschillend. Ze zijn zelfs zo verschillend dat als je probeerde de interne blauwdruk van je vriend te gebruiken om je eigen kasteel te begrijpen, je in de war zou raken. Het is niet dat jullie kastelen verschillend zijn; het is dat jullie twee verschillende "interne talen" spreken om hetzelfde te beschrijven.

Dit artikel noemt dit fenomeen "Polymorfisme." Het betekent "zelfde functie, verschillende interne coördinaten."

Hier is de uiteenzetting van wat de onderzoekers vonden, met behulp van eenvoudige analogieën:

1. De "Decoder" versus de "Encoder" (Het Woordenboekprobleem)

In AI-onderzoek proberen wetenschappers vaak te begrijpen waar een model over nadenkt door te kijken naar zijn "kenmerken" (zoals een woordenboek van concepten). Ze ontdekten dat als ze naar het eind van het proces keken (de "decoder"), de woordenboeken bijna identiek leken tussen twee verschillende modellen. Het was alsof twee mensen exact hetzelfde woordenboek gebruikten om een verhaal te schrijven.

De Twist: De onderzoekers realiseerden zich dat terwijl het woordenboek (de decoder) hetzelfde was, de manier waarop ze het woordenboek lazen (de encoder) volledig door elkaar was gehaald.

De Analogie: Stel je twee mensen voor die een boek lezen. Persoon A leest het normaal. Persoon B heeft het boek 90 graden gedraaid en leest het ondersteboven. Als je alleen kijkt naar de woorden waar ze op wijzen (de decoder), komen ze perfect overeen. Maar als je probeert de notities van Persoon B te lezen vanuit het perspectief van Persoon A, maken de notities geen zin. De "notities" (activaties) bevinden zich in een geroteerd referentiekader.

2. De Catastrofale Falering

Toen onderzoekers probeerden het "kenwoordenboek" van Model A direct op Model B toe te passen, faalde het volledig. De reconstructie van de interne gedachten van het model was slechter dan het raden van het gemiddelde antwoord.

De Analogie: Het is alsof je probeert een kaart van New York City te gebruiken om Londen te navigeren. De herkenningspunten (decoderkolommen) lijken misschien op een lijst vergelijkbaar, maar de straten (interne coördinaten) zijn anders georiënteerd. Als je de New York-kaart in Londen volgt, raak je onmiddellijk verdwaald.

3. De Magische Oplossing: Één Matrixvermenigvuldiging

De grootste ontdekking van het artikel is hoe dit op te lossen. Je hoeft de modellen niet opnieuw te trainen of hun hersenen te veranderen. Je hoeft alleen maar een enkele wiskundige "rotatie" toe te passen (een specifiek type wiskundige bewerking genaamd een Procrustes-fit) om de twee modellen uit te lijnen.

De Analogie: Stel je voor dat jij en je vriend allebei naar een sculptuur kijken, maar jullie staan aan tegenovergestelde kanten van een roterend platform. Jullie zien hetzelfde object, maar vanuit verschillende hoeken. Als je gewoon je platform draait om die van je vriend te matchen, vallen jullie beelden plotseling perfect samen.
Het Resultaat: Zodra ze deze enkele "rotatie" op de interne data van Model B toepasten, werkte het woordenboek van Model A perfect op Model B. De "interne taal" werd direct vertaald.

4. Is het een Specifieke Rotatie of Willekeurig?

De onderzoekers wilden weten: Is deze rotatie een specifieke, betekenisvolle verschuiving, of is het gewoon willekeurige chaos?

De Bevinding: Het is in wezen willekeurig. De rotatie tussen twee onafhankelijk getrainde modellen is als een willekeurige draai aan een wiel. Het is geen "speciale" hoek; het is gewoon een uniforme willekeurige rotatie.
De Analogie: Als je een wereldbol willekeurig draait en stopt, is de oriëntatie willekeurig. Het artikel toont aan dat elke keer dat twee AI-modellen vanaf nul worden getraind, ze eindigen met een "bol" die in een willekeurige hoek ten opzichte van elkaar is gestopt.

5. Wat Dit Betekent voor "Sturen" (Gedragsverandering)

Het artikel testte ook "stuurvectoren" - hulpmiddelen die worden gebruikt om een model te duwen om zich anders te gedragen (bijvoorbeeld om het beleefder of creatiever te maken).

De Bevinding: Als je probeert een "stuurdruk" van Model A op Model B te gebruiken zonder eerst de rotatie te corrigeren, faalt het vaak of doet het zelfs het tegendeel van wat je wilt.
De Analogie: Stel je hebt een afstandsbediening voor een speelgoedauto (Model A). Als je die afstandsbediening probeert te gebruiken op een andere speelgoedauto (Model B) die in een andere richting staat, kan het indrukken van "Vooruit" de tweede auto "Links" of "Achteruit" laten gaan. Je moet eerst uitzoeken hoe de tweede auto staat (de rotatie) en je signalen van de afstandsbediening dienovereenkomstig aanpassen.

Samenvatting van de "Regels"

Het artikel stelt drie hoofdregels op voor hoe deze modellen met elkaar relateerden:

Zelfde Functie, Verschillende Coördinaten: Twee modellen die apart zijn getraind, doen hetzelfde werk maar gebruiken verschillende interne "kaarten".
De Decoder Leert: Alleen omdat de kenmerken aan het "eind van de lijn" er vergelijkbaar uitzien, betekent niet dat de modellen dingen op dezelfde manier begrijpen.
De Oplossing is Goedkoop: Je kunt twee totaal verschillende modellen uitlijnen met één enkele, eenvoudige wiskundige berekening (één matrixvermenigvuldiging) zonder ze opnieuw te hoeven trainen.

De Schaal van de Ontdekking

De onderzoekers bewezen dit op twee niveaus:

Het "Speelgoed" Model: Een klein, simpel model (104.000 parameters) waar ze elke enkele steen konden controleren om ervoor te zorgen dat de theorie waar was.
Het "Echte" Model: Een veel groter, realistisch taalmodel (Pythia-70m) met 70 miljoen parameters. Dezelfde "willekeurige rotatie"-regel gold hier ook.

De Conclusie: AI-modellen zijn als tweelingen die dezelfde taal spreken maar met verschillende accenten en oriëntaties. Ze doen dezelfde dingen, maar om elkaar te begrijpen, hoef je alleen je perspectief te draaien. Zodra je dat doet, worden hun interne geheimen leesbaar.

Technische Samenvatting: Polymorfisme is Rotatie

Probleemstelling

Het vakgebied van mechanistische interpreteerbaarheid, met name met betrekking tot Sparse Autoencoders (SAE's), heeft grotendeels vertrouwd op decoder-kolom cosinus-ähnelijkheid als primaire metriek voor "universaliteit"—de bewering dat onafhankelijk getrainde transformers dezelfde interne kenmerken leren. Recent literatuur rapporteert hoge cosinus-ähnelijkheden (vaak >0,9) tussen decoder-kolommen van modellen die zijn getraind met verschillende willekeurige zaden, wat wordt geïnterpreteerd als bewijs dat kenmerkenwoordenboeken worden gedeeld.

Deze paper identificeert echter een kritieke faalmodus: terwijl decoder-kolommen kunnen aligneren, falen SAE-encoders catastrofaal wanneer ze worden toegepast op activaties van een ander zaad. Het toepassen van een SAE getraind op Zaad A op de residustroom van Zaad B resulteert in negatieve verklaarde variantie (EV), wat betekent dat de reconstructie slechter is dan het voorspellen van het constante gemiddelde. Dit suggereert dat de "universaliteit"-metriek alleen de geometrie van de decoder meet, terwijl een fundamentele misalignatie in het leesframe van de encoder wordt genegeerd. Het kernprobleem is dat onafhankelijk getrainde modellen dezelfde functie berekenen, maar opereren in onderling onbegrijpelijke interne coördinatenstelsels.

Methodologie

De auteurs hanteren een rigoureuze, vooraf geregistreerde vier-balk operationele framework om mechanistische claims te testen, waarbij falsifieerbaarheid wordt gewaarborgd:

Balk B (Gedragsmatig): Gemiddelde KL-divergentie tussen het model en een constructieve specificatie.
Balk P (Parametrisch): Maximale per-entry gewicht Gemiddelde Kwart Fout (MSE) na symmetrie-alignatie.
Balk C (Causaal): Correlatie tussen voorspelde en gemeten component-patch-effecten.
Balk Pr (Voorspellend): Correlatie tussen voorspelde en gemeten component-ablatieverliezen.

Belangrijke Methodologische Correcties:

Integrated Gradients (IG) vs. Attribution Patching (AP): De auteurs demonstreren dat bij convergentie AP anti-correleert met gemeten patch-effecten vanwege ruis-dominantie in gradiënten nabij minima. Ze vervangen AP door Integrated Gradients, die, dankzij het volledigheidaxioma, een wiskundig exacte predictor biedt van gemiddelde-ablatie-effecten (bereiken $r > 0,999$ ).
Constructieve Specificatie: In plaats van een theoretische specificatie te compileren (bijvoorbeeld via Tracr), leiden de auteurs een "constructieve specificatie" direct af van het getrainde primaire zaad door RMSNorm te vouwen en rollen te annoteren, zodat de specificatie de daadwerkelijke modelimplementatie weerspiegelt.

Experimentele Opstelling:

Speelgoed-schaal: Een 104k-parameter twee-laags transformer getraind op begrenste diepte Dyck-3 (een haakjes-matchen taak). Dit staat volledige mechanistische interpretatie van elke gewicht toe.
Schaalvergroting: Negen onafhankelijk getrainde Pythia-70m zaden (71M parameters, $d_{model}=512$ ) getraind op The Pile.
Cohorten: Experimenten vergelijken zaden met gedeelde bevroren I/O-gewichten (om interne rotatie te isoleren) en zaden met onafhankelijke initialisatie.

Belangrijkste Bijdragen & Resultaten

1. De Rotatiehypothese

De paper stelt dat onafhankelijk getrainde transformers van dezelfde architectuur dezelfde functie berekenen tot op een orthogonale rotatie van de residustroom-basis na.

Polymorfisme: Het fenomeen waarbij modellen een functie delen maar "onderling onbegrijpelijke interne coördinaten" bezitten.
De Oplossing: Een enkele orthogonale matrixvermenigvuldiging (Procrustes-fit) op een enkele batch activaties aligneert de bases van twee zaden.
Herstel: Na toepassing van deze rotatie wordt cross-zaad SAE-reconstructie EV hersteld tot binnen 0,025 EV van de binnen-zaad baseline op het speelgoedmodel en 0,85–0,99 EV op Pythia-70m.

2. Statistische Aard van de Rotatie

De rotatie is geen gestructureerde, leerbare alignatie, maar een uniforme willekeurige trekking uit de orthogonale groep $SO(d_{model})$ .

Haar-verdeling: Het eigenwaarde-spectrum van de rotatiematrix $R$ is statistisch niet te onderscheiden van de Haar-maat op $SO(d)$ (Kolmogorov–Smirnov test $p \approx 1,000$ ).
Frobenius-afstand: De afstand $\|R - I\|_F$ komt overeen met de theoretische voorspelling voor een willekeurige orthogonale matrix ( $\sqrt{2d_{model}}$ ) tot binnen 0,1% voor Pythia-70m.
Decoder vs. Encoder: De hoge decoder cosinus-ähnelijkheid (98%) is een statische geometrische toevalstreffer. De encoder leest uit een geroteerd frame, wat de functionele mislukking veroorzaakt.

3. Regimes voor Stuurvector-overdracht

De paper karakteriseert hoe stuurvectoren (diff-of-means interventies) over zaden worden overgedragen op basis van hun alignatie met het invariante deelruimte van de rotatie:

Schone Overdracht: Vectoren vastgezet door gedeelde input/output-gewichten (bijvoorbeeld diepteteller in het speelgoedmodel) worden zonder correctie overgedragen.
Gedeeltelijke Overdracht: Vectoren die het geroteerde deelruimte overlappen vereisen een dosis-offset.
Invers Overdracht: Vectoren die voornamelijk in het geroteerde deelruimte liggen, worden met omgekeerde tekens overgedragen.
Pythia-schaal: In modellen zonder gedeelde I/O (Pythia-70m) worden alle richtingen geroteerd, wat leidt tot universele invers overdracht. Zonder rotatiecorrectie degraderen stuurvectoren die cross-zaad worden toegepast de prestaties.

4. Beperkingen van Parameter-alignatie

De auteurs demonstreren dat parameter-niveau symmetrie-zoek (aligneren van gewichten via permutaties en rotaties) de misalignatie niet volledig kan oplossen.

Zelfs na optimalisatie voor gewicht-MSE blijft de activatie-niveau MSE hoog.
Gecombineerde optimalisatie van gewicht- en activatieverlies faalt om de Balk P-drempel te halen; de gewicht-optimale en activatie-optimale rotaties zitten in gescheiden bassins van het verlieslandschap. Dit bevestigt dat de rotatie een activatie-niveau fenomeen is dat niet volledig wordt vastgelegd door parametersymmetrieën.

Betekenis en Claims

De paper claimt het "decoder-cosinus-puzzel" op te lossen door aan te tonen dat universaliteit rotatie-equivalentie is, geen letterlijke coördinaten-alignatie.

Verfijning van SAE-universaliteit: Decoder cosinus-ähnelijkheid is noodzakelijk maar niet voldoende voor kenmerk-universaliteit. Een complete metriek moet cross-zaad reconstructie EV en het vermogen om een rotatiecorrectie toe te passen, omvatten.
Praktische Nut: De rotatiecorrectie is rekenkundig goedkoop (één matrixvermenigvuldiging per modelpaar) en vereist geen hertraining. Het staat overdracht van SAE kenmerkwoordenboeken en stuurvectoren tussen onafhankelijk getrainde modellen toe met hoge fideliteit.
Methodologische Strenge: Door een vooraf geregistreerd framework met falsifieerbare drempels te gebruiken, onderscheidt de paper tussen "verhaal-aanpassing" en geverifieerde mechanistische claims. Het falen van cross-zaad Balken P, C en Pr (zonder rotatie) dient als empirische motivatie voor de hypothese.
Reikwijdte: De bevindingen gelden voor een 104k-parameter speelgoedmodel en een 71M-parameter familie-schaal model. De auteurs stellen expliciet dat frontier-schaal (10B+) replicatie een open empirische test blijft, hoewel het experimentele ontwerp voor een dergelijke test rechttoe rechtaan is.

De paper concludeert dat de residustroom-bases van onafhankelijk getrainde transformers, in eerste benadering, uniforme willekeurige steekproeven uit de orthogonale groep zijn, en dat "polymorfisme" de operationele realiteit is van deze geometrische drift.