🤖 machine learning

Markovian Circuit Tracing for Transformer State Dynamic

Dit artikel introduceert Markoviaanse Circuit Traceer (MCT), een diagnostisch raamwerk dat aantoont dat transformer-activaties op synthetische Hidden Markov Model-taken ruwe staatsovergangsstructuren coderen, wat staat-abstraheringen mogelijk maakt die de nauwkeurigheid van contrafactuele voorspellingen aanzienlijk verbeteren door middel van activatie-patching.

Oorspronkelijke auteurs: Abdullah X

Gepubliceerd 2026-05-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdullah X

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een goochelaar een truc ziet uitvoeren. Je ziet de kaarten die ze schudden en de woorden die ze zeggen (de zichtbare emissies), maar je kunt de geheime volgorde die ze in hun hoofd bewaren (de verborgen toestanden) niet zien.

Lange tijd hebben onderzoekers geprobeerd uit te vinden hoe AI-modellen (zoals Transformers) "denken" door te kijken naar hun interne tandwielen en bedrading. Dit paper, getiteld "Markovian Circuit Tracing" (MCT), stelt een nieuwe manier voor om een kijkje te nemen in het hoofd van de goochelaar, specifiek wanneer de AI probeert te voorspellen wat er als volgende gebeurt in een reeks.

Hier is de uiteenzetting van hun experiment en bevindingen, met behulp van eenvoudige analogieën.

1. De Opzet: Een Gecontroleerde Goochelshow

Om de AI te testen, gebruikten de onderzoekers geen real-world data (zoals Shakespeare of nieuwsartikelen). In plaats daarvan bouwden ze een perfect gecontroleerde, nepwereld gebaseerd op een wiskundig concept genaamd een Hidden Markov Model (HMM).

Het Spel: Stel je een bordspel voor waarbij een token rond beweegt over een cirkel van verborgen kamers. Je kunt niet zien in welke kamer het token zit, maar je ziet een gekleurd licht flitsen elke keer dat het token beweegt.
De Regels: De onderzoekers kennen de exacte regels: hoe het token tussen kamers beweegt, hoe de lichten flitsen, en precies wat het token moet voorspellen als volgende.
De AI: Ze trainden een kleine AI (een "Transformer") om dit spel te spelen. Het ziet alleen de gekleurde lichten en moet het volgende licht raden.

2. Het Probleem: Denkt de AI echt "na"?

Wanneer de AI correct raadt, is het dan gewoon het memoriseren van patronen, of bouwt het daadwerkelijk een interne kaart van de verborgen kamers?

De onderzoekers wilden weten: Bevat de interne "hersenactiviteit" (activaties) van de AI een kaart van deze verborgen kamers?

3. De Methode: "Markovian Circuit Tracing" (MCT)

Ze creëerden een diagnostische pijplijn genaamd MCT. Denk hierbij aan een vertaler die probeert de rommelige, hoogdimensionale hersensignalen van de AI om te zetten in een eenvoudige lijst van "kamers" (toestanden).

Ze testten deze vertaler op vier manieren:

Geloof Check: Kunnen we de geest van de AI lezen om te zien of het de kans kent om in elke kamer te zijn? (Alsof je vraagt: "Ben ik 80% zeker dat ik in de Rode Kamer ben?")
Kaart Check: Als we de AI dwingen om te denken dat het in een specifieke kamer is, gedraagt het zich dan alsof het daadwerkelijk in die kamer is?
Overgangs Check: Verandert de interne toestand van de AI op een manier die overeenkomt met de regels van het spel?
De "Patching" Test (De Goocheltruc): Dit is het belangrijkste deel. Ze namen de interne "toestand" van de AI (de gok van de vertaler over in welke kamer het zit) en vervingen deze midden in het spel door een andere toestand.
- Analogie: Stel je voor dat de AI een auto bestuurt. Halverwege de rit grijp je in en vervang je de mentale kaart van de bestuurder van "Ik ben op de snelweg" door "Ik ben in de stad". Als de AI plotseling gaat rijden alsof het in de stad is (vertragen, draaien), dan was de interne kaart echt en nuttig.

4. De Resultaten: Gedeeltelijk Succes

De bevindingen waren "gedeeltelijk maar consistent", wat betekent dat de AI sommige dingen goed deed en andere slecht.

De AI is een Goede Leerling: De AI leerde het spel zeer goed. Het voorspelde het volgende licht bijna even goed als een perfecte wiskundige dat zou kunnen.
De "Kaart" is Vager: Toen de onderzoekers probeerden de hersensignalen van de AI om te zetten in specifieke "kamers", was het geen perfecte 1-op-1 match.
- Bij makkelijke spellen (waar de lichten duidelijk tonen in welke kamer je zit), was de interne kaart van de AI vrij helder.
- Bij moeilijke spellen (waar de lichten verwarrend zijn of er te veel kamers zijn), was de interne kaart van de AI wazig.
Het "Patching" Bewijs: Dit was de grootste overwinning. Toen ze de AI dwongen om een specifieke interne toestand te gebruiken (een "centroïde"), veranderde het gedrag van de AI precies zoals de wiskunde voorspelde.
- Het Resultaat: Het gedrag van de AI kwam veel dichter bij het "perfecte" wiskundige doel dan wanneer ze willekeurige toestanden of verkeerde toestanden gebruikten. Dit bewijst dat de AI wel een specifieke interne structuur gebruikt om beslissingen te nemen, zelfs als die structuur geen perfecte kopie is van de regels van het spel.

5. De Grote Conclusie

Het paper concludeert dat Transformers wel interne "toestand"-samenvattingen bouwen bij het oplossen van reeksproblemen, maar deze samenvattingen lijken meer op probabilistische overtuigingen (bijv. "Ik denk dat ik waarschijnlijk in Kamer A ben") dan op exacte labels (bijv. "Ik ben zeker in Kamer A").

Belangrijke Beperkingen Genoemd:

Dit werd getest op kleine, synthetische modellen die een nepspel spelen.
De "vertaler" die ze gebruikten was eenvoudig.
Ze kunnen niet claimen dat dit werkt voor complexe real-world taken zoals het schrijven van poëzie of het diagnosticeren van ziektes. Het paper beperkt zijn claims strikt tot deze gecontroleerde, wiskundige benchmark.

Samenvattende Analogie

Stel je voor dat je probeert uit te vinden hoe een GPS werkt door te kijken naar een auto die rijdt.

Oude manier: Je kijkt naar de bedrading en probeert te raden hoe de kaart is opgeslagen.
De manier van dit paper: Je bouwt een klein, perfect doolhof. Je kijkt hoe de auto het doolhof navigeert. Dan grijp je de auto binnen en vervang je de mentale kaart van de bestuurder door een andere. Als de auto plotseling linksaf draait in plaats van rechts, weet je met zekerheid dat de bestuurder een kaart gebruikte, en heb je succesvol geïdentificeerd hoe die kaart het rijden beïnvloedt.

Het paper zegt: "We hebben een perfect doolhof gebouwd, de kaart vervangen, en bewezen dat de bestuurder een kaart gebruikte. Maar we weten niet of dit werkt voor het rijden op echte snelwegen."

Technische Samenvatting: Markoviaanse Circuit Traceering voor Transformatortoestandsdynamica

Probleemstelling

Mechanistische interpreteerbaarheid heeft zich grotendeels gericht op het analyseren van lokale circuits, kenmerken en aandachtshoofden om geïsoleerde gedragingen in transformatoren te verklaren. Echter, gedeeltelijk waargenomen sequentietaken vereisen een ander computationeel paradigma: het model moet een interne samenvatting (toestand) in de tijd onderhouden en bijwerken om toekomstige voorspellingen te informeren. Hoewel Hidden Markov-modellen (HMM's) een wiskundig strikt kader bieden voor dergelijke taken—waar de optimale oplossing een Bayesiaanse overtuigingsvector over latente toestanden is—ontbreekt het aan gecontroleerde benchmarks om te testen of transformatorenactivaties deze overgangsdynamiek van toestanden daadwerkelijk coderen. Bestaand werk bestudeert vaak componenten (probing, patchen, toestandsextractie) geïsoleerd, zonder gelijktijdige toegang tot exacte grondwaarheid voor latente toestanden, overtuigingsvectoren en contrafactuele doelen.

Methodologie: Markoviaanse Circuit Traceering (MCT)

Het artikel introduceert Markoviaanse Circuit Traceering (MCT), een diagnostische pijplijn ontworpen om te testen of transformatorenactivaties een grove structuur van toestandsovergangen bevatten. De methodologie werkt binnen een gecontroleerde synthetische benchmark met zes verschillende HMM-families met variërende overgangs- en emissiecomplexiteiten.

De Benchmark

De benchmark traint tiny causale transformatoren (2 lagen, breedte 128, ~275k parameters) op zichtbare emissies van HMM's waarbij de latente toestanden, overgangsmatrices en emissiekansen exact bekend zijn. Deze opzet biedt:

Exacte Grondwaarheid: Sequenties van latente toestanden, Bayesiaanse overtuigingsvectoren en overgangsmatrices.
Exacte Doelen: Bayes-optimale volgende-tokenvoorspellingen en geforceerde-toestand contrafactuele doelen (de verdeling van de volgende token als de latente toestand zou worden geforceerd naar een specifieke waarde).

De MCT-pijplijn

Gegeven een transformer getraind op HMM-emissies, voert MCT de volgende stappen uit:

Toestandsextractie: Een toestandsextractor $g$ beeldt activatievectoren $a_{\ell,t}$ af op discrete kandidaat-toestanden $z_t$ . De referentie-extractor gebruikt K-means clustering op residu-activaties.
Herstel van Overtuiging: Een lineaire ridge-probe beeldt activaties af op de exacte Bayesiaanse overtuigingsvector om te testen of overtuigingsinformatie aanwezig is.
Herstel van Overgang: De geëxtraheerde toestandssequentie wordt gebruikt om een overgangsmatrix te schatten, die wordt vergeleken met de ware HMM-overgangsmatrix met behulp van rij-voor-rij KL-divergentie.
Test van Markov-orde: Empirische modellen van orde 0, 1 en 2 worden aangepast aan de geëxtraheerde toestanden om de sterkte van het eerste-orde Markov-signaal te evalueren.
Toestandsforcering (Interventie): Dit is de kern causale test. Het zwaartepunt van een herstelde toestandscluster wordt gepatcht in het model op een specifieke tokenpositie. De output van het model wordt vervolgens vergeleken met het exacte HMM-contrafactuele doel (de verdeling die resulteert uit het forceren van de latente toestand). De prestatie wordt gemeten door de KL-divergentie tussen de output van het gepatchte model en het exacte doel.

Belangrijkste Resultaten

Taalverwerving

Over 18 runs (6 HMM-families $\times$ 3 zaden) leerden transformatoren de voorspellingstaak effectief, met een gemiddelde excessieve verliezen boven de Bayes-optimale predictor van slechts 0,0138.

Herstel van Toestand en Overgang

Overtuigingsinformatie: Lineaire probes bevestigden dat overtuigingsinformatie uit activaties herstelbaar is voor alle families, hoewel de kwaliteit aanzienlijk varieert per HMM-familie.
Overgangsstructuur: Residu- en PCA-gebaseerde toestandsabstracties herstelden gedeeltelijke overgangsstructuur. Het signaal was het sterkst in persistent (sticky-overgangen) en makkelijk-scheidbare (lage emissie-entropie) regimes.
Beperkingen: Herstel was zwakker in ambigu-emissie- en zes-toestand-regimes. Exacte overtuigingsclustering bleef een sterkere bovengrens dan activatie-afgeleide clustering, wat suggereert dat het model een continu, overtuigingsachtig object representeert in plaats van een directe kopie van het discrete latente label.

Toestandsforcering (Causaal Bewijs)

De toestandsforcerings-interventie bood het duidelijkste bewijs van causale bruikbaarheid:

Prestaties: Het patchen van een herstelde-toestand zwaartepunt verlaagde de KL-divergentie naar het exacte contrafactuele doel van 0,1957 (ongepatcht) naar gemiddeld 0,0532.
Controles: Deze verbetering presteerde significant beter dan controles, waaronder verkeerde-toestand zwaartepunten, gemiddelde activaties, willekeurige activaties, geschudde-label zwaartepunten, en zelfs ware-toestand zwaartepunten in sommige geaggregeerde metrieken.
Implicatie: De herstelde toestandsabstractie is causaal betekenisvol en komt in bepaalde contexten dichter bij de interne voorspellende toestand van het model dan het bemonsterde latente label.

Bijdragen

Gecontroleerde Benchmark: Een unificerend kader dat exacte latente labels, Bayesiaanse overtuigingen, overgangsmatrices en contrafactuele doelen biedt voor het testen van methoden voor transformer-interpreteerbaarheid.
Diagnostische Pijplijn (MCT): Een referentiepijplijn voor het afbeelden van activaties naar toestandsabstracties, het testen van Markov-orde en het valideren van causale relevantie via toestandsforcering.
Empirische Bevindingen: Bewijs dat kleine transformatoren bijna-Bayes-predictoren leren en dat hun residu-activaties gedeeltelijke, grofkorrelige overgangsstructuur bevatten, met name in regimes met sterke overgangssignalen.

Betekenis en Beweringen

Het artikel positioneert MCT niet als een compleet algoritme voor het herstellen van verborgen toestanden, maar als een diagnostisch kader voor transformatortoestandsdynamica. De auteurs beweren dat:

MCT succesvol gedeeltelijke voorspellende overgangsstructuur detecteert in synthetische settings.
Het identificeert waar interpreteerbaarheidssignalen sterk zijn (persistent/makkelijke regimes) en waar ze zwak zijn (ambigu/hoge-entropie regimes).
Toestandsforceringstests met exacte HMM-contrafactuelen een strikte methode bieden voor het evalueren van de causale relevantie van geëxtraheerde toestandsabstracties.

Het werk is bescheiden van omvang, met de erkenning dat de taken synthetisch zijn, de modellen tiny zijn en de referentie-extractor eenvoudig is. Het claimt niet dat natuurlijke taalredenering identieke toestandsstructuren bezit, maar vestigt eerder een basislijn om te testen of activatie-afgeleide abstracties grove voorspellende dynamiek kunnen blootleggen tegen exacte grondwaarheid.