🤖 machine learning

Continuous-Depth Field Theory for Transformer Patching and Mechanistic Interpretability

Dit artikel stelt een raamwerk voor continu-diepte veldtheorie voor dat Transformer-activeringpatching modelleert als gelokaliseerde broninserties en downstream gedragsveranderingen voorspelt via Green-functieresponsen, waarmee een wiskundige taal van sensitiviteiten en gepropageerde velden wordt gevestigd om mechanistische interventies te organiseren en te infereren.

Oorspronkelijke auteurs: David N. Olivieri, Antonio F. Pérez Rodríguez

Gepubliceerd 2026-05-26

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: David N. Olivieri, Antonio F. Pérez Rodríguez

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een Transformer (het type AI achter modellen zoals GPT-2) niet voor als een stapel computercode, maar als een grote, stromende rivier.

In deze rivier:

Diepte is de afstand die het water stroomafwaarts heeft afgelegd (van de bron tot de oceaan).
Tokens (de woorden in een zin) zijn als verschillende boten die naast elkaar in de rivier drijven.
De Residuele Stroom is het water zelf, dat alle informatie vervoert terwijl het van de ene laag van het model naar de volgende stroomt.

Dit artikel stelt een nieuwe manier voor om te begrijpen hoe we deze AI-modellen kunnen "tweaken" of "patchen" om hun gedrag te veranderen. In plaats van te raden welk deel van de code moet worden gerepareerd, behandelen de auteurs het model als een fysiek veld waar we precies kunnen voorspellen hoe een kleine verandering zich door het systeem zal voortplanten.

Hier is de uiteenzetting van hun ideeën met behulp van alledaagse analogieën:

1. De "Steek in de Vijver" (Patching als Bron)

Meestal voeren onderzoekers, wanneer ze willen zien wat een specifiek deel van de AI doet, "activation patching" uit. Dit is als het maken van een momentopname van het brein van de AI op een specifiek moment, het vervangen ervan door een momentopname uit een ander scenario, en kijken hoe de output verandert.

De auteurs beschrijven dit als een steen in de rivier werpen.

De Steen: De "patch" (de verandering die je aanbrengt).
De Rimpeling: Het effect dat stroomafwaarts door de rest van het model reist.
De Theorie: Zij stellen dat als je de vorm van de rivier kent (de structuur van het model), je precies kunt voorspellen hoe die rimpeling zich zal verspreiden, hoe groot hij zal worden en welke boten (tokens) hij zal raken, zonder de steen een miljoen keer te hoeven laten vallen om het uit te vinden.

2. De "Gevoeligheidskaart" (Het Effect Voorspellen)

Om te voorspellen waar een rimpeling naartoe gaat, heb je een kaart nodig. De auteurs introduceren een Gevoeligheidsveld.

Denk hierbij aan een weerkaart die windsnelheid toont. Sommige plekken in de rivier zijn zeer gevoelig (een kleine steen veroorzaakt een enorme golf); andere zijn kalm (een steen maakt nauwelijks een plons).
Het artikel toont aan dat je deze "windkaart" één keer kunt berekenen. Zodra je die hebt, hoef je niet elke richting te testen waarin je een steen zou kunnen werpen. Je kunt wiskundig voorspellen: "Als ik hier een steen in deze richting werp, zal de golf met deze kracht het antwoord raken."
Het Resultaat: Zij vonden dat voor kleine veranderingen deze voorspelling uitzonderlijk nauwkeurig is. Het is als weten dat een zachte briesje een veertje zal verplaatsen, maar een orkaan een boom zal omverblazen.

3. De "Green-functie" (De Rimpelverspreider)

Het artikel maakt gebruik van een concept dat een Green-functie wordt genoemd. In eenvoudige termen is dit een "regelschrift voor rimpelingen".

Het beantwoordt de vraag: "Als ik het water op punt A verstoort, hoe beweegt het water dan op punt B?"
De auteurs ontdekten dat deze rimpelingen niet alleen recht naar beneden gaan; ze verspreiden zich zijwaarts naar andere woorden (tokens) en reizen dieper het model in.
Ze testten dit door te meten hoe een verandering in de ene laag lagen ver daar stroomafwaarts beïnvloedde. Zij vonden dat het "regelschrift voor rimpelingen" goed werkt, maar alleen als de verandering niet te groot is. Als je een rotsblok gooit (een enorme verandering), wordt het water chaotisch en breken de simpele regels. Maar voor kleine duwtjes houden de regels perfect stand.

4. De "Reverse Engineering" (De Juiste Steen Vinden)

Meestal proberen onderzoekers willekeurige patches om te zien wat er gebeurt. Dit artikel draait de boel om. Zij stellen een Invers Probleem voor.

Het Doel: "Ik wil dat de AI 'Parijs' zegt in plaats van 'Londen'."
De Oude Manier: Probeer elke laag en elk woord te patchen totdat je geluk hebt.
De Nieuwe Manier: Gebruik het "regelschrift voor rimpelingen" (Green-functie) en de "gevoeligheidskaart" om wiskundig precies te berekenen waar en hoe je de steen moet laten vallen om die specifieke golf te creëren.
Het is als een geluidstechnicus die precies weet welke knop hij moet draaien om een specifieke frequentie in een nummer te repareren, in plaats van willekeurig elke knop te draaien.

5. De "Vertaling" Tussen Modellen (Schalen)

Tot slot suggereren de auteurs een manier om kennis over te dragen van een klein model naar een groot model.

Stel je een kleine vijver voor (een klein AI-model) en een enorme oceaan (een groot AI-model).
Als je een steen in de kleine vijver laat vallen en de rimpelingen observeert, kun je dat patroon gebruiken om te raden waar je een steen in de oceaan moet laten vallen om een vergelijkbaar resultaat te krijgen.
Zij noemen dit een "shared latent response geometry" (gedeelde latente responsgeometrie). In wezen is de "fysica" van hoe informatie stroomt misschien hetzelfde in kleine en grote modellen, alleen op verschillende schalen. Dit zou ons in staat stellen om uit te zoeken hoe we een gigantisch model kunnen repareren door eerst een klein model te bestuderen.

Samenvatting van Bevindingen

De auteurs testten deze ideeën op GPT-2-modellen en vonden:

Kleine veranderingen gedragen zich voorspelbaar: Als je het model zachtjes duwt, voorspelt de wiskunde het resultaat bijna perfect.
Rimpelingen verspreiden zich: Veranderingen blijven niet lokaal; ze reizen door de lagen en beïnvloeden verschillende woorden op gestructureerde manieren.
Er bestaan plekken met hoge gevoeligheid: Slechts een paar specifieke "dalingen" in de rivier zijn het belangrijkst voor het uiteindelijke antwoord.
Prompt-veranderingen zijn gewoon rimpelingen: Het veranderen van de invoerzin (bijvoorbeeld van "Hoofdstad van Spanje" naar "Hoofdstad van Frankrijk") is wiskundig vergelijkbaar met het laten vallen van een specifieke steen in de rivier. Het model reageert op deze "verplaatsing" op een voorspelbare manier, waardoor we het antwoord kunnen sturen.

Kortom: Dit artikel biedt een wiskundige "fysica van AI" die trial-and-error patching omzet in een voorspelbare, berekenbare wetenschap. Het suggereert dat we AI-ingrepen kunnen behandelen als technische problemen waarbij we de exacte kracht en locatie kunnen berekenen die nodig is om een gewenst resultaat te krijgen.

Technische Samenvatting: Veldtheorie met Continue Diepte voor Transformer-patching en Mechanistische Interpretatie

Probleemstelling
Mechanistische interpretatie streeft er naar de interne circuits te identificeren die verantwoordelijk zijn voor het gedrag van Transformers door in te grijpen in activeringen (bijvoorbeeld activatie-patching, causale tracing, pad-patching). Hoewel deze methoden succesvol gedragsmatig betekenisvolle locaties en richtingen lokaliseren, vertrouwen ze vaak op een exhaustieve enumeratie van lagen, tokens en deelruimten. Dit artikel behandelt de complementaire vraag: kunnen dergelijke interventies worden georganiseerd, voorspeld en gereconstrueerd met behulp van een verenigd veldtheoretisch raamwerk over diepte en tokenpositie? De auteurs stellen voor de residu-stroom niet te behandelen als een discrete reeks lagen, maar als een continu veld, waardoor patching kan worden geformuleerd als een lokaal broninvoegingsprobleem binnen een lineair-respons formalisme.

Methodologie
Het artikel ontwikkelt een veldtheorie met continue diepte waarbij de residu-stroom $R(t, x)$ van de Transformer wordt gemodelleerd als een veld over een diepte-tokenrooster. Hierbij wordt de laagindex $\ell$ afgebeeld op een dieptecoördinaat $t \in [0, T]$ , en wordt de tokenindex afgebeeld op een ruimtelijke coördinaat $x$ .

Veldtheoretische Formulering:
- Patching als Broninvoeging: Een activatie-patch wordt gemodelleerd als een lokale bronterm $J(t, x)$ die wordt toegevoegd aan de diepte-evolutievergelijking: $\partial_t R(t, x) = F_t[R](x) + J(t, x)$ .
- Responsobjecten: Het raamwerk definieert twee primaire responsobjecten:
  - Gevoeligheidsveld ( $a(t, x)$ ): De functionele afgeleide van een waarneembare $y$ (bijvoorbeeld logit-verschil) met betrekking tot het residu-veld, $a(t, x) = \delta y / \delta R(t, x)$ . Dit voorspelt het effect van een patch.
  - Green-functie ( $G(t, x; t', x')$ ): De tweepunts-responsfunctie $\delta R(t, x) / \delta R(t', x')$ , die beschrijft hoe een verstoring bij $(t', x')$ zich voortplant naar $(t, x)$ .
- Lineaire Respons: In een lokaal lineair regime wordt de verandering in een waarneembare benaderd door $\delta y \approx \int dt dx \, a(t, x) J(t, x)$ .
- Omgekeerd Probleem (Patch-inferentie): Het raamwerk herformuleert patch-site-inferentie als een constrained variatieprobleem. Gegeven een gewenste gedragsverschuiving, zoekt men een schaarse bron $J$ die voldoet aan de integraalvergelijking $\Delta R_{target} \approx \int G J$ . Dit wordt opgelost met behulp van een actieprincipe met een geconjugeerd veld (costate) $\lambda(t, x)$ , wat overeenkomt met het gevoeligheidsveld.
Empirische Validatie:
De theorie wordt getest op GPT-2-achtige autoregressieve Transformers met behulp van discrete ingrepen in de residu-stroom. De experimenten meten:
- Lokale Lineariteit en Superpositie: Verificatie dat kleine verstoringen lineaire schaling vertonen en dat de effecten van gecombineerde interventies lineair optellen.
- Voorspelling van Gevoeligheid: Het vergelijken van gemeten patch-effecten met voorspellingen die zijn afgeleid uit gevoelheden van de eerste orde (autograd-gradiënten).
- Residu-voortplanting: Meten van het downstream residu-veld $\delta R$ dat wordt veroorzaakt door een lokale patch om de "Green-respons" te karakteriseren.
- Compositie: Testen of voortplanting door een tussenliggende laag de productbenadering van Green-operators benadert ( $G(t_2; t_0) \approx G(t_2; t_1)G(t_1; t_0)$ ).
- Verminderde Representaties: Analyseren van "gesneden" Green-operators (component-niveau voortplanting tussen vaste locaties) en scores voor gevoeligheidslocaties om de dimensionaliteit te reduceren.
- Prompt-verplaatsingen: Het behandelen van het verschil tussen twee prompts als een lokale bron om te testen of dit fungeert als een transformatierichting.

Belangrijkste Bijdragen

Veldtheoretisch Raamwerk: Het artikel vestigt een formalisme waarin patching wordt beschouwd als lokale broninvoeging, attributie als voorspelling van het gevoeligheidsveld, en voortplanting als empirische Green-functie-respons.
Formulering voor Adjoint-inferentie: Het stelt patch-site-inferentie voor als een omgekeerd probleem dat oplosbaar is via een adjoint-variatieprincipe, en gaat hiermee voorbij aan eenvoudige enumeratie naar een constrained reconstructieprobleem.
Empirisch Lineair-Responsregime: De auteurs identificeren een begrensd lokaal lineair regime in GPT-2-modellen waar gevoelheden van de eerste orde patch-effecten nauwkeurig voorspellen en superpositie geldt.
Gestructureerde Voortplanting: Experimenten tonen aan dat residu-verstoringen zich op een gestructureerde, anisotrope manier voortplanten over diepte en tokenpositie, met ongeveer compositieve eigenschappen die consistent zijn met de lineariseerde theorie.
Verminderde Beschrijvingen: Het artikel toont aan dat locaties met hoge gevoeligheid en gesneden Green-operators hanteerbare, laagdimensionale beschrijvingen bieden van de anderszins hoogdimensionale ruimte van residu-respons.
Schaalhypothese: Een theoretisch voorstel wordt gedaan dat de responsgeometrie (Green-functie-vingerafdrukken) mogelijk wordt gedeeld over modelschalen. Dit suggereert dat responsinformatie van een kleiner model kandidaat-kaarten voor patch-sites voor een groter model kan definiëren, mits lokale ankers worden gebruikt.

Resultaten

Lineariteit: Lokale verstoringen vertonen een begrensd lineair regime waarbij nonlineariteit en superpositiefouten laag blijven (onder de 20% in geteste bereiken) voor gematigde amplitude.
Voorspellende Nauwkeurigheid: Autograd-gevoelheden ( $a(t, x)$ ) voorspellen succesvol gemeten scalaire patch-effecten over diverse residu-locaties en richtingen, wat de benadering van de eerste orde valideert.
Structuur van Voortplanting: Lokale interventies genereren gestructureerde downstream responsvelden die anisotroop verspreiden. De compositietest bevestigt dat tussenliggende residu-velden voldoende informatie behouden om downstream-responsen binnen het perturbatieve regime te reproduceren.
Concentratie van Locaties: Gevoeligheidsscores ( $\|a(t, x)\|$ ) zijn sterk niet-uniform en concentreren zich op een kleine set laag-tokenlocaties, wat de reductie van de zoekruimte voor interventies mogelijk maakt.
Prompt-verplaatsing: Verschillen tussen prompts fungeren als lokale transformatierichtingen. Hun effecten worden voorspeld door causale gevoelheden, zijn het meest effectief in latere lagen, en kunnen succesvol de rangschikking van doelantwoorden in het vocabulaire verschuiven.

Betekenis en Claims
Het artikel claimt een "praktische taal" te bieden voor het organiseren van patching-experimenten, waarbij het paradigma verschuift van het enumereren van interventies naar het schatten van responsgrootheden (gevoelheden en kernen). Door de basis van lineaire respons empirisch te vestigen, maakt het werk de reconstructie van interne mechanismen wiskundig goed gesteld: de Green-functie dient als de voorwaartse operator voor een omgekeerd probleem dat patch-locaties en -richtingen identificeert.

De auteurs formuleren hun schaalhypothese bescheiden als een motivatie voor toekomstig werk in plaats van een bewezen resultaat, en merken op dat deze berust op een "hypothese van gedeelde latente respons" en lokale ankers (gewichten, activeringen of schaarse patches) vereist om levensvatbaar te zijn. De primaire bijdrage is de vereniging van instrumenten voor mechanistische interpretatie (patching, tracing, sturing) onder één enkele veldtheorie met continue diepte, wat een principiële route biedt van meting naar inferentie en potentieel naar overdracht op modelschaal.