🤖 machine learning

A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations: I. The Single-Block Theory and Synthetic Validation

Dit artikel stelt een geïdealiseerd theoretisch kader vast dat bewijst dat activation patching en weight-space ablation uiteenlopende causale interpretaties van modelcomponenten opleveren, waarbij exacte condities voor hun overeenstemming en onovereenstemming worden afgeleid en deze voorspellingen worden gevalideerd door middel van synthetische experimenten en real-world transformer-modellen.

Oorspronkelijke auteurs: Abdallah Khemais

Gepubliceerd 2026-08-05

📖 8 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdallah Khemais

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Dilemma van de Detective: Hoe we proberen de AI-hersenen te begrijpen

Stel je voor dat je een enorme, complexe machine hebt die verhalen kan vertellen, wiskundige problemen kan oplossen of gedichten kan schrijven. Je wilt weten hoe deze werkt. Zijn het de tandwielen in het midden? De veren aan de bovenkant? Om dit te ontdekken, gebruiken wetenschappers twee belangrijke trucs. De eerste is als Activation Patching: stel je voor dat de machine een verhaal vertelt, en je pauzeert de machine, vervangt een specifief tandwiel door een tandwiel uit een ander verhaal, en kijkt of het plot verandert. Als het verhaal verandert, was dat tandwiel belangrijk. De tweede truc is Weight-Space Ablation: in plaats van de machine te pauzeren, pak je een schroevendraaier en verwijder je of "zet je op nul" dat specifieke tandwiel permanent. Daarna laat je de machine weer draaien. Als het verhaal breekt, was dat tandwiel belangrijk.

Lange tijd hoopten wetenschappers dat deze twee trucs hetzelfde verhaal zouden vertellen. Ze namen aan dat als een tandwiel belangrijk was voor een specifiek moment (patching), het ook belangrijk zou zijn voor het algemene ontwerp van de machine (ablation). Maar in de wereld van Kunstmatige Intelligentie is het zelden zo simpel. Soms is een machine zo vol met reserve-tandwielen dat het verwijderen van één onderdeel niets kapot maakt, zelfs als het vervangen ervan midden in een verhaal voor een ramp zorgt. Dit artikel stelt een cruciale vraag: Wanneer komen deze twee detective-methoden overeen, en wanneer liegen ze tegen ons? De auteur raadt niet alleen maar; hij bouwt een wiskundig model om precies te bewijzen waarom deze methoden kunnen verschillen, en hij test dit op kleine, kunstmatige AI-hersenen om te zien of de wiskunde standhoudt in de echte wereld.

Het Papier: Waarom twee detective-methoden kunnen verschillen

Dit artikel, getiteld A Theory of Conditional Collapse under Low-Rank Weight-Space Ablations, is een diepe duik in de mechanica van hoe AI-modellen beslissingen nemen. De auteur, Abdallah Khemais, behandelt de AI niet als een mysterieuze zwarte doos, maar als een verzameling wiskundige ingrediënten die bij elkaar worden gemengd. Hij richt zich op een specif type AI-gedrag genaamd "conditionele computatie" — waarbij de AI besluit iets te doen als hij een "rode" token ziet en iets anders als hij een "blauwe" token ziet.

De Drie Grote Ontdekkingen

Het artikel bewijst drie hoofdzaken met behulp van een vereenvoudigd wiskundig model, en controleert vervolgens of die zaken ook voorkomen in werkelijke, getrainde AI-modellen.

1. De "Perfecte Collaps" (Wanneer het verwijderen van onderdelen de AI doet vergeten)
Stel je voor dat de AI moet kiezen tussen twee paden: Pad A (de "Inverted" route) en Pad B (de "Literal" route). De auteur bewijst dat als je een specifieke set "carriers" verwijdert (de onderdelen van de AI die de beslissing dragen), de AI plotseling het verschil tussen Pad A en Pad B kan vergeten. Het stort in (collaps) tot één enkel, onconditioneel antwoord.

De Catch: Dit gebeurt alleen als de verwijdering perfect gebalanceerd is. Als je een onderdeel verwijdert dat de AI richting Pad A duwt, moet je ook een onderdeel verwijderen dat de AI richting Pad B duwt met exact dezelfde kracht. Als de balans zoek is, stort de AI niet in; hij raakt simpelweg in de war.
De Test in de echte wereld: De auteur trainde kleine AI-modellen op een spel waarbij ze sleutels en waarden moesten onthouden. Hij ontdekte dat het soms de AI deed de verkeerde weg te kiezen als er één deel werd verwijderd, maar dat het verwijderen van een andere combinatie van onderdelen de AI de tegenovergestelde verkeerde weg op stuurde. Deze "polairteit-omkering" bewees dat de AI niet zomaar willekeurig faalde, maar in op een zeer specifieke, voorspelbare manier instortte zoals de wiskunde voorspelde.

2. De "Patch vs. Ablate" Mismatch (De Redundantie-valstrik)
Dit is de meest speelse en verrassende bevinding van het artikel. De auteur laat zien dat Activation Patching en Weight Ablation twee totaal verschillende dingen meten.

De Analogie: Stel je een team van vijf mensen voor die een zware doos dragen. Als je vraagt: "Wie is sterk genoeg om de doos alleen te dragen?" en je vervangt één persoon door een supersterke reus (Patching), dan vliegt de doos door de kamer. Die persoon is "voldoende". Maar als je vraft: "Wie is noodzakelijk?" en je verwijdert stilletjes één persoon uit het team (Ablation), kunnen de andere vier het werk misschien wel overnemen, en de doos valt niet.
De Bevinding: Het artikel bewijst wiskundig dat je een situatie kunt hebben waarin elke individuele persoon sterk genoeg is om de doos alleen te dragen (dus het vervangen van een willekeurige persoon verandert de uitkomst), maar geen enkele persoon noodzakelijk is (dus het verwijderen van een willekeurige persoon doet niets).
Het Resultaat: In hun experimenten vonden ze AI-componenten die, wanneer ze werden vervangen, de beslissing van de AI volledig omdraaiden (een "recovery ratio" groter dan 1, wat betekent dat het doel werd overschoten). Toch bleef de AI perfect functioneren wanneer diezelfde componenten werden verwijderd. Dit verklaart waarom sommige AI-onderdelen er in de ene test uitzien als helden en in de andere als nutteloze decoraties.

3. De "Verborgen Interactie" (Wanneer onderdelen met elkaar praten)
Het vereenvoudigde wiskundige model gaat ervan uit dat elk deel van de AI onafhankelijk werkt, zoals afzonderlijke ingrediënten in een salade. Maar in echte AI-modellen praten onderdelen vaak met elkaar. Specifiek keek de auteur naar hoe een "Attention Head" (een onderdeel dat naar andere woorden kijkt) interacteert met de "MLP" (een onderdeel dat het resultaat verwerkt) binnen dezelfde laag.

De Wiskunde: Hij leidde een precieze formule af die laat zien dat als je de Attention Head verwijdert, het de input voor de MLP verandert, wat een "rimpeleffect" of "interactieterm" creëert die het simpele model negeert.
Het Bewijs: Hij toonde aan dat als je alleen de MLP verwijdert, dit rimpeleffect verdwijnt (de wiskunde is exact). Maar als je de Attention Head verwijdert, is het rimpeleffect echt en meetbaar.
Het Experiment: Hij mat deze "interactie-omvang" in zijn AI-modellen. Hij vond een sterke, negatieve correlatie (een Spearman rang van -0,83): hoe groter de verborgen interactie, hoe minder accuraat de voorspellingen van het simpele model waren.

Het "Oops"-moment: Geen Magische Drempelwaarde

Hier wordt het artikel zeer eerlijk en wetenschappelijk. In het begin dacht de auteur dat hij misschien een "magisch getal" of een duidelijke lijn zou vinden die bepaalt wanneer het simpele model werkt en wanneer het faalt. Hij onderzocht 14 specifieke opstellingen en zag een duidelijke kloof: sommige hadden nul interactie, andere hoge interactie, en het model werkte perfect voor de eerste groep.

Maar toen testte hij 25 andere opstellingen (out-of-sample). De cleane kloof verdween. De opstellingen die volgens de logica zouden moeten falen, werkten soms toch, en andersom.

De Conclusie: De auteur geeft toe dat hoewel de omvang van de interactie een goede voorspeller is van hoe fout het simpele model zal zijn, er geen enkele "afkapwaarde" is die je kunt gebruiken om te zeggen: "Dit is veilig, dat is het niet." De relatie is een vloeiende curve, geen schakelaar. Hij stelt expliciet dat de "cleane scheiding" die hij eerst zag, waarschijnlijk een toevalstreffer was door de kleine steekproefomvang, en dat de echte wereld rommeliger is.

Waarom dit ertoe doet

Dit artikel zegt niet alleen "AI is moeilijk". Het geeft een precieze kaart van waarom onze instrumenten om AI te begrijpen misleidend kunnen zijn.

Het vertelt ons dat als een AI-onderdeel "dispenseerbaar" lijkt wanneer we het verwijderen, dat simpelweg komt omdat de AI redundant is, en niet omdat het onderdeel onbelangrijk is.
Het vertelt ons dat als we AI willen begrijpen, we niet alleen op één methode kunnen vertrouwen (zoals patching of ablation); we moeten de wiskunde begrijpen van hoe ze van elkaar verschillen.
Belangrijker nog: het laat zien dat hoewel we kunnen voorspellen hoeveel een model zal falen wanneer we het vereenvoudigen, we nog niet in staat zijn om exact wanneer het zal falen met een simpel ja/nee-antwoord.

De auteur concludeert dat het "geïdealiseerde model" (de simpele wiskunde) een krachtig hulpmiddel is, maar dat het een bekende foutterm heeft. Door die foutterm te meten, krijgen we een veel duidelijker beeld van wat de AI daadwerkelijk doet, in plaats van ons te laten foppen door de redundantie van het eigen ontwerp. Het is een herinnering dat in de zoektocht naar begrip van AI, de waarheid vaak een gradiënt is, en geen schakelaar.

Deze paper onderzoekt de omstandigheden waaronder twee dominante families van mechanistische interpreteerbaarheidsinterventies—activation patching en weight-space ablation—overeenstemmen of uiteenlopen. Hoewel beide methoden worden gebruikt om te beargumenteren dat een specifieke netwerkcomponent causaal verantwoordelijk is voor een gedrag, opereren ze op verschillende objecten: patching wijzigt een enkele gerealiseerde berekening (activaties), terwijl ablation de parameters (gewichten) wijzigt die alle berekeningen genereren. De paper demonstreert dat deze interventies fundamenteel verschillende grootheden meten en tot tegenstrijdige conclusies kunnen leiden over de belangrijkheid van een component, zelfs binnen een geïdealiseerd wiskundig model.

Probleemformulering

De auteur bestudeert een conditionele berekening die additief wordt uitgevoerd door een residual stream, gemodelleerd als:
$F(x) = F_0(x) + \sum_{i=1}^k \alpha_i(x) v_i$
waarbij $F_0$ het onconditionele deel is, $v_i$ vaste feature-richtingen (carriers) zijn, en $\alpha_i(x)$ scalaire selectorcoëfficiënten zijn. De beslissing van het netwerk wordt bepaald door een lineaire readout $s(x) = \psi(F(x)) + b$ . De studie richt zich op matched pairs van inputs $(x_A, x_B)$ die dezelfde output vereisen maar via tegengestelde conditionele takken worden verwerkt (d.w.z. $s(x_A) > 0 > s(x_B)$ ).

De kernvraag is: Wanneer zorgt het verwijderen van een subset van carriers (ablation) ervoor dat beide inputs naar dezelfde onconditionele output gaan (collapse), en hoe verhoudt dit zich tot het effect van het patchen van een enkele carrier?

Methodologie

De paper maakt gebruik van een theoretische analyse van een Abstract Conditional Model, gevolgd door synthetische validatie op kleine transformers die getraind zijn op conditionele taken.

Theoretische Afleiding: De auteur leidt exacte identiteiten af voor de effecten van ablation en patching. Ze definiëren "carriers" als de paren $(v_i, \alpha_i)$ en analyseren de residual stream na het verwijderen van een subset van deze termen.
Geïdealiseerde Aannames: De theorie gaat uit van residual additiviteit, low-rank support voor conditionele berekeningen, stabiele basisberekening en een lineaire readout.
Synthetische Validatie: Kleine transformers (4 lagen, breedte 64) worden getraind op een synthetische associative recall taak waarbij een "marker" token wisselt tussen twee formaten (directe lookup versus permuted lookup). De auteur voert greedy activation patching uit om "carriers" (attention heads of MLPs) te identificeren en voert vervolgens low-rank weight-space ablations uit door donor-receiver activatie-delta's uit de gewichtsmatrices te projecteren.
Interactie-analyse: De paper leidt een eerste-orde formule af voor de interactieterm die ontstaat wanneer een attention head en de MLP van die laag worden samengesteld, wat aantoont hoe het geïdealiseerde additieve model faalt in deze specifieke architecturale configuratie.

Belangrijkste Bijdragen en Resultaten

1. Conditionele Collapse (Theorem 1)
De paper bewijst dat het verwijderen van een subset van carriers $S$ een matched pair laat instorten naar een enkele onconditionele output indien en slechts indien aan twee exacte condities wordt voldaan:

Symmetrie: De verwijderde massa is symmetrisch op het paar ( $\bar{q}_S = 0$ ).
Geen Overlevende Contrast: Er blijft geen contrast over buiten de verwijderde subset ( $\Psi_S = 0$ ).
Wanneer deze gelden, is de resulterende fout deterministisch, en wordt de polariteit van de collapse bepaald door het teken van de gemiddelde marge van het paar. De auteur biedt een exacte error identity (Proposition 1) die aantoont dat als deze condities slechts benaderd gelden, de fout begrensd wordt door de afwijking van deze gelijkheden, waardoor de theorie toepasbaar is op echte netwerken waar exacte gelijkheid onmogelijk is.

2. Patching–Ablation Dissociatie (Theorem 2)
De auteur bewijst dat patching en ablation verschillende grootheden meten:

Patching verplaatst de readout door het contrast van de carrier ( $\beta_i \delta_i$ , waarbij $\delta_i$ het verschil is in activatie tussen donor en receiver).
Ablation verplaatst de readout door het absolute niveau van de carrier bij de receiver ( $-\beta_i \alpha_i(x_B)$ ).
De auteur construeert matched pairs waarbij elke enkele-carrier patch de beslissing omdraait (sufficiëntie), terwijl geen enkele enkele-carrier ablation dat doet (gebrek aan noodzakelijkheid). Dit "redundancy regime" verklaart waarom patching de belangrijkheid kan overschatten (overshoot naar de beslissingsgrens) terwijl ablation het kan onderschatten (componenten lijken dispensabel door redundantie).

3. Nietlineaire Interactie (Theorem 3)
Het geïdealiseerde model gaat ervan uit dat carriers onafhankelijk zijn. De auteur leidt een exacte formule af voor de interactieterm $\Delta(x)$ die ontstaat wanneer een attention head wordt geablateerd maar de MLP van die laag niet.

De interactie is tweede-orde in de grootte van de perturbatie.
Het verdwijnt identiek als alleen de MLP wordt geablateerd ( $\eta(x) \equiv 0$ ).
Het is generiek niet-nul als de head wordt geablateerd, wat betekent dat de ablatie van de head de output van de MLP verstoort, zelfs als de MLP zelf ongemoeid blijft.
Deze interactieterm verklaart waarom de geïdealiseerde collapse-voorspellingen kunnen falen in echte netwerken wanneer heads betrokken zijn.

4. Synthetische Validatie
Experimenten op vijf getrainde transformer-instanties bevestigen de theoretische voorspellingen:

Collapse: Geneste ablation-subsets kunnen het netwerk laten instorten naar tegengestelde onconditionele takken (bijv. de ene subset dwingt een "geïnverteerde" lezing af, een grotere subset een "letterlijke" lezing), een fenomeen dat onmogelijk is in het geïdealiseerde model maar verklaard wordt door de interactieterm.
Dissociatie: Een single-site patch toonde een recovery ratio $\kappa > 1$ (overshoot), terwijl de overeenkomstige weight ablation de meerderheid van de inputs correct liet, wat het sufficiëntie-zonder-noodzakelijkheid regime bevestigt.
Interactie vs. Fidelity: Over 39 ablation-configuraties heen is de magnitude van de interactieterm (het gat tussen het geïdealiseerde model en de ware bewerkte netwerk) sterk monotoon gecorreleerd (Spearman $\rho \approx -0.83$ ) met de voorspellingsnauwkeurigheid van het model.
Negatief Resultaat: Een "clean separation" (een drempelwaarde die geïdealiseerd van niet-geïdealiseerd perfect onderscheidde) die werd waargenomen in een subset van 14 configuraties, overleefde niet toen deze werd getest op 25 aanvullende configuraties. De auteur concludeert dat hoewel de interactiemagnitude de juiste grootheid is om te volgen, een universele numerieke drempelwaarde voor besluitvorming niet door deze experimenten is vastgesteld.

Betekenis en Claims

De paper claimt vast te stellen dat activation patching en weight-space ablation niet twee metingen van dezelfde causale grootheid zijn. In plaats daarvan zijn het operatoren op verschillende objecten die verschillende wiskundige eigenschappen onderzoeken (contrast versus absoluut niveau).

Implicaties voor Interpreteerbaarheid: Een negatief ablation-resultaat bewijst niet dat een component onbelangrijk is, noch bewijst een positief patching-resultaat dat een component noodzakelijk is. Deze discrepanties zijn structurele kenmerken van redundante, superponeerde codes, en niet louter meetruis.
Theoretische Precisie: De paper biedt exacte identiteiten voor de fouten die door het geïdealiseerde additieve model worden geïntroduceerd, specifiek door de interactieterm voor head-MLP composities te begrenzen. Het toont aan dat het falen van het geïdealiseerde model geen willekeurige ruis is, maar een voorspelbaar, tweede-orde effect.
Bescheidenheid over Drempelwaarden: De auteur stelt expliciet dat hoewel de theorie de juiste grootheid identificeert om het gedrag van het model te voorspellen, het nog geen gekalibreerde drempelwaarde biedt die overdraagbaar is naar andere netwerken of configuraties. De betekenis ligt in het kwalitatieve begrip van wanneer en waarom de interventies uiteenlopen, in plaats van in een nieuwe binaire beslissingsregel voor interpreteerbaarheid.

Het werk is geframed als een "single-block theory" met synthetische validatie, waarbij uitbreidingen naar multi-layer interacties en echte pretrained modellen zijn voorbehouden aan een begeleidende analyse.