🤖 machine learning

Cross-Layer Interaction under Weight-Space Ablation: A Closed-Form Attention Jacobian Bound and a Test on a Real Pretrained Model

Dit artikel breidt de theoretische grenzen van cross-layer interacties in weight-space ablatie uit door een gesloten vorm van een attention Jacobian-grens af te leiden, die is geverifieerd op een echt voorgetraind model, en door gemengde empirische resultaten te demonstreren op een emergent indirect object identification-circuit.

Oorspronkelijke auteurs: Abdallah Khemais

Gepubliceerd 2026-08-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdallah Khemais

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe het brein van een gigantische, superintelligente robot werkt. Dit brein is geen enkele brok metaal; het is gebouwd als een lange lopende band met veel stations, of "lagen", waar informatie doorheen wordt doorgegeven. Op elk station doet het brein twee hoofdzaken: het let op specifieke aanwijzingen (zoals een detective die zich concentreert op een getuige) en het verwerkt die aanwijzingen via een denkmodule (zoals een rekenmachine die getallen verwerkt). Wetenschappers noemen de onderdelen die deze aanwijzingen dragen "carriers".

Om te ontdekken wat elk onderdeel doet, spelen onderzoekers een spel van "wat als". Ze proberen twee verschillende trucjes uit: Activation Patching, waarbij ze een stukje van de huidige gedachte van de robot vervangen door een gedachte uit een andere situatie om te zien of de robot in de war raakt, en Weight Ablation, waarbij ze effectief een deel van de bedrading van het brein "uitzetten" om te zien of de robot stopt met werken. Meestal vertellen deze twee trucjes hetzelfde verhaal. Maar soms, wanneer de stations van de robot op ingewikkelde manieren met elkaar verbonden zijn, geven de trucjes verschillende antwoorden. De grote vraag is: waarom verschillen ze, en hoeveel verstoort het ene deel van het brein een ander deel dat ver weg verderop in de lijn ligt? Het begrijpen hiervan is cruciaand, want als we deze gigantische breinen willen repareren of controleren, moeten we precies weten hoe hun interne tandwielen met elkaar interageren, niet alleen hoe ze aan de oppervlakte lijken.

Dit artikel is als een detectives verhaal dat een aanwijzing volgt die gevonden is in een klein, eenvoudig model, en probeert te zien of dit standhoudt in een enorme, echte robot. De auteur begint met een ontdekking uit een "companion paper" (een zusterstudie door dezelfde schrijver) die bewees dat in een enkel, geïsoleerd station, het uitzetten van een specif kind type denkmodule (de MLP) de aandacht-sectie helemaal niet verstoort. Het is alsof je de rekenmachine in een fabriekstation uitzet zonder de vergrootglas van de detective te beïnvloeden. Echter, dat bewijs werkte alleen voor één station tegelijk. Echte robots hebben tientallen stations, en de onderdelen die wetenschappers willen uitzetten, liggen vaak ver uit elkaar.

De eerste grote zet van de auteur is om de chaos van een robot met meerdere stations af te breken tot een net overzicht van onderdelen. Ze laten zien dat de totale verwarring veroorzaakt door het uitzetten van onderdelen over vele lagen heen, kan worden opgesplitst in twee dingen: een "same-station" effect (dat ze perfect begrijpen) en een "cross-layer" restant (het rommelige spul dat gebeurt wanneer Station A de input voor Station B verandert). Ze bewijzen dat dit rommelige restant geen willekeurige ruis is; het heeft een precieze wiskundige vorm, zoals een dubbelintegraal (een chique manier om te zeggen dat het de cumulatieve effect van twee veranderingen die tegelijkertijd plaatsvinden).

Maar hier komt de twist: hoewel ze de vorm van de rommel kunnen beschrijven, kunnen ze nog geen hard getal vaststellen voor hoe groot deze wordt wanneer je vele stations aan elkaar koppelt. Om dat te doen, hadden ze een nieuwe tool nodig: een "Jacobian bound" voor het aandacht-gedeelte van het brein. Denk aan dit als een snelheidslimietbord voor hoe snel een verandering in één aanwijzing door het aandachtmechanisme kan rimpelen. De auteur heeft deze snelheidslimiet afgeleid in een closed-form formule (een nette, exacte vergelijking) en heeft dit getest tegen een echte, vooraf getrainde robotbrein genaamd Qwen2.5-1.5B-Instruct. Ze controleerden 12 specifieke plekken in dit echte brein, en de snelheidslimiet hield elke keer stand — nul overtredingen. Ze zijn echter eerlijk over de limiet: ze hebben de snelheidslimiet geverifieerd voor één station, maar ze hebben nog niet bewezen dat als je 28 stations aan elkaar koppelt, de fouten niet exploderen tot iets nutteloos. Dus, de wiskunde is exact, maar het definitieve "grote getal" voor de hele keten blijft een open vraag.

Om te zien of hun theorieën werken op iets reëels, ging de auteur op jacht naar een verborgen circuit binnen de Qwen-robot dat het helpt bij het oplossen van "Indirect Object Identification" (begrijpen wie een voorwerp aan wie gaf in een zin als "The ball was given to Mary by John"). Ze hebben dit circuit niet zelf ontworpen; het ontstond natuurlijk terwijl de robot leerde spreken. Ze vonden een kleine, gedeelde groep neuronen die fungeert als de kern van deze vaardigheid, die in bijna elke testcase verschijnt, plus wat extra "back-up" neuronen die specifiek zijn voor elke zin.

Toen ze het drieledige patroon testten (verzwakt het uitzetten van het circuit de logica van de robot? verschillen de twee trucjes? is er een rommelige interactie?), waren de resultaten een echte mix.

Collapse: In vier van de vijf testzinnen maakte het uitzetten van het circuit de robot in de war, precies zoals voorspeld. Maar bij één zin ("Anna/Mike") gaf de robot er nauwelijks iets om, wat laat zien dat deze circuits niet altijd 100% betrouwbaar zijn.
Dissociation: De twee trucjes (patching versus uitzetten) waren altijd van mening verschillend, wat bevestigt dat ze inderdaad verschillende dingen meten.
Interaction: Op drie van de vijf zinnen maten ze een "niet-nul interactie", wat betekent dat de onderdelen elkaar wel verstoren. Cruciaal was dat deze interacties plaatsvonden tussen lagen die ver uit elkaar lagen, niet direct naast elkaar. Dit suggereert dat de rommelige "cross-layer remainder" die de auteur identificeerde, echt en meetbaar is in een echt brein, ook al wordt de exacte wiskundige grens voor het nog steeds wordt uitgewerkt.

Kortom, het artikel bewijst dat de "rommelige interactie" tussen verre onderdelen van een neuraal netwerk een echt, meetbaar fenomeen is dat kan worden afgebroken in exacte wiskundige stukken. Ze vonden een nieuwe tool om één deel van die rommel te meten en verifieerden dit op een echte robot, maar de laatste stap om die tool over de volledige diepte van de robot te koppelen, is nog een werk in uitvoering. De kernboodschap is niet een opgelost probleem, maar een veel duidelijkere kaart van waar het mysterie ligt.

Probleemstelling
Dit artikel behandelt twee specifieke beperkingen in een begeleidend werk (van dezelfde auteur) met betrekking tot de causale analyse van neurale netwerken via activation patching en weight-space ablation. Het begeleidende artikel stelde een exacte eerste-orde interactieformule vast voor twee dragers (een attention head en de MLP van zijn laag) binnen een enkelvoudig residuële blok van een geïdealiseerd model. Het liet echter twee kritische hiaten open:

Multi-layer scope: De stelling uit het begeleidende werk zwijgt over interacties tussen dragers die gescheiden worden door meerdere lagen, wat de generieke situatie is in echte transformers. Het houdt geen rekening met hoe een ablation in een eerdere laag de berekening van een latere laag beïnvloedt.
Empirische scope: De resultaten van het begeleidende artikel werden alleen geverifieerd op kleine, synthetische transformers die vanaf nul waren getraind voor een specifieke conditionele taak. Het blijft onbekend of deze theoretische voorspellingen standhouden voor "emergente" circuits die gevonden zijn in grote, echt voorgetrainde modellen getraind op natuurlijke taal.

Methodologie
Het artikel breidt het theoretische kader van het begeleidende werk uit met behulp van exacte wiskundige decomposities en gesloten vorm grenzen (closed-form bounds), en valideert deze bevindingen vervolgens op een echt voorgetraind model.

Theoretische uitbreiding (Multi-layer Decompositie): De auteur leidt een exacte identiteit af (Propositie 1) die aantoont dat de interactiekloof voor een willekeurige subset van geablereerde dragers die meerdere lagen beslaan, uiteenvalt in een som van "same-block" termen (één per geraakte laag) plus een "cross-layer remainder" ( $R_\times$ ).
Exacte Cross-Layer Identiteit: Voor het geval van twee geraakte lagen wordt de remainder $R_\times$ exact geïsoleerd als een dubbelintegraal van een gemengde tweede partiële afgeleide (Propositie 2), waarbij de fundamentele stelling van de calculus één niveau hoger wordt toegepast.
Closed-Form Bounds:
- Attention Jacobian: Om de cross-layer remainder te begrenzen, leidt de auteur een closed-form, pointwise bound af voor de Jacobian van de output van een enkele attention head met betrekking tot een geperturbeerde key of value token (Propositie 3).
- Curvature Constant: De auteur berekent de curvature constant $\Lambda$ die vereist is voor de tweede-orde bound van het begeleidende werk in closed form, gebruikmakend van enkel de getrainde gewichten (Propositie 4), in plaats van deze aan te nemen.
Empirische Verificatie:
- Synthetische Check: De multi-layer decompositie wordt getest op de vijf synthetische transformer-instanties uit het begeleidende artikel.
- Real Model Check: De auteur zoekt naar een emergent circuit voor Indirect Object Identification (IOI) in Qwen2.5-1.5B-Instruct met behulp van een greedy activation-patching zoektocht. Vervolgens meet de auteur het driewegpatroon (collapse, dissociation, en interaction) op dit circuit.

Kernbijdragen

Exacte Multi-Layer Decompositie: Het artikel biedt een exacte decompositie van multi-layer interactie-effecten in same-block termen en een specifieke cross-layer remainder. Het bewijst dat same-block termen nul zijn als alleen MLP's worden geablereerd en gelijk zijn aan de gebounded term uit het begeleidende artikel als de laag de readout direct voedt.
Closed-Form Attention Jacobian Bound: Het artikel leidt een closed-form bound af voor de operator norm van de Jacobian van de attention sub-block. Deze bound wordt pointwise geverifieerd tegen de echte gewichten van Qwen2.5-1.5B-Instruct met nul schendingen.
Expliciete Curvature Constant: Het artikel levert de voorheen niet getoonde curvature constant $\Lambda$ in closed form, berekend uit de spectrale normen van de getrainde MLP-gewichten en normalisatieschalen.
Empirisch Bewijs op Voorgetrainde Modellen: Het artikel identificeert een emergent IOI-circuit in een 1.5B-parameter voorgetraind model en rapporteert gemengde empirische resultaten met betrekking tot de theoretische voorspellingen van collapse, dissociation en interaction.

Resultaten

Theoretisch: De decompositie-identiteit houdt exact stand. De afgeleide attention Jacobian bound wordt pointwise geverifieerd op echte gewichten (12 locaties, 0 schendingen), hoewel de auteur opmerkt dat het ketenen van deze bound over vele lagen nog niet geverifieerd is en waarschijnlijk los (loose) is door cumulatieve onnauwkeurigheid.
Synthetische Experimenten: Op de synthetische modellen houdt de multi-layer decompositie-identiteit stand tot op floating-point precisie. Echter, de cross-layer remainder $R_\times$ is vaak van dezelfde orde grootte als de same-block som, en de twee termen heffen elkaar vaak gedeeltelijk op. Daarom is de same-block som alleen geen betrouwbare indicator voor de totale interactie in multi-layer configuraties.
Real Model (Qwen2.5-1.5B-Instruct):
- Circuit Discovery: Er werd een gedeelde kern (Layer 25/Head 9) en instantie-specifieke ondersteuning gevonden voor de IOI-taak.
- Collapse: Werd duidelijk waargenomen in 4 van de 5 instanties, maar was afwezig op één instantie (Anna/Mike), waar het ablateren van het circuit de beslissingskloof nauwelijks verkleinde.
- Dissociation: Er werd een significante kloof waargenomen tussen de effecten van patching en ablation op alle 5 de instanties, wat bevestigt dat dit verschillende operaties zijn.
- Interaction: Meetbare niet-nul interactie werd gevonden op 3 van de 5 instanties. Cruciaal is dat de betrokken laagparen bij deze interacties niet in de single-block configuratie zaten die in het begeleidende theorem bewezen is. Daarom zijn deze resultaten suggestief voor de multi-layer case, maar vormen ze geen directe test van het single-block theorem.

Betekenis en Claims
Het artikel beweert de kloof te dichten tussen single-block theoretische garanties en de realiteit van multi-layer transformer architecturen, maar doet dit met expliciete eerlijkheid over de resterende beperkingen.

Het stelt vast dat multi-layer interacties exact gedecomposeerd kunnen worden, waarbij de "cross-layer remainder" wordt geïsoleerd als de specifieke hoeveelheid die onbegrensd blijft.
Het levert de noodzakelijke wiskundige ingrediënten (de attention Jacobian bound en de curvature constant) om deze remainder potentieel te begrenzen, waarbij deze pointwise op echte gewichten worden geverifieerd.
Het demonstreert dat de kwalitatieve patronen (collapse, dissociation, interaction) die in synthetische modellen worden waargenomen, ook voorkomen in emergente circuits van echte voorgetrainde modellen, maar met "werkelijk gemengde getrouwheid" (mixed fidelity).
De auteur geeft expliciet aan dat hij niet claimt de cross-layer remainder over willekeurige dieptes te hebben begrensd, noch dat de interactieresultaten op Qwen2.5 bewijzen dat het single-block theorem van toepassing is op multi-layer gevallen. In plaats daarvan presenteert de auteur de gemengde resultaten als bewijs dat de theorie niet louter een artefact is van synthetische training, terwijl hij benadrukt dat de teken en magnitude van multi-layer interacties een open en complex vraagstuk blijven.

Meer zoals dit