🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Dit artikel toont aan dat het analyseren van verliesgradiënten in plaats van optimalisator-updates een sterke, eerder verborgen koppeling onthult tussen gradiëntrichtingsgevoeligheid en kenmerken van lineaire centroid-hypothese, waaruit blijkt dat het beperken van attentie-updates tot laag-rang subruimtes grokking versnelt, terwijl de natuurlijke vol-rang updates sterk rang-redundant zijn.

Oorspronkelijke auteurs: Yongzhong Xu

Gepubliceerd 2026-04-29

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yongzhong Xu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Geheel: Een Auto Kijken Rijden versus de Weg Bekijken

Stel je voor dat je probeert te begrijpen hoe een zelfrijdende auto leert navigeren door een complexe stad. Je wilt weten: Welke specifieke bochten en rijbanen helpen de auto eigenlijk om de route te leren?

Lange tijd hebben onderzoekers gekeken naar de werkelijke beweging van de auto (de trajectorie van de optimizer) om dit uit te zoeken. Ze keken naar het pad dat de auto de laatste paar minuten had afgelegd, trokken een lijn door het midden van dat pad en zeiden: "Aha! De auto leert door zich in deze specifieke richting te bewegen."

Dit artikel stelt dat het kijken naar de beweging van de auto misleidend is.

De auteurs zeggen dat de beweging van de auto een rommelige mix is van:

Momentum: De auto glijdt nog steeds door vanwege bochten die hij 10 seconden geleden nam.
Adaptieve Schaling: De auto past zijn snelheid aan op basis van hoe glad de weg voelt.
Gewichtsverval: De auto probeert in het midden van de rijbaan te blijven, zelfs als dat niet nodig is.
Conflicterende Doelen: In een multi-task omgeving probeert de auto tegelijkertijd naar de supermarkt, de sportschool en het kantoor te gaan. Het pad dat hij neemt is een compromis, geen duidelijke route naar één specifieke bestemming.

Het artikel stelt dat je, om echt te begrijpen wat de auto leert, niet moet kijken waar de auto naartoe is gegaan. In plaats daarvan moet je kijken naar de wegborden en de kaart (de gradiënten) waar de auto op dit moment naar keek.

De Kernontdekking: Het "Rommelige Pad" versus het "Duidelijke Signaal"

De onderzoekers testten dit op een computermodel dat wiskundeproblemen leerde (zoals optellen en vermenigvuldigen). Ze gebruikten een "test" om te zien of het model specifieke kenmerken vormde (zoals een mentale regel voor het optellen van getallen).

1. De Oude Manier (De Auto Kijken):
Toen ze het pad analyseerden dat het model had afgelegd (de "Update"), waren de testresultaten zwak en verwarrend.

Het Resultaat: Het leek alsof het model aan het leren was, maar de "richting" van het leren zag er willekeurig uit. Bij complexe taken waarbij het model vier dingen tegelijk moest doen, faalde de test volledig. Het leek alsof het model helemaal niets specifieks aan het leren was.
De Analogie: Het is alsof je probeert de bestemming van een wandelaar te achterhalen door naar zijn modderige voetafdrukken te kijken. De voetafdrukken zijn een jumble van glijden, stoppen en van richting veranderen, dus je kunt niet zeggen welke kant ze eigenlijk probeerden op te gaan.

2. De Nieuwe Manier (Naar de Kaart Kijken):
De onderzoekers schakelden over naar het analyseren van de gradiënten (het ruwe wiskundige signaal dat het model vertelt welke kant op het moet bewegen voordat de rommelige optimizer tussenbeide komt).

Het Resultaat: Plotseling werd het signaal ongelooflijk helder. De "richting" van het leren was 30 tot 100 keer sterker dan daarvoor.
De Analogie: In plaats van naar de modderige voetafdrukken te kijken, keken ze naar de GPS-coördinaten waar de wandelaar op dat exacte moment op aanstuurde. De richting was scherp, helder en perfect in lijn met de bestemming.

Belangrijkste Conclusie: De "optimizer" (het algoritme dat het model bijwerkt) voegt zoveel ruis en geschiedenis toe dat het het echte leersignaal verbergt. Je moet het momentum en de geschiedenis weglaten om te zien wat het model eigenlijk leert.

Het Multi-Task Probleem: De "Comitévergadering"

Het artikel keek ook naar een model dat probeerde vier verschillende wiskundeproblemen tegelijk te leren (Optellen, Aftrekken, Vermenigvuldigen en een complexe kwadratische formule).

De Oude Visie: Toen ze naar het gecombineerde pad van het model keken, zag het eruit als een ramp. Het model probeerde vier verschillende "comités" tevreden te stellen, en het resulterende pad was een compromis dat geen van hen goed tevreden stelde. Het diagnosehulpmiddel zei: "Dit model leert geen specifiek kenmerk."
De Nieuwe Visie: Toen ze naar de "kaart" voor elk comité apart keken (de gradiënt berekenend voor optellen, dan voor aftrekken, enz.), ontdekten ze dat het model eigenlijk zeer goed aan het leren was voor alle vier de taken.
De Analogie: Stel je een comité van vier personen voor dat probeert te beslissen over een lunchbestelling.
- De Oude Manier: Je kijkt naar het uiteindelijke, rommelige compromis (bijvoorbeeld: "Laten we een salade met pizzatoppings bestellen"). Het lijkt op een slechte beslissing die niemand tevreden stelt.
- De Nieuwe Manier: Je luistert naar wat elke persoon individueel wilde bestellen. Je realiseert je dat Persoon A echt een salade wilde, en Persoon B echt pizza wilde. Het "rommelige compromis" was slechts het resultaat van hun ruzie, maar hun individuele wensen waren duidelijk en sterk.

Conclusie: Bij multi-task training verbergt het "compromispad" het feit dat het model succesvol onderscheidende kenmerken leert voor elke taak. Je moet de taken scheiden om het leren te zien.

De "Rank-3" Verrassing: Het Gaat om de Grootte, Niet de Richting

De onderzoekers deden nog één experiment. Ze vroegen zich af: "Moet het model leren in deze specifieke richtingen die we hebben gevonden, of gewoon in een willekeurige laag-dimensionale richting?"

Ze dwongen het model om alleen te leren met behulp van een zeer kleine, eenvoudige "subruimte" (een tiny 3-dimensionale plak van zijn enorme brein).

Het Resultaat: Het model leerde sneller (ongeveer 2,3 keer sneller) wanneer het gedwongen werd om deze kleine plak te gebruiken.
De Twist: Het maakte niet uit welke plak ze gebruikten. Of ze nu de "slimme" plak gebruikten die ze met hun nieuwe methode hadden gevonden, of een volledig willekeurige plak, het model leerde even snel.
De Analogie: Stel je voor dat je probeert een grote koffer in een kleine kofferbak van een auto te krijgen.
- Je zou kunnen denken: "Ik moet de kleding op deze specifieke manier vouwen om ze te laten passen."
- Maar het experiment toonde aan dat zolang je de koffer gewoon comprimeert (de rang verlaagt), hij past en sneller aankomt. Het maakt niet uit of je de overhemden of de broeken eerst vouwt; het is de daad van het comprimeren van de ruimte die telt.

Conclusie: De specifieke "richtingen" waarin het model leert, zijn slechts een symptoom van het leerproces, niet de oorzaak. De echte magie zit hem in het feit dat het model zijn volledige, rommelige brein niet nodig heeft om deze wiskundige trucs te leren; het heeft alleen een kleine, gecomprimeerde versie daarvan nodig.

Samenvatting voor het Algemeen Publiek

Stop met het kijken naar de voetafdrukken: Als je wilt begrijpen hoe AI leert, kijk dan niet naar het pad dat het heeft afgelegd (de optimizer-updates). Dat pad is te rommelig met geschiedenis en compromissen.
Kijk naar de kaart: Kijk naar de ruwe instructies (gradiënten) die de AI op dit moment volgt. Dit onthult de ware "richtingen" van het leren, die veel sterker en duidelijker zijn.
Scheid de taken: Als een AI veel dingen tegelijk doet, lijkt het gecombineerde pad op een mislukking. Je moet naar elke taak individueel kijken om te zien dat het eigenlijk slaagt.
Eenvoud wint: De AI leert sneller wanneer het gedwongen wordt om simpel te zijn. Het heeft geen complexe, specifieke richtingen nodig om te leren; het moet alleen worden beperkt tot een kleinere, eenvoudigere ruimte.

Het artikel vertelt ons in essentie dat onze huidige hulpmiddelen voor het "interpreteren" van AI naar het verkeerde ding kijken. Door over te schakelen naar een schonere weergave van de data, kunnen we zien dat AI veel effectiever en eenvoudiger leert dan we dachten.

1. Probleemstelling

In mechanistische interpretabiliteit is een centrale vraag het identificeren van welke richtingen in de parameterruimte corresponderen met de vorming van specifieke kenmerken (circuits). Een gebruikelijke diagnostische aanpak bestaat uit het analyseren van de laag-rang structuur van optimizer-trajecten (parameterupdates, $\Delta \theta$ ) met behulp van Singular Value Decomposition (SVD) over rollende vensters. Deze methode, bekend als Update SED (Spectral Edge Diagnostics), gaat ervan uit dat de richtingen waarin de optimizer beweegt, trouw de richtingen weerspiegelen die relevant zijn voor de vorming van kenmerken.

De auteurs betogen dat deze aanname gebrekkig is in moderne trainingspijplijnen (met AdamW met momentum, adaptieve schaling en gewichtsverval) en vooral in multitask-omgevingen. Zij stellen dat optimizer-updates het onderliggende gradiëntsignaal aggregeren en vervormen, waardoor de uitlijning tussen trajectgebaseerde diagnostiek en de daadwerkelijke vorming van kenmerken mogelijk wordt verduisterd of vernietigd.

2. Methodologie

De studie onderzoekt deze hypothese met behulp van grokking op taken voor modulaire rekenkunde (optellen, aftrekken, vermenigvuldigen en $a^2+b^2$ ) binnen een 2-laags Transformer-architectuur. De auteurs vergelijken twee klassen van spectrale schatters met de Linear Centroids Hypothesis (LCH), die stelt dat kenmerken worden gevormd langs richtingen die de gevoeligheid van taakspecifieke centroiden maximaliseren.

Belangrijkste vergeleken schatters:

Update SED: Voert SVD uit op een rollend venster van daadwerkelijke AdamW-parameterupdates ( $\Delta \theta_t$ ). Dit vangt het "pad" in dat de optimizer heeft afgelegd.
Gradient SED: Voert SVD uit op een rollend venster van ruwe gradiënten ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) geëvalueerd bij de huidige parameters. Dit vangt de richting van de "steilste daling" van het verlieslandschap in, ontdaan van optimizer-artefacten (momentum, adaptieve schaling, gewichtsverval).
- Multitask-extensie: In multitask-omgevingen berekenen de auteurs per-op-gradiënten ( $g_{op}$ ) door de loss van elke taak apart terug te propageren, in plaats van de geaggregeerde totale loss-gradiënt te gebruiken.

Diagnostische maatstaf:

De koppeling tussen een spectrale richting $v_k$ en de vorming van kenmerken wordt gemeten door de perturbatieve ratio $R_k$ :
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
Waarbij $A(v, t)$ de verandering in de taakcentroïde meet wanneer de attentieparameters worden verstoord langs richting $v$ . Een hoge $R_k$ geeft aan dat de richting $v$ zeer gevoelig is voor de vorming van kenmerken.

Causale interventies:

De auteurs voeren causale interventies uit door attentie-updates te beperken tot laag-rang deelruimten (Rang-3) die worden gedefinieerd door óf de SED-basis óf een willekeurige basis. Zij testen twee projectiemethoden:

Update-projectie: Projecteren van de uiteindelijke AdamW-update.
Gradiëntprojectie: Projecteren van de gradiënt voordat de AdamW-optimizer zijn momentum- en adaptieve schalingsmomenten berekent.

3. Belangrijkste resultaten

A. Single-task resultaten: Gradiënt versus Update

Update SED-falen: Bij single-task-modellen levert Update SED bescheiden koppelingsratio's op ( $\bar{R}_k \approx 3\text{--}9\times$ ). Optellen lijkt abnormaal gekoppeld, terwijl vermenigvuldigen zwak is.
Gradient SED-succes: Het vervangen van updates door ruwe gradiënten verhoogt de koppelingsratio's met 30–100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- Vermenigvuldigen wordt de sterkst gekoppelde taak, waardoor de Update SED-rangorde wordt omgekeerd.
- De "op-spread" (variantie tussen taken) krimpt aanzienlijk.
Rol van het rollende venster: De hoge koppeling bij $W=1$ (instantane gradiënt) suggereert dat de gradiëntrichting zelf de primaire drijvende kracht is. Het rollende venster ( $W=20$ ) fungeert primair als een denoising-mechanisme, wat de ratio monotoon verlaagt maar een signaal behoudt dat orde van grootte hoger ligt dan willekeurig.

B. Multitask-resultaten: De kritieke mislukking van aggregatie

Update SED-inzakking: Bij multitask-training faalt Update SED volledig, met een resultaat van $\bar{R}_k \le 1$ (slechter dan willekeurig). De geaggregeerde optimizer-update, die vier concurrerende doelen in evenwicht brengt, wordt orthogonaal ten opzichte van de voor kenmerken relevante deelruimte van een enkele taak.
Gradient SED-herstel: Het gebruik van per-op-gradiënt SED herstelt een sterke koppeling ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Cruciaal is dat het multitask-gradiënt SED-signaal sterker is dan het single-task Update SED-signaal.
- Dit bewijst dat de vorming van kenmerken robuust is in multitask-omgevingen, maar wordt verduisterd door de aggregatie van concurrerende gradiënten in de update-stap van de optimizer.

C. Causale interventies: Rang versus Richting

Versnelling: Het beperken van updates tot een Rang-3-deelruimte versnelt grokking met ongeveer 2.3 $\times$ .
Richtingsonafhankelijkheid: Deze versnelling treedt op ongeacht of de deelruimte de SED-basis (uitgelijnd met kenmerken) of een willekeurige basis is.
- Gradiëntprojectie: Bij het projecteren van de gradiënt vóór optimalisatie heeft het verwijderen van de SED-basis (en het behouden van willekeurige) geen negatief effect; het behouden van alleen willekeurige rang-3 versnelt de training evenveel als het behouden van de SED-basis.
- Update-projectie: Eerste experimenten suggereerden dat het verwijderen van SED hielp, maar dit was een artefact van het interne momentum/adaptieve schaling van AdamW dat informatie teruglekte naar het traject. Gradiëntprojectie elimineert dit artefact.
Conclusie: De rangbeperking (reductie van redundantie) is de causale factor voor versnelling, niet de specifieke richting. De natuurlijke AdamW-update op attentie is "rang-redundant" en bevat voornamelijk niet-functionele beweging voor de grokkingsovergang.

4. Belangrijkste bijdragen

Methodologische verschuiving: Demonstreert dat gradiëntstructuur, en niet optimizer-trajecten, het juiste object is voor spectrale analyse van de vorming van kenmerken. Optimizer-updates introduceren kwalitatieve vervormingen die voor kenmerken relevante richtingen verbergen.
Multitask-interpretabiliteit: Identificeert gradiëntaggregatie over concurrerende taken als een algemene belemmering voor circuit-niveau interpretabiliteit. Taak-opgeloste gradiëntanalyse is noodzakelijk om de structuur van kenmerken te herstellen in multitask-training.
Causale verduidelijking: Toont aan dat hoewel gradiënt-afgeleide richtingen sterke diagnostiek zijn voor de vorming van kenmerken, ze niet uniek causaal zijn. De sleutelfactor is de laag-rang aard van de update, niet de specifieke uitlijning met de gradiëntbasis.
Artefactidentificatie: Onthult dat eerdere waarnemingen van "rang-1-manifolden" in grokking deels werden verduisterd door de ruis en vervorming inherent aan AdamW-updates.

5. Betekenis

Voor interpretabiliteit: Dit werk daagt de standaardpraktijk uit om parameter-update-trajecten te analyseren (bijv. PCA op gewichtsverschillen) om circuits te vinden. Het betoogt dat dergelijke methoden de vorming van kenmerken systematisch onderschatten, vooral in complexe multitask- of grootschalige omgevingen (zoals Mixture-of-Experts).
Voor trainingsdynamiek: Het suggereert dat het "natuurlijke" pad dat optimizers zoals AdamW afleggen, vaak inefficiënt en redundant is. Het beperken van optimalisatie tot lagere rangen kan het leren aanzienlijk versnellen zonder prestaties in te leveren.
Toekomstige richtingen: De bevindingen impliceren dat voor grootschalige modellen (LLM's, instructie-aanpassing) het analyseren van per-taak-gradiënten (of benaderingen zoals Lanczos op de empirische Fisher) essentieel is voor het begrijpen hoe specifieke circuits zich vormen, in plaats van te vertrouwen op geaggregeerde trajectanalyse.

Samenvattend betoogt het artikel dat de gradiënt het signaal is, en de optimizer het ruis. Om te begrijpen hoe neurale netwerken kenmerken leren, moet men het ruwe gradiëntlandschap analyseren, in het bijzonder opgesplitst per taak, in plaats van het vervormde pad dat de optimizer door de parameterruimte aflegt.