🤖 machine learning

Influence Dynamics and Stagewise Data Attribution

Dit artikel introduceert een stadiumgebonden data-attributiekader geworteld in de singular learning theory, dat onthult dat de invloed van trainingsdata dynamisch en niet-monotoon is, met specifieke verschuivingen en tekenomkliepingen die overeenstemmen met het progressieve leren van semantische hiërarchieën in zowel toy-modellen als grote taalmodellen.

Oorspronkelijke auteurs: Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

Gepubliceerd 2026-06-10

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jin Hwa Lee, Matthew Smith, Maxwell Adam, Jesse Hoogland

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Timing is Alles

Stel je voor dat je een kind leert om een grote doos met gemengd speelgoed te sorteren.

De Oude Manier (Statisch Perspectief): Traditionele methoden voor het analyseren van trainingsdata gaan ervan uit dat een specifiek speeltje (zoals een rode blok) altijd hetzelfde effect heeft op het leren van het kind, ongeacht wanneer je het aan het kind laat zien. Het is alsof je zegt: "Het rode blok is altijd nuttig om kleuren te leren."
De Nieuwe Manier (Stapsgewijs Perspectief): Dit artikel stelt dat dit onjuist is. In werkelijkheid verandert het effect van dat rode blok drastisch afhankelijk van de fase van de les.
- Vroege Fase: Het tonen van het rode blok helpt het kind om te leren: "dingen zijn rood."
- Middelste Fase: Als je het rode blok blijft laten zien terwijl je probeert het verschil tussen "dieren" en "voertuigen" aan te leren, kan het het kind zelfs in de war brengen.
- Late Fase: Later, bij het aanleren van fijne details, kan datzelfde rode blok weer cruciaal worden.

De auteurs noemen dit Stagewise Data Attribution (Stapsgewijze Data-attributie). Ze stellen dat we, om te begrijpen hoe AI leert, niet alleen naar het eindresultaat kunnen kijken; we moeten de film van het leerproces bekijken, niet alleen het laatste frame.

Het Probleem: Waarom de Oude Tools Falen

Het artikel legt uit dat de huidige instrumenten voor het meten van "invloed" (hoeveel één stukje data een model verandert) zijn gebouwd voor eenvoudige, voorspelbare systemen. Ze gaan ervan uit dat het leerproces een vloeiende, rechte lijn is.

Maar neurale netwerken (de hersenen achter AI) zijn rommelig. Ze zijn als een landschap met vele dalen en heuvels die verschuiven. De auteurs gebruiken een theorie genaamd Singular Learning Theory om uit te leggen dat AI-leren niet vloeiend is; het gebeurt in fasen of stadia.

Analogie: Denk aan het leren fietsen. Eerst wankel je (Fase 1). Dan vind je plotseling je evenwicht (een "faseovergang"). Daarna leer je te sturen (Fase 2). De manier waarop een steentje op de weg jou beïnvloedt, is totaal anders wanneer je aan het wankelen bent vergeleken met wanneer je aan het sturen bent. De oude tools behandelen het effect van de steen alsof het nooit verandert, wat rampzalig is voor het begrijpen van complexe AI.

De Oplossing: Een Dynamische Lens

De auteurs stellen een nieuw hulpmiddel voor genaamd de Bayesian Influence Function (BIF).

De Metafoor: In plaats van één enkele foto van het brein van de AI te maken, maakt dit hulpmiddel een video. Het volgt hoe de "belangrijkheid" van een specifiek datapunt stijgt en daalt, omslaat van nuttig naar schadelijk, en piekt op kritieke momenten.

Ze voorspellen drie specifieke dingen die zullen gebeuren tijdens deze leerfasen:

Tekenverandering (Sign Flips): Een stukje data kan op het ene moment een "vriend" (nuttig) zijn en op het volgende moment een "vijand" (schadelijk).
Scherpe Pieken (Sharp Peaks): De invloed kan plotseling enorm pieken precies op het moment dat het model van koers verandert (een faseovergang).
Niet-monotonie (Non-Monotonicity): De invloed gaat niet alleen maar omhoog of omlaag; het golft, piekt en daalt in complexe patronen.

Bewijs 1: Het Speelgoedmodel (De "Dieren"-les)

Om dit te testen, gebruikten de auteurs een eenvoudig, gecontroleerd AI-model dat getraind werd op een dataset van dieren en planten.

De Opzet: Het model moest een hiërarchie leren: Eerst "Levend vs. Niet-levend". Tweede: "Dier vs. Plant". Derde: "Zoogdier vs. Vogel". Ten slotte: "Hond vs. Kat".
De Ontdekking: Ze volgden hoe het model gedurende de tijd naar een "Hond"-monster keek.
- In het begin: Het "Hond"-monster hielp het model om over "Sparren" te leren (beide zijn dieren). De invloed was positief (nuttig).
- Later: Terwijl het model probeerde "Zoogdieren" van "Vogels" te onderscheiden, begon het "Hond"-monster het leren over "Sparren" zelfs te schaden. De invloed veranderde van teken.
- De Piek: De invloed piekte precies op het moment dat het model worstelde met het scheiden van "Zoogdieren" en "Vogels".
De Conclusie: Het datapunt veranderde niet; de fase van het leren veranderde, en dat veranderde de rol van de data volledig.

Bewijs 2: Echte Taalmodellen (De "Grammatica"-les)

De auteurs testten dit vervolgens op grote taalmodellen (zoals de modellen die tekst schrijven) om te zien of het standhoudt in de echte wereld. Ze keken naar hoe het model specifieke structurele patronen leerde, zoals inductie (herkennen dat als "A" eenmaal op "B" volgt, het ook weer kan gebeuren).

De Ontdekking: Ze ontdekten dat de invloed van "inductie-tokens" (woorden die het model helpen patronen te herkennen) niet simpelweg langzaam toenam.
- Het bleef laag.
- Daarna, op een specifiek moment in de training (rond de 30.000 stappen), piekte het spectaculair.
- Deze piek kwam exact overeen met het moment waarop het model bekend staat om het "ontdekken" van de inductie-circuit (het interne mechanisme voor patroonherkenning).
De Conclusie: Het model leerde grammatica niet in een rechte lijn. Het had een specifiek "aha!"-moment waarbij bepaalde data ongelooflijk invloedrijk werd, en die invloed vervaagde of veranderde daarna weer.

Waarom Dit Belangrijk Is

Het artikel concludeert dat we moeten stoppen met vragen: "Welke datapunten zijn het belangrijkst?" en beginnen met vragen: "Wanneer zijn deze datapunten het belangrijkst?"

De Analogie: Stel je een dirigent voor die een orkest leidt. Als je vraagt: "Welk instrument is het belangrijkste?", verandert het antwoord elke seconde. De viool is cruciaal voor de melodie, maar de drums zijn cruciaal voor het ritme. Als je alleen naar de uiteindelijke opname kijiter, mis je misschien het feit dat de drums de eerste helft van het nummer stil waren.
Het Doel: Door deze "fasen" te begrijpen, kunnen we beter begrijpen hoe AI leert, waarom het op specifieke momenten fouten maakt, en potentieel betere trainingsschema's ontwerpen (zoals een curriculum) die de juiste data op het juiste moment aanbieden.

Kortom: AI-leren is een verhaal met hoofdstukken, geen enkele zin. Om het verhaal te begrijpen, moet je weten in welk hoofdstuk je bent.

Technische Samenvatting: Invloedsdynamiek en Fasgewijze Data-attributie

Probleemstelling

Huidige methoden voor Training Data Attribution (TDA), met name Influence Functions (IFs), opereren onder de aanname dat de invloed van een trainingsmonster op het gedrag van een model statisch en globaal is gedurende het gehele trainingsproces. Dit perspectief, overgenomen uit de analyse van reguliere statistische modellen, houdt geen rekening met de ontwikkelingsdynamiek van diepe neurale netwerken. Neurale netwerken bezitten degeneratieve verlieslandschappen met niet-geïsoleerde kritieke punten en niet-inverteerbare Hessianen, wat de regulariteitsveronderstellingen schendt die vereist zijn voor klassieke IFs. Gevolgelijk kunnen bestaande methoden niet vastleggen hoe de rol van een datapunt evolueert terwijl het model leert, waarbij ze negeren dat een monster dat in een vroege fase van training nuttig is, in latere stadia schadelijk of irrelevant kan worden.

Methodologie

De auteurs stellen een raamwerk voor Fasgewijze Data-attributie voor, gebaseerd op Singular Learning Theory (SLT). De methodologie bestaat uit drie primaire componenten:

Theoretisch Raamwerk (SLT & Bayesian Influence):
- Het artikel modelleert het leerpad van stochastische optimalisatoren (zoals SGD) met behulp van een geïdealiseerd Bayesiaans leerproces.
- Het vervangt klassieke Influence Functions door Bayesian Influence Functions (BIF). In tegenstelling tot klassieke IFs, die vertrouwen op de inverse Hessian bij één enkel minimum, meten BIFs de verandering in de posterieure verwachting van een observeerbare. Dit wordt gedefinieerd als de negatieve covariantie tussen de verliesfunctie van het monster en de observeerbare: $BIF(z_i, \phi) = -Cov_{p(w|D)}(\ell_i(w), \phi(w))$ .
- Deze formulering is "Hessian-vrij", goed gedefinieerd op degeneratieve landschappen, en toepasbaar op elk punt in het trainingspad, niet alleen bij convergentie.
Analytische Decompositie:
- Gebruikmakend van de Wet van Totale Covariantie, deconstrueren de auteurs invloed in "Within-Phase" en "Between-Phase" componenten.
- Ze voorspellen dat tijdens fasetransities (waar de posterieure massa splitst tussen twee verschillende oplossingen, $U$ en $V$ ), de "Between-Phase" term domineert. Dit leidt tot niet-monotone dynamiek, inclusclusief scherpe pieken in invloed en tekenomklappingen, met name wanneer de posterieure waarschijnlijkheden van de fasen ongeveer gelijk zijn ( $\pi_U \approx \pi_V \approx 0.5$ ).
Empirische Validatie:
- Toy Model: Een 2-laags diep lineair netwerk getraind op een hiërarchische semantische dataset (Saxe et al., 2019a). De auteurs gebruiken Stochastic Gradient Langevin Dynamics (SGLD) om posterieuren te schatten en lokale BIFs te berekenen. Ze valideren deze bevindingen analytisch en via Leave-One-Out (LOO) hertrainingsexperimenten.
- Grootschalige Taalmodellen: Experimenten uitgevoerd met Pythia-taalmodellen getraind op The Pile dataset. De auteurs berekenen per-token BIFs om de invloedsdynamiek van specifieke syntactische klassen (bijv. delimiters, inductiepatronen) over verschillende trainingscheckpoints heen te volgen.

Belangrijkste Bijdragen

Ontwikkelingsraamwerk voor Invloed: Het artikel introduceert een theoretisch raamwerk dat invloedsfuncties verbindt met fasgewijze ontwikkeling. Het stelt dat invloed niet statisch is maar niet-monotoon verandert, waarbij tekenomklappingen en scherpe pieken optreden tijdens ontwikkelingsfasetransities.
Validatie in Gecontroleerde Systemen: De auteurs bieden een concreet bewijs van concept in een hiërarchisch kenmerk-lerend model, waarbij zij aantonen dat dynamische verschuivingen in invloed direct in kaart worden gebracht met het sequentiële leren van de hiërarchische structuur van de data (bijv. het onderscheiden van dieren versus planten, en vervolgens zoogdieren versus vogels).
Schaalbare Toepassing in Taalmodellen: Het artikel demonstreert dat deze fenomenen op schaal voorkomen. Het toont aan dat token-niveau invloedsfuncties voor structurele elementen (zoals delimiters en inductiepatronen) niet-monotone veranderingen ondergaan die overeenkomen met bekende ontwikkelingsstadia, zoals de vorming van inductiecircuits.

Resultaten

Niet-monotone Dynamiek: In het toy model bleek de invloed van een "hond"-monster op een "muskus"-monster negatief (behelpend) te zijn tijdens de vroege fase van het leren van brede categorieën (dier versus plant), maar werd deze positief (schadelijk) tijdens latere fasen van het leren van fijnere onderscheidingen (zoogdier versus vogel).
Correlatie met Fasetransities: Pieken in invloed werden exact waargenomen op de vertakkingspunten in de verborgen representatie van het model (gevisualiseerd via Multi-Dimensional Scaling), wat de overgang markeert tussen het leren van verschillende niveaus van de semantische hiërarchie.
Causale Vensters: Ablatie-experimenten toonden aan dat het verwijderen van data precies tijdens het tijdsvenster waar de BIF de piek-invloed toekent, de grootste verschil in verlies veroorzaakt, wat bevestigt dat invloed tijdsafhankelijk is en dat specifieke datapunten alleen tijdens specifieke ontwikkelingsstadia het leren drijven.
Bevindingen bij Taalmodellen: In Pythia-modellen vertoonde de invloed van inductiepatroon-tokens een scherpe stijging en een daaropvolgende daling, wat overeenkomt met de tijdlijn van de vorming van inductiecircuits (piekend rond 30k stappen). Ook de relatie tussen linker- en rechter-delimiters vertoonde tekenomklappingen, wat wijst op een kwalitatieve verschuiving in hoe het model tekststructuur verwerkt.

Betekenis en Claims

Het artikel pleit voor een fundamentele verschuiving van puntgewijze naar fasgewijze data-attributie.

Voorbij Statische Scores: De auteurs beweren dat het toekennen van een enkele, globale invloedsscore aan een datapunt aan het einde van de training een incompleet en potentieel misleidend beeld geeft. De belangrijkheid van een monster is onscheidbaar van het ontwikkelingsstadium van het model.
Mechanisme voor Impliciete Curricula: De bevindingen suggereren een mechanisme voor hoe neurale netwerken een "impliciet curriculum" adopteren. Verschillende datapunten worden op verschillende momenten invloedrijk, wat effectief een zelforganiserend leerschema creëert waarbij het model specifieke structuren op specifieke tijdstippen prioriteert.
Beperkingen en Toekomstige Richtingen: De auteurs erkennen dat hun raamwerk steunt op de link tussen Bayesiaans leren (SLT) en non-equilibrium SGD-dynamica, wat een theoretische kloof blijft. Ze merken ook op dat toekomstig werk zich moet bewegen van gedragsmatige attributie naar een mechanistische verklaring, om te begrijpen hoe deze dynamische invloeden interne circuits en kenmerken vormen.

Het artikel concludeert dat begrijpen wanneer en waarom data ertoe doet even cruciaal is als begrijpen welke data ertoe doet, wat een nieuw perspectief biedt voor het debuggen, interpreteren en potentieel sturen van het leerproces van diepe neurale netwerken.