Technische Samenvatting: Hoe Getrouw Is Trajectgebaseerde Data-attribution?

1. Probleemstelling

Trajectgebaseerde data-attribution-methoden (bijv. SGD-influence, TracIn, SOURCE) schatten de invloed van individuele trainingsstalen op modelvoorspellingen door het trainingsverloop te ontrollen. Hoewel deze methoden veel worden gebruikt voor dataselectie, -waardering en modeldiagnose, ontbreekt er een uitgebreide foutanalyse. Beoefenaars staan voor fundamentele onzekerheden over de omvang en oorsprong van attributiefouten, met name wat betreft de vraag of fouten voortkomen uit mismatches tussen de attributievormule en het daadwerkelijke trainingsdynamiek (bijv. optimizer-mismatch) of uit inherente algoritmische benaderingen (bijv. Taylor-ontwikkelingen van de eerste orde). Deze onzekerheid belemmert de betrouwbare implementatie van deze methoden in moderne deep learning-pijplijnen, die voornamelijk optimizers zoals AdamW gebruiken in plaats van de SGD die door bestaande theoretische afleidingen wordt verondersteld.

2. Methodologie en Taxonomie

De auteurs stellen de eerste systematische foutanalyse van trajectgebaseerde attribution voor, waarbij de totale fout wordt onderverdeeld in drie distincte categorieën:

1. Config-niveau Fout: Ontstaat wanneer de attributievormule het daadwerkelijke trainingsproces niet getrouw weergeeft. De dominante bron die is geïdentificeerd is optimizer-mismatch, waarbij methoden Stochastic Gradient Descent (SGD)-dynamiek veronderstellen terwijl modellen worden getraind met AdamW.
2. Algoritme-niveau Fout: Ontstaat uit efficiëntiebenaderingen, specifiek de Taylor-ontwikkeling van de eerste orde die wordt gebruikt om het parametertraject te lineariseren.
3. Systeem-niveau Fout: Onherleidbare fouten door drijvende-kommabewerkingen en GPU-niet-determinisme, die zelfs de grondwaarheid van hertraining beïnvloeden.

Om deze aan te pakken, introduceert het artikel:

• AdamW-influence: Een nieuw algoritme dat de daadwerkelijke AdamW-optimatiedynamiek ontrolt (inclusief momentumtoestanden en coördinaatgewijze adaptieve schaling) in plaats van SGD te veronderstellen. Het injecteert perturbaties op het gradiëntniveau om de nonlineariteit van AdamW's updates van het tweede moment correct te verwerken.
• Fout Proxy: Een gesloten-vorm expressie om de per-staal algoritme-niveau fout (update-schatfout) langs het oorspronkelijke traject te schatten zonder hertraining.
• K-stap Vooruitkijkend Kader: Een unificerend theoretisch kader voor dataselectie dat offline en online strategieën behandelt als randgevallen van een horizonparameter $K$, waardoor de analyse van de afweging tussen vooruitkijkende informatie en opgebouwde benaderingsfout mogelijk wordt.

3. Belangrijkste Bijdragen

A. Correctie van Config-niveau Fout (Optimizer Mismatch)

De auteurs tonen aan dat bestaande methoden attribution afleiden onder de aanname van SGD, wat systematische afwijkingen creëert wanneer ze worden toegepast op modellen die met AdamW zijn getraind. Zij stellen AdamW-influence voor, dat correct rekening houdt met AdamW's momentum en adaptieve schaling.

• Resultaat: In vier settings (MLP, CNN, GPT-2 en Llama 3.2-1B) verbetert AdamW-influence de Spearman-correlatie tussen geschatte en grondwaarheid-invloed (TSLOO) met 10% tot meer dan 300% in vergelijking met de op SGD gebaseerde baseline.
• Implicatie: Optimizer-uitlijning is een noodzakelijke voorwaarde voor het isoleren en analyseren van de resterende algoritme-niveau fouten.

B. Ontleding van Algoritme-niveau Fout

Met de config-niveau fout gecorrigeerd, isoleren de auteurs de fout die voortkomt uit de Taylor-ontwikkeling van de eerste orde. Zij identificeren twee bepalende factoren:

1. Leersnelheid ($\eta$): Hogere leersnelheden verhogen de linearisatiefout per stap.
2. Trajectlengte ($T - t^*$): Langere resterende trajecten laten fouten toe om zich op te hopen.

• Resultaat: De foutomvang is omgekeerd evenredig met de leersnelheid en recht evenredig met de resterende trajectlengte.
• Bijdrage: De auteurs leiden een gesloten-vorm foutproxy af (Vergelijking 4) die per-staal foutnormen schat met behulp van grootheden die al door de optimizer worden bijgehouden. Deze proxy correleert sterk ($\rho \in [0,83, 0,89]$) met grondwaarheid-foutnormen verkregen via leave-one-out hertraining, waardoor foutbewuste beslissingen mogelijk zijn zonder hertraining.

C. Praktische Richtlijnen voor Dataselectie

Het artikel unificeert offline en online dataselectiestrategieën onder een K-stap vooruitkijkend kader, waarbij $K$ het aantal stappen in de toekomst voorstelt dat een selectiebeslissing overweegt.

• Vondsten:
  • Optimizer-uitlijning: Online selectie met AdamW-influence presteert consequent beter dan online SGD-influence, waarbij de winst in getrouwheid wordt doorgegeven aan downstream selectieprestaties.
  • Horizon versus Fout: Offline selectie komt overeen met de langste horizon ($K = T-t$) en bouwt de grootste benaderingsfout op. Online selectie met een korte tot gemiddelde horizon komt vaak overeen met of overtreft offline prestaties.
  • Afstemmen van $K$: De optimale horizon $K$ groeit naarmate de leersnelheid afneemt. Kleinere leersnelheden staan toe dat de $K$-stap sommatie verder reikt voordat de benaderingsfout dominant wordt.
• Richtlijn: Beoefenaars moeten $K$ gezamenlijk afstemmen met de leersnelheid in plaats van deze vast te leggen, en online selectie met een korte horizon en uitgelijnde optimizers is een betrouwbare, uitvoerbare recept.

4. Experimentele Resultaten

De auteurs evalueerden hun methoden op:

• Modellen: MLP, CNN, GPT-2 en Llama 3.2-1B.
• Datasets: MNIST, WikiText-2, Alpaca en Tulu3.
• Maten: Spearman rangcorrelatie tegen TSLOO-grondwaarheid (voor getrouwheid) en validatie-/testfoutpercentages of perplexiteit (voor kwaliteit van dataselectie).

Belangrijkste Uitkomsten:

• Getrouwheid: AdamW-influence presteert significant beter dan SGD-influence over alle leersnelheden en architecturen heen. Bijvoorbeeld, op MNIST+CNN met $lr=10^{-3}$ verbeterde de correlatie van 0,015 naar 0,090 (+500%).
• Selectiekwaliteit: Bij dataselectietaken behaalde Online AdamW-influence consequent lagere foutpercentages (op MNIST) en lagere perplexiteit (op Llama 3.2) in vergelijking met zowel Online SGD-influence als Offline AdamW-influence.
• Fout Proxy: De afgeleide proxy slaagde erin grondwaarheid-foutnormen nauwkeurig te volgen met een hoge Spearman-correlatie ($\rho \approx 0,85$), wat het gebruik als praktisch signaal voor trajectbewuste beslissingen valideert.

5. Betekenis en Claims

Het artikel claimt de eerste systematische foutanalyse te bieden van trajectgebaseerde data-attribution, waardoor het veld verschuift van het behandelen van deze methoden als "black-box scorefuncties" naar "diagnostiseerbare schatters".

• Theoretische Impact: Door fouten te categoriseren in config-, algoritme- en systeem-niveaus, verduidelijkt het werk de bronnen van ongetrouwheid in moderne deep learning-contexten.
• Praktische Impact: De introductie van AdamW-influence en het K-stap kader biedt concrete, uitvoerbare remedies voor beoefenaars. Het toont aan dat het uitlijnen van de attributievormule met de daadwerkelijke optimizer (AdamW) en het zorgvuldig afstemmen van de vooruitkijkende horizon de betrouwbaarheid van dataselectie en modeldiagnose aanzienlijk kunnen verbeteren.
• Schaalbaarheid: De voorgestelde methoden behouden $O(T)$ complexiteit (met een constante overhead van ongeveer 3x in vergelijking met SGD-influence door verhoogde opslag van toestanden), waardoor ze haalbaar zijn voor grote modellen in combinatie met technieken voor willekeurige masking.

De auteurs erkennen beperkingen, en merken op dat hun analyse beperkt is tot op Taylor-ontwikkelingen van de eerste orde gebaseerde methoden en modellen tot Llama 3.2-1B vanwege computatiedwang, en dat generalisatie naar andere regimes (bijv. reinforcement learning, diffusiemodellen) een open richting blijft.