Technische Samenvatting: Wie krijgt de eer of de schuld? Verantwoording toeschrijven in moderne AI-systemen

1. Probleemformulering

Moderne AI-systemen worden doorgaans ontwikkeld via een meerfasige pijplijn die bestaat uit pretraining, domeinspecifieke fine-tuning en daaropvolgende adaptatie of alignment. Hoewel deze modulaire structuur de prestaties bevordert, vertroebelt het de verantwoording: wanneer een ingezet model specifiek gedrag vertoont (gunstig, schadelijk of verrassend), is het onduidelijk welke ontwikkelingsfase hiervoor verantwoordelijk is en in welke mate.

Bestaande benaderingen kampen met beperkingen bij het adresseren van dit probleem:

• Causale Verantwoordelijkheidsanalyse: Leunt vaak op structurele causale modellen ontworpen voor discrete, kleinschalige besluitvorming, die moeite hebben met hoogdimensionale, sequentiële trainingsprocessen.
• Onderzoek naar Leerdynamiek: Richt zich op het beschrijvende begrip van parameterevolutie (bijv. faseovergangen) in plaats van het toeschrijven van krediet of schuld aan specifieke fasen.
• Data-attributie: Sporeert gedrag terug naar individuele datapunten, maar gaat vaak uit van een "gemiddeld model" of leunt op simplificerende aannames (convexiteit, permutatie-invariantie) die er niet in slagen specifieke modelontwikkelingsprocessen en complexe optimalisatiedynamiek (bijv. learning rate schedules, momentum, weight decay) te vatten.

De auteurs formuleren het Accountability Attribution Problem: het traceren van modelgedrag naar specifieken fasen van het trainingsproces om causale verantwoordelijkheid te bepalen. Dit houdt het beantwoorden van contrafactische vragen in: Hoe zou het gedrag van het model zijn veranderd als de updates van een bepaalde fase niet hadden plaatsgevonden?

2. Methodologie

2.1 Framework: Potential Outcomes Formalism

De auteurs bouwen een framework gebaseerd op het potential outcomes formalism (Rubin, 1974; 2005).

• Treatment ($T^S$): Een binaire variabele die aangeeft of een specifieke ontwikkelingsfase $S$ (een set update-stappen) heeft plaatsgevonden ($T^S=1$) of werd overgeslagen ($T^S=0$).
• Outcome ($Y$): De prestatie van het model op een instantie $x$, gekwantificeerd door een functie $\gamma(x, \theta)$.
• Causal Effect ($\tau_{K,S}$): Gedefinieerd als het verschil tussen de geobserveerde uitkomst (met fase $S$) en de contrafactische uitkomst (zonder fase $S$) op het laatste tijdstip $K$:
  $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
  waarbij $\theta_K(0^S)$ de parameters vertegenwoordigt als fase $S$ zou zijn overgeslagen.

2.2 Estimators: AA-Score

Om $\tau_{K,S}$ te schatten zonder het model opnieuw te trainen, leiden de auteurs efficiënte estimators af op basis van Taylor-benaderingen en state trajectory propagation.

• State Trajectory: De modeltoestand $\xi_k = (\theta_k, v_k)$ bevat parameters en snelheid (voor momentum). De update-regel volgt SGD met momentum en weight decay.
• Single-Step Effect: Voor een enkele stap $t$ wordt het causale effect op de toestand $\xi_k$ geschat door de initiële verschillen veroorzaakt door het overslaan van stap $t$ te propageren. Dit omvat een propagator matrix $M_k$ afgeleid van de Hessiaan van de loss-functie en optimizer-hyperparameters (learning rate $\eta$, momentum $\mu$, weight decay $\lambda$).
• Stage Effect (AA-Score): Voor een fase $S = \{t_1, \dots, t_s\}$ wordt het totale effect benaderd als de som van individuele stap-effecten (eerste-orde lineariteit):
  $$\hat{\tau}_{K,S} = \sum_{t_i \in S} \hat{\tau}_{K, t_i}$$
  De estimator voor het effect van een enkele stap op de prestaties wordt berekend als een dot product:
  $$\hat{\tau}_{K,t} = \nabla_\theta \gamma(x, \theta_K)^\top E_t$$
  waarbij $E_t$ een vector is die het geschatte effect op de parameters op tijdstip $K$ vertegenwoordigt, berekend tijdens het ontwikkelingsproces en herbruikbaar voor elke testinput $x$ of prestatiefunctie $\gamma$.

2.3 Nauwkeurigheid en Foutmarges

De methode steunt op eerste-orde Taylor-benaderingen. De auteurs leiden een foutmarge af (Theorem 4.1) die laat zien dat de nauwkeurigheid afhangt van:

1. De grootte van de initiële toestandverschillen ($D_S$).
2. De Lipschitz-constante van de loss-Hessiaan ($L$).
3. De stabiliteit van de optimalisatiedynamiek (learning rate $\eta$ en instabiliteitsconstante $\Lambda$).
   De fout groeit exponentieel met de tijdshorizon ($K - \min(S)$) en de learning rate, wat suggereert dat de methode het meest betrouwbaar is voor late-stage fine-tuning of in stabiele optimalisatieregimes.

2.4 Computationele Overwegingen

Directe berekening brengt een $O(K|B|p^2)$ complexiteit met zich mee door Hessiaan- en propagator-matrixmanipulaties. De auteurs stellen gestructureerde benaderingen voor (bijv. layer-wise of block-wise berekening) om te schalen naar grote modellen, waarbij een deel van de attributiefidelity wordt ingeruild voor haalbaarheid.

3. Belangrijkste Bijdragen

1. Probleemdefinitie: Het formaliseren van accountability attribution als het traceren van modelgedrag naar specifieke trainingsfasen via contrafactische queries.
2. Algemeen Framework: Een potential outcomes-gebaseerd framework dat stage-level contrafactische analyse mogelijk maakt.
3. Efficiënte Estimators: Afleiding van AA-Score estimators die rekening houden met complexe optimalisatiedynamiek (learning rate schedules, momentum, weight decay) zonder her-training.
4. Praktisch Nut: Demonstratie dat de methode de fasen identificeert die verantwoordelijk zijn voor spurieuze correlaties, domein-generalisatie en prestatievermindering over diverse taken.

4. Experimentele Resultaten

De auteurs evalueerden de AA-Score op visuele (MNIST, CELEBA, Chest X-rays) en taal (CIVILCOMMENTS, Gemma-3) taken.

• MNIST (Gecontroleerde Instellingen):

  • Positieve Attributie: Identificeerde succesvol een enkele ingevoegde datapunt als de fase met het hoogste positieve effect op het classificeren van die specifieke cijfer.
  • Negatieve Attributie: Detecteerde fasen die foutieve data verwerkten als zijnde verantwoordelijk voor significante negatieve effecten op de prestaties.
  • Distributionele Shifts: At de prestatiewinsten op geroteerde testsets correct toe aan de specifieke fase waarin de geroteerde data werd geïntroduceerd.
  • Optimalisatiedynamiek: Toonde gevoeligheid voor veranderingen in learning rate, momentum en weight decay, waarbij de specifieke impact op de fase-effecten werd gevangen.
  • Validatie: Hoge correlatie (Gemiddeld ~0,945) met ground-truth contrafactische resultaten verkregen door her-training met overgeslagen fasen.

• Real-world Applicaties:

  • Spurieuze Correlaties: Op CELEBA (haarkleur vs. geslacht) en CIVILCOMMENTS (toxiciteit vs. demografische termen) identificeerde de methode de fasen waar spurieuze correlaties werden geleerd. Het overslaan van deze fasen verminderde de afhankelijkheid van het model van confoundende kenmerken, wat werd bevestigd door her-trainingsexperimenten.
  • Vergelijking: AA-Score presteerde beter dan de aangepaste DVEmb-baseline (een proces-gebaseerde data-attributiemethode) in complexe multi-stage settings, met name op CELEBA en CIVILCOMMENTS, dankzij de expliciete modellering van optimalisatiedynamiek.

• Robuustheid:

  • Getest tegen verspreide backdoor-aanvallen (BadNets). De methode kon vergiftigde batches identificeren wanneer deze enigszins geconcentreerd waren, maar verloor onderscheidend vermogen wanneer de vergiftiging volledig verspreid was over alle batches, wat een beperking benadrukt in sterk gemengde scenario's.

• Efficiëntie:

  • De logging-overhead (opslaan van gradiënten/toestanden) varieerde van 1,1x tot 6x de trainingstijd, afhankelijk van de I/O-dominantie.
  • De attributatietijd was beheersbaar (ongeveer lineaire schaling met dataset en modelgrootte) en vereiste slechts één pass na de training.

5. Betekenis en Claims

Het artikel positioneert accountability attribution als een praktisch en principieel instrument voor modelanalyse. Het claimt een belangrijke stap te hebben gezet naar meer verantwoorde AI-ontwikkeling door:

• Een mechanisme te bieden om krediet of schuld toe te wijzen aan specifieke ontwikkelingsfasen in plaats van het model als een monolithische black box te behandelen.
• Gerichte interventies mogelijk te maken (bijv. het verwijderen van specifieke trainingsfasen) om schadelijk gedrag zoals spurieuze correlaties of bias te mitigeren.
• Een diagnostisch hulpmiddel te bieden dat bestaande explainability-methoden aanvult door zich te richten op het proces van modelontwikkeling in plaats van enkel op de uiteindelijke parameters of datapunten.

De auteurs hanteren een bescheiden toon en erkennen beperkingen: de afhankelijkheid van eerste-orde benaderingen kan falen in zeer chaotische regimes; computationele kosten blijven hoog voor foundation models zonder gestructureerde benaderingen; en de methode vereist toegang tot trainingspaden en hyperparameters. Ze benadrukken dat het hulpmiddel bedoeld is voor auditing en diagnose, niet als een automatisch medicijn, en onderdeel moet zijn van een bredere auditpraktijk.