Technisches Resümee: Wer erhält die Anerkennung oder die Schuld? Die Zuweisung von Verantwortlichkeit in modernen KI-Systemen

1. Problemformulierung

Moderne KI-Systeme werden typischerweise durch eine mehrstufige Pipeline entwickelt, die aus Pretraining, domänenspezifischem Fine-Tuning und anschließender Anpassung oder Alignment besteht. Während diese modulare Struktur die Leistungsfähigkeit erleichtert, verschleiert sie die Verantwortlichkeit: Wenn ein eingesetztes Modell ein spezifisches Verhalten zeigt (ob vorteilhaft, schädlich oder überraschend), ist unklar, welche Entwicklungsstufe dafür verantwortlich ist und in welchem Maße.

Bestehende Ansätze stehen vor Einschränkungen bei der Adressierung dieses Problems:

• Kausale Verantwortlichkeitsanalyse: Basiert oft auf strukturellen Kausalmodellen, die für diskrete, kleinskalige Entscheidungsfindung konzipiert sind, und hat Schwierigkeiten mit hochdimensionalen, sequenziellen Trainingsprozessen.
• Forschung zu Lernmechanismen (Learning Dynamics): Konzentriert sich auf das deskriptive Verständnis der Parameterentwicklung (z. B. Phasenübergänge) statt auf die Zuweisung von Anerkennung oder Schuld an spezifische Phasen.
• Datenattribuierung (Data Attribution): Verfolgt Verhalten bis zu einzelnen Datenpunkten zurück, geht aber oft von einem „Durchschnittsmodell“ aus oder stützt sich auf vereinfachende Annahmen (Konvexität, Permutationsinvarianz), die spezifische Modellentwicklungsprozesse und komplexe Optimierungsdynamiken (z. B. Learning Rate Schedules, Momentum, Weight Decay) nicht erfassen können.

Die Autoren formulieren das Accountability Attribution Problem: die Rückverfolgung des Modellverhaltens auf spezifische Entwicklungsstadien, um die kausale Verantwortung zu bestimmen. Dies beinhaltet die Beantwortung kontrafaktischer Fragen: Wie hätte sich das Verhalten des Modells geändert, wenn die Updates einer bestimmten Phase nicht stattgefunden hätten?

2. Methodik

2.1 Framework: Potential Outcomes Formalismus

Die Autoren bauen ein Framework auf Basis des Potential Outcomes Formalismus (Rubin, 1974; 2005) auf.

• Behandlung ($T^S$): Eine binäre Variable, die angibt, ob eine spezifische Entwicklungsstufe $S$ (eine Menge von Update-Schritten) stattgefunden hat ($T^S=1$) oder übersprungen wurde ($T^S=0$).
• Ergebnis ($Y$): Die Leistung des Modells auf einer Instanz $x$, quantifiziert durch eine Funktion $\gamma(x, \theta)$.
• Kausaler Effekt ($\tau_{K,S}$): Definiert als die Differenz zwischen dem beobachteten Ergebnis (mit Phase $S$) und dem kontrafaktischen Ergebnis (ohne Phase $S$) zum finalen Zeitschritt $K$:
  $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
  wobei $\theta_K(0^S)$ die Parameter darstellt, falls Phase $S$ übersprungen worden wäre.

2.2 Schätzer: AA-Score

Um $\tau_{K,S}$ zu schätzen, ohne das Modell neu trainieren zu müssen, leiten die Autoren effiziente Schätzer basierend auf Taylor-Approximationen und Zustands-Trajektorien-Propagierung ab.

• Zustandstrajektorie: Der Modellzustand $\xi_k = (\theta_k, v_k)$ umfasst Parameter und Geschwindigkeit (für Momentum). Die Update-Regel folgt SGD mit Momentum und Weight Decay.
• Einzelschritt-Effekt: Für einen einzelnen Schritt $t$ wird der kausale Effekt auf den Zustand $\xi_k$ geschätzt, indem die initiale Differenz, die durch das Überspringen von Schritt $t$ verursacht wurde, propagiert wird. Dies beinhaltet eine Propagator-Matrix $M_k$, die aus der Hesse-Matrix der Verlustfunktion und den Optimierer-Hyperparametern (Learning Rate $\eta$, Momentum $\mu$, Weight Decay $\lambda$) abgeleitet wird.
• Phasen-Effekt (AA-Score): Für eine Phase $S = \{t_1, \dots, t_s\}$ wird der Gesamteffekt als Näherung der Summe der individuellen Schritt-Effekte (erste-Ordnung Linearität) berechnet:
  $$\hat{\tau}_{K,S} = \sum_{t_i \in S} \hat{\tau}_{K, t_i}$$
  Der Schätzer für den Effekt eines einzelnen Schritts auf die Performance wird als Skalarprodukt berechnet:
  $$\hat{\tau}_{K,t} = \nabla_\theta \gamma(x, \theta_K)^\top E_t$$
  wobei $E_t$ ein Vektor ist, der den geschätzten Effekt auf die Parameter zum Zeitpunkt $K$ repräsentiert, welcher einmal während des Entwicklungsprozesses berechnet und für jeden Test-Input $x$ oder jede Performance-Funktion $\gamma$ wiederverwendbar ist.

2.3 Genauigkeit und Fehlerschranken

Die Methode beruht auf Taylor-Approximationen erster Ordnung. Die Autoren leiten eine Fehlerschranke (Theorem 4.1) ab, die zeigt, dass die Genauigkeit von folgenden Faktoren abhängt:

1. Der Magnitude der initialen Zustandsdifferenzen ($D_S$).
2. Der Lipschitz-Konstante der Verlust-Hesse-Matrix ($L$).
3. Der Stabilität der Optimierungsdynamik (Learning Rate $\eta$ und Instabilitätskonstante $\Lambda$).
   Der Fehler wächst exponentiell mit dem Zeithorizont ($K - \min(S)$) und der Learning Rate, was darauf hindeutet, dass die Methode am zuverlässigsten für späte Fine-Tuning-Phasen oder in stabilen Optimierungsregimen ist.

2.4 Komplexität und Rechenaufwand

Die direkte Berechnung beinhaltet eine Komplexität von $O(K|B|p^2)$ aufgrund von Hesse- und Propagator-Matrix-Manipulationen. Die Autoren schlagen strukturierte Approximationen (z. B. schichtweise oder blockweise Berechnung) vor, um die Skalierbarkeit auf große Modelle zu gewährleisten, wobei eine gewisse Reduktion der Attribuierungs-Fidelität zugunsten der Machbarkeit in Kauf genommen wird.

3. Kernbeiträge

1. Problemdefinition: Formalisierung der Verantwortlichkeitsattribuierung als Rückverfolgung des Modellverhaltens auf spezifische Trainingsphasen mittels kontrafaktischer Abfragen.
2. Allgemeines Framework: Ein auf Potential Outcomes basierendes Framework, das eine kontrafaktische Analyse auf Phasenebene ermöglicht.
3. Effiziente Schätzer: Ableitung von AA-Score-Schätzern, die komplexe Optimierungsdynamiken (Learning Rate Schedules, Momentum, Weight Decay) berücksichtigen, ohne ein Retraining zu erfordern.
4. Praktischer Nutzen: Demonstration, dass die Methode die Phasen identifiziert, die für Scheinkorrelationen (Spurious Correlations), Domänen-Generalisierung und Leistungsdegradierung verantwortlich sind.

4. Experimentelle Ergebnisse

Die Autoren evaluierten den AA-Score bei Vision- (MNIST, CELEBA, Chest X-rays) und Sprachaufgaben (CIVILCOMMENTS, Gemma-3).

• MNIST (Kontrollierte Settings):

  • Positive Attribuierung: Identifizierte erfolgreich einen einzelnen eingefügten Datenpunkt als die Phase mit dem höchsten positiven Effekt auf die Klassifizierung dieser Ziffer.
  • Negative Attribuierung: Detektierte Phasen, die falsch gelabelte Daten verarbeiteten, als Phasen mit signifikanten negativen Effekten auf die Performance.
  • Verteilungsverschiebungen (Distributional Shifts): Attribuierte Leistungssteigerungen bei rotierten Testsets korrekt der spezifischen Phase, in der die rotierten Daten eingeführt wurden.
  • Optimierungsdynamik: Zeigte Sensitivität gegenüber Änderungen von Learning Rate, Momentum und Weight Decay und erfasste deren spezifische Auswirkungen auf die Phasen-Effekte.
  • Validierung: Hohe Korrelation (Durchschnitt ~0,945) mit Ground-Truth-Kontrafakten, die durch Retraining mit übersprungenen Phasen ermittelt wurden.

• Reale Anwendungen:

  • Scheinkorrelationen (Spurious Correlations): Bei CELEBA (Haarfarbe vs. Geschlecht) und CIVILCOMMENTS (Toxizität vs. demografische Begriffe) identifizierte die Methode die Phasen, in denen Scheinkorrelationen gelernt wurden. Das Überspringen dieser Phasen reduzierte die Abhängigkeit des Modells von Störfaktoren (Confounding Features), was durch Retraining-Experimente verifiziert wurde.
  • Vergleich: AA-Score übertraf die angepasste DVEmb-Baseline (eine prozessbasierte Datenattribuierungsmethode) in komplexen Multi-Stage-Settings, insbesondere bei CELEBA und CIVILCOMMENTS, aufgrund der expliziten Modellierung der Optimierungsdynamik.

• Robustheit:

  • Getestet gegen disperse Backdoor-Angriffe (BadNets). Die Methode konnte vergiftete Batches identifizieren, wenn diese gewissermaßen konzentriert auftraten, verlor jedoch an diskriminativer Kraft, wenn die Vergiftung vollständig über alle Batches verteilt war, was eine Limitation in hoch gemischten Szenarien aufzeigt.

• Effizienz:

  • Der Logging-Overhead (Speichern von Gradienten/Zuständen) variierte je nach I/O-Dominanz zwischen 1,1x und 6x der Trainingszeit.
  • Die Attribuierungszeit war handhabbar (skaliert etwa linear mit Datensatz und Modellgröße) und erforderte lediglich einen einzigen Durchlauf nach dem Training.

5. Bedeutung und Ansprüche

Das Paper positioniert die Verantwortlichkeitsattribuierung als ein praktisches und fundiertes Werkzeug zur Modellanalyse. Es behauptet, einen bedeutenden Schritt in Richtung einer verantwortungsvolleren KI-Entwicklung zu machen, indem es:

• Einen Mechanismus bereitstellt, um Anerkennung oder Schuld spezifischen Entwicklungsphasen zuzuweisen, anstatt das Modell als monolithische Black Box zu behandeln.
• Gezielte Interventionen ermöglicht (z. B. das Entfernen spezifischer Trainingsphasen), um schädliche Verhaltensweisen wie Scheinkorrelationen oder Bias zu mildern.
• Ein Diagnosetool bietet, das bestehende Erklärbarkeitsmethoden ergänzt, indem es sich auf den Prozess der Modellentwicklung statt nur auf die finalen Parameter oder Datenpunkte konzentriert.

Die Autoren bleiben bescheiden und räumen Einschränkungen ein: Die Abhängigkeit von Approximationen erster Ordnung kann in hochgradig chaotischen Regimen versagen; die Rechenkosten bleiben für Foundation Models ohne strukturierte Approximationen hoch; zudem erfordert die Methode Zugriff auf Trainings-Trajektorien und Hyperparameter. Sie betonen, dass das Tool für Auditierung und Diagnose gedacht ist, nicht als automatisches Heilmittel, und Teil einer breiteren Audit-Praxis sein sollte.