Interaction-Aware Influence Functions for Group Attribution

Technisches Fazit: Interaktionsbewusste Einflussfunktionen für Gruppenattribution

Problemstellung
Einflussfunktionen sind ein grundlegendes Werkzeug zur Approximation, wie sich das Entfernen eines Trainingsbeispiels auf eine Zielfunktion, wie etwa einen zurückgehaltenen Verlust, auswirkt. Die Standardpraxis zur Schätzung des Einflusses einer Gruppe von Beispielen besteht darin, die individuellen Einflüsse ihrer Mitglieder zu summieren. Dieser additive Ansatz geht jedoch davon aus, dass Beispiele unabhängig voneinander beitragen, und erfasst somit keine gemeinsamen Effekte. In der Realität können Beispiele redundant (z. B. fast identische Kopien) oder komplementär (z. B. ähnliche Merkmale mit unterschiedlichen Labels) sein. Das Summieren individueller Einflüsse führt zu einer doppelten Zählung redundanter Beispiele und übersieht die synergetischen Effekte komplementärer Beispiele, was zu einer schlechten Gruppenattribution und suboptimaler Datenselektion führt (z. B. die Auswahl hochgradig redundanter Teilmengen). Frühere Versuche, dies zu adressieren, wie etwa Korrekturen zweiter Ordnung für Parameteränderungen, erfassen oft nicht, wie die Zielfunktion selbst auf diese Änderungen reagiert.

Methodik
Die Autoren schlagen eine interaktionsbewusste Einflussfunktion vor, die charakterisiert, wie Interaktionen zwischen Beispielen gemeinsam eine Zielfunktion beeinflussen. Die Kerninnovation besteht darin, die Zielfunktion $f$ um die trainierten Parameter $\hat{\theta}$ bis zur zweiten Ordnung zu entwickeln, anstatt lediglich die Parameteränderung zu linearisieren.

1. Entwicklung zweiter Ordnung:
   Der exakte Effekt des Herausnehmens einer Gruppe $I^-(S) = f(\hat{\theta}_{D\setminus S}) - f(\hat{\theta})$ wird angenähert, indem $f$ bis zur zweiten Ordnung entwickelt wird:
   $$\hat{I}^-(S) \approx \underbrace{\frac{1}{N} \nabla_\theta f(\hat{\theta})^\top u_S}_{\text{Einfluss erster Ordnung}} + \underbrace{\frac{1}{2N^2} u_S^\top H_f u_S}_{\text{Interaktionsterm}}$$
   Hierbei ist $u_S = \sum_{z_i \in S} u_i$ die aggregierte Parameteränderung, wobei $u_i = H^{-1}\nabla_\theta \ell(z_i, \hat{\theta})$ gilt, und $H_f = \nabla^2_\theta f(\hat{\theta})$ die Hesse-Matrix der Zielfunktion ist.

2. Term für paarweise Interaktionen:
   Der zweite Term (der Interaktionsterm) zerfällt in eine Summe paarweiser Beiträge $\kappa(z_i, z_j) = u_i^\top H_f u_j$.

   • Interpretation: Wenn $H_f$ positiv definit ist, wirkt $\kappa(z_i, z_j)$ als Skalarprodukt, das die Ausrichtung der Effekte zweier Beispiele auf das Ziel misst.
   • Redundanz vs. Komplementarität: Der Term ist positiv, wenn Beispiele das Modell in ähnliche Richtungen drängen (Redundanz, abnehmender Grenznutzen), und negativ, wenn sie in entgegengesetzte Richtungen drängen (Komplementarität, vorteilhafter gemeinsamer Effekt).
   • Geschlossene Faktorisierung: Für die binäre logistische Regression beweisen die Autoren, dass $\kappa(a, b) = (\sigma_a - y_a)(\sigma_b - y_b) \cdot \langle x_a, x_b \rangle_M$ gilt. Dies stellt formal das Prinzip wieder her, dass ähnliche Beispiele mit unterschiedlichen Labels komplementär sind, während ähnliche Beispiele mit demselben Label redundant sind.

3. Greedy-Datenselektion:
   Um dies auf die Datenselektion anzuwenden (Finden einer Teilmenge $S$, die das Ziel minimiert, wenn sie hinzugefügt wird), leiten die Autoren einen marginalen Score $m(z_i | S)$ ab, der das Hinzufügen eines Kandidaten $z_i$ zu einer bereits ausgewählten Menge $S$ bewertet. Dieser Score enthält einen Term $u_S^\top H_f u_i$, der Kandidaten bestraft, die den bereits ausgewählten ähnlich sind, und balanciert so die individuelle Qualität mit der Gruppenvielfalt aus, ohne einen externen Diversitätsheuristic zu benötigen.

Hauptbeiträge

• Theoretischer Rahmen: Ein neuer Schätzer für Einflussfunktionen, der die Standardsumme erster Ordnung um einen paarweisen Interaktionsterm erweitert, der aus einer Entwicklung der Zielfunktion zweiter Ordnung abgeleitet ist. Dies unterscheidet sich von früheren Arbeiten, die die Parameteränderung entwickelten (z. B. Basu et al. [5]), und bietet eine stabilere und interpretierbarere paarweise Struktur.
• Theoretische Garantien: Der Nachweis, dass der Interaktionsterm klassische Prinzipien des überwachten Lernens (Komplementarität ähnlicher Paare über Klassen hinweg, Redundanz ähnlicher Paare innerhalb derselben Klasse) in einer geschlossenen Faktorisierung für logistische Regression kodiert, die auf tiefe Mehrklassenklassifikatoren erweiterbar ist.
• Algorithmische Effizienz: Ein Greedy-Auswahlverfahren (Algorithmus 1) mit der Komplexität $O(KPd)$, das notwendige Größen vorab berechnet und einen Akkumulator aktualisiert, wodurch es auf große Datensätze und Modelle skalierbar ist.

Experimentelle Ergebnisse
Die Methode wurde in zwei primären Szenarien evaluiert:

1. Treue gegenüber dem Neutrainieren (Modelle kleinerer Skala):

   • Aufbau: Evaluierung an sechs Datensatz-Modell-Paaren (Logistische Regression, MLPs, ResNet-9) über Klassifikations- und Regressionsaufgaben hinweg.
   • Metrik: Spearman-Rangkorrelation zwischen dem geschätzten Einfluss und den wahren Effekten des Neutrainierens nach Herausnehmen einer Gruppe.
   • Ergebnis: Der interaktionsbewusste Schätzer (F+I) erreichte in allen Szenarien die höchste Korrelation und übertraf signifikant den Standard-Einfluss erster Ordnung (F) und die Korrektur zweiter Ordnung für die Parameteränderung (F+B). Bemerkenswerterweise zeigte F+B Instabilität, was die theoretische schlechte Konditionierung der Entwicklung der Parameteränderung in nicht-konvexen Settings bestätigt.

2. Auswahl von Teilmengen (Modelle kleinerer Skala und LLMs):

   • Kleine Skala (MLPs): Auf MNIST und FashionMNIST kollabierte die Standard-selektion auf Basis von Einfluss (F) auf wenige Klassen und performte schlechter als eine zufällige Auswahl. Die interaktionsbewusste Methode behielt eine Klassenentropie bei, die mit der zufälligen Auswahl vergleichbar war, und erzielte den niedrigsten zurückgehaltenen Testverlust.
   • Large Language Models (Llama-3.1-8B): Anwendung auf die Selektion von Daten für das Instruction-Tuning aus einem Pool von ca. 270.000 Beispielen.
   • Ergebnis: Die vorgeschlagene Methode übertraf die zufällige Auswahl bei allen sieben nachgelagerten Aufgaben (GSM8K, AQuA, ARC-E, HellaSwag, PIQA, ECQA, SQuAD). Sie erzielte die beste Gesamtleistung bei fünf der sieben Aufgaben und übertraf sowohl auf Einfluss basierende Baselines (Additive IF, LESS) als auch auf Repräsentationsähnlichkeit basierende Baselines (RDS+, NV-Embed). Entscheidend war, dass die Standard-selektion auf Basis von Einfluss (Additive IF) bei den meisten Aufgaben schlechter abschnitt als die zufällige Auswahl, was das Versagen additiver Bewertung in diesem Regime unterstreicht.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Gruppenattribution grundlegend darum geht, wie Trainingsbeispiele die Zielfunktion beeinflussen, und nicht nur die Parameteränderung. Durch die Charakterisierung von Interaktionen über ihren gemeinsamen Effekt auf das Ziel adressiert die vorgeschlagene Methode die „blinde Stelle" der additiven Bewertung, die zu redundanter Datenselektion führt. Die Autoren zeigen, dass die Berücksichtigung dieser Interaktionen sowohl für die genaue Schätzung des Gruppeneinflusses als auch für die Auswahl diverser, effektiver Trainings-Teilmengen entscheidend ist. Die Methode bietet eine prinzipielle Korrektur zweiter Ordnung, die natürlich aus der Krümmung der Zielfunktion hervorgeht, anstatt auf extern auferlegten Diversitätsstrafen zu beruhen.

Einschränkungen
Die Autoren weisen auf zwei Hauptbeschränkungen hin:

1. Das Greedy-Auswahlverfahren ist zwar effektiv, bietet jedoch keine formalen Optimalitätsgarantien.
2. Der Schätzer erbt Approximationsfehler aus den zugrundeliegenden Hesse-Näherungen (z. B. EK-FAC, Projektionen niedrigen Rangs). Zukünftige Arbeiten könnten von Fortschritten bei der skalierbaren Schätzung der inversen Hesse-Matrix profitieren.