💬 NLP

Data Attribution in Large Language Models via Bidirectional Gradient Optimization

Dieses Paper führt ein bidirektionales Gradientenoptimierungs-Framework für das Training der Datenattribution in großen Sprachmodellen ein, welches das Basismodell basierend auf generierten Ausgaben stört, um Änderungen des Verlusts über Trainingsbeispiele hinweg zu messen, und dadurch bestehende Methoden bei der Identifizierung einflussreicher Daten zur verbesserten Interpretierbarkeit und Rechenschaftspflicht von Modellen übertrifft.

Ursprüngliche Autoren: Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Frédéric Berdoz, Luca A. Lanzendörfer, Kaan Bayraktar, Roger Wattenhofer

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen brillanten Koch (das Large Language Model), der tausende von Gerichten basierend auf einer riesigen Rezeptbibliothek (den Trainingsdaten) zubereitet hat. Eines Tages serviert er Ihnen ein bestimmtes Gericht, sagen wir eine „Scharfe Tomatenpasta“. Sie könnten sich fragen: Welche spezifischen Rezepte aus dieser Bibliothek haben dieses Gericht tatsächlich inspiriert? War es ein Rezept von einer italienischen Großmutter? Ein moderner Fusion-Blog? Oder eine Mischung aus beidem?

Dies ist das Problem der Datenattribution. Das Paper stellt eine neue Methode namens DABGO (Data Attribution via Bidirectional Gradient Optimization) vor, um diese Frage zu beantworten.

So funktioniert DABGO, erklärt durch einfache Analogien:

Das Problem: Die „Black Box“-Küche

Normalerweise können wir nicht einfach sagen, welche Zutaten aus der Bibliothek bei der Erstellung eines Gerichts am wichtigsten waren. Traditionelle Methoden versuchen, dies durch die Suche nach passenden Wörtern zu erraten (wie die Suche nach „Tomate“ in der Bibliothek), aber dabei wird der Stil oder der Vibe des Kochens übersehen. Andere Methoden versuchen, den Einfluss mathematisch zu berechnen, aber sie sind oft zu langsam oder zu ungenau für komplexe, kreative Gerichte.

Die Lösung: Das „Was wäre wenn?“-Experiment

DABGO nutzt eine clevere „Was wäre wenn?“-Strategie. Anstatt nur in die Bibliothek zu schauen, verändert DABGO vorübergehend das Gehirn des Kochs, um zu sehen, wie er auf das spezifische Gericht reagiert, das er gerade zubereitet hat.

Stellen Sie sich das so vor:

Das Setup: Der Koch hat bereits die „Scharfe Tomatenpasta“ zubereitet (der generierte Output).
Das Experiment: Die Forscher nehmen das Gehirn des Kochs und führen zwei schnelle, entgegengesetzte Simulationen für genau diese Tomatenpasta durch:
- Simulation A (Gradient Ascent): Sie verändern das Gehirn des Kochs so, dass er diese Pasta noch mehr liebt. Sie bringen ihn dazu zu denken: „Das ist die beste Pasta aller Zeiten! Ich muss mich perfekt an sie erinnern!“
- Simulation B (Gradient Descent): Sie verändern das Gehirn des Kochs so, dass er diese Pasta hasst. Sie bringen ihn dazu zu denken: „Ich möchte dieses Rezept völlig vergessen.“
Der Test: Nun nehmen sie den „Liebe“-Koch und den „Hass“-Koch und lassen sie in der ursprünglichen Rezeptbibliothek suchen.
- Wenn ein bestimmtes altes Rezept den „Liebe“-Koch sehr glücklich macht, aber den „Hass“-Koch sehr traurig stimmt (oder umgekehrt), dann ist dieses Rezept ein wesentlicher Einfluss auf die Pasta.
- Wenn ein Rezept die Gefühle des Kochs in beiden Simulationen kaum verändert, war es wahrscheinlich nicht wichtig für das fertige Gericht.

Warum „Bidirektional“ wichtig ist

Die Forscher fanden heraus, dass es nicht ausreicht, nur eine dieser Simulationen durchzuführen (entweder den Koch nur lieben zu lassen oder nur hassen zu lassen). Es ist, als würde man versuchen, ein Lied zu verstehen, indem man es entweder nur mit maximaler Lautstärke oder nur als Flüstern hört. Man braucht beide Richtungen, um das volle Bild zu erhalten.

Die „Liebe“-Richtung hilft dabei, Rezepte zu finden, die das Modell natürlich kopieren wollte.
Die „Hass“-Richtung hilft dabei, Rezepte zu finden, die das Modell vermeiden oder von denen es sich abgrenzen wollte.
Durch die Kombination beider Wege erhält DABGO eine viel klarere Karte darüber, woher die Ideen stammen.

Was haben sie herausgefunden?

Die Forscher haben dies auf zwei Arten des „Kochens“ getestet:

Faktisches Kochen: Das Aufstellen von Tatsachen (z. B. „Paris ist die Hauptstadt von Frankreich“).
Stilistisches Kochen: Das Nachahmen eines bestimmten Autorenstils (z. B. im Stil von Shakespeare oder Jane Austen schreiben).

Die Ergebnisse:

Besser als die Konkurrenz: DABGO war viel besser darin, die richtigen Quellrezepte zu finden als ältere Methoden. Alte Methoden waren wie eine Schlagwort-Suchmaschine; sie fanden die richtigen Wörter, aber oft nicht den richtigen Kontext oder Stil.
Stil zählt: Als die Aufgabe darin bestand, den Stil eines bestimmten Autors nachzuahmen, zeigte DABGO erfolgreich auf andere Texte desselben Autors, während einfache Wortvergleichs-Tools versagten.
Präzision: DABGO ist so präzise, dass es sogar auf spezifische Sätze oder sogar Wörter innerhalb eines Rezepts zeigen kann, die am einflussreichsten waren, und nicht nur auf das ganze Rezept.

Die Kehrseite (Einschränkungen)

Das Paper ist ehrlich bezüglich der Nachteile. Dieses „Was wäre wenn?“-Experiment ist rechenintensiv. Es ist, als müsste man die gesamte Rezeptbibliothek zweimal nachkochen, nur um ein einziges neues Gericht zu testen.

Es funktioniert hervorragend für kleinere, kontrollierte Experimente.
Es ist derzeit zu langsam und zu teuer, um auf den massiven, industriellen Maßstab der Modelle angewendet zu werden, die von großen Tech-Unternehmen verwendet werden (welche auf Milliarden von Wörtern trainiert wurden).

Das Fazate

DABGO ist ein neues Werkzeug, das uns hilft zu verstehen, warum eine KI das gesagt hat, was sie gesagt hat. Indem es simuliert, wie sich die KI verändern würde, wenn sie ein bestimmtes Ergebnis entweder annehmen oder vergessen wollte, kann es dieses Ergebnis auf die einflussreichsten Trainingsdaten zurückverfolgen. Dies macht KI transparenter und rechenschaftspflichtiger und hilft uns, die „Zutaten“ hinter dem „Gericht“ zu sehen.

Technisches Resümee: Datenattribution in Large Language Models via Bidirectional Gradient Optimization (DABGO)

Problemstellung

Large Language Models (LLMs) werden zunehmend in kritischen Bereichen wie der juristischen Textgestaltung, der medizinischen Diagnose und der wissenschaftlichen Forschung eingesetzt. Während diese Modelle ihre Fähigkeiten aus riesigen Trainingskorpora beziehen, bleibt ein grundlegendes offenes Problem bestehen: die Identifizierung der spezifischen Trainingsdaten, die eine Ausgabe eines Modells am stärksten beeinflusst haben. Die aktuelle Forschung konzentriert sich stark auf die Modellleistung in Abhängigkeit von einem Datensatz, lässt jedoch das inverse Problem – die Rückverfolgung des Modellverhaltens auf spezifische Datenquellen – weitgehend unerforscht. Diese mangelnde Rückverfolgbarkeit behindert Governance, Rechenschaftspflicht sowie das Debugging oder das „Verlernen“ (Unlearning) spezifischer Datenpunkte. Bestehende Methoden zur Trainingsdatenattribution (TDA), wie etwa Influence Functions, stehen vor praktischen Einschränkungen, einschließlich der Unpraktikabilität exakter Berechnungen (die ein erneutes Training erfordern würden) sowie grundlegender Probleme mit der Hessian-Inversion in großskaligen Modellen. Zudem waren frühere Studien zur NLP-Attribution oft auf die Faktentreue bei Vorhersagen einzelner Wörter oder auf die Granularität auf Datensatzebene beschränkt und konnten die vollständig offene Textgenerierung nicht adressieren.

Methodik

Die Autoren schlagen DABGO (Data Attribution via Bidirectional Gradient Optimization) vor, ein Framework, das darauf ausgelegt ist, rückwärtsgerichtete Einflussfunktionen für autoregressive LLMs zu schätzen. Die Kernhypothese beruht auf dem Konzept des „gespiegelten Einflusses“ (mirrored influence): Der Einfluss einer Trainingsprobe auf eine Modellvorhersage kann geschätzt werden, indem man beobachtet, wie die Optimierung des Modells auf dieser Vorhersage dessen Verhalten gegenüber der Trainingsprobe beeinflusst.

Kernalgorithmus

Bidirektionale Optimierung: Gegeben sei ein vortrainiertes Modell $\pi_{\theta^*}$ und eine generierte Ausgabensequenz $\hat{x}$ (aufgerufen durch $\hat{x}_0$ ). Die Methode konstruiert zwei perturbierte Modellvarianten:
- Gradient Ascent ( $\theta_+$ ): Optimiert das Modell, um die Wahrscheinlichkeit des generierten Textes $\hat{x}$ zu erhöhen (simuliert das „Verlernen“ oder die Maximierung des Einflusses).
- Gradient Descent ( $\theta_-$ ): Optimiert das Modell, um die Wahrscheinlichkeit von $\hat{x}$ zu verringern (simuliert das Fine-Tuning oder die Minimierung des Einflusses).
- Beide Optimierungen nutzen ein Fisher-regularisiertes Update (Elastic Weight Consolidation), um katastrophales Vergessen zu mildern, approximiert über eine diagonale Fisher-Informationsmatrix (FIM), um die rechnerische Handhabbarkeit zu gewährleisten.
Bidirectional Influence Score (BIS): Für jede Trainingsprobe $x_i$ im Datensatz $D$ berechnet die Methode den Verlust unter beiden perturbierten Modellen ( $\theta_+$ und $\theta_-$ ). Der Einfluss-Score ist definiert als die absolute Änderung des Verlusts:
$I(x_i; \hat{x}) = |\ell(x_i, \theta_-) - \ell(x_i, \theta_+)|$
Proben, die große absolute Änderungen im Verlust aufweisen, werden als die einflussreichsten für die Generierung von $\hat{x}$ eingestuft.
Granularität: Das Framework unterstützt Attribution auf beliebiger Ebene, vom vollständigen Trainingsbeispiel bis hin zur Token-Ebene, indem die Unterschiede in der Per-Token-Log-Likelihood gemessen werden.

Zentrale Beiträge

Neuartiges Framework: Einführung von DABGO, einer einfachen, aber effektiven Attributionsmethode für die offene Textgenerierung, die teure pro-Sample-Gradientenberechnungen oder Hessian-Inversionen vermeidet.
Bidirektionaler Ansatz: Das Paper zeigt, dass die Kombination aus sowohl Gradient Ascent als auch Gradient Descent (DABGO) eine überlegene Attributionsgenauigkeit gegenüber unidirektionalen Ansätzen (die nur Ascent oder nur Descent nutzen) liefert, da sie komplementäre Signale in generativen Modellen erfasst.
Granulare Attribution: Die Methode ermöglicht Attribution auf beliebiger Datengranularität und erfasst erfolgreich sowohl faktische Inhalte als auch stilistische Merkmale (z. B. Autorenschaft, Syntax) in den attribuierten Texten.
Evaluationsprotokoll: Die Autoren führen den Tail-Patch Absolute (TPA) Score ein und nutzen ihn als rechnerisch effiziente Proxy für den Einfluss, der gegen die Ground-Truth-Definition von Einfluss mittels vollständiger Retraining-Experimente validiert wurde.

Experimentelle Ergebnisse

Die Autoren evaluierten DABGO auf GPT-2-ähnlichen Modellen, die von Grund auf auf zwei unterschiedlichen Korpora trainiert wurden:

Faktische Attribution: Verwendung eines kuratierten Wikipedia-Korpus (230 Mio. Token).
Stilistische Attribution: Verwendung von Project Gutenberg Literaturtexten (2 Mio. Token) mit diversen Autoren.

Quantitative Leistung:

Faktischer Kontext: DABGO übertraf die Baselines (BM25, TRACKSTAR, GECKO) konsistent über die meisten Werte von $k$ (Anzahl der Top-Attributionsproben). Während BM25 bei $k=1$ aufgrund der starken lexikalischen Überlappung gut abschnitt, übertraf DABGO die anderen Methoden, wenn $k$ anstieg, was auf eine bessere Identifizierung des verteilten faktischen Einflusses hindeutet.
Stilistischer Kontext: DABGO übertraf signifikant wortbasierte Retrieval-Methoden (BM25) und embedding-basierte Methoden (GCKO), wenn $k$ anstieg. Dies unterstreicht die Fähigkeit der Methode, verteilte stilistische Signale über mehrere Trainingsproben hinweg zu erfassen, statt sich auf einzelne Passagen zu verlassen.
Validierung via Retraining: In Counterfactual-Experimenten, bei denen die Top- $k$ attribuierten Proben entfernt und die Modelle neu trainiert wurden, zeigten Modelle, die ohne DABGO-attribuierte Proben neu trainiert wurden, einen signifikant höheren Verlust auf dem Test-Output im Vergleich zu Modellen, die ohne durch andere Methoden attribuierte Proben neu trainiert wurden. Dies bestätigt die Übereinstimmung von DABGO mit der Ground-Truth-Definition von Einfluss.

Ablationsstudien:
Experimente, die Gradient Ascent und Descent isoliert betrachteten, zeigten, dass zwar Ascent allein eine starke Leistung erbringt, die Kombination beider Richtungen (DABGO) jedoch die höchste Genauigkeit erreicht, was die Notwendigkeit des bidirektionalen Ansatzes für generative Aufgaben validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass DABGO die Interpretierbarkeit von Modellen verbessert, was eine kritische Anforderung für rechenschaftspflichtige KI-Systeme darstellt. Durch die erfolgreiche Rückverfolgung offener Generationen auf ihre einflussreichsten Trainingsdaten ermöglicht die Methode:

Schließung des Feedback-Loops: Sie verbindet Trainingsdaten direkt mit dem Modellverhalten und ermöglicht Anwendungen wie Modell-Debugging und Data Unlearning.
Überwindung bisheriger Limitationen: Im Gegensatz zu früheren Arbeiten, die auf kuratierte Fakten oder Einzelwort-Vorhersagen beschränkt waren, arbeitet DABGO effektiv in vollkommen offenen Generierungsszenarien.
Bereitstellung von Transparenz: Die Fähigkeit, Einfluss auf Token-Ebene zu attribuieren, bietet feingranulare Interpretierbarkeit und unterscheidet zwischen faktischen Beiträgen und stilistischen Nuancen.

Die Autoren räumen Einschränkungen ein und merken an, dass DABGO weiterhin rechenintensiv bleibt (da zwei Durchläufe über den Korpus erforderlich sind) und derzeit für industrielle Skalen mit Hunderten von Milliarden Token unpraktisch ist. Zudem identifiziert es zwar einflussreiche Proben, berücksichtigt jedoch derzeit nicht synergetische oder adversarielle Interaktionen zwischen Subgruppen von Daten und stellt zudem nicht die kausale Rolle spezifischer hervorgehobener Tokens über die beobachteten Verluständerungen hinaus dar. Dennoch stellt die Arbeit einen bedeutenden Schritt in Richtung nachvollziehbarer und prüfbarer KI-Systeme dar.