🤖 machine learning

GUDA: Counterfactual Group-wise Training Data Attribution for Diffusion Models via Unlearning

Das Papier schlägt GUDA vor, eine Methode, die Machine Unlearning nutzt, um die kontrafaktische gruppenweise Trainingsdaten-Attribution für Diffusionsmodelle effizient zu approximieren, wodurch eine zuverlässige Identifizierung einflussreicher Datengruppen mit einer signifikanten Beschleunigung gegenüber traditionellen Retraining-Ansätzen erreicht wird.

Ursprüngliche Autoren: Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Naoki Murata, Yuhta Takida, Chieh-Hsin Lai, Toshimitsu Uesaka, Bac Nguyen, Stefano Ermon, Yuki Mitsufuji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie betrachten ein wunderschönes, komplexes Gemälde, das von einer KI erstellt wurde. Sie könnten sich fragen: "Welche spezifische Gruppe von Trainingsbildern hat diese KI dazu gebracht, in diesem ganz besonderen Stil zu malen?" War es die Gruppe der "Impressionistischen" Fotos? Die "Skizzen"-Fotos? Oder vielleicht die "Aquarell"-Fotos?

Dieses Paper mit dem Titel GUDA stellt eine neue Methode vor, um diese Frage für KI-Bildgeneratoren (genannt Diffusionsmodelle) zu beantworten. Hier ist die Aufschlüsselung unter Verwendung einfacher Analogien.

Das Problem: Das „Zu viele Köche“-Dilemma

KI-Modelle werden auf riesigen Datensätzen trainiert, die Millionen von Bildern enthalten, die oft nach Stil oder Kategorie gruppiert sind (wie „Hunde“, „Autos“ oder „Van Gogh-Stil“).

Um herauszufinden, welche Gruppe ein spezifisches KI-generiertes Bild beeinflusst hat, ist die „Goldstandard“-Methode als LOGO (Leave-One-Group-Out) bekannt.

Die Analogie: Stellen Sie sich einen Chor vor, der ein Lied singt. Um herauszufinden, welche Sektion (Sopran, Alt, Tenor, Bass) am meisten zu einer bestimmten Note beigetragen hat, müssten Sie den Chor aufnehmen, dann den Chor erneut aufnehmen, aber ohne die Soprane, dann noch einmal ohne die Altisten und so weiter.
Das Problem: Wenn Sie 100 Gruppen haben, müssen Sie das Lied 100 Mal neu aufnehmen. Für eine KI bedeutet das, das Modell 100 Mal von Grund auf neu zu trainieren. Das würde Jahre an Rechenzeit beanspruchen und ist praktisch unmöglich.

Die Lösung: Der „Gedächtnisradierer“ (Unlearning)

Die Autoren schlagen GUDA (Group Unlearning-based Data Attribution) vor. Anstatt die KI jedes Mal von Grund auf neu zu trainieren, nutzen sie eine Technik namens Maschinelles Vergessen (Machine Unlearning).

Die Analogie: Anstatt den ganzen Chor zu entlassen und einen neuen ohne die Soprane einzustellen, nehmen Sie den ursprüngigen Chor und bringen ihnen behutsam bei, den Teil der Soprane zu „vergessen“. Sie lassen den Rest des Chores genau gleich, passen aber ihr Gedächtnis so an, dass sie die Sopran-Noten nicht mehr kennen.
So funktioniert es:
1. Beginnen Sie mit der voll trainierten KI (dem „Full Model“).
2. Wenden Sie einen speziellen „Vergessens-Prozess“ an, um den Einfluss einer spezifischen Gruppe (z. B. „Impressionismus“) zu entfernen.
3. Dies erzeugt ein „kontrafaktisches Modell“ – eine Version der KI, die so handelt, als hätte sie die impressionistischen Fotos nie gesehen.
4. Vergleichen Sie die Ausgabe der ursprünglichen KI mit der Ausgabe dieser „vergessenen“ KI. Wenn die „vergessene“ KI das Bild nicht mehr erzeugen kann, wissen Sie, dass der Impressionismus die entscheidende Zutat war.

Das Geheimrezept: Wie man richtig „vergisst“

Einfach nur Daten zu löschen reicht nicht aus; die KI muss angeleitet werden, was sie an die Stelle der vergessenen Daten setzen soll, damit sie nicht verwirrt wird. Das Paper beschreibt zwei Wege, dies zu tun:

Für allgemeine Bilder (unbedingt/unconditional): Sie verwenden eine Methode namens ReTrack.
- Analogie: Wenn Sie der KI sagen, sie solle ein Bild eines roten Autos „vergessen“, hinterlässt ReTrack nicht einfach eine Leerstelle. Es schaut sich alle anderen Autos in der Datenbank an und sagt: „Okay, da du dich nicht an das rote Auto erinnern kannst, stelle dir stattdessen ein blaues Auto oder einen Lkw vor, gewichtet nach ihrer Ähnlichkeit.“ Es lenkt die Aufmerksamkeit der KI auf die verbleibenden Daten um.
Für Text-zu-Bild (bedingt/conditional): Dies ist komplizierter, da die KI auch Text-Prompts hört (z. B. „Ein Hund im Stil von Van Gogh“). Wenn Sie „Van Gogh“ entfernen, wird der Text-Prompt selbst seltsam.
- Analogie: Die Autoren verwenden Anker (Anchors). Wenn der Prompt „Hund, Van Gogh-Stil“ lautet und Sie Van Gogh vergessen wollen, ersetzen sie „Van Gogh“ im Prompt durch einen anderen Stil (wie „Skizze“), während sie den Teil „Hund“ gleich lassen. Dies lehrt die KI, das „Hund“-Konzept ohne den „Van Gogh“-Einfluss zu handhaben, ohne die Textanweisungen zu brechen.

Die Ergebnisse: Schnell und Genau

Das Paper testete dies an zwei Dingen:

CIFAR-10: Ein einfacher Datensatz mit 10 Objektklassen (wie Katzen, Flugzeuge, Lastwagen).
Künstlerische Stile: Verwendung von Stable Diffusion, um Bilder in verschiedenen Kunststilen zu generieren.

Die Erkenntnisse:

Geschwindigkeit: GUDA ist etwa 100 Mal schneller als die „Goldstandard“-Methode des Neu-Trainierens von Grund auf. Es ist, als würde man einen Marathon in 2 Stunden statt in 200 Stunden absolvieren.
Genauigkeit: Es ist viel besser darin, die wichtigsten Gruppen zu identifizieren als andere Methoden, die lediglich nach „visueller Ähnlichkeit“ suchen (wie die Frage: „Sieht dieses Bild wie ein Van-Gogh-Gemälde aus?“). GUDA fragt: „Wenn wir Van Gogh aus dem Gehirn der KI entfernt hätten, würde dieses Bild dann noch existieren?“
Vergleich: Es schlug andere populäre Methoden, die versuchen, den Einfluss durch Gradienten (mathematische Steigungen) oder durch das Vergessen einzelner Bilder nacheinander zu erraten.

Zusammenfassung

GUDA ist eine Abkürzung. Es ermöglicht Forschern die Frage zu stellen: „Welcher Teil der Trainingsdaten hat dieses KI-Bild erschaffen?“, indem es Gruppen von Daten behutsam aus dem Gedächtnis der KI „radiert“ und beobachtet, was sich ändert, anstatt das Gehirn der KI jedes Mal mühsam von Grund auf neu aufzubauen. Es macht das Verständnis der KI-Generierung schneller und praktischer.

Technische Zusammenfassung: GUDA – Counterfactual Group-wise Data Attribution für Diffusionsmodelle mittels Unlearning

1. Problemdefinition

Die Attribuierung von Trainingsdaten für visuelle generative Modelle zielt darauf ab, zu identifizieren, welche Trainingsdaten einen spezifischen Output beeinflusst haben. Während bestehende Methoden sich auf die Instanz-Ebene der Attribuierung (Identifizierung spezifischer Trainingsbeispiele) konzentrieren, benötigen Praktiker oft eine Gruppen-Ebene der Attribuierung (z. B. Identifizierung, welche künstlerischen Stile oder Objektklassen am meisten zu einer Generierung beigetragen haben).

Die zentrale Herausforderung besteht darin, dass Gruppeneinfluss nicht-additiv und nichtlinear ist; das einfache Summieren von Instanz-Scores versagt dabei, die Interaktionen innerhalb gemeinsamer Repräsentationen zu erfassen. Das theoretische „Goldstandard“-Maß für Gruppenattribuierung ist das Leave-One-Group-Out (LOGO)-Counterfactual: die Messung, wie sich das Verhalten eines Modells auf ein generiertes Sample ändert, wenn eine bestimmte Gruppe $k$ vollständig aus den Trainingsdaten entfernt worden wäre. Die Umsetzung dieses Counterfactuals erfordert jedoch das Retraining von $N+1$ Modellen (ein volles Modell plus $N$ Modelle, bei denen jeweils eine Gruppe entfernt wurde), was für großskalige Diffusionsmodelle rechnerisch prohibitiv ist.

2. Methodik: GUDA-Framework

Die Autoren schlagen GUDA (Group Unlearning-based Data Attribution) vor, ein Framework, das die teuren LOGO-Counterfactual-Modelle mittels Machine Unlearning anstatt durch Retraining von Grund auf approximiert.

Kernkonzept:
Anstatt $\theta_{logo}^{-k}$ (das ohne Gruppe $k$ trainierte Modell) von Grund auf neu zu trainieren, beginnt GUDA mit dem Voll-Daten-Modell $\theta_{full}$ und wendet einen Machine-Unlearning-Operator an, um den Einfluss der Gruppe $k$ selektiv zu entfernen, wodurch ein approximiertes Counterfactual-Modell $\theta_{ul}^{-k}$ entsteht.

Attribuierungs-Scoring (LOGOA):
Der Attribuierungsscore wird als Differenz einer Likelihood-basierten Scoring-Regel (speziell der Evidence Lower Bound, ELBO) zwischen dem vollen Modell und dem unlearned Counterfactual-Modell definiert:
$\text{GUDA}_k(x_0, c) = \text{ELBO}(x_0|c; \theta_{full}) - \text{ELBO}(x_0|c; \theta_{ul}^{-k})$
Ein positiver Score zeigt an, dass Gruppe $k$ signifikant zur Generierung des Samples $(x_0, c)$ beigetragen hat.

Implementierung des Unlearning:
Das Unlearning-Ziel besteht aus zwei Termen:

Preservation Term ( $L_{preserve}$ ): Ein Score-Matching-Loss, der sicherstellt, dass das unlearned Modell seine Leistung auf dem Retain-Set ( $D_{-k}$ ) beibehält, um katastrophales Vergessen zu verhindern.
Forget Term ( $L_{forget}$ ): Variiert je nach Generierungsszenario:
- GUDA-U (Unconditional Generation): Nutzt eine auf ReTrack basierende Redirection. Es trainiert das Modell darauf, Samples aus dem Forget-Set ( $D_k$ ) in Richtung gewichteter Targets zu denen zu denoisen, die aus dem Retain-Set ( $D_{-k}$ ) abgeleitet wurden, was effektiv den Mittelwert der Posterior-Verteilung des Retain-only-Datensatzes approximiert.
- GUDA-C (Conditional Text-to-Image): Adressiert die Herausforderung, dass das Entfernen einer Stilgruppe sowohl die Bild- als auch die Prompt-Distribution verschiebt. Es verwendet Weighted Style-Selection Anchors. Für ein Forget-Paar (Bild, Prompt) konstruiert die Methode einen „Anchor“-Prompt, indem die Inhaltsbeschreibung beibehalten, aber der Stil-Deskriptor durch einen aus dem Retain-Set ausgetauscht wird (gesampelt via CLIP-gewichteter Ähnlichkeit). Das Modell wird dann darauf trainiert, die Vorhersage des vollen Modells unter dieser Anchor-Bedingung zu matchen, wodurch das Mismatch der Konditions-Distribution gelöst wird.

3. Zentrale Beiträge

Formalisierung der Gruppenattribuierung: Die Arbeit formalisiert Gruppenweise Attribuierung als ein Counterfactual Estimand (LOGOA) basierend auf der Differenz der ELBO zwischen einem vollen Modell und einem gruppengestrippten Modell und etabliert das LOGO-Retraining als Oracle.
Unlearning-basierte Approximation: Sie führt ein praktisches Framework ein, das diese Counterfactuals mittels Machine Unlearning approximiert und dabei eine $\sim 100\times$ Beschleunigung gegenüber dem LOGO-Retraining auf CIFAR-10 erreicht.
Zwei spezifische Instanziierungen:
- GUDA-U: Für unbedingte Diffusion, unter Verwendung von ReTrack-basierter gewichteter Redirection.
- GUDA-C: Für konditionale Text-zu-Bild-Generierung, unter Verwendung von CLIP-gewichteten Style-Selection Anchors, um die Prompt-Distributionsverschiebung zu handhaben.
Empirische Validierung: Zeigt, dass die direkte Zielsetzung des Gruppen-Entfernungs-Counterfactuals via Unlearning semantische Ähnlichkeits-Baselines (CLIPA) und Instanz-Ebene-Aggregationsmethoden (DAS, TRAK, D-TRAK) in der Identifizierung primär beitragender Gruppen übertrifft.

4. Experimentelle Ergebnisse

Die Autoren evaluierten GUDA auf zwei Benchmarks:

CIFAR-10 (Unconditional): Mit 10 Klassen und 2.048 Queries erreichte GUDA eine Top-1 Übereinstimmung von 72,7 % mit dem LOGO-Oracle und übertraf damit CLIPA (66,2 %) sowie Gradienten-basierte Methoden (DAS: 71,6 %, aber signifikant langsamer). GUDA erzielte eine $\sim 100\times$ Beschleunigung der Rechenzeit gegenüber dem LOGO-Retraining (2 Stunden vs. 207 Stunden).
UnlearnCanvas (Conditional Text-to-Image): Unter Verwendung von Stable Diffusion 1.5 und 16 künstlerischen Stilen erreichte GUDA eine Top-1 Übereinstimmung von 45,6 %, was CLIPA (33,8 %) und eine vorherige unlearning-basierte Attribuierungsmethode (Wang et al., 2024), die nur 4,7 % erreichte, deutlich übertraf. GUDA zeigte zudem eine überlegene Leistung in den Metriken NDCG@3 und RBO, was auf eine bessere Ausrichtung auf die einflussreichsten Stile hindeutet.

Wichtige Beobachtungen:

Die Qualität des Unlearnings ist entscheidend: GUDA unter Verwendung von ReTrack-basiertem Unlearning übertraf GUDA unter Verwendung von ESD (Erasing Stable Diffusion) Unlearning signifikant, was die theoretische Verbindung zwischen ReTrack und LOGO-Retraining validiert.
Limitierungen von Alternativen: Semantische Ähnlichkeit (CLIPA) konnte die counterfactualen Gruppeneffekte nicht erfassen, und Methoden auf Instanz-Ebene hatten Schwierigkeiten, auf die Gruppen-Ebene zu skalieren, wobei sie bei Head-Identifizierungsmetriken oft nahe an Zufallsniveau agierten.

5. Bedeutung und Ansprüche

Das Paper behauptet, dass GUDA eine skalierbare und praktische Lösung bietet, um die Provenienz von Outputs generativer Modelle auf Gruppenebene zu verstehen. Durch die Überbrückung der Lücke zwischen dem theoretischen Ideal des Counterfactual Retrainings und der rechnerischen Realität großskaliger Modelle ermöglicht GUDA:

Faire Entlohnung: Eine genauere Identifizierung, welche Datengruppen (z. B. Künstler) zu Outputs beigetragen haben.
Debugging: Identifizierung problematischer Datenquellen oder Stile, die die Generierung negativ beeinflussen.
Transparenz: Ein Verfahren zur Auditierung generativer Modelle, ohne die prohibitiven Kosten eines vollständigen Retrainings.

Die Autoren betonen, dass GUDA kein zertifiziertes Löschungsmechanismus (Certified Deletion) ist, sondern eine computationale Approximation für die Attribuierung. Sie merken an, dass mit der Entstehung immer mehr LOGO-konformer Unlearning-Methoden diese in das GUDA-Framework integriert werden können, um die Qualität der Attribuierung weiter zu verbessern. Die Arbeit positioniert sich als Schritt hin zu einem skalierbaren, gruppenweisen Verständnis generativer Modelle, das über Instanz-Ebene-Approximationen hinausgeht, welche nichtlineare Gruppeninteraktionen nicht erfassen können.