🤖 machine learning

SurrogateSHAP: Training-Free Contributor Attribution for Text-to-Image (T2I) Models

SurrogateSHAP ist ein trainingsfreies Framework, das effizient Shapley-Werte zur Attribuierung von Datenbeiträgen in Text-zu-Bild-Modellen approximiert, indem es ein vortrainiertes Modell und einen Gradient-Boosted-Tree nutzt, um die rechenintensiven Engpässe traditioneller, auf Retraining basierender Methoden zu überwinden, wodurch eine faire Vergütung, skalierbare Auditierung und die Identifizierung von Schein-Korrelationen ermöglicht werden.

Ursprüngliche Autoren: Mingyu Lu, Soham Gadgil, Chris Lin, Chanwoo Kim, Su-In Lee

Veröffentlicht 2026-06-02

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Mingyu Lu, Soham Gadgil, Chris Lin, Chanwoo Kim, Su-In Lee

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie und eine Gruppe von Freunden beschließen, gemeinsam eine riesige, unglaublich detaillierte LEGO-Burg zu bauen. Jeder bringt verschiedene Kisten mit Steinen mit: Einige bringen rote Steine, andere blaue, manche winzige Fenster und andere seltene Goldstücke. Sobald die Burg gebaut ist, sieht sie fantastisch aus. Doch nun stellt jemand die Frage: „Wer verdient am meisten Anerkennung? Wer hat die wertvollsten Steine beigesteuert?“

In der Welt der Künstlichen Intelligenz, speziell bei Text-zu-Bild-Modellen (wie Stable Diffusion oder FLUX), sind die „Bausteine“ die Millionen von Bildern und Textbeschreibungen, die zum Training der KI verwendet werden. Die „Burg“ ist die fertige KI, die Bilder aus Ihren Worten zeichnen kann.

Das Problem ist, dass es unglaublich schwer ist herauszufinden, wer die besten Steine beigesteuert hat. Hier ist der Grund dafür, und wie die Autoren dieser Arbeit SurrogateSHAP gelöst haben.

Das Problem: Der „Retraining“-Albtraum

Um genau zu wissen, wie sehr eine bestimmte Gruppe von Menschen (ein „Beitragender“) geholfen hat, ist der traditionelle Weg ein Spiel des „Was wäre wenn?“.

Was wäre, wenn wir die Burg ohne die roten Steine bauen würden?
Was wäre, wenn wir sie ohne die blauen Steine bauen würden?
Was wäre, wenn wir sie ohne die Fenster bauen würden?

Um eine perfekte Antwort zu erhalten, müssten Sie die gesamte Burg für jede einzelne Kombination fehlender Steine von Grund auf neu bauen. Da es Millionen von Kombinationen gibt, würde dies länger dauern als das Alter des Universums. Es ist zu teuer und zu langsam.

Die Lösung: SurrogateSHAP

Die Autoren entwickelten eine clevere Abkürzung namens SurrogateSHAP. Stellen Sie sich das wie einen „Magischen Simulator“ vor, der es Ihnen ermöglicht, das Ergebnis des Entfernens von Steinen zu sehen, ohne die Burg tatsächlich neu bauen zu müssen.

Sie taten dies in zwei Hauptschritten:

1. Der „Magische Mix“ (Training-Free Proxy)

Anstatt die Burg neu zu bauen, erkannten sie, dass sie einfach die Anweisungen für die Steine, die sie bereits haben, mischen können.

Stellen Sie sich vor, die KI ist ein Koch, der weiß, wie man ein perfektes Gericht mit einem bestimmten Rezept zubereitet.
Anstatt für jede mögliche Kombination von Zutaten ein neues Gericht zu kochen, erkannten die Autoren, dass sie dem Koch einfach sagen können: „Stell dir vor, du kochst ein Gericht, das eine 50/50-Mischung aus dem ‚Roten-Stein-Rezept‘ und dem ‚Blauen-Stein-Rezept‘ ist.“
Der Koch kann sofort simulieren, wie dieses gemischte Gericht schmecken würde, ohne es tatsächlich zu kochen.
In den Begriffen der Arbeit: Sie nutzen das bestehende Wissen der KI, um zu simulieren, wie das Modell aussehen würde, wenn es nur auf einer bestimmten Teilmenge von Daten trainiert worden wäre, wodurch der teure Trainingsprozess komplett übersprungen wird.

2. Der „Kluge Schätzbaum“ (TreeSHAP)

Selbst mit dem „Magischen Mix“ gibt es immer noch zu viele Kombinationen, die man einzeln prüfen könnte. Also verwendeten sie einen zweiten Trick.

Sie stellten dem Magischen Simulator ein paar hundert Fragen (z. B. „Was passiert, wenn wir die roten Steine entfernen?“ oder „Was passiert, wenn wir die blauen entfernen?“).
Dann brachten sie einem klugen Entscheidungsbaum (einer Art Computertyp, der wie ein Flussdiagramm aussieht) bei, das Muster dieser Antworten zu lernen.
Sobald der Baum das Muster gelernt hatte, konnte er den exakten Wert jedes einzelnen Beitrags sofort berechnen, ohne den Simulator weitere Fragen zu stellen. Es ist, als würde man die Regeln eines Spiels nach ein paar Runden lernen und dann in der Lage sein, den Ausgang jedes zukünftigen Spiels sofort vorherzusagen.

Warum das wichtig ist (Die Ergebnisse)

Die Autoren testeten diese Methode bei drei verschiedenen „Bauprojekten“:

CIFAR-20: Ein Standard-Bilddatensatz (wie das Sortieren von Spielzeugautos und Tieren).
ArtBench: Eine Sammlung von post-impressionistischen Gemälden (wie die von Van Gogh und Monet).
Fashion-Product: Bilder von Kleidung verschiedener Marken.

Die Ergebnisse waren eindeutig:

Geschwindigkeit: Ihre Methode war 2 bis 23 Mal schneller als bisherige Methoden, die versuchten, die Antwort durch teilweises Retraining zu annähern.
Genauigkeit: Sie war viel besser darin, zu identifizieren, wer tatsächlich zur Qualität des fertigen Bildes beigetragen hat. In dem Kunst-Datensatz identifizierte sie beispielsweise korrekt, welche Künstlerstile am einflussreichsten waren, während andere Methoden verwirrt waren oder negative Werte lieferten.
Fairness: Sie identifizierte erfolgreich „schlechte Akteure“. In einer klinischen Fallstudie mit Hautkrebsbildern aus verschiedenen Krankenhäusern konnte die Methode genau den Krankenhaus-Datensatz lokalisieren, der die KI dazu brachte, eine seltsame, falsche Verbindung zwischen dem Geschlecht eines Patienten und seiner Krankheit herzustellen. Durch das Entfernen genau dieser Daten eines Krankenhauses wurde die KI fairer.

Das Fazit

SurrogateSHAP ist ein Werkzeug, das es uns ermöglicht, die Menschen, die Daten für KI-Bildgeneratoren bereitstellen, fair zu bezahlen und ihnen die entsprechende Anerkennung zu zuteilen. Dies geschieht durch einen Simulations-Trick (um das Neu-Bauen der KI zu vermeiden) und einen intelligenten Musterfindungs-Baum (um die Scores sofort zu berechnen).

Es verwandelt eine Aufgabe, die früher Jahre an Rechenleistung beansprucht hätte, in etwas, das in Minuten erledigt werden kann – und stellt sicher, dass die richtigen Leute die Anerkennung (oder die Schuld) für das Verhalten der KI erhalten.

Technisches Resümee: SurrogateSHAP

Problemstellung

Da Text-zu-Bild (T2I) Diffusionsmodelle zu einem integralen Bestandteil kreativer Arbeitsabläufe werden, besteht ein dringender Bedarf an einem fundierten Framework zur Bewertung von Datenlieferanten für eine faire Vergütung und nachhaltige Datenmarktplätze. Während der Shapley-Wert eine theoretisch fundierte Methode zur Attribuierung bietet, indem er die marginalen Beiträge über alle möglichen Teilmengen von Beitragenden quantifiziert, stößt seine Anwendung auf moderne T2I-Modelle auf eine duale rechnerische Engstelle:

Trainingskosten: Die exakte Shapley-Berechnung erfordert das erneute Trainieren des Modells für jede Teilmenge von Beitragenden, was für groß angelegte Diffusionsmodelle prohibitiv teinkaufvoll ist.
Sampling-Komplexität: Die Nutzenfunktionen bei der Datensatzbewertung sind oft hochgradig nichtlinear und beinhalten komplexe Interaktionen, was eine kombinatorische Anzahl von Teilmengen-Abfragen erfordert, um stabile Schätzungen mit geringer Varianz zu erhalten.

Bestehende Alternativen, wie etwa die Aggregation individueller Datenattribuierungen (z. B. D-TRAK, DAS), versagen oft bei der Erfassung von Gruppen-Ebene-Nichtlinearitäten und nachgelagerten Eigenschaften wie Ästhetik. Andere Shapley-basierte Ansätze stützen sich auf spärlich gefinetuntes Training (sparsified fine-tuning) oder exaktes Retraining, was jedoch rechenintensiv bleibt.

Methodik: SurrogateSHAP

Die Autoren schlagen SurrogateSHAP vor, ein trainingsfreies Framework, das das teure „Trainingsspiel“ durch Inferenz aus einem vortrainierten Modell approximiert und einen Gradient-Boosted-Tree-Surrogaten (GBT) einsetzt, um die Effizienz der Schätzung zu verbessern. Die Methode besteht aus zwei Kernkomponenten:

1. Trainingsfreies Proxy-Spiel

Anstatt ein Modell $\theta^*_S$ für eine spezifische Teilmenge von Beitragenden $S$ neu zu trainieren, interpretiert SurrogateSHAP das Zielmodell $\theta$ (trainiert auf dem vollständigen Datensatz) als eine Mischung aus konditionalen Generatoren um.

Mechanismus: Die Ausgabeverteilung für eine Koalition $S$ wird als eine Mischung der konditionalen Verteilungen des vollständigen Modells $p_\theta(x|\psi(y))$ approximiert, gewichtet durch die empirische Häufigkeit der Prompts in der Koalition.
Theoretische Begründung: Die Autoren liefern eine theoretische Schranke (Proposition 4.2), die zeigt, dass, wenn die klassenbedingten Verteilungen des koalitionsbasierten Modells und des vollständigen Modells in einem nutzenorientierten Merkmalsraum stabil sind (Annahme 4.1), der Proxy-Nutzen $\hat{v}_\theta(S)$ den wahren Trainingsnutzen $v(S)$ eng verfolgt. Dies eliminiert die Notwendigkeit eines teilmenspezifischen Trainings und reduziert die Evaluierung von Teilmengen auf ein Mischungs-Sampling-Problem.

2. Baum-basierter Surrogat zur Shapley-Schätzung

Um die hohe Varianz und die Sampling-Ineffizienz bei der Schätzung von Shapley-Werten für komplexe, nichtlineare Nutzenfunktionen zu adressieren, lernt das Framework ein Surrogatmodell.

Verfahren: Die Methode sampelt $M$ Koalitionen, evaluiert den Proxy-Nutzen für jede davon und trainiert einen Gradient-Boosted-Tree (GBT) Surrogaten $\hat{f}_\omega$ , um die Nutzenfunktion über den booleschen Hyperwürfel der Beitragenden zu approximieren.
Analytische Berechnung: Die Shapley-Werte werden analytisch aus dem trainierten Baum-Ensemble mittels TreeSHAP abgeleitet. Dieser Ansatz erfasst hierarchische Interaktions-Priors, ohne explizite Sparheitsbeschränkungen aufzuerlegen, und bietet eine höhere Sample-Effizienz als Monte-Carlo-basierte Schätzer wie KernelSHAP.

Zentrale Beiträge

Trainingsfreier Proxy: Eine neuartige Formulierung, die das Retraining umgeht, indem sie die Fähigkeit zur konditionalen Generierung eines einzelnen vortrainierten Modells nutzt, validiert durch theoretische Fehlerschranken und empirische Treue.
Effiziente Schätzung: Die Integration von GBT-Surrogaten und TreeSHAP zur analytischen Berechnung von Shapley-Werten reduziert die Anzahl der erforderlichen Abfragen im Vergleich zu bestehenden Shapley-Schätzern signifikant.
Umfassende Evaluierung: Das Framework wird über drei diverse Attribuierungsaufgaben hinweg evaluiert:
- Bildqualität: DDPM-CFG auf CIFAR-20 (Metriken: FID, Inception Score).
- Ästhetik: Stable Diffusion auf postimpressionistischer Kunst (Metrik: Aesthetic Score).
- Produkt-Diversität: FLUX.1 auf Fashion-Product-Daten (Metriken: LPIPS, Diversität).
Klinische Audit-Fallstudie: Anwendung des Frameworks zur Prüfung eines Dermatologie-Modells, das auf klinischen Daten verschiedener Standorte (ISIC-Datensatz) trainiert wurde, wobei die Lokalisierung von Scheinkorrelationen zwischen dem Geschlecht der Patienten und der Melanomdiagnose auf spezifische Krankenhausdatenquellen erfolgreich durchgeführt wurde.

Experimentelle Ergebnisse

Proxy-Treue: Der Proxy-Nutzen von SurrogateSHAP zeigt eine hohe Übereinstimmung mit dem wahren Trainingsnutzen und erreicht im Vergleich zu Sparsified Fine-Tuning (sFT) Baselines eine geringere Repräsentationsdrift (RMS LPIPS) und einen engeren Nutzenfehler (NRMSE).
Recheneffizienz: Die Methode ist signifikant schneller als Retraining- oder Fine-Tuning-Baselines (z. B. 23,4 $\times$ schneller auf CIFAR-20, 12,8 $\times$ auf ArtBench).
Attribuierungsgenauigkeit:
- Linearer Datamodel Score (LDS): SurrogateSHAP übertrifft konsistent vorherige Baselines (einschließlich TRAK, Einflussfunktionen und sFT-basierte Shapley) bei der Vorhersage von Modellen auf gehaltenen Daten über alle Datensätze und Metriken hinweg. Beispielsweise erreichte es auf CIFAR-20 (FID) einen LDS von 51,21 %, während sFT eine negative Performance zeigte.
- Kontrafaktische Evaluierung: Das Entfernen von Beitragenden mit niedrigerem Ranking, die durch SurrogateSHAP identifiziert wurden, führte zu Leistungssteigerungen oder minimaler Verschlechterung, während das Entfernen der Top-Rankings die signifikantesten Qualitätsverluste verursachte, was die Fähigkeit der Methode bestätigt, einflussreiche Daten zu identifizieren.
Sample-Effizienz: Bei synthetischen Spielen mit nichtlinearen Interaktionen erreichte SurrogateSHAP im Vergleich zu KernelSHAP und ProxySPEX bei gleichem Query-Budget einen signifikant niedrigeren $\ell_2$ -Fehler relativ zum Oracle-Shapley-Wert.

Bedeutung und Ansprüche

Das Paper behauptet, dass SurrogateSHAP einen skalierbaren und fundierten Weg zur Bewertung von Beitragenden für groß angelegte generative Modelle bietet. Durch die Entkopplung der Attribuierung von den Rechenkosten des Retrainings ermöglicht es:

Faire Vergütung: Eine genaue Quantifizierung von Gruppen-Beiträgen für Datenmarktplätze.
Modell-Auditing: Die Fähigkeit, Scheinkorrelationen und verzerrte Datenquellen zu identifizieren und zu lokalisieren (wie in der klinischen Fallstudie demonstriert), ohne Zugriff auf die Retraining-Pipelines zu benötigen.
Demokratisierung des Auditings: Das Framework ermöglicht es Forschern mit begrenzten Rechenressourcen, Transparenz-Audits für große Modelle durchzuführen, was eine faire Zuweisung von Credits und eine fundierte Datensatz-Kuration erleichtert.

Die Autoren betonen, dass die Methode zwar die Transparenz erhöht, aber als Diagnosewerkzeug innerhalb einer breiteren Governance-Pipeline eingesetzt werden sollte, wobei darauf hingewiesen wird, dass eine metrik-spezifische Optimierung unbeabsichtigt Minderheiten-Daten unterdrücken könnte, wenn dies nicht sorgfältig gesteuert wird.