🤖 machine learning

SurrogateSHAP: Training-Free Contributor Attribution for Text-to-Image (T2I) Models

SurrogateSHAP is een training-vrij framework dat efficiënt Shapley-waarden benadert voor het toeschrijven van databijdragen aan Text-to-Image-modellen door gebruik te maken van een vooraf getraind model en een gradient-boosted boom om de computationele knelpunten van traditionele, op hertraining gebaseerde methoden te overwinnen, waardoor eerlijke compensatie, schaalbare auditing en de identificatie van spuriaatieve correlaties mogelijk worden.

Oorspronkelijke auteurs: Mingyu Lu, Soham Gadgil, Chris Lin, Chanwoo Kim, Su-In Lee

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mingyu Lu, Soham Gadgil, Chris Lin, Chanwoo Kim, Su-In Lee

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat jij en een groep vrienden besluiten om samen een massief, ongelooflijk gedetailleerd LEGO-kasteel te bouwen. Jullie nemen allemaal verschillende dozen met stenen mee: sommigen brengen rode stenen mee, anderen blauwe, anderen piepkleine raampjes en anderen zeldzame gouden stukjes. Zodra het kasteel is gebouwd, ziet het er geweldig uit. Maar nu vraagt iemand: "Wie verdient de meeste eer? Wie heeft de meest waardevole stenen meegebracht?"

In de wereld van Kunstmatige Intelligentie, specifiek Tekst-naar-Beeld modellen (zoals Stable Diffusion of FLUX), zijn de "stenen" de miljoens afbeeldingen en tekstbeschrijvingen die worden gebruikt om de AI te trainen. Het "kasteel" is de uiteindelijke AI die plaatjes kan tekenen op basis van jouw woorden.

Het probleem is dat uitzoeken wie de beste stenen heeft meegebracht ontzettend moeilijk is. Dit is waarom, en hoe de auteurs van dit artikel, SurrogateSHAP, het hebben opgelost.

Het Probleem: De "Her-trainings"-nachtmerrie

Om precies te weten hoeveel een specifieke groep mensen (een "bijdrager") heeft geholpen, is de traditionele manier een spelletje van "Wat als?".

Wat als we het kasteel zonder de rode stenen zouden bouwen?
Wat als we het zonder de blauwe stenen zouden bouwen?
Wat als we het zonder de raampjes zouden bouwen?

Om een perfect antwoord te krijgen, zou je het gehele kasteel telkens opnieuw vanaf nul moeten bouwen voor elke mogelijke combinatie van ontbrekende stenen. Omdat er miljoenen combinaties zijn, zou dit langer duren dan het huidige universum bestaat. Het is te duur en te traag.

De Oplossing: SurrogateSHAP

De auteurs hebben een slimme afkorting gecreëerd genaamd SurrogateSHAP. Denk aan het als een "Magische Simulator" die het je mogelijk maakt om het resultaat te zien van het verwijderen van stenen, zonder dat je daadwerkelijk het kasteel opnieuw hoeft te bouren.

Ze deden dit in twee hoofdstappen:

1. De "Magische Mix" (Training-Free Proxy)

In plaats van het kasteel opnieuw te bouwen, realiseerden ze zich dat ze gewoon de instructies van de stenen die ze al hebben, konden mengen.

Stel je voor dat de AI een chef is die weet hoe hij een perfect gerecht moet bereiden met een specifiek recept.
In plaats van voor elke mogelijke combinatie van ingrediënten een nieuw gerecht te bereiden, realiseerden de auteurs zich dat ze de chef simpelweg kunnen vertellen: "Stel je voor dat je een maaltijd bereidt die een 50/50 mix is van het 'Rode Steen'-recept en het 'Blauwe Steen'-recept."
De chef kan direct simuleren hoe die gemengde maaltijd zou smaken zonder het daadwerkelijk te bereiden.
In termen van het artikel: Ze gebruiken de bestaande kennis van de AI om te simuleren hoe het model eruit zou zien als het alleen getraind zou zijn op een specifieke subset van de data, waardoor het dure trainingsproces volledig wordt overgeslagen.

2. De "Slimme Raadboom" (TreeSHAP)

Zelfs met de "Magische Mix" zijn er nog steeds te veel combinaties om er één voor één te controleren. Dus gebruikten ze een tweede truc.

Ze stelden de Magische Simulator een paar honderd vragen (bijv. "Wat als we de rode stenen verwijderen?" "Wat als we de blauwe verwijderen?").
Vervolgens leerden ze een slimme beslisboom (een type computerprogramma dat lijkt op een stroomdiagram) het patroon van die antwoorden.
Zodra de boom het patroon had geleerd, kon deze onmiddellijk de exacte waarde van elke individuele bijdrager berekenen zonder de simulator nog meer vragen te stellen. Het is alsoals de regels van een spel leren na een paar rondes te hebben gespeeld, om vervolgens direct de uitkomst van elk toekomstig spel te kunnen voorspellen.

Waarom dit ertoe doet (De Resultaten)

De auteurs testten deze methode op drie verschillende "bouwprojecten":

CIFAR-20: Een standaard afbeeldingendataset (zoals het sorteren van speelgoedauto's en dieren).
ArtBench: Een collectie post-impressionistische schilderijen (zoals die van Van Gogh en Monet).
Fashion-Product: Afbeeldingen van kleding van verschillende merken.

De bevindingen waren duidelijk:

Snelheid: Hun methode was 2 tot 23 keer sneller dan eerdere methoden die probeerden het antwoord te benaderen door middel van gedeeltelijke hertraining.
Nauwkeurigheid: Het was veel beter in het identificeren van wie daadwerkelijk heeft bijgedragen aan de kwaliteit van de uiteindelijke afbeelding. Bijvoorbeeld, in de kunstdataset identificeerde het correct welke stijlen van kunstenaars het meest invloedrijk waren, terwijl andere methoden in de war raakten of negatieve scores gaven.
Eerlijkheid: Het identificeerde succesvol "slechte actoren". In een klinische casestudy waarbij huidkankerbeelden van verschillende ziekenhuizen werden gebruikt, wees de methode precies aan welk ziekenhuis de data leverde die de AI een vreemde, valse connectie liet leggen tussen het geslacht van een patiënt en hun ziekte. Door slechts de data van dat ene ziekenhuis te verwijderen, werd de AI eerlijker.

De Kernboodschap

SurrogateSHAP is een hulpmiddel waarmee we de mensen die data leveren voor AI-beeldgeneratoren eerlijk kunnen betalen en de eer kunnen geven. Dit doen ze door een simulatietruc te gebruiken (om het opnieuw trainen van de AI te vermijden) en een slim patroonvindende boom (om de scores direct te berekenen).

Het verandert een taak die voorheen jaren aan rekenkracht vereiste in iets dat in minuten kan worden gedaan, waardoor ervoor wordt gezorgd dat de juiste mensen de eer krijgen (of de schuld) voor het gedrag van de AI.

Technische Samenvatting: SurrogateSHAP

Probleemstelling

Naarmate Text-to-Image (T2I) diffusiemodellen een integraal onderdeel worden van creatieve workflows, is er een dringende behoefte aan een principieel kader om de waarde van datacontributoren te bepalen voor eerlijke compensatie en duurzame datamarkten. Hoewel de Shapley-waarde een theoretisch onderbouwde methode biedt voor attributie door marginale bijdragen over alle mogelijke subsets van producenten te kwantificeren, stuit de toepassing ervan op moderne T2I-modellen op een dubbele computationele bottleneck:

Trainingskosten: Exacte Shapley-berekening vereist het hertrainen van het model voor elke subset van producenten, wat voor grootschalige diffusiemodellen onbetaalbaar duur is.
Samplingcomplexiteit: De nutsfuncties bij datasetwaardering zijn vaak hoog niet-lineair en bevatten complexe interacties, wat een combinatorisch aantal subset-queries vereist om stabiele, laag-variante schattingen te verkrijgen.

Bestaande alternatieven, zoals het aggregeren van individuele data-attributies (bijv. D-TRAK, DAS), falen vaak in het vastleggen van groep-niveau niet-lineariteiten en downstream-eigenschappen zoals esthetiek. Andere Shapley-gebaseerde benaderingen vertrouwen op gesparsifieerde fine-tuning of exacte hertraining, wat nog steeds computationeel intensief blijft.

Methodologie: SurrogateSHAP

De auteurs stellen SurrogateSHAP voor, een training-vrij kader dat de dure "trainingsgame" benadert via inferentie vanuit een vooraf getraind model en een gradient-boosted tree (GBT) surrogaat gebruikt om de schattingsefficiëntie te verbeteren. De methode bestaat uit twee kerncomponenten:

1. Training-vrije Proxy Game

In plaats van een model $\theta^*_S$ te hertrainen voor een specifieke subset van producenten $S$ , interpreteert SurrogateSHAP het doelmodel $\theta$ (getraind op de volledige dataset) opnieuw als een mengeling van conditionele generatoren.

Mechanisme: De outputdistributie voor een coalitie $S$ wordt benaderd als een mengeling van de conditionele distributies van het volledige model $p_\theta(x|\psi(y))$ , gewogen door de empirische frequentie van prompts in de coalitie.
Theoretische Rechtvaardiging: De auteurs bieden een theoretische bovengrens (Propositie 4.2) die aantoont dat als de klasse-conditionele distributies van het coalitie-getrainde model en het volledige model stabiel zijn in een nut-gealigneerde feature-ruimte (Aanname 4.1), de proxy-nut $\hat{v}_\theta(S)$ de ware trainings-nut $v(S)$ nauwgezet volgt. Dit elimineert de noodzaak voor subset-specifieke training, waardoor subset-evaluatie wordt gereduceerd tot een mengeling-samplingprobleem.

2. Boom-gebaseerde Surrogaat voor Shapley-schatting

Om de hoge variantie en sampling-inefficiëntie van het schatten van Shapley-waarden voor complexe, niet-lineaire nutsfuncties aan te pakken, leert het kader een surrogaatmodel.

Procedure: De methode bemonster $M$ coalities, evalueert de proxy-nut voor elk, en traint een Gradient-Boosted Tree (GBT) surrogaat $\hat{f}_\omega$ om de nutsfunctie over de Booleaanse hyperkubus van producenten te benaderen.
Analytische Berekening: Shapley-waarden worden analytisch afgeleid uit het getrainde boomensemble met behulp van TreeSHAP. Deze aanpak vangt hiërarchische interactie-prioriteiten op zonder expliciete sparsity-beperkingen op te leggen, wat een hogere sample-efficiëntie biedt dan Monte Carlo-gebaseerde estimators zoals KernelSHAP.

Belangrijkste Bijdragen

Training-vrije Proxy: Een nieuwe formulering die hertraining omzeilt door gebruik te maken van de conditionele generatiecapaciteiten van een enkel vooraf getraind model, gevalideerd door theoretische foutgrenzen en empirische getrouwheid.
Efficiënte Schatting: De integratie van GBT-surrogaten en TreeSHAP om Shapley-waarden analytisch te berekenen, wat het aantal benodigde queries voor stabiele schatting aanzienlijk vermindert vergeleken met bestaande Shapley-estimators.
Omvattende Evaluatie: Het kader wordt geëvalueerd over drie diverse attributie-taken:
- Beeldkwaliteit: DDPM-CFG op CIFAR-20 (metrieken: FID, Inception Score).
- Esthetiek: Stable Diffusion op Post-Impressionistische kunstwerken (metriek: Aesthetic Score).
- Productdiversiteit: FLUX.1 op Fashion-Product data (metrieken: LPIPS, Diversiteit).
Klinische Audit Casestudy: Toepassing van het kader om een dermatologie-model te auditeren dat getraind is op klinische data van meerdere locaties (ISIC-dataset), waarbij succesvol spuriose correlaties tussen patiëntgeslacht en melanoomdiagnose gelokaliseerd werden naar specifieke ziekenhuisdatabronnen.

Experimentele Resultaten

Proxy Getrouwheid: De proxy-nut van SurrogateSHAP vertoont een hoge uitlijning met de ware trainings-nut, waarbij een lagere representatie-drift (RMS LPIPS) en een nauwere nut-fout (NRMSE) wordt bereikt vergeleken met sparsified fine-tuning (sFT) baselines.
Computationele Efficiëntie: De methode is aanzienlijk sneller dan de hertrainings- en fine-tuning baselines (bijv. 23,4 $\times$ sneller op CIFAR-20, 12,8 $\times$ op ArtBench).
Attributie Nauwkeurigheid:
- Lineaire Datamodel Score (LDS): SurrogateSHAP presteert consistent beter dan eerdere baselines (inclusief TRAK, Influence Functions en sFT-gebaseerde Shapley) in het voorspellen van held-out modelgedrag over alle datasets en metrieken. Zo behaalde het op CIFAR-20 (FID) een LDS van 51,21% vergeleken met de negatieve prestaties van sFT.
- Counterfactual Evaluatie: Het verwijderen van laag gerangschikte producenten geïdentificeerd door SurrogateSHAP leidde tot prestatiewinst of minimale degradatie, terwijl het verwijderen van hoog gerangschikte producenten de meest significante kwaliteitsdalingen veroorzaakte, wat de bekwaamheid van de methode bevestigt om invloedrijke data te identificeren.
Sample Efficiëntie: Op synthetische games met niet-lineaire interacties bereikte SurrogateSHAP een aanzienlijk lagere $\ell_2$ fout ten opzichte van de oracle Shapley-waarde met hetzelfde query-budget vergeleken met KernelSHAP en ProxySPEX.

Betekenis en Claims

Het artikel claimt dat SurrogateSHAP een schaalbaar en principieel pad biedt naar de waardering van producenten voor grootschalige generatieve modellen. Door attributie los te koppelen van de computationele kosten van hertraining, maakt het mogelijk:

Eerlijke Compensatie: Nauwkeurige kwantificering van groep-niveau bijdragen voor datamarkten.
Model Auditing: Het vermogen om spuriose correlaties en bevooroordeelde databronnen te identificeren en te lokaliseren (zoals aangetoond in de klinische casestudy) zonder toegang te vereisen tot hertrainingspipelines.
Democratisering van Auditing: Het kader stelt onderzoekers met beperkte rekenkracht in staat om transparantie-audits uit te voeren op grootschalige modellen, wat bijdraagt aan eerlijke krediettoekenning en principiële dataset-curatie.

De auteurs benadrukken dat hoewel de methode de transparantie verbetert, deze moet worden gebruikt als een diagnostisch instrument binnen een breder governance-kader, waarbij zij opmerken dat metriek-specifieke optimalisatie onbedoeld minderheidsdata kan onderdrukken als dit niet zorgvuldig wordt beheerd.