Technische Samenvatting: RAIGen – Identificatie van zeldzame attributen in tekst-naar-beeld generatieve modellen

1. Probleemstelling

Tekst-naar-beeld (T2I) diffusiemodellen, zoals Stable Diffusion, genereren afbeeldingen met een hoge getrouwheid, maar erven en versterken de vooroordelen uit hun trainingsdata. Terwijl eerder werk dit aanpakt via closed-set benaderingen (het mitigeren van vooroordelen in vooraf gedefinieerde categorieën zoals gender of ras) of open-set benaderingen (het identificeren van dominante meerderheidsattributen), blijft er een kritieke kloof bestaan. Bestaande methoden negeren de systematische ondervertegenwoordiging van zeldzame of minderheidattributen die gecodeerd zijn in de interne representaties van het model, maar worden onderdrukt tijdens de generatie. Deze attributen kunnen sociaal, cultureel of stilistisch zijn en zijn niet noodzakelijkerwijs vooraf bekend. Het onderdrukken van dominante attributen leidt niet automatisch tot het versterken van deze ondervertegenwoordigde kenmerken; in plaats daarvan wordt de waarschijnlijkheidsmassa vaak ongelijk verdeeld. Er is behoefte aan een framework om deze "onderdrukte" minderheidsattributen systematisch te ontdekken zonder afhankelijk te zijn van vooraf gedefinieerde labels.

2. Methodologie: RAIGen Framework

RAIGen is een label-vrij framework dat is ontworpen om zeldzame attributen direct uit de interne latente representaties van diffusiemodellen te identificeren. Het werkt via drie primaire fasen:

2.1. Feature Decompositie via Matryoshka Sparse Autoencoders (MSAEs)

Om verstrengelde interne representaties in interpreteerbare kenmerken te mappen, gebruikt RAIGen Matryoshka Sparse Autoencoders (MSAEs).

• Input: Het framework extraheert bottleneck-representaties ($h_t$) van een diffusiemodel tijdens het reverse sampling proces (doorgaans op het laatste tijdstap waar semantische informatie het meest tot uiting komt).
• Architectuur: MSAEs deconstrueren deze representaties in een hiërarchie van ijle (sparse) latente kenmerken ($z$) op verschillende niveaus van granulariteit.
• Niveauselectie: Hoewel MSAEs fijne niveaus bieden, focust RAIGen op het grofste niveau ($k_1$). Fijnere niveaus fragmenteren een enkel concept vaak in gelokaliseerde, breekbare deel-kenmerken, terwijl het grofste niveau semantisch en ruimtelijk coherente kenmerken oplevert die geschikt zijn voor het identificeren van globale attributen.

2.2. De Minderheidsscore

Om zeldzame, betekenisvolle attributen te onderscheiden van ruis of algemene kenmerken, introduceert RAIGen een Minderheidsscore ($s$) die twee complementaire signalen combineert:

1. Activatiefrequentie ($\nu$): De proportie van samples in een dataset waarbij een specifieke neuron actief is. Zeldzame attributen komen overeen met neuronen met een lage activatiefrequentie.
2. Semantische Distinctiviteit ($d$): De cosinusafstand tussen de door neuron-activatie gewogen CLIP-centroid ($\mu_i$) en de globale dataset-centroid ($\mu_{D_c}$). Dit zorgt ervoor dat de neuron een concept vertegenwoordigt dat significant afwijkt van de gemiddelde semantiek van de dataset.

De score wordt als volgt berekend:
$$s(z) = d \odot (1 - \nu)$$
Deze formulering geeft prioriteit aan neuronen die zowel onregelmatig actief als semantisch onderscheidend zijn.

2.3. Ontdekkings- en Verificatiepipeline

• Ranking: Neuronen worden gerangschikt op basis van hun Minderheidsscore.
• De-duplicatie: Om een compact en divers pakket te garanderen, wordt redundantie beoordeeld via paarsgewijze cosinusafstanden tussen neuron-centroids. Neuronen met vergelijkbare semantiek worden gefilterd, waarbij alleen de hoogst scorende representatieve neuron behouden blijft.
• Interpreteerbaarheid: De top-activerende afbeeldingen voor geselecteerde neuronen worden gevisualiseerd met MSAE-activatie heatmaps. Menselijk leesbare annotaties worden gegenereerd met behulp van Multi-Modale Large Language Models (MLLMs) om de ontdekte attributen te beschrijven.
• Label-vrij Karakter: Het proces vereist geen vooraf gedefinieerde minderheidscategorieën of attribuutlabels, en vertrouwt uitsluitend op de interne representaties van het model en een vooraf getrainde semantische prior (CLIP) voor het meten van distinctiviteit.

3. Belangrijkste Bijdragen

1. Eerste Label-vrij Framework: RAIGen is naar weten het eerste framework voor de identificatie van zeldzame attributen in diffusiemodellen dat geen vooraf gedefinieerde minderheidscategorieën vereist. Het verschuift de focus van het identificeren van dominante vooroordelen naar het ontdekken van onderdrukte minderheids-features die in het model gecodeerd zijn.
2. Nieuwe Minderheid-metriek: Het artikel stelt een metriek voor die neuron-activatiefrequentie en semantische distinctiviteit combineert, gevalideerd als een betrouwbare proxy voor het identificeren van ondervertegenwoordigde concepten.
3. Systematische Audit en Amplificatie: RAIGen demonstreert het vermogen om attributen te onthullen die verder gaan dan vaste fairness-categorieën over meerdere architecturen (Stable Diffusion 1.4, 2, XL, en FLUX.1-schnell). Het maakt verder gerichte amplificatie van deze zeldzame attributen mogelijk via lichtgewicht prompt-interventies.

4. Experimentele Resultaten

De auteurs evalueerden RAIGen op Stable Diffusion v1.4, SDXL, en FLUX.1-schnell met behulp van WinoBias (beroepsgebaseerd) en COCO (diverse scènes) prompts.

• Validatie van Heuristiek: In een gecontroleerde toy-setting met bekende grondwaarheid (ground-truth) zeldzame factoren, toonden de auteurs aan dat de minst frequent geactiveerde latents in MSAEs disproportioneel corresponderen met zeldzame features (Spearman correlatie $\rho \approx 0.991$), wat de activatiefrequentie valideert als een proxy voor zeldzaamheid.
• Kwantitatieve Prestaties: Op WinoBias en COCO vertoonden de door RAIGen ontdekte attributen een significant lagere "Attribute Presence" (ongeveer 0.20) vergeleken met de meerderheidsattributen geïdentificeerd door OpenBias (ongeveer 0.94), wat bevestigt dat RAIGen onderdrukte features isoleert.
• Kwalitatieve Bevindingen: RAIGen slaagde erin diverse minderheidsattributen te onthullen, waaronder:
  • Sociaal/Fairness: Vrouwelijke artsen, vrouwelijke sheriffs.
  • Contextueel/Stilistisch: Artsen in ingelijste portretten, artsen met medische dossiers, treinen met grote rookpluimen, zijwaartse treinen met bewegingsonscherpte, en vrouwen met een afro-krullende textuur van het haar.
  • Cross-Architectuur: De methode generaliseerde naar transformer-gebaseerde modellen (FLUX.1-schnell), hoewel met iets diffuser geconcentreerde heatmaps vergeleken met U-Net architecturen.
• Gebruikersstudie: Een studie met 25 deelnemers bevestigde dat door RAIGen ontdekte attributen perceptueel zeldzaam zijn. Voor vijf beroepen rapporteerden deelnemers dat deze attributen gemiddeld in minder dan 3 van de 10 gegenereerde afbeeldingen aanwezig waren, wat valideert dat deze kenmerken weliswaar gecodeerd zijn, maar onderbedrukt worden tijdens standaard sampling.
• Amplificatie: Het gebruik van de door RAIGen gegenereerde annotaties om prompts te herzien, resulteerde in een substantiële reductie van de afwijking in "attribute-presence" (bijv. van 0.50 naar 0.22 in SD v1.4), wat aantoont dat het opnieuw introduceren van minderheidsbeschrijvingen effectief de dekking van ondervertegenwoordigde modi vergroot.

5. Betekenis en Claims

Het artikel positioneert RAIGen als een fundamenteel instrument voor de omvattende audit van generatieve modellen. De betekenis ligt in:

• Het Overbruggen van de Kloof: Het adresseert de beperking van huidige bias-mitigatie tools die alleen bekende categorieën of meerheidstrends behandelen, waardoor de ontdekking van "onbekende onbekenden" in de latente ruimte van het model mogelijk wordt.
• Representatie-gegronde Ontdekking: Door de ontdekking te funderen in de interne modelrepresentaties in plaats van externe wereldmodellen, identificeert RAIGen kenmerken die het model daadwerkelijk heeft geleerd, maar er voor kiest ze niet te uiten.
• Praktisch Nut: Het biedt een mechanisme voor gerichte amplificatie, waardoor ontwikkelaars systematisch de diversiteit van gegenereerde outputs kunnen verbeteren zonder het model opnieuw te trainen.

De auteurs hanteren een bescheiden standpunt en merken op dat RAIGen slechts attributen kan naar boven brengen die al in het model gecodeerd zijn; het kan geen sociaal relevante minderheden ontdekken die het model volledig heeft nagelaten te leren. Zij suggeren dat RAIGen moet worden gezien als een component van een hybride audit-framework, ter aanvulling op externe semantische priors (zoals LLM-gebaseerde tools) om een volledig beeld van ondervertegenwoordiging te geven. Zij erkennen ook het potentieel voor misbruik, zoals de bewuste generatie van gevoelige of stereotiepe beelden, en benadrukken de noodzaak van governance en waarborgen.