🤖 machine learning

RAIGen: Rare Attribute Identification in Text-to-Image Generative Models

Dieses Paper führt RAIGen ein, das erste label-freie Framework zur Entdeckung seltener oder unterrepräsentierter semantischer Attribute in Text-zu-Bild-Diffusionsmodellen durch die Nutzung von Matryoshka Sparse Autoencodern und einer neuartigen Minderheitenmetrik, die Neuron-Aktivierungshäufigkeit mit semantischer Distinktivität kombiniert.

Ursprüngliche Autoren: Silpa Vadakkeeveetil Sreelatha, Dan Wang, Serge Belongie, Muhammad Awais, Anjan Dutta

Veröffentlicht 2026-06-17

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Silpa Vadakkeeveetil Sreelatha, Dan Wang, Serge Belongie, Muhammad Awais, Anjan Dutta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine riesige, magische Malmaschine vor (eine Text-zu-Bild-KI), die mit Milliarden von Bildern aus dem Internet trainiert wurde. Sie können ihr sagen: „Zeichne einen Arzt“, und sie wird einen malen. Aber weil sie aus der realen Welt gelernt hat, hat sie auch reale Vorurteile (Biases) übernommen. Wenn Sie nach einem „Arzt“ fragen, malt sie fast immer einen Mann in einem weißen Kittel. Wenn Sie nach einer „Krankenschwester“ fragen, malt sie fast immer eine Frau.

Das Problem ist, dass wir meistens nur die großen, offensichtlichen Vorurteile prüfen, die wir bereits kennen (wie Geschlecht oder Herkunft). Aber was ist mit den seltsamen, seltenen oder subtilen Dingen, die die Maschine zeichnen könnte, aber einfach nie wählt? Vielleicht weiß sie, wie man einen Arzt mit lockigem Haar oder einen Arzt in einem Vintage-Foto zeichnet, aber sie ignoriert diese Ideen immer wieder.

Hier kommt RAIGen ins Spiel.

Betrachten Sie das Gehirn der KI als eine riesige Bibliothek von „Neuronen“ (kleinen Schaltern, die aufleuchten, wenn die KI an bestimmte Dinge denkt). Meistens leuchten dieselben paar Schalter immer und immer wieder auf (die „populären“ Ideen). Die seltenen Ideen sind in Schaltern verborgen, die fast nie aktiviert werden.

Wie RAIGen funktioniert (Die „Matroschka“-Analogie)

Die russischen Puppen (Matryoshka Sparse Autoencoders):
Stellen Sie sich das Gehirn der KI als einen Satz russischer Nestmatroschkas vor. Die äußeren Puppen sind groß und decken breite Ideen ab (wie „eine Person“). Die inneren Puppen sind winzig und decken sehr spezifische Details ab (wie „eine ganz bestimmte Art von Hut“).
RAIGen verwendet ein spezielles Werkzeug namens Matryoshka Sparse Autoencoder, um diese Puppen zu öffnen. Es betrachtet nicht nur das große Ganze; es schält die Schichten ab, um die winzigen, spezifischen Schalter im Inneren zu finden.
Der „Quiet Neuron“-Detektor:
RAIGen sucht nach den Schaltern, die am leisesten sind. Es stellt zwei Fragen:

Wie selten wird dieser Schalter aktiviert? (Wenn er nur in 1 % der Fälle aufleuchtet, ist das eine „seltene“ Idee).
Ist dieser Schalter einzigartig? (Repräsentiert er etwas völlig anderes als den Durchschnitt, oder ist er nur ein verrauschter Fehler/Glitch?).
Wenn ein Schalter sowohl leise als auch einzigartig ist, markiert RAIGen ihn als „Seltenes Attribut“ (Rare Attribute).

Die Schatzsuche:
Sobald RAIGen diese leisen Schalter gefunden hat, schaut es sich die Bilder an, die sie zum Aufleuchten gebracht haben. Es könnte ein Bild von einer „weiblichen Ärztin in einem Schwarz-Weiß-Porträt“ oder eines „Zuges mit riesigen Rauchwolken“ finden. Dies sind Dinge, die die KI zeichnen kann, die sie aber meistens überspringt, um die „Standardversionen“ zu wählen.

Was RAIGen tatsächlich herausgefunden hat

Die Forscher haben dies an populären KI-Modellen (wie Stable Diffusion) getestet und fanden heraus:

Es findet verborgene Schätze: Es entdeckte seltene Konzepte, die Standard-Bias-Checker übersehen haben, wie etwa spezifische Frisuren, kulturelle Symbole oder ungewöhnliche Kamerawinkel.
Es funktioniert bei verschiedenen Modellen: Es fand diese seltenen Merkmale sowohl in älteren, kleineren Modellen als auch in neueren, massiven Modellen.
Es geht nicht nur um Fairness: Es fand seltene Merkmale, die nichts mit Geschlecht oder Herkunft zu tun haben, sondern mit Stil und Kontext (wie ein „Arzt, der eine Krankenakte hält“ im Gegensatz zu einem generischen Arzt).

Der „Lautstärkeregler“-Effekt

Der coolste Teil ist das, was danach passiert. Sobald RAIGen diese leisen Schalter identifiziert hat, zeigten die Forscher, dass sie die „Lautstärke“ dieser Schalter „aufdrehen“ können. Indem sie den Text-Prompt basierend auf den Funden von RAIGen leicht verändern, können sie die KI dazu zwingen, diese seltenen Bilder viel häufiger zu zeichnen.

Das Fazit

RAIGen ist wie ein Detektiv, der den internen Gedanken der KI lauscht, um die Ideen zu finden, die sie insgeheim zurückhält. Es sagt uns nicht nur, worin die KI schlecht ist; es sagt uns, was die KI ignoriert. Dies hilft uns zu verstehen, welches volle Spektrum diese Modelle tatsächlich beherrschen, nicht nur die häufigsten Dinge, die sie produzieren.

Wichtiger Hinweis: Die Arbeit betont vorsichtig, dass dies nur Dinge findet, die die KI bereits gelernt hat. Wenn die KI während des Trainings nie ein Bild eines bestimmten seltenen kulturellen Symbols gesehen hat, wird RAIGen dies nicht finden. Es enthüllt lediglich die „verborgenen“ Teile der Bibliothek, die bereits vorhanden sind, aber selten besucht werden.

Technisches Resümee: RAIGen – Identifizierung seltener Attribute in Text-zu-Bild-Generativmodellen

1. Problemstellung

Text-zu-Bild (T2I) Diffusionsmodelle, wie etwa Stable Diffusion, erzeugen hochqualitative Bilder, erben jedoch auch die Biases (Verzerrungen) ihrer Trainingsdaten und verstärken diese sogar. Während vorangegangene Arbeiten dies durch Closed-Set-Ansätze (Milderung von Biases in vordefinierten Kategorien wie Geschlecht oder Herkunft) oder Open-Set-Ansätze (Identifizierung dominanter Mehrheitsattribute) adressieren, bleibt eine kritische Lücke bestehen. Bestehende Methoden übersehen die systematische Unterrepräsentation von seltenen oder Minderheiten-Attributen, die in den internen Repräsentationen des Modells kodiert, aber während der Generierung unterdrückt werden. Diese Attribute können sozialer, kultureller oder stilistischer Natur sein und sind nicht notwendigerweise a priori bekannt. Die Unterdrückung dominanter Attribute führt nicht automatisch zur Verstärkung dieser unterrepräsentierten Merkmale; stattdessen wird die Wahrscheinlichkeitsmasse oft ungleichmäßig neu verteilt. Es besteht ein Bedarf an einem Framework, um diese „unterdrückten“ Minderheitenattribute systematisch zu entdecken, ohne auf vordefinierte Labels angewiesen zu sein.

2. Methodik: RAIGen-Framework

RAIGen ist ein labelfreies Framework, das darauf ausgelegt ist, seltene Attribute direkt aus den internen latenten Repräsentationen von Diffusionsmodellen zu identifizieren. Es operiert durch drei primäre Phasen:

2.1. Merkmalszerlegung mittels Matryoshka Sparse Autoencoders (MSAEs)

Um verschränkte interne Repräsentationen in semantisch interpretierbare Merkmale zu überführen, setzt RAIGen Matryoshka Sparse Autoencoders (MSAEs) ein.

Input: Das Framework extrahiert Engpass-Repräsentationen ( $h_t$ ) aus einem Diffusionsmodell während des reversen Sampling-Prozesses (typischerweise am finalen Zeitschritt, an dem die semantische Information am stärksten ausgeprägt ist).
Architektur: MSAEs zerlegen diese Repräsentationen in eine Hierarchie von spärlichen (sparse) latenten Merkmalen ( $z$ ) auf unterschiedlichen Granularitätsstufen.
Stufenauswahl: Während MSAEs feingliedrige Ebenen bieten, konzentriert sich RAIGen auf die grobste Ebene ( $k_1$ ). Feinere Ebenen fragmentieren einzelne Konzepte oft in lokalisierte, brüchige Teilmerkmale, wohingegen die gröbste Ebene semantisch und räumlich kohärente Merkmale liefert, die für die Identifizierung globaler Attribute geeignet sind.

2.2. Der Minority Score

Um seltene, bedeutungsvolle Attribute von Rauschen oder gewöhnlichen Merkmalen zu unterscheiden, führt RAIGen einen Minority Score ( $s$ ) ein, der zwei komplementäre Signale kombiniert:

Aktivierungshäufigkeit ( $\nu$ ): Der Anteil der Stichproben in einem Datensatz, bei denen ein spezifisches Neuron aktiv ist. Seltene Attribute entsprechen Neuronen mit einer niedrigen Aktivierungshäufigkeit.
Semantische Distinktheit ( $d$ ): Die Kosinusdistanz zwischen dem durch die Neuron-Aktivierung gewichteten CLIP-Zentroid ( $\mu_i$ ) und dem globalen Datensatz-Zentroid ( $\mu_{D_c}$ ). Dies stellt sicher, dass das Neuron ein Konzept repräsentiert, das signifikant vom Durchschnitt des Datensatzes abweicht.

Der Score wird wie folgt berechnet:
$s(z) = d \odot (1 - \nu)$
Diese Formulierung priorisiert Neuronen, die sowohl infrequent aktiv als auch semantisch distinkt sind.

2.3. Discovery- und Verifizierungspipeline

Ranking: Neuronen werden nach ihrem Minority Score geordnet.
De-Duplizierung: Um einen kompakten und diversen Satz zu gewährleisten, wird die Redundanz mittels paarweiser Kosinusdistanzen zwischen den Neuron-Zentroiden bewertet. Neuronen mit ähnlicher Semantik werden herausgefiltert, sodass nur der höchstwertige Repräsentant verbleibt.
Interpretierbarkeit: Die am stärksten aktivierenden Bilder der ausgewählten Neuronen werden mittels MSAE-Aktivierungs-Heatmaps visualisiert. Menschlich lesbare Annotationen werden mithilfe von Multi-Modal Large Language Models (MLLMs) generiert, um die entdeckten Attribute zu beschreiben.
Label-freie Natur: Der Prozess erfordert keine vordefinierten Minderheitenkategorien oder Attribut-Labels; er stützt sich ausschließlich auf die internen Repräsentationen des Modells und einen vortrainierten semantischen Prior (CLIP) zur Messung der Distinktheit.

3. Kernbeiträge

Erstes Label-freies Framework: RAIGen ist nach Kenntnis der Autoren das erste Framework zur Identifizierung seltener Attribute in Diffusionsmodellen, das keine vordefinierten Minderheitenkategorien benötigt. Es verlagert den Fokus von der Identifizierung dominanter Biases hin zur Entdeckung unterdrückter Minderheitenmerkmale, die im Modell kodiert sind.
Neuartige Minority-Metrik: Das Paper schlägt eine Metrik vor, die Neuron-Aktivierungshäufigkeit und semantische Distinktheit kombiniert, und validiert diese als zuverlässigen Proxy zur Identifizierung unterrepräsentierter Konzepte.
Systematisches Audit und Amplifikation: RAIGen demonstriert die Fähigkeit, Attribute jenseits fester Fairness-Kategorien über mehrere Architekturen hinweg (Stable Diffusion 1.4, 2, XL und FLUX.1-schnell) offenzulegen. Es ermöglicht zudem die gezielte Verstärkung dieser seltenen Attribute durch leichtgewichtige Prompt-Interventionen.

4. Experimentelle Ergebnisse

Die Autoren evaluierten RAIGen auf Stable Diffusion v1.4, SDXL und FLUX.1-schnell unter Verwendung von WinoBias (berufsbasierte Biases) und COCO (diverse Szenen) Prompts.

Validierung der Heuristik: In einem kontrollierten Toy-Setting mit bekannten Ground-Truth-Faktoren zeigten die Autoren, dass die am wenigsten häufig aktivierten Latente in den MSAEs überproportional stark auf seltene Merkmale abbilden (Spearman-Korrelation $\rho \approx 0.991), was die Aktivierungshäufigkeit als Proxy für Seltenheit validiert.
Quantitative Leistung: Bei WinoBias und COCO zeigten die durch RAIGen entdeckten Attribute eine signifikant geringere „Attribute Presence“ (ca. 0,20) im Vergleich zu den von OpenBias identifizierten Mehrheitsattributen (ca. 0,94), was bestätigt, dass RAIGen unterdrückte Merkmale isoliert.
Qualitative Befunde: RAIGen deckte erfolgreich diverse Minderheitenattribute auf, darunter:
- Sozial/Fairness: Weibliche Ärzte, weibliche Sheriffs.
- Kontextuell/Stilistisch: Ärzte in gerahmten Porträts, Ärzte mit medizinischen Akten, Züge mit großen Rauchwolken, Seitenansichten von Zügen mit Bewegungsunschärfe und Frauen mit afro-lockigem Haar.
- Architekturübergreifend: Die Methode generalisierte auf Transformer-basierte Modelle (FLUX.1-schnell), wenngleich die Heatmaps dort im Vergleich zu U-Net-Architekturen etwas diffuser ausfielen.
User Study: Eine Studie mit 25 Teilnehmern bestätigte, dass die durch RAIGen entdeckten Attribute wahrnehmungsbezogen selten sind. Für fünf Berufe berichteten die Teilnehmer, dass diese Attribute in weniger als 3 von 10 generierten Bildern vorkamen, was validiert, dass diese Merkmale zwar kodiert, aber im Standard-Sampling unterdrückt sind.
Amplifikation: Die Verwendung der RAIGen-Annotationen zur Überarbeitung der Prompts führte zu einer erheblichen Reduktion der Abweichung der Attributpräsenz (z. B. von 0,50 auf 0,22 in SD v1.4), was zeigt, dass die Wiedereinführung von Minderheiten-Deskriptoren die Abdeckung unterrepräsentierter Modi effektiv erhöht.

5. Bedeutung und Ansprüche

Das Paper positioniert RAIGen als ein grundlegendes Werkzeug für das umfassende Auditing von generativen Modellen. Die Bedeutung liegt in:

Überbrückung der Lücke: Es adressiert die Limitation aktueller Bias-Mitigation-Tools, die nur bekannte Kategorien oder Mehrheitstrends behandeln können, und ermöglicht die Entdeckung von „Unknown Unknowns“ im latenten Raum des Modells.
Repräsentations-basierte Entdeckung: Durch die Verankerung der Entdeckung in den internen Modellrepräsentationen statt in externen Weltmodellen identifiziert RAIGen Merkmale, die das Modell tatsächlich gelernt, aber nicht expressiv darstellt.
Praktischer Nutzen: Es bietet einen Mechanismus für gezielte Amplifikation, der es Entwicklern ermöglicht, die Diversität der generierten Outputs systematisch zu verbessern, ohne das Modell neu trainieren zu müssen.

Die Autoren bleiben bescheiden und merken an, dass RAIGen lediglich Attribute aufzeigen kann, die bereits im Modell kodiert sind; es kann keine gesellschaftlich relevanten Minderheiten entdecken, die das Modell gar nicht erst gelernt hat. Sie schlagen vor, RAIGen als Komponente eines hybriden Auditing-Frameworks zu betrachten, das externe semantische Priors (wie LLM-basierte Tools) ergänzt, um eine vollständige Sicht auf Unterrepräsentation zu gewährleisten. Zudem räumen sie potenzielle Missbrauchsszenarien ein, wie etwa die gezielte Generierung sensibler oder stereotypisierter Bilder, und betonen die Notwendigkeit von Governance und Schutzmaßnahmen.