Technisches Resümee: Untersuchung sozialer Vorurteile in der narrativen Bildgenerierung

Problemstellung

Während Text-zu-Bild-Generierungsmodelle (T2I) zunehmend in Medien, Bildung und Design eingesetzt werden, bestehen weiterhin Bedenken hinsichtlich ihrer Tendenz, soziale Vorurteile (Social Biases) zu reproduzieren. Die bisherige Forschung hat umfassend dokumentiert, dass T2I-Modelle bestimmte Demografien mit Berufen, Eigenschaften und sozialen Rollen assoziieren. Die bestehende Forschung konzentriert sich jedoch überwiegend auf die einzelbildbasierte fotorealistische Generierung. Dieser enge Fokus hinterlässt eine kritische Lücke: Es bleibt unklar, ob und wie sich soziale Vorurteile in narrativen visuellen Formaten (wie Storyboards und Comics) manifestieren, in denen Bedeutung durch Charakterkontinuität, Ereignissequenzierung, zeitliche Progression und das Zusammenspiel zwischen visuellen und textuellen Elementen konstruiert wird. Die Autoren postulieren, dass Vorurteile, die in statischen Fotos subtil oder unsichtbar bleiben mögen, in sequenziellen Storytelling-Formaten explizit oder verstärkt auftreten können.

Methodik

Die Studie adaptiert das BBG (Bias Benchmark for Generation) Framework, das ursprünglich für die Textgenerierung entwickelt wurde, um Bildgenerierungsmodelle zu evaluieren. Die Methodik umfasst die folgenden Komponenten:

• Prompt-Konstruktion: Die Autoren wählten 140 Seed-Prompts aus dem BBG-Datensatz aus, die sieben Kategorien sozialer Vorurteile abdecken: Alter, Behinderung, Geschlecht, physisches Erscheinungsbild, Rasse/Nationalität, Religion und sozioökonomischer Status (SES). Diese Prompts waren absichtlich kontextuell mehrdeutig gestaltet, indem sie Schlüsselattribute (z. B. welcher Charakter eine bestimmte Eigenschaft oder ein bestimmtes Ergebnis besitzt) unbestimmt ließen. Der Datensatz umfasst 70 englische und 70 koreanische Prompts, um die kreuzlinguistische Verzerrung zu untersuchen.
• Evaluierte Modelle: Sechs hochmoderne T2I-Modelle wurden getestet:
  • Proprietär: GPT-Image-1.5, GPT-Image-2, Gemini-3.1-Flash-Image und Gemini-3-Pro-Image.
  • Open-Source: FLUX.1-Dev und SDXL.
• Generierungseinstellungen: Für jeden Prompt wurden Ausgaben in drei verschiedenen Formaten generiert:
  1. Fotorealistisches Bild: Ein einzelnes statisches Bild.
  2. Storyboard: Skizzenhafte Darstellungen, die sich auf Bildkomposition und Kameraabdeckung konzentrieren, ohne Text.
  3. Vier-Panel-Comic: Eine sequentielle Erzählung, die visuelle Elemente mit Sprechblasen, Bildunterschriften und Narration integriert.
• Evaluationsprotokoll: Vier Autoren annotierten die generierten Bilder manuell (insgesamt 2,4K) basierend auf den implizierten Antworten auf die BBG-Fragen. Die Ausgaben wurden als biased (voreingenommen), counter-biased (gegen-voreingenommen) oder neutral klassifiziert. Die Studie wandte zudem eine thematische Kodierung an, um wiederkehrende visuelle und narrative Muster zu identifizieren. Eine Fallstudie zur Videogenerierung (Sora-Pro-2 und Veo-3.1) wurde durchgeführt, um die Erkenntnisse auf temporale Medien zu erweitieren.

Zentrale Ergebnisse

Quantitative Befunde

• Narrative Formate verstärken Vorurteile: Proprietäre Modelle generierten in narrativen Formaten signifikant mehr voreingenommene Ausgaben als in Fotos. Im Durchschnitt produzierten proprietäre Modelle bei der Fotogenerierung 25,9 % voreingenommene Ausgaben. Diese Rate stieg um 9,6 Prozentpunkte (pp) bei der Storyboard-Generierung und um 18,2 pp bei der Comic-Generierung.
• Linguistische Disparitäten: Die Prävalenz von Vorurteilen war in koreanischen Prompts höher als in englischen Prompts, wobei koreanische Settings im Durchschnitt eine um 7,2 pp höhere Rate an voreingenommenen Ausgaben aufwiesen. Die größte Lücke trat in der Fotogenerierung auf (z. B. zeigte Nano Banana 2 einen Anstieg von 17,4 pp).
• Leistung offener Modelle: Offene Modelle (FLUX.1-Dev und SDXL) generierten im Durchschnitt in 93,6 % der Fälle neutrale Ausgaben. Die Autoren führen dies jedoch auf eine schwache Instruktionsbefolgung (Instruction-Following) zurück und nicht auf eine effektive Minderung von Vorurteilen, da diese Modelle oft Schwierigkeiten hatten, demografische Hinweise einzubeziehen oder kulturell unpassende Inhalte generierten.

Qualitative Befunde

• Explizite vs. implizite Vorurteile: In der Fotogenerierung werden Vorurteile oft durch subtile visuelle Hinweise (z. B. spezifische Kleidung, Accessoires oder Gesichtsausdrücke) kodiert. Im Gegensatz dazu offenbaren Storyboards und Comics Vorurteile expliziter durch Ereignissequenzierung, Charakterpositionierung, narrative Auflösung und textuelle Elemente (z. B. Sprechblasen, die Stereotype explizit benennen).
• Persistenz visueller Assoziationen: Stereotype visuelle Assoziationen (z. B. „kreative“ Personen, die mit lässiger/Hippie-Mode oder Glühbirnen-Symbolen dargestellt werden) blieben über alle Formate hinweg bestehen, selbst wenn sich der Ausgabe-Stil änderte.
• Verschachtelte Stereotype: Narrative Formate legten Vorurteile auf, die über eine einfache Rollenzuweisung hinausgehen. Beispielsweise unterschied sich die Begründung für das Scheitern oder die Abhängigkeit eines Charakters je nach Stereotyp (z. B. wurde die Abhängigkeit einer weiblichen Krankenschwester als emotionale Verletzlichkeit gerahmt, während die Abhängigkeit einer blinden Person als praktische Notwendigkeit gerahmt wurde).
• Oberflächliche Minderung: Modelle versuchten teilweise, Vorurteile zu vermeiden, indem sie anti-stereotype Elemente oder moralisierende Enden einführten (z. B. die Versöhnung zwischen streitenden Nachbarn). Die Autoren merken jedoch an, dass dies nicht zwangsläufig die zugrunde liegenden Assoziationen entfernt, da subtile visuelle Hinweise weiterhin Stereotype verstärken können.
• Kulturelle Fehlpassung: In koreanischen Kontexten scheiterten die Modelle häufig daran, sich an kulturelle Nuancen anzupassen, indem sie Text in Englisch oder gemischten Sprachen generierten oder westliche bzw. übermäßig traditionelle ostasiatische Bildwelten produzierten, die nicht zum kulturellen Kontext des Prompts passten.

Bedeutung und Beiträge

Das Paper beansprucht drei primäre Beiträge:

1. Erste Studie zu narrativen Vorurteilen: Es stellt die erste systematische Untersuchung sozialer Vorurteile in narrativen Bildgenerierungsformaten dar, indem es fotorealistische Bilder mit Storyboards und Vier-Panel-Comics vergleicht.
2. Evidenz für formatabhängige Vorurteile: Es zeigt auf, dass proprietäre Modelle in narrativen Formaten (Storyboards und Comics) deutlich höhere Vorurteile aufweisen als bei der Einzelbildgenerierung, was darauf hindeutet, dass Evaluierungen basierend auf Einzelbildern nicht ausreichen, um das volle Ausmaß der Modell-Bias zu erfassen.
3. Qualitative Mechanismen: Es liefert qualitative Belege dafür, wie sich Vorurteile über verschiedene Formate hinweg unterschiedlich manifestieren – von subtilen visuellen Hinweisen in Fotos bis hin zur expliziten narrativen und textuellen Verstärkung in Comics.

Die Autoren kommen zu dem Schluss, dass narrative Bildformate als stärkerer Prüfstein für Modell-Bias dienen als die reine Fotogenerierung. Sie argumentieren, dass die Evaluierung von T2I-Systemen über die Ausgabe einzelner Bilder hinausgehen muss, um diverse Generierungsformate zu berücksichtigen, da Vorurteile, die in statischen Bildern weniger sichtbar sind, in sequenziellen Erzählkontexten deutlicher hervortreten und schädlicher sein können. Die Studie unterstreicht zudem die Notwendigkeit, mehrsprachige und kulturübergreifende Fähigkeiten zu evaluieren, und weist darauf hin, dass aktuelle Modelle oft daran scheitern, Prompts in deren spezifischem kulturellen Kontext zu verankern.