💬 NLP

Vision-Language Models Suppress Female Representations Under Ambiguous Input

Diese Arbeit zeigt auf, dass Vision-Language-Modelle zwar oft intern weibliche Assoziationen für ambivalente Bilder kodieren, ihre Ausgaben jedoch aufgrund eines asymmetrischen Filtermechanismus, der männliche Signale verstärkt und weibliche unterdrückt, systematisch zu männlichen Repräsentationen tendieren.

Ursprüngliche Autoren: Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Arnau Marin-Llobet, Simon Henniger, Mahzarin R. Banaji

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die Kernidee: Der „höfliche“ Roboter vs. das „voreingenommene“ Gehirn

Stellen Sie sich vor, Sie haben einen sehr höflichen Roboter-Assistenten, der darauf trainiert wurde, fair zu sein und keine Annahmen über Menschen zu treffen. Wenn Sie ihm ein Bild einer Person zeigen, die eindeutig ein Kleid trägt, sagt er: „Das ist eine Frau.“ Wenn die Person eindeutig einen Anzug trägt, sagt er: „Das ist ein Mann.“ Er besteht den „Höflichkeitstest“ perfekt.

Aber diese Arbeit stellt eine knifflige Frage: Was passiert, wenn der Roboter das Gesicht oder das Geschlecht der Person nicht klar erkennen kann? (Zum Beispiel ein Bauarbeiter, der von hinten in einem Helm zu sehen ist, oder eine Krankenschwester von hinten).

Die Forscher fanden heraus, dass, während der Mund des Roboters (seine endgültige Antwort) höflich und neutral bleibt, sein Gehirn (sein interner Denkprozess) tatsächlich eine sehr spezifische, voreingenommene Vermutung anstellt: Er nimmt an, dass die Person ein Mann ist.

Selbst bei Berufen, die statistisch gesehen überwiegend von Frauen ausgeübt werden (wie Babysitter oder Floristen), rät der Roboter, wenn er raten muss, auf „Mann“. Das Beängstigende daran? Der Roboter weiß, dass der Beruf meist weiblich ist, aber er setzt dieses Wissen außer Kraft und erzwingt trotzdem eine „männliche“ Antwort.

Das Werkzeug: „LALS“ (Das Röntgenbild für Gedanken)

Wie wissen wir, was der Roboter denkt, wenn er es nicht ausspricht? Die Autoren haben ein Werkzeug namens LALS (Latent Association Leaning Score) erfunden.

Betrachten Sie LALS als ein Röntgenbild für das Gehirn des Roboters.

Normalerweise sehen wir nur den letzten Satz des Roboters (den Output).
LALS lässt uns in die „Neuronen“ des Roboters hineinblicken, in jedem einzelnen Schritt seines Denkprozesses.
Es übersetzt die internen elektrischen Signale des Roboters in Wörter, sodass wir sehen können, ob der Roboter in einem bestimmten Moment „weiblich“, „männlich“ oder „neutral“ denkt.

Die drei Arten von Berufen

Als die Forscher 15 verschiedene Berufe mit „gesichtslosen“ Bildern testeten, fanden sie drei deutliche Muster:

Die „Zustimmenden“ Männer (z. B. Feuerwehrleute):
- Im Gehirn: Der Roboter denkt „Mann“.
- Die Antwort: Er sagt „Mann“.
- Urteil: Keine Überraschung hier. Die Voreingenommenheit ist konsistent.
Die „Zustimmenden“ Frauen (z. B. Make-up-Artistinnen):
- Im Gehirn: Der Roboter denkt „Frau“.
- Die Antwort: Er sagt „Frau“.
- Urteil: Ebenfalls konsistent.
Die „Divergenz“-Zone (z. B. Floristen, Krankenschwestern, Babysitter):
- Im Gehirn: Der Roboter denkt tatsächlich „Frau“. (Er assoziiert den Beruf korrekt mit Frauen).
- Die Antwort: Er sagt „Mann“.
- Urteil: Das ist die verborgene Voreingenommenheit. Der interne Gedanke des Roboters sagt „weiblich“, aber etwas in seinem letzten Schritt zwingt ihn dazu, den Schalter umzulegen und „männlich“ zu sagen.

Der „Asymmetrische Filter“: Eine Einbahnstraße

Die Forscher fanden heraus, warum dieser Umschlag passiert. Sie verfolgten die Gedanken des Roboters Schicht für Schicht (wie das Überprüfen der Etagen eines Wolkenkratzers).

Das männliche Signal: Stellen Sie sich eine starke, laute Stimme vor, die „MANN!“ schreit. Diese Stimme beginnt im Erdgeschoss und wird lauter, je höher sie steigt. Bis sie die oberste Etage erreicht (wo die Antwort ausgesprochen wird), ist sie sehr stark.
Das weibliche Signal: Stellen Sie sich eine andere Stimme vor, die „FRAU!“ schreit. Diese Stimme beginnt stark, wird in der Mitte des Gebäudes noch lauter, stößt dann aber in den oberen Etagen auf eine schallisolierte Wand. Bis sie oben ankommt, wurde die Stimme verstummt oder in ein Flüstern verwandelt.

Der Roboter besitzt einen asymmetrischen Filter. Er lässt die „männliche“ Idee den gesamten Weg hindurch passieren, aber er unterdrückt die „weibliche“ Idee aktiv kurz bevor er spricht.

Der „Rosa vs. Blau“-Hinweis

Um zu beweisen, dass der Roboter tatsächlich auf das Bild schaut und nicht nur wahllos rät, spielten die Forscher einen Trick mit Farben.

Sie zeigten ein Bild einer Krankenschwester in blauer Arbeitskleidung. Das interne „männliche“ Signal des Roboters war stark.
Sie zeigten exakt dasselbe Bild, änderten aber die Farbe der Kleidung in Rosa.
Ergebnis: Das interne „männliche“ Signal des Roboters sank signifikant, und das „weibliche“ Signal wurde stärker.

Dies beweist, dass der Roboter nicht einfach blind „Mann“ für alles rät. Er reagiert auf kulturelle Hinweise. Er hat gelernt, dass in unserer Welt Rosa oft „weiblich“ und Blau oft „männlich“ bedeutet. Wenn der visuelle Hinweis (Rosa) stark ist, verschiebt sich die interne Voreingenommenheit des Roboters. Aber ohne diesen starken Hinweis kehrt er zum Standardwert „Mann“ zurück.

Die Ursache: Es ist nicht nur das „Training“

Die Forscher überprüften, ob diese Voreingenommenheit dem Roboter beigebracht wurde, um „sicher“ zu sein (ein Prozess, der Alignment genannt wird). Sie verglichen den Roboter vor dem Training zur Höflichkeit mit dem Roboter danach.

Die Erkenntnis: Die Voreingenommenheit war bereits vor dem Training des Roboters, höflich zu sein, vorhanden.
Die Schlussfolgerung: Das „Höflichkeitstraining“ hat die Voreingenommenheit nicht behoben; es hat den Roboter lediglich gelehrt, sie zu verbergen. Der Roboter hat gelernt, „Ich weiß es nicht“ oder „Mann“ zu sagen, um sicher zu sein, aber sein internes Gehirn trägt immer noch die alten, voreingenommenen Assoziationen in sich.

Zusammenfassung

Die Arbeit enthüllt, dass Vision-Language-Modelle ein verborgenes Doppelleben führen.

Öffentlich: Sie sind neutral und vorsichtig.
Privat: Wenn sie nicht klar sehen können, kehren sie zum Standardwert zurück, davon auszugehen, dass die Personen Männer sind, selbst wenn ihre eigene interne Logik suggeriert, dass die Person eine Frau ist.

Der „Male Default“ (der männliche Standardwert) ist kein Fehler; es ist eine tief verwurzelte Gewohnheit im Gehirn des Roboters, die überlebt, selbst wenn man dem Roboter sagt, er solle fair sein. Der Roboter kennt die Wahrheit (dass die Person eine Frau sein könnte), aber er filtert diese Wahrheit heraus, bevor er spricht.

Technische Zusammenfassung: Vision-Language-Modelle unterdrücken weibliche Repräsentationen unter Ambiguität

Problemstellung
Obwohl moderne Vision-Language-Modelle (VLMs) darauf ausgerichtet wurden, demografische Biase in ihren Ausgaben zu vermeiden, wenn das Geschlecht visuell explizit ist, bestehen erhebliche Lücken hinsichtlich ihres Verhaltens bei ambigen Eingaben (z. B. Figuren, die von hinten gesehen werden, verdeckte Gesichter oder vollständige Schutzkleidung). Das Standard-Auditing auf Output-Ebene legt nahe, dass diese Modelle neutral sind, da sie oft die Geschlechtszuordnung verweigern oder auf „eine Person“ zurückfallen. Dieses Paper postuliert jedoch, dass die Neutralität des Outputs eine persistente interne Verzerrung maskieren kann. Konkret untersuchen die Autoren, ob VLMs intern geschlechtsspezifische Assoziationen kodieren, die sich von ihren endgültigen textuellen Ausgaben unterscheiden, insbesondere wenn die visuellen Hinweise unzureichend sind, um das Geschlecht zu bestimmen.

Methodik
Um interne Repräsentationen zu untersuchen, ohne sich auf die Generierung von Outputs zu verlassen, führen die Autoren LALS (Latent Association Leaning Score) ein, eine Zero-Shot-Metrik, die darauf ausgelegt ist, Konzeptassoziationen auf der Granularität einzelner visueller Token und Netzwerk-Layer zu messen.

LALS-Mechanismus: Die Methode projiziert die Hidden States visueller Token aus einem beliebigen Layer $\ell$ in den Text-Embedding-Raum des Modells mittels des LatentLens-Verfahrens. Durch den Vergleich dieser projizierten Vektoren mit einem ausgewogenen Referenzkorpus geschlechtsspezifischer Begriffe (z. B. „Mann“, „Vater“ gegenüber „Frau“, „Mutter“) berechnet LALS einen kontinuierlichen Score in $[-1, +1]$ für jedes Token.
Aggregation: Bild-Scores werden durch Aggregation der obersten 5 % der Token mit der stärksten Signalmagnitude abgeleitet.
Experimentelles Setup: Die Studie evaluiert vier Open-Weight-VLMs (Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5) auf einem Datensatz von über 800 geschlechtsambigen Bildern über 15 Berufe (männlich-stereotypisierte, weiblich-stereotypisierte und neutrale Berufe).
Vergleichende Analyse: Die Autoren vergleichen die internen LALS-Scores mit den Modell-Outputs, die unter zwei Prompting-Bedingungen generiert wurden: offene Beschreibung und Forced-Choice (FC) Geschlechtsraten. Zudem führen sie Ablationsstudien zur Farbmanipulation (z. B. Änderung der Kleidung von Blau zu Rosa) und Vergleiche zwischen Base- und Instruction-tuned Modellen durch.

Wesentliche Beiträge und Ergebnisse

Entkopplung von internen Repräsentationen und Outputs:
Die Studie identifiziert eine systematische Divergenz, bei der Modelle intern weibliche Assoziationen für bestimmte Berufe kodieren, aber unter Forced-Choice-Prompting männliche Defaults ausgeben. Diese „Divergenz-Regime“ umfasst Berufe wie Floristen, Erzieher und Babysitter. Während offene Prompts neutrale Antworten liefern, triggern Forced-Choice-Prompts einen „Male-Mode Collapse“, bei dem Modelle selbst für stark weiblich-stereotypisierte Rollen (z. B. Krankenschwestern, Friseure) auf „männlich“ zurückfallen, obwohl die internen Signale etwas anderes suggerieren.
Asymmetrischer Filtermechanismus:
Die Layer-weise Analyse der LALS-Scores offenbart einen asymmetrischen Filter innerhalb der Netzwerkarchitektur:

Männliche Signale: Verstärken sich oder bleiben von den frühen bis zu den späten Layern stabil und passieren das Netzwerk end-to-end.
Weibliche Signale: Erreichen ihren Höhepunkt in den mittleren bis späten Layern, werden aber systematisch unterdrückt oder kollabieren gegen Null (oder in den negativen/männlichen Bereich), bevor sie die finale Generierungsschicht erreichen.
Diese Unterdrückung erklärt, warum weiblich assoziierte interne Repräsentationen nicht in den finalen Output für ambige Eingaben übergehen.

Einfluss kulturell aufgeladener visueller Cues:
Experimente zur Farb-Ablation zeigen, dass interne Assoziationen durch spezifische visuelle Cues moduliert werden. Die Änderung eines Bauarbeiter-Hutes oder einer Krankenschwester-Kasack von Blau nach Rosa reduziert das interne männliche Signal signifikant bzw. erhöht das weibliche Signal. Dies deutet darauf hin, dass die Modelle kulturelle Geschlecht-Farbe-Assoziationen, die in den Trainingsdaten vorhanden sind, internalisiert haben.
Ursprung des Bias:
Der asymmetrische Filter ist kein Artefakt des Instruction Tunings (RLHF). Vergleiche zwischen Base- und Instruction-tuned Modellen zeigen, dass die Unterdrückung weiblicher Signale bereits im Base-Modell existiert und durch Alignment lediglich verstärkt, aber nicht erst dadurch erzeugt wird. Zudem entspringt der Bias im visuellen Pfad: Text-only Prompts für dieselben Berufe zeigen in den späten Layern eine Verstärkung des weiblichen Signals – das Gegenteil des Kollapses im visuellen Pfad.

Bedeutung und Behauptungen
Das Paper argumentt, dass das Auditing auf Output-Ebene unzureichend ist, um die Fairness von VLMs zu bewerten, insbesondere in Hochrisiko-Szenarien mit ambigen Eingaben (z. B. Überwachung, assistive Werkzeuge). Die Autoren behaupten:

Alignment maskiert eher, als dass es Bias eliminiert: Modelle lernen, den Ausdruck ihrer biased internen Repräsentationen zu unterdrücken, ohne die Repräsentationen selbst zu entfernen.
Interne Repräsentationen treiben nachgelagerte Risiken: Da VLM-Embeddings zunehmend als Features für Bildersuche, Content-Ranking und Rekrutierungstools verwendet werden, propagieren biased interne Signale durch diese Systeme, unabhängig vom finalen textuellen Output des Modells.
LALS als Auditing-Werkzeug: LALS bietet eine Zero-Shot, label-freie Methode, um diese verborgenen Biases zu detektieren, und bietet eine granularere Sicht darauf, wie sich demografische Assoziationen durch das Netzwerk entwickeln.

Die Autoren kommen zu dem Schluss, dass der beobachtete „Male Default“ in ambigen Szenarien eine strukturelle Eigenschaft der visuellen Verarbeitung des Modells ist, die in den Pretraining-Daten verwurzelt und durch die asymmetrische Filterung von Geschlechtssignalen im Netzwerk verstärkt wird, statt ein einfaches Versagen des Alignments zu sein.