Vision-Language Models Suppress Female Representations Under Ambiguous Input

Technische Samenvatting: Vision-Language Modellen Onderdrukken Vrouwelijke Representaties bij Ambigue Input

Probleemstelling
Hoewel moderne Vision-Language Modellen (VLM's) zijn afgestemd om demografische vooroordelen in hun outputs te vermijden wanneer gender visueel expliciet is, blijven er aanzienlijke hiaten bestaan met betrekking tot hun gedrag bij ambigue input (bijv. figuren gezien van achteren, een verborgen gezicht, of volledige beschermende uitrusting). Standaard auditing op outputniveau suggereert dat deze modellen neutraal zijn, waarbij ze vaak weigeren een gender toe te wijzen of terugvallen op "een persoon". Dit paper stelt echter dat output-neutraliteit persistente interne vooroordelen kan maskeren. Specifiek onderzoeken de auteurs of VLM's intern gender-geassocieerde verbanden coderen die verschillen van hun uiteindelijke tekstuele outputs, met name wanneer visuele aanwijzingen onvoldoende zijn om gender te bepalen.

Methodologie
Om interne representaties te onderzoeken zonder te vertrouwen op output-generatie, introduceren de auteurs LALS (Latent Association Leaning Score), een zero-shot metriek ontworpen om concept-associaties te meten op het niveau van individuele visuele tokens en netwerklagen.

• LALS Mechanisme: De methode projecteert de verborgen toestanden (hidden states) van visuele tokens uit een willekeurige laag $\ell$ naar de tekst-embeddingruimte van het model via de LatentLens-procedure. Door deze geprojecteerde vectoren te vergelijken met een gebalanceerde referentiecorpus van gender-geassocieerde termen (bijv. "man", "vader" versus "vrouw", "moeder"), berekent LALS een continue score in $[-1, +1]$ voor elk token.
• Aggregatie: Afbeeldingsniveau-scores worden afgeleid door de top 5% van de tokens met de sterkste signaalmagnitude te aggregeren.
• Experimentele Opzet: De studie evalueert vier open-weight VLM's (Qwen2-VL, Qwen2.5-VL, LLaVA-v1.6, InternVL2.5) op een dataset van meer dan 800 gender-ambigue afbeeldingen over 15 beroepen (mannelijk-gesteunde, vrouwelijk-gesteunde en neutrale beroepen).
• Vergelijkende Analyse: De auteurs vergelijken de interne LALS-scores met de outputs gegenereerd door de modellen onder twee prompting-condities: open beschrijving en forced-choice (FC) gender-gokken. Ze voeren ook ablatie-studies uit met kleurmanipulatie (bijv. het veranderen van kleding van blauw naar roze) en vergelijkingen tussen base- en instruction-tuned modellen.

Belangrijkste Bijdragen en Resultaten

1. Ontkoppeling van Interne Representaties en Outputs:
   De studie identificeert een systematische divergentie waarbij modellen intern vrouwelijke associaties coderen voor bepaalde beroepen, maar vrouwelijke defaults genereren onder forced-choice prompting. Dit "divergentie-regime" omvat beroepen zoals bloemisten, kleuters учителей en babyzitters. Terwijl open prompts neutrale reacties opleveren, triggeren forced-choice prompts een "male-mode collapse", waarbij modellen standaard op "man" terugvallen, zelfs voor sterk vrouwelijk-gesteunde rollen (bijv. verpleegkundigen, kappers), ondanks dat de interne signalen anders suggereren.

2. Asymmetrisch Filtermechanisme:
   Laag-voor-laag analyse van LALS-scores onthult een asymmetrisch filter binnen de netwerkarchitectuur:

• Mannelijke Signalen: Worden versterkt of blijven stabiel van vroege naar late lagen, en passeren het netwerk end-to-end.
• Vrouwelijke Signalen: Pieken in de midden- tot late lagen, maar worden systematisch onderdrukt of laten een ineenstorting naar nul zien (of negatief/mannelijk gebied) voordat de finale generatielaag wordt bereikt.
  Deze onderdrukking verklaart waarom vrouwelijke geassocieerde interne representaties niet manifesteren in de uiteindelijke output voor ambigue inputs.

3. Invloed van Cultureel Beladen Visuele Aanwijzingen:
   Kleur-ablatie experimenten demonstreren dat interne associaties worden gemoduleerd door specifieke visuele aanwijzingen. Het veranderen van een bouwhelm of de scrubs van een verpleegkundige van blauw naar roze vermindert het interne mannelijke signaal aanzienlijk of verhoogt respectievelijk het vrouwelijke signaal. Dit suggereert dat modellen culturele gender-kleur associaties die aanwezig zijn in trainingsdata hebben geïnternaliseerd.

4. Oorsprong van Bias:
   De asymmetrische filtering is geen artefact van instruction tuning (RLHF). Vergelijkingen tussen base- en instruction-tuned modellen tonen aan dat de onderdrukking van vrouwelijke signalen al in het base-model aanwezig is en door alignment slechts wordt versterkt, niet gecreëerd. Bovendien vindt de bias zijn oorsprong in het visuele pad; tekstuele prompts voor dezelfde beroepen vertonen in de late lagen een versterking van het vrouwelijke signaal, het tegenovergestelde van de ineenstorting in het visuele pad.

Significantie en Claims
Het paper betoogt dat auditing op outputniveau onvoldoende is voor het beoordelen van de eerlijkheid van VLM's, vooral in scenario's met een hoog risico waarbij ambigue inputs betrokken zijn (bijv. surveillance, ondersteunende tools). De auteurs stellen dat:

• Alignment maskeert in plaats van elimineert: Modellen leren de expressie van bevooroordeelde interne representaties te onderdrukken zonder de representaties zelf te verwijderen.
• Interne representaties downstream risico's drijven: Aangezien VLM-embeddings steeds vaker worden gebruikt als kenmerken voor beeldzoek, content ranking en wervingsinstrumenten, verspreiden bevooroordeelde interne signalen zich door deze systemen, ongeacht de uiteindelijke tekstuele output van het model.
• LALS als auditing-instrument: LALS biedt een zero-shot, label-vrije methode om deze verborgen vooroordelen te detecteren, wat een meer granulair beeld geeft van hoe demografische associaties evolueren door het netwerk.

De auteurs concluderen dat de "mannelijke default" waargenomen in ambigue scenario's een structurele eigenschap is van de visuele verwerking van het model, geworteld in de pretraining data en versterkt door de asymmetrische filtering van gender-signalen door het netwerk, in plaats van een simpel falen van alignment.