StylisticBias: A Few Human Visual Cues Drive Most Social Biases in MLLMs

Technische Samenvatting: StylisticBias

Probleemstelling
Multimodale Large Language Models (MLLM's) worden steeds vaker ingezet in domeinen met een hoge impact, zoals werving en selectie, inhoudsmoderatie en juridische ondersteuning. Hoewel eerder onderzoek heeft vastgesteld dat deze modellen menselijke en maatschale vooroordelen erven en versterken uit trainingsdata, blijft de specifieke visuele aanwijzing die deze oordelen drijft nog onvoldoende begrepen. Bestaande studies vergelijken vaak verschillende individuen of demografische groepen, wat het moeilijk maakt om de effecten van specifieke uiterlijke kenmerken te onderscheiden van inherente identiteitsverschillen. Voorts richt eerder werk zich grotendeels op latente geaggregeerde constructen zoals " aantrekkelijkheid" of brede demografische categorieën (ras, geslacht), waardoor er een gat ontstaat in het begrip van hoe specifieke, gecontroleerde visuele attributen—zoals kledingstijl, verzorging of accessoires—sociale percepties verschuiven wanneer de identiteit constant blijft.

Methodologie: De StylisticBias Benchmark
Om dit aan te pakken, introduceren de auteurs StylisticBias, een gecontroleerde benchmark die ontworpen is om bias op attribuutniveau in MLLM's te evalueren. De methodologie steunt op een tweefasige generatiepijplijn om visuele variabelen te isoleren:

1. Generatie van basisgezichten: De auteurs genereerden 500 fotorealistische basisgezichten met behulp van Imagen 4. Deze gezichten dekken een Cartesiaans product van vier demografische dimensies: leeftijd (jong, middelbare leeftijd, oud), geslacht (man, vrouw), etniciteit (Aziatisch, Afrikaans, Europees, Midden-Oosters, Latino) en lichaamstype (dun, normaal, obees). Deze basisafbeeldingen dienen als identiteitsankers en worden gekenmerkt door gestandaardiseerde studioverlichting, neutrale gezichtsuitdrukkingen en het ontbreken van accessoires of make-up.
2. Gecontroleerde variatiegeneratie: Met behulp van Nano Banana (Gemini 2.5 Flash Image) creëerden de auteurs ongeveer 50 single-attribute variaties voor elk basisgezicht, wat resulteerde in ongeveer 25.000 afbeeldingen. Elke variatie wijzigt exact één visueel attribuut (bijv. het veranderen van de kapselstijl, het toevoegen van tatoeages, het wijzigen van de kledingstijl) terwijl de basisidentiteit, pose en verlichting behouden blijven. Dit ontwerp zorgt ervoor dat elke verschuiving in het oordeel van het model kan worden toegeschreven aan het specifieke gewijzigde attribuut in plaats van aan veranderingen in de identiteit.
3. Evaluatieprotocol: Zes open-source MLLM's (variërend van 4B tot 14B parameters, waaronder LLaVA-v1.6, Qwen3-VL en Gemma-varianten) werden geëvalueerd in een zero-shot setting. De modellen voerden binaire forced-choice oordelen uit over 25 sociale scenario's gebaseerd op het warmte-competentie-framework (bijv. "Stijlvol vs. Onstijlvol", "Rijk vs. Arm", "Betrouwbaar vs. Onbetrouwbaar"). Om de gevoeligheid voor prompts te beperken, werd elk beeld-scenario paar geëvalueerd onder 12 variaties (4 prompt-ordeningen × 3 willekeurige seeds), wat neerkomt op ongeveer 28,3 miljoen oordelen.

Belangrijkste Bijdragen

1. StylisticBias Benchmark: Een dataset van 500 basisidentiteiten en ~25.000 synthetische afbeeldingen met single-attribute edits, wat fijnmazige evaluatie van bias mogelijk maakt waarbij de identiteit vaststaat.
2. Grootschalige Evaluatie: Een uitgebreide beoordeling van zes MLLM's over 25 binaire sociale oordelingsscenario's, wat een gedetailleerd beeld geeft van hoe verschillende architecturen reageren op visuele aanwijzingen.
3. Empirische Bevindingen over Biasconcentratie: De studie identificeert dat bias niet uniform verdeeld is, maar geconcentreerd is in een kleine set visuele aanwijzingen, met name die gerelateerd aan zelfpresentatie.

Resultaten
De experimenten leverden verschillende consistente patronen op over de geëvalueerde modellen heen:

• Demografische drijfveren: Leeftijd en lichaamstype bleken de sterkste demografische drijfveren van sociale oordeelsvorming te zijn (Variation Strength, VS = 0,075 en 0,069, respectievelijk). Obese en oudere identiteiten werden systematisch geassocieerd met minder gunstige karaktertrekken. Etniciteit en geslacht vertoonden daarentegen aanzienlijk kleinere effecten (VS = 0,038 en 0,030).
• Attribuut-niveau verschuivingen: Ongeveer 15 visuele attributen waren verantwoordelijk voor bijna 80% van de totale bias-variatie. Mode/stijl produceerde de grootste verschuivingen, gevolgd door gezichtsbeharing en make-up. Daarentegen hadden attributen zoals huidonregelmatigheden en haarkleur een bijna nul-impact.
• Asymmetrie van aanwijzingen: Negatieve aanwijzingen (bijv. versleten/verweerde kleding, rommelig haar) produceerden aanzienlijk grotere verschuivingen in het oordeel van het model dan hun positieve tegenhangers, wat de menselijke negativiteitsbias weerspiegelt.
• Semantische Alignement Bias: De gevoeligheid van het model was het hoogst wanneer de beoordeelde eigenschap semantisch overeenkwam met het zichtbare uiterlijk. Sociaaleconomische oordelen (bijv. "Rijk vs. Arm") en stijlgerelateerde oordelen (bijv. "Stijlvol vs. Onstijlvol") waren onevenredig gevoelig voor visuele veranderingen vergeleken met interne eigenschappen zoals "Eerlijk" of "Loyaal".
• Modelconsistentie: Hoewel modellen verschilden in de magnitude van hun reacties (bijv. Pixtral was het meest reactief, Qwen3 het meest conservatief), kwamen ze grotendeels overeen over welke aanwijzingen ertoe deden. Grotere modellen neigden de effect-magnitudes te dempen, maar behielden de algehele sensitiviteitsstructuur.
• Contextuele Interacties: De impact van aanwijzingen werd gemodereerd door de demografische context. Zo werd het positieve effect van formele kleding versterkt voor oudere gezichten en obese lichamen, terwijl het negatieve effect van "streetwear" verschoof van negatief voor jonge gezichten naar neutraal/positief voor oudere gezichten.

Betekenis en Claims
Het artikel beweert dat StylisticBias een noodzakelijke basis biedt voor het bewegen van grove demografische vergelijkingen naar gecontroleerde visuele attributie. De auteurs stellen dat MLLM's systematisch gevoelig zijn voor hoe iemand eruitziet (specifieke aanwijzingen zoals mode en verzorging), in plaats van alleen voor wie zij worden gerepresenteerd.

De studie benadrukt dat bias in multimodale systemen geconcentreerd is in een kleine set zelfpresentatie-aanwijzingen, met name die verbonden aan sociaaleconomische status en stijl. Dit suggereert dat standaard evaluaties die zich alleen richten op brede demografische groepen, de primaire drijfveren van uiterlijk-gebaseerde bias kunnen missen. Door de benchmark en de dataset vrij te geven, beogen de auteurs de ondersteuning van fairness-audits en de ontwikkeling van mitigatiestrategieën voor uiterlijk-gedreven bias in cruciale AI-toepassingen te bevorderen.

Beperkingen
De auteurs erkennen dat de studie gecontroleerde synthetische afbeeldingen gebruikt in plaats van echte foto's, wat de generaliseerbaarheid naar alle real-world implementaties beperkt, maar dit was een bewuste keuze om identiteitsisolatie en ethische veiligheid te waarborgen. Daarnaast richt de studie zich op een gecureerde subset van demografische groepen en visuele attributen om interpreteerbaarheid te behouden, wat betekent dat het weliswaar identificeert welke aanwijzingen verschuivingen veroorzaken, maar niet exhaustief alle sociaal betekenisvolle identiteiten dekt of de onderliggende mechanismen van deze effecten verklaart.