Cross-Cultural Value Awareness in Large Vision-Language Models

Titel: Cross-Culturele Waardebewustzijn in Grote Visueel-Taalmodellen (LVLMs)

Auteurs: Phillip Howard, Xin Su (Thoughtworks) en Kathleen C. Fraser (University of Ottawa).

1. Het Probleem

Grote visueel-taalmodellen (LVLMs) hebben de afgelopen jaren snel aan populariteit gewonnen, maar er is groeiende bezorgdheid over hun neiging om schadelijke maatschappelijke stereotypen te versterken. Hoewel er veel onderzoek is gedaan naar fairnes en bias gerelateerd aan demografische kenmerken zoals ras, geslacht en leeftijd, is er relatief weinig aandacht besteed aan culturele contexten (zoals religie, nationaliteit en sociaaleconomische status).

De uitdaging ligt in het feit dat cultuur niet altijd betrouwbaar uit het fysieke uiterlijk van een persoon kan worden afgeleid; het vereist vaak interpretatie van de context waarin de persoon zich bevindt. Bestaande evaluatiedatasets focussen voornamelijk op fysieke kenmerken, waardoor de bias in LVLMs ten aanzien van culturele waarden onvoldoende wordt onderzocht.

2. Methodologie

De auteurs voeren een grootschalig onderzoek uit om te analyseren hoe culturele contexten in afbeeldingen de oordelen van LVLMs over de morele, ethische en politieke waarden van een persoon beïnvloeden.

• Dataset: Ze gebruiken de Cultural Counterfactuals dataset (Howard et al., 2026). Deze dataset bevat "counterfactual" afbeeldingssets: dezelfde persoon wordt afgebeeld in verschillende culturele contexten (bijv. een kerk, een moskee, een tempel, of verschillende inkomensniveaus), terwijl alle andere variabelen (uiterlijk, geslacht, leeftijd) constant blijven. Dit elimineert verstorende factoren en isoleert het effect van de culturele context.
• Modellen: Vijf populaire open-weight LVLMs worden geëvalueerd:
  • Qwen2.5-VL-7B-Instruct
  • Gemma-3-12b-it
  • InternVL3-8B
  • LLaVA-v1.6-Mistral-7B
  • Molmo-7B-D-0924
• Prompting: De modellen krijgen prompts om lijsten met morele, ethische en politieke waarden te genereren voor personen in specifieke culturele contexten. In totaal worden 2,69 miljoen antwoorden gegenereerd.
• Evaluatie Framework: De auteurs gebruiken een multidimensionale aanpak:
  1. Morele Grondslagen Theorie (MFT): De gegenereerde waarden worden gekoppeld aan de zes psychologische fundamenten van MFT (Care/Harm, Fairness/Cheating, Loyalty/Betrayal, Authority/Subversion, Sanctity/Degradation, Liberty/Oppression). Een LLM-as-a-judge (GPT-5.4) wordt gebruikt voor deze classificatie.
  2. Waardegevoeligheidsanalyse: Met behulp van de Jaccard-overlap wordt gemeten hoe sterk de gegenereerde waarden veranderen wanneer de persoon in een andere culturele context wordt geplaatst. Een hogere variatie duidt op meer gevoeligheid voor de context.
  3. Lexicale Analyse: Er wordt gebruikgemaakt van het Stereotype Content Model (SCM) om de semantische dimensies van "warmte" (sociabiliteit/moraliteit) en "competentie" (vaardigheid/agentie) in de gegenereerde woorden te kwantificeren.

3. Belangrijkste Resultaten

De analyse van de 2,69 miljoen responsen levert de volgende inzichten op:

• Variatie in MFT-categorieën:
  • Modellen zoals Qwen2.5-VL, Gemma-3 en InternVL3 tonen significante variatie in de toewijzing van MFT-categorieën afhankelijk van de religieuze of culturele context. Bijvoorbeeld, christelijke contexten leiden vaker tot waarden gerelateerd aan "Care/Harm", terwijl hindoeïstische of shinto contexten vaker "Loyalty/Betrayal" en "Sanctity/Degradation" genereren.
  • Molmo-7B en LLaVA-v1.6 tonen daarentegen bijna geen variatie in MFT-categorieën over verschillende culturen heen. Interessant is dat deze modellen wel de context kunnen herkennen (hoewel met lagere nauwkeurigheid dan de anderen), maar blijkbaar niet in staat zijn om redeneringen over culturele waardeverschillen te maken.
• Waardegevoeligheid:
  • LLaVA-v1.6 toont de hoogste gevoeligheid (grootste variatie in gegenereerde waarden), maar aangezien dit model ook de laagste context-classificienauwkeurigheid heeft, suggereert dit dat de variatie mogelijk het gevolg is van ruis in het samplingproces en niet van echt cultureel bewustzijn.
  • Modellen zoals InternVL3-8B en Gemma-3-12b combineren een hoge context-classificienauwkeurigheid met een significante variatie in MFT-categorieën, wat wijst op een robuuster cultureel bewustzijn.
• Lexicale Bias (Warmte & Competentie):
  • Hoewel de meeste modellen niet sterk beïnvloed worden door de context bij het genereren van "warmte"-woorden, zijn er opvallende uitzonderingen.
  • Qwen2.5-VL genereert consistent de laagste "warmte"-scores voor synagoge-contexten.
  • Zowel InternVL3-8B als Qwen2.5-VL vertonen een duidelijke trend in sociaaleconomische contexten: naarmate het inkomen stijgt, neemt de frequentie van "warmte"-woorden af en die van "competentie"-woorden toe. Dit weerspiegelt geleerde culturele stereotypen over sociaaleconomische status.
• Weigeringen (Refusals):
  • Modellen zoals InternVL3-8B en LLaVA-v1.6 weigeren vaker om antwoorden te geven op vragen over politieke waarden, en deze weigeringstarieven variëren sterk per religieuze context (bijv. hogere weigering bij christelijke kerken dan bij moskeeën).

4. Belangrijkste Bijdragen

1. Eerste grootschalige studie: Dit is de eerste studie die systematisch de invloed van culturele contexten (religie, nationaliteit, SES) op de waardeoordelen van LVLMs onderzoekt.
2. Nieuw evaluatieframework: De auteurs introduceren een robuust framework dat counterfactual data combineert met MFT, lexicaal analyse en gevoeligheidsmetingen om culturele bias te diagnosticeren.
3. Nuance in bias-detectie: Het onderzoek onderscheidt tussen "ruis" (willekeurige variatie) en echt "cultureel bewustzijn" (gebaseerd op contextherkenning en logische redenering over waarden). Het toont aan dat hoge variatie in output niet per se betekent dat het model cultureel bewust is.
4. Dataset en Methodologie: Het gebruik van de Cultural Counterfactuals dataset stelt onderzoekers in staat om de invloed van cultuur te meten terwijl fysieke kenmerken gecontroleerd blijven.

5. Betekenis en Conclusie

De studie concludeert dat populaire LVLMs aanzienlijke verschillen vertonen in hun gevoeligheid voor religieuze, nationale en sociaaleconomische contexten. Sommige modellen reproduceren stereotypen (zoals de link tussen inkomen en competentie/warmte), terwijl andere modellen falen in het redeneren over culturele waarden ondanks dat ze de context herkennen.

De auteurs benadrukken dat er meer aandacht nodig is voor het inbouwen van kennis over culturele waardeverschillen in LVLMs. Hun werk vormt een fundament voor toekomstig onderzoek naar culturele bias en biedt tools om modellen te evalueren op hun vermogen om ethisch en moreel te redeneren in een divers wereldbeeld. Dit is cruciaal voor het voorkomen van schadelijke stereotypen bij de schaalbare inzet van deze modellen in de praktijk.