From Native Memes to Global Moderation: Cross-Cultural Evaluation of Vision-Language Models for Hateful Meme Detection

Probleemstelling

Culturele context speelt een cruciale rol bij de interpretatie van online content, maar Vision-Language Models (VLM's) worden overwegend getraind met een Westers of Engelstalig perspectief. Dit leidt tot een gebrek aan eerlijkheid en robuustheid bij het detecteren van haatvolle memes in niet-Westerse contexten. Bestaande benchmarks zijn vaak vertaald vanuit het Engels, wat de nuance, humor en culturele symboliek van oorspronkelijke memes uit niet-Engelse gemeenschappen (zoals Arabisch, Bengaals, Spaans) verstoort. Er is een kritieke kennislacune over hoe state-of-the-art VLM's presteren op native, cultureel gewortelde content en welke interventies de culturele kloof kunnen overbruggen.

Methodologie

De auteurs introduceren een systematisch, multidimensionaal evaluatiekader om VLM's te testen op hun vermogen om haatvolle memes te detecteren in zes verschillende taalecosystemen: Arabisch, Bengaals, Engels, Duits, Italiaans en Spaans.

1. Data en Cultuur:
In plaats van een nieuw dataset te creëren, gebruiken ze bestaande, oorspronkelijke datasets (bijv. Prop2Hate voor Arabisch, BHM voor Bengaals) die cultureel specifieke memes bevatten. De originele afbeeldingen en embedded tekst blijven ongewijzigd; alleen de bijschriften worden vertaald voor vergelijkingsdoeleinden.

2. Experimenteel Ontwerp (2x2 Matrix):
De evaluatie varieert twee kritieke variabelen:

• Leerst strategie: Zero-shot (geen voorbeelden) vs. One-shot (één cultureel relevant voorbeeld per label).
• Prompt-taal: Engels (standaard) vs. Native taal (bijv. prompt in het Arabisch voor Arabische memes).

3. Modellen:
Er wordt getest op een reeks modellen, waaronder:

• Algemeen doel VLM's: Gemini-2.5-Flash, GPT-4o-Mini, LLaMA-4-Maverick, Qwen 2.5-VL, CogVLM2, InstructBLIP.
• Specifieke taken modellen: Pro-Cap en PromptHate (fijn afgestemd op specifieke haatdetectie).

4. Evaluatie:
De modellen worden getest op nauwkeurigheid en Macro-F1 scores. Een belangrijk onderdeel is het vergelijken van prestaties op native content versus content waarbij alleen de bijschriften zijn vertaald naar het Engels ("translate-then-detect" aanpak).

Belangrijkste Bijdragen

1. Multidimensionaal Framework: Een nieuwe evaluatiemethode die VLM's test op leerstrategieën, prompt-taal en contentrepresentatie (native vs. vertaald) over zes culturen.
2. Empirisch Bewijs voor Interventies: Het paper levert systematisch bewijs dat de gangbare "vertaal-omdat-detecteer" aanpak prestaties verslechtert, terwijl cultureel afgestemde interventies (native prompts en one-shot learning) de detectie significant verbeteren.
3. Bias Diagnosticering en Mitigatie: Het documenteert de systematische convergentie naar Westse veiligheidsnormen en toont aan hoe cultureel afgestemde strategieën deze bias kunnen verminderen en de cross-culturele robuustheid kunnen vergroten.

Resultaten en Analyse

De resultaten tonen drie belangrijke patronen:

• De "Vertaal-Boete" (Translation Penalty): De meest gebruikelijke aanpak, waarbij niet-Engelse memes eerst naar het Engels worden vertaald voordat ze worden geanalyseerd, leidt tot een universele daling in F1-scores. Vertaling verwijdert essentiële culturele context, sarcasme en dialectale nuances, wat leidt tot zowel over-moderatie (valse positieven) als onder-moderatie (gemiste haat).
• Effectiviteit van Native Prompts en One-Shot Learning:
  • Native Prompts: Het gebruik van prompts in de native taal verbetert de prestaties aanzienlijk voor veel modellen, vooral voor kleinere modellen. Echter, sommige grote modellen (zoals GPT-4o-Mini) vertonen een "veiligheids-interferentie" waarbij native prompts soms leiden tot meer valse positieven door strikte, Engelstalige veiligheidsregels die niet goed vertalen naar lokale context.
  • One-Shot Learning: Het toevoegen van één cultureel relevant voorbeeld (one-shot) werkt als een krachtige interventie. Het heeft het grootste effect op kleinere modellen die anders slecht presteren, en compenseert voor kennislacunes. Top-modellen profiteren minder, maar de strategie blijft effectief.
• Modelverschillen:
  • Robuuste Modellen: Modellen zoals Gemini-2.5-Flash en Qwen-2.5-VL tonen hoge robustheid tegen variaties in prompt-taal.
  • Kwetsbare Modellen: Modellen zoals InstructBLIP en CogVLM2-Chinese zijn extreem gevoelig voor de prompt-taal en de taal van de trainingdata. CogVLM2-Chinese faalt bijvoorbeeld bijna volledig in niet-Chinese contexten.
  • Generalisten vs. Specialisten: Generalistische VLM's bieden een betere, consistentere basis over verschillende talen dan gespecialiseerde modellen, die vaak "feest of honger" presteren (goed in de trainings-taal, slecht bij overdracht).

Betekenis en Conclusie

Dit onderzoek benadrukt dat het vertrouwen op vertaling voor wereldwijde contentmoderatie systematisch faalt en leidt tot onrechtvaardige resultaten voor niet-Westerse gebruikers. De studie concludeert dat:

1. Cultuurbewustzijn essentieel is: Moderatiesystemen moeten native context respecteren in plaats van alles naar een "pivot-taal" (Engels) te vertalen.
2. Interventies nodig zijn: Het gebruik van native prompts en one-shot learning is een praktische, kosteneffectieve manier om de prestaties van bestaande VLM's te verbeteren zonder volledige hertraining.
3. Toekomstige richting: Voor een eerlijk en veilig internet moeten moderatiesystemen evolueren van enkel meertalig naar echt multicultureel, waarbij lokale nuances en dialecten centraal staan in de evaluatie en implementatie.

De auteurs pleiten voor een hybride aanpak in de praktijk: het combineren van lokaal fijngefineerde modellen (voor culturele nuance) met krachtige generalistische VLM's (voor brede veiligheidsbewaking), in plaats van te vertrouwen op vertaalpijplijnen.