Harm or Humor: A Multimodal, Multilingual Benchmark for Overt and Covert Harmful Humor

Probleemstelling

Donkere humor (dark humor) is een complex fenomeen dat vaak rust op subtiele culturele nuances en impliciete aanwijzingen die contextuele redenering vereisen. Bestaande veiligheidsbenchmarks voor AI-systemen zijn vaak statisch en gericht op directe toxiciteit (zoals haatdragende taal), waardoor ze falen in het detecteren van covert (verkapte) schadelijke humor.

De huidige uitdagingen zijn drieledig:

1. Modale bias: De meeste benchmarks focussen op tekst of statische afbeeldingen, terwijl schadelijke humor vaak multimodaal is (meme's, video's) en tijdafhankelijke elementen bevat.
2. Taaltekort: Er is een groot gebrek aan datasets voor talen met minder bronnen, zoals Arabisch, en voor taal-onafhankelijke visuele humor.
3. Ontbrekende nuance: Er is weinig aandacht voor het onderscheid tussen expliciete (overt) en impliciete (covert) schadelijke inhoud. Impliciete humor vereist diepgaande semantische en culturele redenering, wat een kritieke veiligheidsuitdaging vormt voor huidige AI-modellen.

Methodologie en Dataset

De auteurs introduceren een nieuw, handmatig samengesteld multimodaal en meertalig benchmark-dataset genaamd "Harm or Humor".

• Dataset Samenstelling:
  • 3.000 Teksten: 2.000 in het Engels, 1.000 in het Arabisch (inclusief diverse dialecten zoals Egyptisch, Libanees, Iraaks).
  • 6.000 Afbeeldingen: 3.701 in het Engels, 2.304 in het Arabisch (meme's en visuele grappen).
  • 1.200 Video's: 533 Engels, 317 Arabisch, en 352 universele (taal-onafhankelijke) clips. De gemiddelde duur is 14 seconden.
• Annotatie-richtlijnen:
  • Veilig vs. Schadelijk: Schadelijk wordt gedefinieerd als content die gevoelige thema's (ras, religie, seksualiteit, etc.) gebruikt om mensen te vernederen.
  • Expliciet vs. Impliciet: Schadelijke content wordt verder onderverdeeld. Expliciet is direct herkenbaar (bijv. grof taalgebruik). Impliciet vereist culturele kennis en meervoudige redenering om de schadelijke intentie te decoderen.
  • Kwaliteitsborging: De dataset is handmatig gecureerd door 7 annotators met diverse culturele achtergronden. De eindlabels zijn bepaald via meerderheidsstemming (majority voting), wat resulteerde in een hoge inter-annotator overeenstemming (Fleiss' κ > 0.74).

Evaluatie en Methodologie

De auteurs hebben state-of-the-art (SOTA) modellen getest op dit dataset, verdeeld in gesloten bron (closed-source) en open-source modellen, specifiek voor tekst, afbeeldingen en video.

• Modellen:
  • Gesloten bron: GPT-4o, GPT-5.2, GPT-5 Pro, Gemini 2.5 Pro, Gemini 3 Pro.
  • Open bron: Llama 3.1, DeepSeek-Reasoner, Qwen2.5 (serie), AceGPT, ALLaM, Jais, en diverse Vision-Language Models (VLM's) zoals LLaVA-NeXT en InternVL.
• Taak: Binair classificeren van "Schadelijk" vs. "Veilig".
• Metrics: Accuracy, Macro-F1-score, en specifiek Recall voor de impliciete en expliciete subsets. Recall is hier cruciaal omdat het missen van schadelijke inhoud (false negatives) in veiligheidscontexten het grootste risico is.

Belangrijkste Resultaten

1. Gesloten bron vs. Open bron:

   • Gesloten modellen (vooral GPT-5.2 en Gemini 2.5 Pro) presteren aanzienlijk beter dan open-source modellen.
   • Open-source VLM's vertonen een sterke "veiligheidsbias" (safe bias): ze neigen ernaar alles als veilig te classificeren of te weigeren, wat leidt tot een catastrofale recall voor schadelijke inhoud (bijna 0% detectie bij sommige modellen).

2. Taalverschillen (Engels vs. Arabisch):

   • Er is een significante prestatiedaling bij het overschakelen van Engels naar Arabisch voor alle modellen.
   • Modellen worstelen met Arabische dialecten en culturele context. Bijvoorbeeld, de recall voor impliciete schadelijke humor in het Arabisch daalt drastisch (bij GPT-5.2 van 85,6% voor expliciet naar 71,9% voor impliciet).
   • Gespecialiseerde Arabische modellen (zoals ALLaM) tonen hoge recall voor impliciete humor, maar hebben vaak een te hoge false-positive rate (ze classificeren te veel als schadelijk).

3. Expliciet vs. Impliciet:

   • Modellen zijn goed in het detecteren van expliciete toxiciteit (oppervlakkige signalen).
   • Ze falen systematisch bij impliciete humor. De prestatieverschillen tussen expliciet en impliciet zijn het grootst in het Arabisch, wat aangeeft dat modellen moeite hebben met de noodzakelijke culturele en semantische redenering.

4. Modale uitdagingen:

   • Video: Video-analyse is het meest uitdagend. Hoewel GPT-5 Pro leidt, presteren open-source video-modellen slecht, vooral bij het integreren van audio, visuele cues en tekst in lange contexten.
   • Universele content: Zelfs taal-onafhankelijke video's presteren slechter dan Engelstalige content, wat suggereert dat culturele context ook zonder taal een rol speelt.

Bijdragen en Significantie

• Nieuwe Benchmark: Dit is het eerste benchmark dat tekst, afbeeldingen en video's combineert voor de detectie van donkere humor, met een specifieke focus op het onderscheid tussen expliciete en impliciete schadelijkheid in meertalige contexten.
• Cultuurgevoelige Veiligheid: Het paper benadrukt dat het simpelweg vergroten van modelgrootte niet voldoende is voor veiligheidsuitlijning. Er is behoefte aan cultuurgegrondeerde uitlijning (culturally grounded alignment) die rekening houdt met lokale normen en impliciete betekenis.
• Inzicht in Redenering: De resultaten tonen aan dat huidige AI-systemen vaak vertrouwen op oppervlakkige patronen in plaats van diepgaande redenering. Dit is een kritieke beperking voor het veilig inzetten van AI in diverse culturele omgevingen.
• Open Science: De dataset en annotaties zijn beschikbaar gesteld voor non-commercieel onderzoek om de gemeenschap te helpen veiligheidsmodellen te verbeteren, met name voor talen met minder bronnen zoals het Arabisch.

Conclusie:
"Harm or Humor" onthult een kritieke "redeneringskloof" in huidige AI-systemen. Hoewel ze goed zijn in het filteren van directe haat, falen ze bij het begrijpen van subtiele, cultureel gebonden schadelijke humor. Dit onderstreept de noodzaak voor toekomstig onderzoek gericht op redeneringsbewuste veiligheidsstrategieën die verder gaan dan statische filters.