💬 NLP

SAFE-MEME: Structured Reasoning Framework for Robust Hate Speech Detection in Memes

Het artikel introduceert SAFE-MEME, een gestructureerd redeneerframework met Q&A- en hiërarchische varianten, samen met twee nieuwe fijnmazige multimodale haatspraakdatasets (MHS en MHS-Con), om een robuuste detectie van haatspraak in memes te bereiken die wedijvert met closed-source modellen en bestaande open-source baselines overtreft.

Oorspronkelijke auteurs: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty

Gepubliceerd 2026-07-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Palash Nandi, Shivam Sharma, Tanmoy Chakraborty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je het internet voor als een enorm, chaotisch digitaal dorpsplein waar iedereen schreeuwt, fluistert en tekeningen op de muren maakt. In dit dorp is een "meme" als een geheime handdruk bestaande uit een plaatje en een bijschrift. Soms is het gewoon een grappige grap over een kat. Maar andere keren is het een Trojaans paard: een plaatje dat er onschuldig uitziet, gecombineerd met een bijschrift dat onschadelijk lijkt, maar samen een verborgen, giftige boodschap dragen die bedoeld is om een specifieke groep mensen te kwetsen. Dit wordt haatspraak genoemd, en wanneer het zich binnen een meme verbergt, is het ontzettend moeilijk te vangen omdat de haat niet in de woorden alleen zit, noch in de afbeelding alleen—het zit in de verraderlijke combinatie van beide.

Lange tijd waren computers die dit dorpsplein probeerden te controleren als beveiligers die alleen tekst lazen of alleen naar de afbeelding keken. Ze misten vaak de grap die geen grap was, of de belediging die als een compliment werd vermomd. Ze worstelen met "impliciete" haat, wat als een gefluister is dat alleen zin heeft als je de geheime geschiedenis van het dorp kent. De grote vraag waar onderzoekers zich al een tijdje over buigen is: Kunnen we computers leren om niet alleen naar de oppervlakte te kijken, maar ook echt na te denken over wat een meme echt betekent, net zoals een mens dat zou doen?

Dit artikel introduceert een nieuw team van digitale detectives genaamd SAFE-MEME. In plaats van een meme alleen maar te scannen en "Haat!" of "Veilig!" te roepen, gedraagt SAFE-MEME zich als een nieuwsgierige tiener die weigert alles voor waar aan te nemen. Het gebruikt een speciale "gestructureerde redeneer"-truc, vergelijkbaar met hoe een detective een mysterie oplost door een reeks vragen te stellen voordat hij een conclusie trekt.

De onderzoekers bouwden twee nieuwe trainingsgronden voor hun detectives. De eerste, genaamd MHS, is een bibliotheek van memes gelabeld als "Expliciete Haat" (duidelijke beledigingen), "Impliciete Haat" (sluiperige, verborgen beledigingen) of "Onschadelijk" (onschuldige zaken). De tweede, MHS-Con, is een stresstest die ontworpen is om computers te misleiden. Het neemt precies dezelfde afbeelding en koppelt deze aan drie verschillende bijschriften: één dat duidelijk haatdragend is, één die sluiperig haatdragend is, en één die volkomen onschuldig is. Deze opzet is als het laten zien van een foto van een persoon aan een detective en de vraag stellen: "Is deze persoon een held, een schurk, of gewoon een buurman?" afhankelijk van het verhaal dat je erover vertelt.

Het artikel test twee versies van de SAFE-MEME-detective:

SAFE-MEME-QA: Deze versie speelt een spel van "Vraag en Antwoord". Wanneer het een meme ziet, raadt het niet zomaar een antwoord. Het stelt zichzelf vragen zoals: "Op wie is dit gericht?" en "Wat voor soort haat is dit?". Het schrijft de antwoorden op en bouwt een keten van logica op voordat het beslist of de meme slecht is.
SAFE-MEME-H: Deze versie is meer als een bibliothecaris die eerst de afbeelding in grote detail beschrijft en de meme vervolgens sorteert in een hiërarchie van categorieën (Is het haatdragend? Zo ja, is het expliciet of verborgen?).

De resultaten zijn een beetje als een verrassingsfeestje. Wanneer de detectives geconfronteerd werden met de standaard bibliotheek van memes (MHS), was de bibliothecaris-stijl detective (SAFE-MEME-H) de ster van de show. Het versloeg de beste open-source computermodellen met een ruime marge, wat bewees dat een stapsgewijze, hiërarchische aanpak goed werkt voor het opsporen van subtiele, verborgen haat. Echter, toen ze overgingen naar de lastige stresstest (MHS-Con), waarbij dezelfde afbeelding beoordeeld moest worden tegenover drie zeer verschillende verhalen, nam de Vraag-en-Antwoord-detective (SAFE-MEME-QA) de leiding. Het presteerde bijna 5% beter dan de andere open-source modellen en kon veel beter omgaan met de verwarrende, "confounding" gevallen dan zijn broertje.

Interessant genoeg bleek uit het artikel dat de meest krachtige "closed-source" modellen (de superintelligente, dure AI-systemen van grote technologiebedrijven) vaak te voorzichtig waren. Ze misten veel van de sluiperige, impliciete haat omdat ze bang waren een fout te maken. Aan de andere kant deed een eenvoudig tekstmodel (T5-large) verrassend goed op de stresstest, maar alleen omdat de stresstest sterk leunde op duidelijke woorden. De SAFE-MEME-detectives lieten echter zien dat ze daadwerkelijk de context konden begrijpen, en niet alleen de woorden.

De onderzoekers keken ook naar waar hun detectives fouten maakten. Soms raakte de AI in de war door zeldzame groepen mensen die het niet genoeg had gezien tijdens de training, of mengde het verschillende culturele referenties door elkaar. Het is als een detective die veel weet van de ene buurt, maar verdwaalt in een andere. Het artikel concludeert dat hoewel SAFE-MEME een enorme stap voorwaarts is in het leren van computers om over memes te "denken" in plaats van ze alleen maar te "zien", het nog steeds enkele vooroordelen bevat van de data waarop het getraind is. Het is nog geen perfecte oplossing, maar het is een veel slimmere manier om naar het digitale dorpsplein te kijken dan we voorheen hadden.

Probleemstelling

Memes dienen als cryptische instrumenten voor het delen van gevoelige ideeën, die vaak diepgaande contextuele kennis vereisen om correct geïnterpreteerd te worden. Dit maakt de moderatie van multimodale memes moeilijk. Bestaande benaderingen kampen met verschillende beperkingen:

Datakwaliteit: Veel bestaande datasets missen hoogwaardige, genuanceerde voorbeelden voor fijnmazige haatcategorieën of vertrouwen op visuele content van lage kwaliteit van sociale media.
Modelbeperkingen: Huidige Vision-Language Models (VLM's) hebben moeite met redeneren over impliciete inhoud, het integreren van multimodale aanwijzingen en het begrijpen van out-of-domain culturele contexten. Ze vertrouwen vaak op oppervlakkige kenmerken, waardoor ze er niet in slagen de impliciete context te vatten die ingebed is in de visueel-linguïstische interactie.
Impliciete haat: In tegenstelling tot expliciete haat, die gedetecteerd kan worden via lexicale aanwijzingen, opereert impliciete haat via pragmatische inferentie (sarcasme, ironie, culturele symbolen), wat ervoor zorgt dat modellen op oppervlakkig niveau kwetsbaar zijn.

Methodologie

De auteurs stellen SAFE-MEME (Structured reAsoning FramEwork) voor, een multimodaal framework dat ontworpen is om memes te deconstrueren door middel van gestructureerd redeneren. Het framework wordt geëvalueerd op twee nieuw samengestelde datasets en geïmplementeerd via twee verschillende varianten:

1. Datasets

De auteurs introduceren twee nieuwe Engelse multimodale haatspraak-datasets:

MHS (Multimodal Hate Speech): Bevat 3.343 instanties (795 expliciet, 753 impliciet, 685 benign) die negen beschermde groepen beslaan. Elke instantie bevat een haatlabel, een algemene visuele beschrijving en een reeks vraag-antwoordparen (Q&A) die het label en de context uitleggen.
MHS-Con (Confounding): Een stress-test dataset die 1.238 instanties bevat. Elk uniek beeld wordt gekoppeld aan drie geparafraseerde tekstuele variaties: expliciete haat, impliciete haat en benign. Deze opzet test de robuustheid van modellen tegen dynamische multimodale configuraties waarbij het beeld constant blijft maar de tekstuele intentie verschuift.

2. SAFE-MEME Varianten

Beide varianten maken gebruik van een tweestaps sequentiële architectuur gebaseerd op T5-base encoders/decoders en Vision Transformers (ViT), waarbij gated fusiemechanismen worden ingezet om tekstuele en visuele kenmerken te combineren.

SAFE-MEME-QA (Q&A-stijl Redeneren):
- Fase 1 (Query Generatie): Genereert een reeks context-gebaseerde queries ( $Y_{query}$ ) om de obscure context van de meme te deconstrueren (bijv. "Wie is het doelwit?", "Wat voor soort haat is aanwezig?").
- Fase 2 (Respons Generatie): Genereert iteratief antwoorden ( $Y_{answer}$ ) voor elke query op basis van de meme en de gegenereerde vragen.
- Classificatie: Het uiteindelijke haatlabel wordt afgeleid via regular expression matching op de gegenereerde responsen.
SAFE-MEME-H (Hiërarchische Categorisering):
- Fase 1 (Contextuele Beschrijving): Genereert een rijke, fijnmazige visuele beschrijving ( $Y_{gdesc}$ ) die saillante attributen en contextuele aanwijzingen incorporeert.
- Fase 2 (Hiërarchische Classificatie): Voert een twee-niveau classificatie uit:
  1. Niveau 1: Bepaalt of de meme "Hateful" of "Benign" is.
  2. Niveau 2: Indien haatdragend, onderscheidt tussen "Explicit" en "Implicit" haat.
- Architectuur: Deze variant maakt gebruik van categorie-specifieke lineaire projectoren (getraind op specifieke doelgroepen) om latente informatie te integreren in de gefuseerde representatie, wat een lichtgewicht single-layer adapter-benadering mogelijk maakt.

Belangrijkste Bijdragen

Nieuwe Datasets: Introductie van MHS en MHS-Con, ontworpen om fijnmazige haatdragende abstracties te vangen in zowel reguliere als confounding scenario's.
SAFE-MEME Framework: Een gestructureerd redeneerframework met twee varianten (QA-gebaseerd en hiërarchisch) dat het redeneerproces expliciet modelleert in plaats van te vertrouwen op end-to-end black-box classificatie.
Uitgebreide Benchmarking: Uitgebreide evaluatie tegen unimodale baselines (T5, ALBERT), multimodale baselines (CLIP, BLIP2, LLaVA, MiniGPT), en taakspecifieke modellen (HClipper, Pro-Cap), inclusief closed-source modellen (GPT-4o, Gemini 2.5).
Ablatie-studies: Gedetailleerde analyse van intra-variant prestaties, waarbij volledig gefinetunede modellen worden vergeleken met lichtgewicht adapter-benaderingen.
Foutanalyse: Systematische examinatie van foutgevallen, waarbij problemen met hallucinatie, training data bias en de verwarring tussen scheldwoorden en expliciete haat worden belicht.

Experimentele Resultaten

Prestaties op MHS

SAFE-MEME-H (M11) presteerde beter dan de beste open-source baseline (HClipper) met 3% in macro-F1 score.
Het behaalde prestaties die vergelijkbaar zijn met closed-source modellen (GPT-4o), binnen 1% van de prestaties van GPT-4o.
SAFE-MEME-H demonstreerde een superieure balans in precisie en recall voor expliciete haat vergeleken met andere modellen.
Belangrijkste bevinding: Een lichtgewicht single-layer adapter (M11) binnen SAFE-MEME-H presteerde beter dan volledig gefinetunede modellen bij reguliere fijnmazige haatdetectie.

Prestaties op MHS-Con (Stress Test)

SAFE-MEME-QA (M7) presteerde significant beter dan SAFE-MEME-H en alle baselines op deze confounding dataset.
SAFE-MEME-QA verbeterde met 4,7% in macro-F1 ten opzichte van de beste open-source baseline.
Hoewel het achterbleef bij closed-source modellen (GPT-4o, Gemini 2.5), toonde het robuustheid in het omgaan met de "confounding" aard van de dataset, waarbij tekstuele variaties de haatcategorie veranderden.
Observatie: De tekst-alleen baseline T5-large (FT) bleef zeer competitief op MHS-Con (presteerde beter dan veel multimodale modellen), wat te wijten is aan de prevalentie van expliciete lexicale aanwijzingen in deze specifieke dataset.

Inzichten uit Ablatie-studies

M7 (SAFE-MEME-QA) was de sterkste variant overall op MHS-Con.
M11 (SAFE-MEME-H) was de sterkste variant op MHS.
De studie bevestigde dat het finetunen van een single-layer adapter (M11) in staat is om volledig gefinetunede modellen te evenaren bij fijnmazige detectie, terwijl full fine-tuning met een Q&A setup (M7) effectiever is voor het afhandelen van confounding gevallen.

Betekenis en Claims

Het artikel claimt dat gestructureerd redeneren essentieel is voor robuuste detectie van haatspraak in memes. Door memes te deconstrueren in tussenliggende redeneerstappen (Q&A of hiërarchische beschrijving), kan het model de impliciete haat en culturele nuances beter aanpakken die oppervlakkige modellen missen.

Robuustheid: SAFE-MEME laat zien dat redeneer-gebaseerde benaderingen het gat tussen open-source en closed-source modellen kunnen dichten in complexe multimodale taken.
Efficiëntie: Het framework toont aan dat lichtgewicht adapters prestaties kunnen leveren die vergelijkbaar zijn met of zelfs beter zijn dan volledig gefinetunede modellen, wat een efficiëntere weg naar implementatie biedt.
Erkende Beperkingen: De auteurs geven expliciet aan dat hun modellen biases erven van de trainingsdata (MHS), met name met betrekking tot de distributie van haatdoelwitten (bijv. overrepresentatie van bepaalde groepen). Ze merken op dat SAFE-MEME-QA kan hallucineren bij zeldzame categorieën en dat SAFE-MEME-H categorie-priors kan volgen (bijv. het onterecht classificeren van benign content over "Anne Frank" als haatdragend vanwege de frequente associatie met haat in de trainingsset).

Het werk concludeert dat hoewel gestructureerd redeneren de detectie verbetert, toekomstig onderzoek de diversiteit van datasets moet adresseren, training-bias moet verminderen en human-in-the-loop feedback moet integreren om het volledige spectrum van haat-gerichte gemeenschappen te kunnen behandelen.