HateMirage: An Explainable Multi-Dimensional Dataset for Decoding Faux Hate and Subtle Online Abuse

Dit paper introduceert HateMirage, een nieuw, verklaarbaar dataset van 4.530 YouTube-commentaren die subtiel haatzaaien op basis van desinformatie analyseren via drie dimensies (doelwit, intentie en implicatie) om de beperkingen van bestaande modellen voor overt haatzaaien te overbruggen.

De kern

🌫️ Het Spook in de Spiegel: Wat is "HateMirage"?

Stel je voor dat je op een feestje bent. Iemand fluistert iets in je oor dat klinkt als een grapje, maar als je er goed naar luistert, besef je dat het eigenlijk een giftige aanval is op een bepaalde groep mensen. Ze gebruiken geen scheldwoorden, maar ze vertellen een verzonnen verhaal (een leugen) om die groep slecht te maken.

Dit is precies wat de onderzoekers van dit paper "Faux Hate" (nep-haat) noemen. Het is haat die zich vermomt als nieuws, grappen of "feiten", terwijl het eigenlijk gebaseerd is op leugens.

Het probleem? Computers (en soms ook mensen) zijn heel goed in het opsporen van duidelijke scheldwoorden (zoals "ik haat die mensen"). Maar ze zijn slecht in het zien van die sluipende haat die verstop zit achter een nepverhaal.

Daarom hebben de onderzoekers HateMirage gemaakt. De naam is een knipoog naar een mirage (een spookbeeld in de woestijn). Het lijkt erop dat er iets echt is, maar het is in feite een illusie die door nepnieuws is gecreëerd.

🕵️‍♂️ Wat hebben ze gedaan? (De Drie-Dimensionale Lantaarn)

In plaats van alleen te zeggen: "Dit bericht is slecht", hebben ze een nieuw systeem bedacht dat als een drie-koppige lantaarn werkt. Ze kijken naar elk verdacht bericht met drie verschillende lenzen:

1. Het Doel (Target): Wie wordt er eigenlijk aangevallen? (Bijvoorbeeld: een land, een religie of een politieke partij).
2. De Intentie (Intent): Wat wil de schrijver bereiken? (Bijvoorbeeld: "Ik wil dat mensen boos worden op die groep" of "Ik wil dat ze denken dat die groep ziek is").
3. Het Gevolg (Implication): Wat kan er gebeuren als mensen dit geloven? (Bijvoorbeeld: "Mensen gaan die groep haten" of "Er ontstaat onrust in de stad").

Vergelijking:
Stel je voor dat iemand zegt: "Die mensen uit X stelen onze banen."

• Oude manier: De computer ziet het woord "stelen" en denkt: "Aha, dit is agressief!"
• HateMirage manier: De computer vraagt zich af: "Is dit waar? Nee, het is een leugen. Wie is het doel? Mensen uit X. Wat is het doel? Ze boos maken. Wat is het gevolg? Discriminatie."

🛠️ Hoe hebben ze dit gemaakt?

De onderzoekers hebben een slimme manier gevonden om dit te verzamelen:

1. De Basis: Ze begonnen met een lijst van bewezen leugens die door fact-checkers (zoals AltNews) zijn ontkracht. Denk aan leugens over coronavirussen of verzonnen complottheorieën.
2. De Jacht: Ze zochten op YouTube naar video's over die leugens en haalden de reacties (comments) eronder.
3. De Analyse: Ze hebben 4.530 reacties geselecteerd die zowel een leugen als haat bevatten. Vervolgens hebben ze een slimme AI (GPT-4) gebruikt om voor elke reactie de drie bovenstaande punten (Doel, Intentie, Gevolg) uit te schrijven.

Ze hebben dit gedaan om te voorkomen dat menselijke onderzoekers te veel moeten lezen aan giftige, verdrietige content. De AI doet het zware werk, maar mensen hebben gecontroleerd of het klopt.

🤖 De Test: Kunnen Computers dit Snappen?

De onderzoekers hebben verschillende AI-modellen (zoals LLaMA, Phi en Mistral) getest om te zien of zij ook zo'n "drie-koppige lantaarn" kunnen aansteken. Ze gaven de AI een nephaat-bericht en vroegen: "Wie is het doel, wat is de intentie en wat is het gevolg?"

De resultaten:

• Het was niet makkelijk. Zelfs de slimste AI's hadden moeite, vooral met het voorspellen van het gevolg (Implication).
• Het verrassende nieuws: De kleinere AI-modellen (zoals Phi-3) deden het soms beter dan de enorme, zware modellen.
• Waarom? Het lijkt erop dat het niet gaat om hoe "groot" de AI is, maar om hoe goed hij is getraind op redeneren en logisch denken. Een slimme, kleine AI die goed kan nadenken, doet het beter dan een grote AI die alleen maar tekst kan herhalen.

💡 Waarom is dit belangrijk?

Vroeger waren onze filters voor haat op sociale media als een deurwachter die alleen kijkt of je een paspoort hebt (een scheldwoord). Als je geen paspoort had, maar wel een valstrik in je tas, kwam je binnen.

HateMirage maakt de deurwachter slimmer. Hij kijkt niet alleen naar het paspoort, maar vraagt zich af: "Wat probeer je te doen met die valstrik? Wie wil je hiermee pijn doen?"

Dit helpt om:

1. Veiligere sociale media te maken, waar sluipende haat sneller wordt opgemerkt.
2. Betere AI's te bouwen die niet alleen "ja/nee" zeggen, maar kunnen uitleggen waarom iets gevaarlijk is.
3. Mensen te helpen begrijpen hoe nepnieuws wordt gebruikt om haat te zaaien.

Samenvatting in één zin

De onderzoekers hebben een nieuwe "spiegel" (HateMirage) gemaakt die niet alleen kijkt naar wat er gezegd wordt, maar ook naar de leugen erachter, het doel en het gevolg, zodat we beter kunnen zien hoe nepnieuws wordt gebruikt om mensen tegen elkaar op te zetten.

Technische samenvatting

Probleemstelling

Online veiligheidsonderzoek staat voor een uitdaging bij het detecteren van subtiele en indirecte haatzaaiende taal, vaak aangeduid als "Faux Hate". In tegenstelling tot traditionele haatzaaiende taal die gebruikmaakt van expliciete scheldwoorden of directe aanvallen, is Faux Hate vermomd binnen misleidende, valse of gemanipuleerde narratieven (desinformatie).

• De kern van het probleem: Bestaande datasets (zoals HateXplain of HatEval) focussen voornamelijk op openlijke toxiciteit en oppervlakkige signalen. Ze missen de nuance waarbij haat wordt ingebed in nepnieuws of samenzweringstheorieën.
• Het gevolg: Automatische systemen en zelfs menselijke annotatoren hebben moeite om de schadelijke intentie te herkennen omdat deze impliciet is en contextuele redenering vereist. Er is een gebrek aan datasets die niet alleen classificeren, maar ook uitleggen waarom een opmerking schadelijk is door de link te leggen tussen desinformatie en de daaruit voortvloeiende haat.

Methodologie

De auteurs introduceren HateMirage, een nieuw dataset en raamwerk dat is ontworpen om deze kloof te dichten. De methodologie omvat de volgende stappen:

1. Dataverzameling:

   • De basis vormen breed weerlegde desinformatieclaims afkomstig van gerenommeerde fact-checkers (zoals AltNews en FactChecker).
   • Op basis van deze claims werden gerelateerde YouTube-video's geïdentificeerd en gebruikerscommentaren geëxtraheerd.
   • De dataset bevat 4.530 commentaren, inclusief code-gemixte Hindi-Engelse teksten die zijn vertaald naar het Engels voor consistentie.
   • Commentaren werden gelabeld als "Fake" (1) en "Hate" (1) om alleen de Faux Hate instanties te selecteren.

2. Structuur en Annotatie:

   • In plaats van alleen een binair label, wordt elke commentaar geannoteerd met drie interpreteerbare dimensies:
     • Target: Wie is het doelwit? (Expliciete of impliciete entiteiten).
     • Intent: Wat is de onderliggende motivatie? (Bijv. vervreemden, delegitimeren, polariseren).
     • Implication: Wat is de potentiële maatschappelijke impact? (Bijv. versterken van wantrouwen, aanwakkeren van geweld).
   • Generatie van Uitleg: De annotaties werden gegenereerd met behulp van GPT-4, verrijkt met Retrieval-Augmented Generation (RAG). Hierbij werd GPT-4 gevoed met de oorspronkelijke fact-checks om feitelijke grondslag te garanderen.
   • Kwaliteitscontrole: Een "Human-in-the-loop" proces werd toegepast waarbij menselijke reviewers (een PhD-student en een afgestudeerde student) 10-15% van de batches handmatig controleerden op feitelijke consistentie, semantische coherentie en taalkundige duidelijkheid.

3. Benchmarking:

   • Verschillende open-source taalmodellen (van 1B tot 8B parameters, waaronder LLaMA-3, Qwen-2.5, Phi-3 en Mistral) werden getest op de taak van het genereren van deze gestructureerde uitleggen.
   • Twee settings werden getest: Zero-shot (alleen instructies) en RAG-based (met contextuele feitelijke documenten).
   • Evaluatiemetrics: Sentence-BERT Similarity (voor semantische uitlijning) en ROUGE-L F1 (voor lexicaal en structureel overlap).

Belangrijkste Bijdragen

1. De HateMirage Dataset: Een unieke dataset van 4.530 Faux Hate-commentaren met multi-dimensionale uitleggen (Target, Intent, Implication). Het is de eerste dataset die haat en desinformatie combineert in één raamwerk met gestructureerde redenering.
2. Multi-dimensionaal Uitlegkader: Het introduceert een methode om de interactie tussen misinformatie, schade en sociale consequentie te analyseren, wat verder gaat dan de huidige token-niveau of enkelvoudige dimensie-benaderingen.
3. Benchmark voor Redenering: Het biedt een testomgeving om de redeneercapaciteiten van taalmodellen te evalueren bij het ontrafelen van subtiele, context-afhankelijke haat.
4. Openbaarheid: Prompt-templates, annotatiegidsen en code zijn openbaar beschikbaar, hoewel de dataset zelf alleen voor academisch onderzoek toegankelijk is onder een licentie.

Resultaten

De experimentele resultaten tonen de volgende inzichten:

• Modelprestaties: Er is een aanzienlijke variatie in prestaties afhankelijk van modelgrootte, architectuur en de gebruikte strategie.
  • Phi-3-128k-3B (een kleiner model) presteerde verrassend goed, vooral in het identificeren van Targets en het vaststellen van Intent. Dit wordt toegeschreven aan de synthetische en redeneringsgerichte data in de training van Phi-modellen.
  • Mistral-v0.3-7B presteerde het beste op de abstracte dimensie Implication, wat suggereert dat grotere modellen beter zijn in het redeneren over bredere maatschappelijke gevolgen.
• Invloed van RAG: Het gebruik van Retrieval-Augmented Generation verbeterde de prestaties, vooral voor componenten die feitelijke grondslag vereisen (zoals het identificeren van de valse claim).
• Menselijke Evaluatie: Bij vergelijking met menselijke annotaties scoorden modellen hoog op Target (entity-herkenning), maar hadden moeite met Implication. Mensen en modellen kwamen het minst overeen bij het interpreteren van de bredere maatschappelijke gevolgen, wat de complexiteit van deze taak benadrukt.
• Foutanalyse: Modellen neigen tot overgeneralisatie (bijv. "verspreiden van haat" als intentie) en missen vaak de subtiele, contextuele nuances zoals sarcasme of specifieke politieke positionering.

Betekenis en Toekomstperspectief

HateMirage is een mijlpaal voor verantwoord AI-onderzoek en interpreteerbare NLP.

• Transparantie: Door de link te leggen tussen desinformatie en haat, maakt het modelvoorspellingen niet alleen voorspelbaar, maar ook verklaarbaar. Dit is cruciaal voor betrouwbare contentmoderatie.
• Onderzoek: Het dataset biedt een nieuwe standaard voor het bestuderen van hoe misinformatie haat voedt, wat essentieel is voor het ontwikkelen van systemen die niet alleen reageren op scheldwoorden, maar op de onderliggende logica van manipulatie.
• Beperkingen: De auteurs erkennen dat de uitleggen synthetisch zijn (gegenereerd door AI) en dat de dataset voornamelijk uit YouTube-commentaren komt, wat mogelijk niet alle platformen of dialecten dekt.
• Toekomst: De auteurs plannen uitbreiding naar multimodale data (meme's en visuele narratieven) en het ontwikkelen van betere metrics voor het evalueren van de "trouw" van uitleggen, verder dan alleen lexicaal overlap.

Samenvattend stelt HateMirage een nieuwe benchmark neer voor het begrijpen van de complexe, vaak verborgen dynamiek van online haat die wordt aangewakkerd door nepnieuws, en biedt het een noodzakelijk instrument voor het ontwikkelen van robuustere en eerlijkere AI-systemen.