When Hate Meets Facts: LLMs-in-the-Loop for Check-worthiness Detection in Hate Speech

Probleemstelling

Online haatzaaiende content (Hate Speech, HS) wordt steeds vaker verpakt als feitelijke informatie, zelfs als deze onjuist is. Dit fenomeen komt veel voor in gecoördineerde online intimidatiecampagnes en extremistische propaganda. Het niet gezamenlijk aanpakken van haatzaaiende taal en desinformatie heeft ernstige gevolgen:

• Het verdiept vooroordelen en versterkt schadelijke stereotypen.
• Het blootstelt omstanders aan psychische stress en verontreinigt het publieke debat.
• Het vergt meer inspanning van contentmoderators, die zowel de schadelijkheid als de waarheid (feitelijke juistheid) van een bericht moeten beoordelen.

Bestaande datasets behandelen haatzaaiende taal en desinformatie vaak als gescheiden fenomenen. Veel datasets voor haatzaaiende taal bevatten korte, expliciete beledigingen zonder feitelijke claims, terwijl datasets voor feitenchecken vaak geen haatzaaiende context bevatten. Er is een gebrek aan data die de interactie tussen haatzaaiende taal en "check-worthiness" (de noodzaak om een claim te verifiëren) in kaart brengt.

Methodologie

De auteurs introduceren een nieuwe aanpak die bestaat uit drie hoofdcomponenten:

1. Het WSF-ARG+ Dataset
Het team heeft het bestaande White Supremacy Forum Argumentative (WSF-ARG) dataset uitgebreid tot WSF-ARG+.

• Uitbreiding: Het originele dataset bevatte alleen haatzaaiende berichten. WSF-ARG+ voegt 294 niet-haatzaaiende berichten toe om de relatie tussen haat en check-worthiness te onderzoeken.
• Structuur: De dataset bevat 227 haatzaaiende en 294 niet-haatzaaiende berichten. Elke tekst is geanalyseerd op argumentatieve componenten (premissen en conclusies) en bevat gemiddeld meerdere claims per bericht.
• Labeling: Claims worden gelabeld op basis van drie categorieën:
  • Checkworthy Factual Statement (CFS): Feitelijke claims die belangrijk zijn voor het publiek en geverifieerd moeten worden.
  • Unimportant Factual Statement (UFS): Feitelijke claims die niet belangrijk genoeg zijn voor fact-checking.
  • Non-Factual Statement (NFS): Subjectieve meningen, wensen of retoriek zonder feitelijke claim.

2. LLM-in-the-Loop Framework
Om de annotatie van check-worthiness te versnellen zonder kwaliteit te verliezen, ontwikkelden de auteurs een nieuw framework waarbij Large Language Models (LLMs) als assistent fungeren, maar niet als enige beslisser.

• Proces: Een menselijke expert en een LLM annoteren parallel.
  • De LLM genereert drie onafhankelijke labels per instance (bij een temperatuur van 1).
  • Een meerderheidsstem (majority vote) bepaalt het voorlopige LLM-label.
  • Als het LLM-label overeenkomt met het menselijke label, wordt dit geaccepteerd.
  • Bij onenigheid of als de drie LLM-annotaties verschillen, treedt een rechter-annotator (judge) op. Deze ziet de labels niet in de oorspronkelijke volgorde (blind) om bias te voorkomen, en neemt de definitieve beslissing.
• Strategieën voor foutreductie: Het framework gebruikt zero-shot en one-shot prompting, vergelijkt verschillende modelgroottes (7B tot 104B parameters) en families (Mistral, Llama, Qwen, Olmo, Command-r), en valideert de output via inter-annotator overeenstemming (IAA).

3. Evaluatie
Het framework werd getest met 12 open-weight LLMs. De prestaties werden gemeten aan de hand van overeenstemming met menselijke experts (Cohen's kappa) en de reductie in menselijke inspanning.

Belangrijkste Resultaten

1. Kwaliteit van het Framework

• Het OLMo2-32B model presteerde het beste met een overeenstemming van ongeveer 59% met de menselijke annotator (zero-shot).
• Het framework slaagde erin de menselijke inspanning te verminderen: slechts 46,69% van de claims vereiste een rechter-annotator (judge), en na adjudicatie daalde het aantal onenigheden verder.
• De uiteindelijke "gouden" labels (LLM-in-the-loop) toonden een zeer hoge overeenstemming met "platinum" labels (volledig menselijke annotatie), met een Cohen's kappa van 0,800 (drieklas) en 0,815 (binair). Dit bewijst dat de kwaliteit niet in het gedrang komt.

2. Analyse van WSF-ARG+

• Harmfulness: Berichten die check-worthige claims bevatten, blijken significant meer intimidatie (harassment) en haat te bevatten dan berichten zonder dergelijke claims. De effectgroottes waren klein maar statistisch significant (p < 0,05).
• Afhankelijkheid: Haatzaaiende berichten vertrouwen sterker op check-worthige claims om hun boodschap over te brengen dan niet-haatzaaiende berichten.

3. Impact op Haatdetectie

• Het toevoegen van check-worthiness labels als input voor LLMs verbeterde de prestaties bij het detecteren van haatzaaiende taal aanzienlijk.
• Voor grote modellen (≥70B parameters) steeg de Macro-F1-score gemiddeld met 0,154.
• Voor specifieke grote modellen (zoals Qwen-2.5-72B) steeg de F1-score tot 0,213 ten opzichte van modellen zonder deze labels.
• Dit suggereert dat het begrijpen van de feitelijke basis van een argument cruciaal is voor het correct classificeren van haatzaaiende taal.

Bijdragen en Significantie

Technische Bijdragen:

1. WSF-ARG+: Het eerste dataset dat haatzaaiende taal en check-worthiness informatie combineert, inclusief zowel haatzaaiende als niet-haatzaaiende berichten met claim-level annotaties.
2. LLM-in-the-Loop Framework: Een robuust protocol voor het gebruik van LLMs als annotators in complexe, subjectieve taken. Het bewijst dat menselijke inspanning kan worden gereduceerd zonder kwaliteit te verliezen, mits er een juiste balans is tussen modelkeuze, prompting en menselijk toezicht.
3. Empirisch Bewijs: Het paper levert kwantitatief bewijs dat haatzaaiende taal die gebaseerd is op (controleerbare) claims, schadelijker wordt ervaren en dat het integreren van feitelijke context de prestaties van AI-modellen voor haatdetectie verbetert.

Maatschappelijke Relevantie:

• De studie benadrukt dat desinformatie en haatzaaiende taal vaak hand in hand gaan, wat een grotere bedreiging vormt voor democratische processen (zoals geïllustreerd door de genocide in Rwanda en de vervolging van Rohingya).
• Door prioriteit te geven aan het fact-checken van claims die bijdragen aan haatnarratieven, kunnen interventies gerichter worden ingezet.
• Het paper pleit voor een aanpak gericht op het genereren van tegen-spraak (counterspeech) in plaats van censuur, gebaseerd op de identificatie van manipulatieve retorische strategieën.

Conclusie
De auteurs tonen aan dat het combineren van haatzaaiende taal en feitelijke verificatie een noodzakelijke stap is in de strijd tegen online extremisme. Het voorgestelde LLM-in-the-loop framework biedt een schaalbare en betrouwbare methode om deze complexe data te annoteren, wat leidt tot betere detectiemodellen en dieper inzicht in de mechanismen van online haat.