PEACE 2.0: Grounded Explanations and Counter-Speech for Combating Hate Expressions

Probleemstelling

De toenemende hoeveelheid haatzaaiende taal (Hate Speech, HS) op online platforms vormt een groot maatschappelijk probleem. Hoewel de Natural Language Processing (NLP)-gemeenschap effectieve methoden heeft ontwikkeld om de aanwezigheid van haatzaaiende taal automatisch te detecteren, blijft het genereren van passende reacties, bekend als tegen-spraak (Counter-Speech, CS), een open uitdaging.
Haatzaaiende taal komt niet alleen voor in expliciete vormen, maar ook in subtiele, impliciete of gecodeerde vormen die moeilijk te identificeren zijn. Bestaande systemen focussen vaak alleen op detectie of behandelen de componenten (detectie, visualisatie, CS-generatie) geïsoleerd. Er is een gebrek aan systematische vergelijkingen tussen generaties die gebaseerd zijn op feitelijke kennis en die zonder deze kennis, vooral bij impliciete haat.

Methodologie: PEACE 2.0

PEACE 2.0 is een geavanceerde, webgebaseerde tool die verder gaat dan alleen detectie en uitleg; het genereert ook actievere reacties. De tool integreert een Retrieval-Augmented Generation (RAG)-pijplijn om haatzaaiende inhoud te analyseren, te verklaren en te beantwoorden met feitelijke onderbouwing.

De kernarchitectuur en functionaliteiten omvatten:

1. Data Exploratie en Visualisatie:

   • Interactieve visualisaties (Sankey-diagrammen, woordwolken, frequentiegrafieken) voor zowel haatzaaiende datasets (zoals IHC, ISHate, TOXIGEN) als tegen-spraak datasets (zoals CONAN, Twitter/YouTube datasets).
   • Ondersteuning voor zowel expliciete als impliciete haat, met filters op doelgroep en implicietheidsniveau.

2. Data Augmentatie:

   • Genereert adversarial voorbeelden door oppervlakkige elementen van berichten te wijzigen (bijv. entiteiten vervangen, adjectieven synoniemen) zonder de onderliggende haatvolle intentie te veranderen. Dit dient om de robuustheid van detectiemodellen te testen.

3. Detectie en Uitleg (Grounded Explanations):

   • Gebruikt een fijnafgestelde BERT-classificator (getraind op het ISHate-dataset) voor binaire detectie.
   • Genereert menselijk leesbare uitleg over waarom een bericht als haatvol wordt beschouwd.
   • RAG-integratie: Bij inschakeling haalt het systeem relevante passages op uit een autoritaire kennisbank (VN, Eur-Lex, FRA) en gebruikt deze als context voor de Large Language Model (LLM) om de uitleg feitelijk te onderbouwen.

4. Kennis-gebaseerde Tegen-spraak Generatie (Knowledge-Grounded CS):

   • Dit is de centrale innovatie. Gebruikers kunnen een haatvol bericht invoeren om een tegenreactie te genereren.
   • De RAG-pijplijn:
     1. Retrieval: Het input-bericht wordt gecodeerd met de BGE-M3 sentence transformer. FAISS zoekt naar de top-3 meest relevante bewijsstukken in een voorgecomputeerde embedding-database.
     2. Samenvatting: De gevonden passages worden samengevat door een geselecteerde LLM.
     3. Generatie: De originele boodschap en de samenvatting van het bewijs worden aan de LLM gegeven om een respectvolle, overtuigende tegen-spraak te genereren.
   • Beschikbare Modellen: Mistral-7B, LLaMa-3.1-8B, en CommandR.
   • Kennisbank: Bestaat uit 32.792 documenten (VN, EU-wetgeving, Fundamentele Rechten Agentschap) met in totaal ruim 3 miljoen getokeniseerde paragrafen.

Belangrijkste Bijdragen

• Unificatie: PEACE 2.0 is de enige online tool die diepgaande analyse van expliciete én impliciete haat combineert met kennis-gebaseerde generatie van tegen-spraak.
• Evidence-Grounded Generation: Het introduceert een systeem dat tegen-spraak en uitleg direct koppelt aan feitelijke bronnen (menselijke rechten), wat de betrouwbaarheid en relevantie verhoogt.
• Vergelijkende Analyse: Het stelt gebruikers en onderzoekers in staat om outputs met en zonder RAG direct te vergelijken, waardoor de impact van kennis-grounding zichtbaar wordt.
• Transparantie: Het systeem toont de opgehaalde paragrafen en hun similariteitsscores, wat de "black box" van AI-generatie doorbreekt.

Resultaten

De auteurs hebben experimenten uitgevoerd met 100 haatzaaiende voorbeelden (50 expliciet, 50 impliciet) en gegenereerde uitleggen en tegen-spraak geëvalueerd.

1. Menselijke Evaluatie:

   • RAG-gegenereerde outputs presteerden consistent beter dan niet-RAG outputs op alle metrieken: Informativiteit, Overtuigingskracht, Logische samenhang en Specificiteit.
   • Het verschil was het grootst bij impliciete haat (bijv. Informativiteit: 4,64 vs 2,72 voor uitleg; 4,80 vs 2,86 voor tegen-spraak).
   • RAG verbeterde de overtuigingskracht aanzienlijk, wat essentieel is voor het beïnvloeden van haters en omstanders.
   • De kwaliteit (vloeiendheid en samenhang) bleef gelijk tussen RAG en niet-RAG, wat aantoont dat de toevoeging van kennis de leesbaarheid niet schaadt.

2. Automatische Metrieken:

   • RAG-outputs toonden hogere semantische similariteit met de context en lagere perplexiteit (betere vloeiendheid).
   • Faithfulness: RAG-outputs waren sterker gebaseerd op het opgehaalde bewijs (hogere entailment, lagere contradictie).
   • Statistische toetsing (Wilcoxon signed-rank test) bevestigde dat deze verschillen significant zijn (p < 0,05).

Betekenis en Conclusie

PEACE 2.0 vormt een brug tussen analytisch inzicht en praktische mitigatie van haatzaaiende taal. Door het integreren van retrieval, samenvatting en generatie in één pijplijn, creëert de tool betrouwbare, feitelijke tegen-spraak die geschikt is voor e-democratie-applicaties.
De tool draagt bij aan inclusie en eerlijkheid door niet alleen haat te detecteren, maar ook constructieve, onderbouwde alternatieven te bieden in plaats van alleen censuur. Toekomstig werk richt zich op adaptieve retrieval-strategieën, dynamische updates van de kennisbank en verdere evaluatiemethoden voor de kwaliteit van tegen-spraak.