Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks

Dit artikel introduceert RoBERTa-OTA, een nieuw model dat RoBERTa-embeddings combineert met een ontologie-gestuurde attentie-mechanisme en Graph Convolutional Networks om de nauwkeurigheid van multiclass hate speech-detectie over verschillende demografische categorieën aanzienlijk te verbeteren met slechts een minimale toename in parametergrootte.

De kern

Hier is een uitleg van het onderzoek in eenvoudig Nederlands, met behulp van creatieve vergelijkingen om de complexe technologie begrijpelijk te maken.

De Uitdaging: Het Vinden van de Naald in de Hooiberg

Stel je voor dat je een enorme berg brieven moet doorzoeken op een sociale media-website. Je moet de boze, haatdragende brieven vinden. Maar hier is het lastige: niet alle boze brieven zijn hetzelfde. Soms wordt er gehaat tegen mensen vanwege hun religie, soms vanwege hun geslacht, leeftijd of etniciteit.

Vroeger waren de computersystemen die dit deden als een simpele hond die alleen "geblaf" herkent. Als iemand iets heel duidelijk boos schreef, zag de hond het. Maar als iemand een slimme, verkapte boodschap stuurde (bijvoorbeeld: "Die vrouwen zijn weer aan het werk"), miste de hond het vaak. De computer zag alleen woorden, maar begreep de context en de verborgen bedoeling niet goed.

De Oplossing: RoBERTa-OTA

De onderzoekers van deze paper hebben een nieuw systeem bedacht dat ze RoBERTa-OTA noemen. Je kunt dit zien als een super-intelligente detective die twee dingen tegelijk doet:

1. De Taalkundige Expert (RoBERTa): Dit deel is een zeer slimme lezer die miljoenen brieven heeft gelezen. Hij begrijpt de taal, de nuance en de context. Hij weet dat "dat is een oude man" in sommige contexten een grapje is, maar in andere contexten een belediging kan zijn.
2. De Kennisbank (Ontologie): Dit is het nieuwe, slimme deel. Stel je voor dat de detective ook een fysiek naslagwerk of een landkaart bij zich heeft. In dit naslagwerk staat precies beschreven wat "haat tegen vrouwen" inhoudt, wat "haat tegen religie" inhoudt, en hoe deze concepten met elkaar verbonden zijn.

Hoe werkt het samen? (De Twee-Stromen Architectuur)

Het systeem werkt als een tweespannen wagen:

• Stroom 1 (De Tekst): De detective leest de boodschap en kijkt goed naar de woorden.
• Stroom 2 (De Kennis): Tegelijkertijd kijkt de detective naar zijn naslagwerk. Hij vraagt zich af: "Zie ik hier kenmerken van 'geslachtsgebaseerde haat'? Of misschien 'religieuze haat'?"

De twee stromen komen samen. De tekst geeft de signalen, en het naslagwerk geeft de betekenis. Door deze twee te combineren, kan de detective veel beter onderscheid maken tussen verschillende soorten haat dan alleen door naar de tekst te kijken.

Waarom is dit zo slim?

Het probleem met eerdere systemen was dat ze vaak dachten: "Is dit haat of niet?" (Ja/Nee). Maar in de echte wereld is het ingewikkelder.

• Voorbeeld: Haat tegen vrouwen is vaak verkapter dan haat tegen een specifieke religie.
• De Analogie: Stel je voor dat je een sleutelgat moet vinden. Eerdere systemen probeerden met een grote hamer (algemene kennis) het slot open te breken. RoBERTa-OTA gebruikt een specifiek sleutelbos (de kennisbank) dat precies past bij het type slot (het type haat).

De Resultaten: Beter en Sneller

De onderzoekers hebben hun systeem getest op bijna 40.000 berichten. Het resultaat?

• Hoger scoren: Het systeem haalde 96,04% nauwkeurigheid, terwijl de oude systemen rond de 95% zaten. Dat klinkt als weinig, maar in de wereld van computers is dat een enorme sprong.
• De moeilijke cases: Het systeem deed het vooral beter bij de lastigste soorten haat, zoals die gericht op geslacht en andere doelgroepen. Hier verbeterde het systeem de detectie met bijna 2,5%. Dat betekent dat er veel meer boze berichten worden opgepikt die anders door de raderen waren geglipt.
• Efficiëntie: Het systeem is niet veel zwaarder of trager. Het is alsof je een slimme bril opzet: je ziet beter, maar je hoofd wordt niet zwaarder.

Conclusie

Kortom: RoBERTa-OTA is als het geven van een speciale kennisbank aan een slimme computer. Door de computer niet alleen te laten lezen, maar ook te laten "nadenken" over de structuur van haat, kunnen we online veiliger worden. Het pakt de lastigste vormen van haat (zoals verkapte seksistische opmerkingen) veel beter op dan de oude methoden, zonder dat het systeem traag wordt.

Dit is een grote stap voorwaarts voor het houden van het internet schoon, vooral voor de groepen mensen die het vaakst het doelwit zijn van verkapte haat.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Multiclass Hate Speech Detection with RoBERTa-OTA: Integrating Transformer Attention and Graph Convolutional Networks" in het Nederlands.

Probleemstelling

Het detecteren van haatzaaiende taal op sociale media is een complex probleem, vooral bij multiclass-classificatie waarbij specifieke demografische doelgroepen (zoals geslacht, religie, etniciteit, leeftijd) worden aangevallen. Bestaande methoden, waaronder geavanceerde transformer-modellen zoals RoBERTa, zijn vaak beperkt tot binaire classificatie (haat vs. geen haat) of missen de nuance bij impliciete doelgerichtheid.

• De uitdaging: Haatzaaiende taal tegen bepaalde groepen (bijv. geslachtsgebonden haat) maakt vaak gebruik van gecodeerde taal en subtiele implicaties die standaard modellen over het hoofd zien.
• Het gat in de literatuur: Bestaande benaderingen vertrouwen uitsluitend op geleerde representaties uit trainingsdata en missen gestructureerde, domeinspecifieke kennis (ontologieën) die kan helpen bij het begrijpen van de semantische relaties tussen verschillende vormen van haat.

Methodologie: RoBERTa-OTA

De auteurs stellen RoBERTa-OTA (RoBERTa with Ontology-guided Transformer Attention) voor, een hybride architectuur die transformer-attention combineert met Graph Convolutional Networks (GCN) om gestructureerde kennis te integreren.

1. Tweestromen Architectuur:
Het model verwerkt tekst en gestructureerde kennis parallel:

• Tekstverwerkingsstroom:
  • Gebruikt een vooraf getrainde RoBERTa-base encoder voor contextuele embeddings.
  • Voegt een geschaalde dot-product attention-laag toe die specifiek is geoptimaliseerd voor patronen van haatzaaiende taal.
  • De output wordt gemiddeld (mean pooling) tot een 768-dimensionale vector.
• Ontologie-verwerkingsstroom:
  • Een Grafische Convolutionale Netwerk (GCN) verwerkt een gestructureerde kennisgrafiek.
  • De Grafiek: Bestaat uit 5 knopen (Age, Ethnicity, Gender, Religion, Other Hate) die volledig met elkaar verbonden zijn.
  • Knooppunten: Elke knoop heeft een 6-dimensionaal feature-vector die semantische eigenschappen encodeert (bijv. demografische targeting, culturele identiteit, taalkundige complexiteit). Deze waarden zijn gebaseerd op linguïstische analyse van de dataset.
  • Verwerking: Een 3-laags GCN (6 → 64 → 64 → 32 dimensies) leert de relaties tussen deze categorieën.

2. Feature Integratie en Classificatie:

• De output van de tekststroom (768 dim) en de ontologiestroom (32 dim) worden samengevoegd (concatenatie) tot een 800-dimensionale vector.
• Deze geïntegreerde vector wordt door een diepe classificatienetwerk gestuurd (3 lineaire lagen: 800 → 400 → 200 → 5) met batch-normalisatie en dropout voor regulering.

3. Dataset en Training:

• Dataset: Een gebalanceerde dataset van 39.747 samples (afgeleid van de SOSNet-framework), verdeeld over 5 haat-categorieën.
• Validatie: 5-voudige stratified cross-validatie.
• Hardware: Getraind op NVIDIA A100 GPU's met AdamW optimizer.

Belangrijkste Bijdragen

1. Ontologie-gestuurde Attention: De eerste integratie van een gestructureerde ontologie (via GCN) met transformer-attention voor multiclass haatdetectie, waardoor het model expliciete domeinkennis gebruikt naast contextuele taalbegrip.
2. Verbeterde Detectie van Impliciete Haat: Het model is specifiek ontworpen om de moeilijkste categorieën (geslacht en "andere" haat) beter te onderscheiden door gebruik te maken van semantische relaties tussen categorieën.
3. Efficiëntie: De architectuur voegt slechts een minimaal rekenkundig overhead toe (0,33% meer parameters), wat het praktisch toepasbaar maakt voor grote schaal.

Resultaten

De evaluatie toont aan dat RoBERTa-OTA significant beter presteert dan zowel de standaard RoBERTa-baseline als de vorige state-of-the-art methode (SOSNet).

• Algemene Prestaties:
  • RoBERTa-OTA: 96,04% nauwkeurigheid en 96,06% F1-score.
  • Standaard RoBERTa: 95,02% nauwkeurigheid en 95,04% F1-score.
  • SOSNet (vorige SOTA): 94,38% nauwkeurigheid en 94,44% F1-score.
• Verbetering per Categorie:
  • De grootste winst wordt geboekt bij de meest uitdagende categorieën:
    • Geslachtsgebonden haat: +2,36 procentpunten (van 90,70% naar 93,06% F1).
    • Andere haat: +2,38 procentpunten (van 88,94% naar 91,32% F1).
  • Duidelijkere categorieën (Religie, Leeftijd, Etniciteit) behalen al hoge scores (>98%), maar worden ook licht verbeterd.
• Robuustheid: RoBERTa-OTA is aanzienlijk robuuster tegen ruis in sociale media-tekst (zoals karaktersubstitutie, deleties en slang). Bij 15% karakter-deletie behoudt het model een F1-score van 79,64% tegenover 76,17% voor de baseline.
• Efficiëntie:
  • Parameter overhead: slechts 0,33% (van 124,65M naar 125,06M).
  • Geheugengebruik: +19,2% (3,1 GB vs 2,6 GB), wat binnen praktische limieten valt.
  • Convergentie: Het model convergeert sneller (minder epochs nodig) dankzij de geleide leerprocessen.

Betekenis en Conclusie

Dit paper demonstreert dat het combineren van contextuele taalmodellen (Transformers) met gestructureerde domeinkennis (Ontologieën via GCN) een krachtige strategie is voor fijnmazige classificatieproblemen.

De belangrijkste implicatie is dat voor contentmoderatie op grote schaal, waar het detecteren van subtiele, impliciete haat (zoals geslachtsgebonden haat) cruciaal is, een kleine toename in rekencapaciteit (0,33% parameters) leidt tot aanzienlijk betere resultaten in de meest kritieke scenario's. De methode biedt een schaalbare oplossing die niet alleen de algehele nauwkeurigheid verbetert, maar specifiek de "lange staart" van moeilijk te detecteren haatzaaiende taal aanpakt, wat essentieel is voor het creëren van veiligere online omgevingen.