Hate Speech Detection using Large Language Models with Data Augmentation and Feature Enhancement

Dit onderzoek evalueert de effectiviteit van data-augmentatie en kenmerkverbetering voor de detectie van haatzaaiende taal, waarbij het aantoont dat open-source modellen zoals gpt-oss-20b over het algemeen het beste presteren, hoewel traditionele methoden zoals Delta TF-IDF met augmentatie op specifieke datasets tot 98,2% nauwkeurigheid kunnen bereiken, en benadrukt dat de detectie van impliciete haatzaaiende taal complexer is en sterk afhankelijk is van de interactie tussen dataset, model en techniek.

De kern

Hate Speech Detecteren: Een Simpele Uitleg in het Nederlands

Stel je voor dat het internet een gigantisch, drukke markt is. Op deze markt verkopen de meeste mensen mooie producten (normale berichten), maar er zijn ook een paar mensen die giftige spullen verkopen (haatberichten). Het probleem is dat deze giftige verkopers zich vaak verstoppen, vermommen of heel slim praten, zodat de bewakers (de moderatoren) ze niet direct zien.

De auteurs van dit onderzoek, een team van Monash University in Australië, hebben gekeken hoe we deze giftige verkopers het beste kunnen opsporen. Ze hebben verschillende "detectiemethoden" getest, variërend van simpele regels tot super-slimme kunstmatige intelligentie (AI).

Hier is wat ze hebben ontdekt, vertaald naar alledaagse taal:

1. De Drie Helden in de Strijd

De onderzoekers hebben drie soorten "detectives" tegen elkaar laten strijden:

• De Oude Varken (Delta TF-IDF): Dit is een simpele, traditionele methode. Het kijkt alleen naar welke woorden vaak voorkomen. Het is als een bewaker die alleen let op woorden als "slecht" of "haat". Als je die woorden niet gebruikt, ziet hij je niet.
• De Slimme Studenten (Transformer-modellen zoals BERT en RoBERTa): Dit zijn slimme AI's die context begrijpen. Ze weten dat "wat een mooi weer" soms sarcastisch kan zijn. Ze lezen de hele zin en begrijpen de nuance.
• De Super-Genie (gpt-oss-20b): Dit is een zeer grote, moderne AI. Het is als een detective die alles heeft gelezen, alles begrijpt en zelfs de subtiele gedachten achter de woorden kan lezen.

2. De Uitdaging: Vermommingen

De markt heeft twee soorten gevaar:

• Duidelijk Giftig: Iemand schreeuwt hardop dat hij haat. Dit is makkelijk te zien (zoals op het forum Stormfront).
• Verborgen Giftig: Iemand gebruikt code, sarcasme of subtiele hints om haat te verspreiden zonder de regels te overtreden (zoals in de Hate Corpus). Dit is veel moeilijker te vangen.

3. De Trucs om Beter te Worden (Data Augmentatie & Feature Enhancement)

Omdat er veel minder giftige verkopers zijn dan normale mensen (een onevenwichtige verdeling), moeten de detectives getraind worden om de kleine groep beter te zien. De onderzoekers hebben vier trucs getest:

• De Fotokopie-truc (SMOTE): Ze maken kunstmatige voorbeelden van haatberichten om de AI meer te laten oefenen.
  • Resultaat: Dit werkte soms goed, maar soms maakte het de AI alleen maar verward, vooral bij de subtiele, verborgen haat. Het was alsof je iemand te veel voorbeelden van een specifiek type misdrijf geeft, waardoor hij denkt dat alles dat type misdrijf is.
• De Grammatica-bril (POS Tagging): Ze gaven de AI een bril die let op de grammatica (werkwoorden, bijvoeglijke naamwoorden, etc.).
  • Resultaat: Dit was een veilige, stabiele truc. Het hielp een beetje, maar veranderde de wereld niet. Het was als een extra paar brillenglazen: handig, maar geen wondermiddel.
• De Vermommingstruc (Data Augmentatie): Ze veranderden de zinnen in de training: ze voegden fouten toe, veranderden woorden in synoniemen of herschreven zinnen, maar hielden de boodschap hetzelfde.
  • Resultaat: Dit was de grootste verrassing! De simpele "Oude Varken" (Delta TF-IDF) werd hierdoor een superheld. Op het forum Stormfront (waar de haat heel duidelijk is) schoot deze simpele methode omhoog naar 98,2% nauwkeurigheid. De super-slimme AI's (zoals gpt-oss-20b) deden het ook goed, maar ze waren al zo slim dat deze truc minder extra voordeel gaf.

4. De Grote Winnaar

Wie won de wedstrijd?

• De Super-Genie (gpt-oss-20b) was overal het beste. Het had de hoogste scores op bijna alle tests. Het begrijpt de context het allerbeste.
• De Slimme Studenten (RoBERTa) deden het ook uitstekend en zijn veel sneller en goedkoper om te draaien. Een prima alternatief als je niet de zwaarste computerkracht hebt.
• De Oude Varken deed het slecht op zijn eentje, maar met de juiste "vermommingstruc" (data augmentation) kon hij op simpele taken bijna net zo goed zijn als de slimme AI's.

5. De Belangrijkste Les

De belangrijkste conclusie is dat er geen "one size fits all" oplossing is.

• Als je duidelijke haat moet opsporen (zoals scheldwoorden), werkt zelfs een simpele methode heel goed, zeker als je de training slim maakt.
• Als je verborgen, subtiele haat moet opsporen, heb je echt de slimme AI's nodig die context begrijpen.
• Het hangt er altijd van af: wat voor soort "markt" (dataset) heb je en welke "detective" (model) gebruik je?

Kortom: Om haat op het internet te vangen, heb je niet alleen een sterke AI nodig, maar ook de juiste trainingsmethode. Soms helpt het om de simpele methoden slim te maken, en soms moet je gewoon de slimste AI van de stad inhuren. En ja, het is nog steeds heel moeilijk om degenen te vangen die zich heel slim verstoppen!

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Hate Speech Detection using Large Language Models with Data Augmentation and Feature Enhancement", geschreven in het Nederlands.

Probleemstelling

De opkomst van online platforms heeft extremistische groepen in staat gesteld om schadelijke inhoud op grote schaal te verspreiden. Hoewel bestaande moderatiesystemen (zoals die van Meta en YouTube) effectief zijn in het verwijderen van expliciete haat, blijven er significante gaten bestaan. Deze gaten worden veroorzaakt door:

1. Implicitie haat: Gebruikers maken gebruik van subtiele, contextafhankelijke en impliciete communicatiestrategieën die moeilijker te detecteren zijn dan expliciete haat.
2. Klasse-ongelijkheid (Class Imbalance): Haatuitingen vormen een kleine minderheid van de totale online inhoud, wat leidt tot slechte recall voor de minderheidsklasse in machine learning-modellen.
3. Beperkte datasets: Er is een tekort aan hoogwaardige, openbaar beschikbare datasets die zowel expliciete als impliciete haat dekken.
4. Gebrek aan brede evaluatie: Bestaand onderzoek focust vaak op smalle model-families, waardoor het moeilijk is om generaliseerbare conclusies te trekken over de effectiviteit van traditionele classifiers versus geavanceerde Large Language Models (LLMs) in combinatie met diverse verrijkingstechnieken.

Methodologie

De auteurs hebben een uitgebreide empirische evaluatie uitgevoerd om de impact van data-augmentatie en feature-enhancement te testen op verschillende modelarchitecturen.

1. Gebruikte Datasets:
De studie omvat vier datasets met variërende kenmerken:

• Hate Corpus: Focus op impliciete haat (34.183 tweets).
• Gab & Reddit: Conversatie-gebaseerde data van alternatieve sociale media.
• Stormfront: Een dataset van een witte supremacistische forum met expliciete haat (10.944 zinnen).
• Merged Dataset: Een unificatie van bovenstaande datasets (>54.680 samples).

2. Geëvalueerde Modelarchitecturen:

• Traditioneel: Delta TF-IDF (een variant van Term Frequency-Inverse Document Frequency met feature-selectie).
• Transformers: DistilBERT, RoBERTa, DeBERTaV3.
• Large Language Models (LLMs): Gemma-7B en gpt-oss-20b (een open-source redenerend model met 20 miljard parameters).

3. Verrijkingstechnieken (Enhancement Techniques):
De modellen werden getest onder vier configuraties:

• Baseline: Standaard training zonder extra technieken.
• Linguïstische Verrijking: Toepassing van SMOTE (Synthetic Minority Over-sampling Technique) voor klasse-ongelijkheid, gewogen loss (op basis van inverse klasseproporties) en POS-tagging (Part-of-Speech tagging) om grammaticale context toe te voegen.
• Combinatie: SMOTE + Gewogen Loss + POS-tagging.
• Data Diversiteit: Geavanceerde tekst-data-augmentatie (synoniemvervanging, willekeurige invoeging/verwijdering, typfout-simulatie, en contextuele paraphrasing met transformer-modellen) om de dataset te diversifiëren.

4. Evaluatiemetrics:
Naast nauwkeurigheid (Accuracy) werden metrics gebruikt die robuuster zijn voor onbalans, zoals Macro F1-score, F0.5 (focus op precisie), F2 (focus op recall), en AUC (Area Under the Curve).

Belangrijkste Bijdragen

• Uitgebreide Benchmarking: Een zeldzame vergelijking die traditionele methoden (Delta TF-IDF) direct confronteert met moderne LLMs (tot 20B parameters) over een breed spectrum van datasets.
• Analyse van Interactie: Onderzoek naar hoe dataset-eigenschappen (expliciet vs. impliciet), modelarchitectuur en verrijkingstechnieken met elkaar interageren.
• Openbare Code: De implementatiecode en gedetailleerde resultaten zijn beschikbaar gesteld via GitHub, wat reproduceerbaarheid bevordert.

Resultaten

De resultaten tonen aanzienlijke variatie afhankelijk van het dataset en de gebruikte techniek:

1. Modelprestaties:

   • gpt-oss-20b presteerde consistent het beste op alle datasets en metrics, met een baseline nauwkeurigheid van 87,9% op de gemengde dataset en 93,2% op Stormfront.
   • RoBERTa en DeBERTaV3 waren sterke concurrenten, met name RoBERTa vanwege zijn lagere complexiteit (125M parameters vs. 20B).
   • Delta TF-IDF presteerde onderaan in de baselines (65,5% - 89,7%), maar toonde een opmerkelijke responsiviteit op verrijkingstechnieken.

2. Impact van Verrijkingstechnieken:

   • Data Augmentatie: Had het meest dramatische effect op Delta TF-IDF. De nauwkeurigheid steeg van 89,7% naar 98,2% op de Stormfront-dataset. Voor transformer-modellen waren de resultaten gemengd; sommige presteerden beter, terwijl anderen (zoals DistilBERT op de Hate Corpus) een daling zagen (van 69,4% naar 55,1%), wat suggereert dat augmentatie ruis kan introduceren voor complexe modellen.
   • SMOTE & Gewogen Loss: Leverde wisselende resultaten op. Op de complexe Hate Corpus-dataset (impliciete haat) leidde SMOTE vaak tot een prestatiedaling voor alle modellen, wat suggereert dat synthetische samples ruis introduceren bij het modelleren van subtiele patronen.
   • POS-tagging: Biedt over het algemeen stabiele, maar marginale verbeteringen met een laag risico op overfitting. Het was de veiligste strategie voor productie-systemen, hoewel het soms leidde tot kleine dalingen bij zeer geavanceerde modellen zoals gpt-oss-20b.

3. Dataset Complexiteit:

   • Expliciete haat (Stormfront): Gemakkelijker te detecteren, met hoge baselines voor alle modellen.
   • Impliciete haat (Hate Corpus): Biedt de grootste uitdaging, met lagere baselines (65,5% - 75,7%) en een grotere gevoeligheid voor verrijkingstechnieken.

Betekenis en Conclusie

De studie concludeert dat er geen "one-size-fits-all" oplossing bestaat voor haatdetectie. De effectiviteit van verrijkingstechnieken hangt sterk af van de interactie tussen de dataset (expliciet vs. impliciet) en het modeltype.

• gpt-oss-20b bevestigt zijn superioriteit als het meest robuuste model voor haatdetectie, maar RoBERTa blijft een zeer competitief alternatief voor scenario's waar rekenkracht een beperkende factor is.
• Traditionele modellen zoals Delta TF-IDF kunnen, wanneer ze gecombineerd worden met geavanceerde data-augmentatie, prestaties bereiken die vergelijkbaar zijn met of zelfs de baselines van LLMs overtreffen voor specifieke, expliciete taken.
• Aanbeveling: Voor systemen die impliciete haat moeten detecteren, is voorzichtigheid geboden bij agressieve augmentatie (zoals SMOTE), omdat dit de prestaties kan verslechteren. POS-tagging wordt aanbevolen als een veilige, universele toevoeging.

De bevindingen onderstrepen de noodzaak van zorgvuldige empirische evaluatie bij het ontwerpen van moderatiesystemen, waarbij rekening moet worden gehouden met de specifieke aard van de haatuitingen en de gekozen modelarchitectuur.