Toward Generalized Cross-Lingual Hateful Language Detection with Web-Scale Data and Ensemble LLM Annotations

Dit artikel toont aan dat het combineren van web-grootte ongelabelde data met synthetische annotaties van een ensemble van grote taalmodellen de prestaties van multilinguale hate speech-detectie, vooral voor kleinere modellen en taakgebieden met weinig data, aanzienlijk verbetert.

De kern

Stel je voor dat je een superheld wilt trainen om boze, haatdragende berichten op internet te herkennen. Maar er is een groot probleem: er zijn niet genoeg "trainingsboeken" (gelabelde data) in alle talen, en mensen die deze boeken schrijven, zijn duur en kunnen soms zelf ook vooroordelen hebben.

De auteurs van dit onderzoek (van de Universiteit van Passau) hebben een slimme, tweeledige strategie bedacht om deze superhelden sterker te maken, zelfs voor talen waar weinig data beschikbaar is (zoals Vietnamees of Spaans). Ze gebruiken twee hulpmiddelen: een gigantische bibliotheek van ongelabelde webteksten en een panel van slimme AI-assistenten.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Oefenmethode": Meer lezen, minder oefenen

Stel je voor dat je een student wilt leren om boze teksten te herkennen.

• De oude manier: Je geeft de student alleen een paar honderd voorbeelden van boze teksten en vraagt hem om te leren.
• De nieuwe manier (Continued Pre-training): Eerst laten we de student miljoenen gewone webteksten lezen (uit een gigantische database genaamd OpenWebSearch.eu). Het is alsof de student eerst een jaar lang kranten, forums en blogs leest om de "smaak" en de "toon" van het internet te snappen. Pas daarna geven we hem de specifieke oefeningen over haatdragende taal.

Het resultaat:
De studenten die eerst die "gigantische bibliotheek" hebben doorlopen, zijn veel slimmer. Ze begrijpen de context beter. Dit werkt vooral goed voor talen waar weinig oefenmateriaal is. Het is alsof je een student eerst laat zien hoe de wereld eruitziet, voordat je hem vraagt om specifieke fouten te vinden.

2. De "Jury": Vier slimme AI's in plaats van één mens

Vervolgens hebben de onderzoekers een ander probleem opgelost: hoe krijg je genoeg voorbeelden van boze teksten zonder duizenden mensen in te huren?
Ze hebben vier verschillende grote AI-modellen (zoals Mistral, Llama, Gemma en Qwen) gevraagd om duizenden webteksten te beoordelen.

Maar AI's maken ook fouten. Dus hebben ze drie manieren bedacht om hun antwoorden te combineren, net als een jury:

1. Meerderheidsstemming (Vote): Als 2 van de 4 AI's zeggen "dit is haat", dan is het haat. (Net als een meerderheidsbesluit in een vergadering).
2. Gemiddelde (Mean): Ze nemen het gemiddelde van alle antwoorden.
3. De Slimme Coach (LightGBM): Dit is de winnaar. In plaats van simpelweg te stemmen, leert een extra AI-systeem welke van de vier juryleden betrouwbaarder is. Het kijkt naar de patronen en zegt: "Ah, AI-model A is vaak te streng, maar AI-model B is heel goed in het herkennen van subtiele boosheid. Ik geef hun antwoorden meer gewicht."

Het resultaat:
Deze "Slimme Coach" (LightGBM) maakt de beste synthetische labels. Het is alsof je een ervaren trainer hebt die weet welke van zijn vier assistenten het beste oordeelt, en die assistenten combineert tot één perfect oordeel.

Wat is de grote les? (De Analogie van de Sport)

Het meest interessante deel van dit onderzoek is hoe dit werkt voor kleine versus grote modellen:

• De Kleine Sporter (Llama3.2-1B): Stel je een jonge, talentvolle sporter voor die nog niet veel ervaring heeft. Als je hem laat trainen met de "synthetische data" (de oordelen van de AI-jury), wordt hij enorm sterk. Hij leert in een paar dagen wat anders maanden zou duren. Zijn prestatie steeg met maar liefst 11%. De synthetische data fungeerde als een krachtige lesmethode.
• De Prof (Qwen2.5-14B): Stel je nu een wereldkampioen voor. Die is al zo goed dat hij nauwelijks nog iets kan leren van een simpele synthetische les. Voor deze grote AI was de verbetering slechts 0,6%. Hij was al bijna perfect; de extra data bracht weinig meer toe.

Samenvatting in één zin

Door eerst een AI te laten "lezen" van de hele wereld (ongelabelde webdata) en hem vervolgens te laten trainen met de gecombineerde oordelen van een slimme AI-jury, kunnen we kleine, snelle AI's maken die haatdragende taal in verschillende talen bijna net zo goed herkennen als grote, dure systemen.

De belangrijkste waarschuwing:
De "synthetische data" heeft een nadeel: het internet is voor 97% niet haatdragend. De AI's zien dus heel weinig echte "haat" in hun oefenmateriaal. Dit is als een brandweerman die 99% van de tijd alleen maar leert hoe hij niet-branden moet blussen, en maar één keer een echte brand ziet. Voor talen met weinig data (zoals Vietnamees) is dit nog steeds een uitdaging, maar de methode werkt wel wonderbaarlijk goed om de basis te leggen.

Technische samenvatting

Probleemstelling

De bouw van robuuste detectoren voor haattaal en beledigende taal wordt beperkt door een schaarste aan hoogwaardige, gelabelde trainingsdata. Het handmatig annoteren van webteksten is kostbaar en introduceert subjectieve vooroordelen. Hoewel er grote hoeveelheden ongelabelde webtekst beschikbaar zijn (bijvoorbeeld via OpenWebSearch.eu of OWS), is het onduidelijk hoe deze het beste benut kunnen worden voor meertalige haatdetectie. Bestaand onderzoek richt zich vaak op één taal of vergelijkt niet rigoureus met modellen die op menselijke labels zijn getraind.

Methodologie

De auteurs hanteren een tweeledige aanpak om de prestaties van haatdetectie in vier talen (Engels, Duits, Spaans, Vietnamees) te verbeteren:

1. Domain-Adaptive Continued Pre-training (DAPT):

   • Er wordt gebruik gemaakt van ongeveer 6 miljoen ongelabelde webteksten uit OWS.
   • BERT-modellen ondergaan een extra fase van "Masked Language Modeling" (MLM) op deze domeinspecifieke, ongelabelde data voordat ze worden gefine-tuned op gelabelde haatdata.
   • Er worden vier varianten getraind: monolinguale modellen voor Engels, Duits en Spaans, en één meertalig model (Ows4L) dat data uit alle vier de talen combineert.

2. Ensemble LLM Annotatie (Synthetische Labels):

   • Vier open-source Large Language Models (LLMs) worden ingezet als automatische annotatoren: Mistral-7B, Llama3.1-8B, Gemma2-9B en Qwen2.5-14B.
   • Deze modellen genereren token-probabiliteiten voor ongelabelde OWS-teksten.
   • Drie ensemble-strategieën worden vergeleken om de uiteindelijke synthetische labels te bepalen:
     • Meerderheidsstemming (Vote): Een tekst is "haat" als minstens twee modellen dat zeggen.
     • Gemiddelde (Mean): Het gemiddelde van de waarschijnlijkheden over alle modellen.
     • LightGBM Meta-Learner (LGB): Een classifier die wordt getraind op de probabiliteitsvectoren van de vier LLMs, gebruikmakend van menselijke labels als supervisie. Deze leert de betrouwbaarheid van elke annotator te wegen.
   • Deze synthetische labels worden gebruikt om kleinere modellen (zoals Llama3.2-1B) te fine-tunen, of om bestaande datasets te verrijken.

Belangrijkste Bijdragen

• Schaalbaarheidsstudie: Het paper presenteert een benchmark over 16 datasets in vier talen, waarbij web-schaal data en LLM-ensemble annotaties systematisch worden geëvalueerd.
• Validatie van Ensemble-annotatie: Het toont aan dat het ensemble van meerdere LLMs, met name via een meta-learner (LightGBM), superieur is aan simpele aggregatiemethoden en menselijke labels kan aanvullen of vervangen.
• Inzicht in Modelgrootte: Het onderzoek onthult een omgekeerd evenredig verband tussen modelgrootte en het nut van synthetische data: kleinere modellen profiteren enorm, terwijl grotere modellen minder baat hebben.

Resultaten

1. Voortgezette Pre-training (BERT):

• Algemene verbetering: Alle OWS-gebaseerde BERT-modellen presteren beter dan standaard BERT en HateBERT op alle 16 testsets.
• Meertalige prestaties: Het meertalige model (Ows4L) behaalde de beste gemiddelde macro-F1-score (77,0%) en leverde consistente verbeteringen op in alle vier de talen, vooral in low-resource scenario's.
• Low-resource winst: De verbetering was het grootst wanneer de hoeveelheid gelabelde trainingsdata beperkt was (bijv. +3% gemiddelde F1 bij het 7-Set scenario).

2. LLM Ensemble Annotatie:

• Kleine modellen (Llama3.2-1B): Synthetische data had een dramatisch effect. Het combineren van menselijke labels met LightGBM-ensemble labels (H+LGB) leidde tot een stijging van +10,6% in de gepoolde F1-score ten opzichte van de menselijke baseline.
• Grote modellen (Qwen2.5-14B): Voor dit grotere model was de winst minimaal (+0,6%). De sterke aannames (priors) van het grote model werden snel verzadigd door de onbalans in de synthetische data.
• Beste Strategie: De LightGBM meta-learner presteerde consistent beter dan meerderheidsstemming en gemiddelde. Het vermijdt regressies op ongeziene talen (zoals Spaans en Vietnamees) door de vooroordelen van individuele LLMs te corrigeren.
• Uitdaging: De synthetische datasets vertoonden een extreme klassenonbalans (meer dan 97% neutraal), wat de detectie van de minderheidsklasse (haat) bemoeilijkte, vooral voor low-resource talen.

Betekenis en Conclusie

Dit onderzoek demonstreert dat de combinatie van web-schaal ongelabelde data en ensemble LLM-annotaties een krachtige strategie is voor het verbeteren van meertalige haatdetectie, met name voor:

1. Kleinere modellen: Waar synthetische data fungeert als een effectieve kennisdistillatie.
2. Low-resource talen: Waar traditionele menselijke annotatie schaars is.

De studie concludeert dat de LightGBM-ensemble-methode de meest betrouwbare aanpak is om synthetische labels te genereren, omdat deze de betrouwbaarheid van individuele annotatoren dynamisch weegt. Echter, de ernstige onbalans in de gegenereerde data blijft een kritieke bottleneck die toekomstig onderzoek vereist, bijvoorbeeld door gerichte filtering van haat-inhoud in web-crawls.