💬 NLP

GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages

Het GemDetox-systeem, dat gebruikmaakt van een 12B-parameters tellend Gemma-3-model dat is verbeterd met parameter-efficiënte fijnafstemming, few-shot prompting en retrieval-augmented context, behaalde topklasseringen in de CLEF 2025 TextDetox-challenge door effectief toxische tekst te herschrijven naar neutrale parafrases in zowel hoog- als laagwaardige talen.

Oorspronkelijke auteurs: Trung Duc Anh Dang, Ferdinando Pio D'Elia

Gepubliceerd 2026-02-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Trung Duc Anh Dang, Ferdinando Pio D'Elia

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je sociale media voor als een enorm, bruisend stadsplein. Soms schreeuwen mensen beledigingen, verspreiden ze haat of gebruiken ze grove taal die anderen een onveilig gevoel geeft. Het "GemDetox"-team van de Universiteit van Kopenhagen heeft een digitale "vredesbewaker" gebouwd om dit plein op te schonen zonder de mensen die spreken het zwijgen op te leggen.

Hier is hoe ze het deden, eenvoudig uitgelegd:

De Missie: De Rommel Opruimen Zonder de Boodschap te Wissen

De uitdaging was om een enkele zin vol met giftige woorden (zoals beledigingen of scheldwoorden) te herschrijven zodat deze beleefd en neutraal klinkt, maar nog steeds de oorspronkelijke betekenis behoudt.

De Analogie: Stel je voor dat iemand roept: "Je bent een nutteloze idioot!" Het doel is niet om de zin volledig te verwijderen (wat censuur zou zijn) of om van onderwerp te veranderen. In plaats daarvan herschrijft het systeem het naar: "Ik ben gefrustreerd over je prestaties." De woede is weg, maar de klacht blijft over.

De Hersenen: Een Supervertaler met een Geheugen

Het team heeft geen nieuwe hersenen vanaf nul gebouwd. Ze gebruikten een zeer slim, bestaand AI-model genaamd Gemma-3 (dat 12 miljard "neuronen" of parameters heeft). Denk aan dit model als een polyglot die al vloeiend 15 verschillende talen spreekt, van Engels en Spaans tot Tataars en Hinglish (een mix van Hindi en Engels).

Deze polyglot moest echter leren om een specifieke taak uit te voeren: hoe je beleefd bent.

De Training: De AI Leren Zachtmoedig te Zijn

Om de AI te leren, maakte het team een speciale trainingshandleiding met behulp van drie verschillende methoden:

Het Menselijk Handboek: Ze begonnen met 3.600 echte voorbeelden geschreven door mensen, die precies laten zien hoe je een giftige zin in een vriendelijke zin verandert.
De Machinevertaler: Omdat ze geen menselijke voorbeelden hadden voor zes van de talen, gebruikten ze een machinevertaler om die 3.600 voorbeelden naar de ontbrekende talen te vertalen. Het is alsoals het fotokopiëren van een receptenboek en het vertalen van de ingrediëntenlijst naar een nieuwe taal.
De Oefeningen: Ze genereerden extra oefenzinnen met behulp van de AI zelf, maar ze waren erg streng bij het filteren ervan. Als de herschreven versie van de AI te veel op de oorspronkelijke belediging leek (zoals het slechts veranderen van één letter), gooiden ze het weg. Ze hielden alleen de versies over die echt verschillend waren, maar nog steeds hetzelfde betekenden.

De "Denk"-truc:
Het team leerde de AI een speciale manier van denken genaamd Chain-of-Thought. In plaats van alleen het antwoord te raden, werd de AI gepromptt om een checklist van vier stappen te volgen voordat er gesproken werd:

Identificeer de slechte woorden.
Begrijp waar de zin eigenlijk over gaat.
Herschrijf het met vriendelijke woorden.
Controleer dubbel of de nieuwe zin niet gemeen is.

De Resultaten: Een Overwinning voor De Meesten, Maar Niet Voor Allen

Toen ze hun systeem testten in de competitie:

De Winnaar: Hun systeem kwam op de eerste plaats voor de meeste talen, vooral voor de talen met veel data (zoals Engels, Duits en Frans).
De Strijd: Het systeem had meer moeite met "low-resource" talen (talen met minder beschikbare data, zoals Amhaars of Tataars). In die gevallen produceerde de AI soms onzin of miste het subtiele beledigingen.
De Kloof: Het team ontdekte dat de grootste factor in hoe goed de AI presteerde, simpelweg hoeveel data er voor die taal bestond. Als een taal veel trainingsvoorbeelden had, deed de AI het geweldig. Als er weinig waren, struikelde de AI.

De Realiteitscheck: Het Is Niet Perfect

De auteurs zijn eerlijk over de gebreken:

De Onenigheid van de "Rechter": Wanneer ze een andere, zeer geavanceerde AI vroegen om hun werk te beoordelen (als een menselijke rechter optredend), zakte hun systeem van de 1e plaats naar de 3e plaats. Dit suggereert dat hoewel hun systeem goed is in het volgen van regels, het misschien de subtiele "menselijke beleving" van wat werkelijk beledigend is, mist.
Culturele Blinde Vlekken: De AI miste soms straattaal of regionale beledigingen omdat deze voornamelijk getraind was op standaardtaal. Zo miste het een specifiek Argentijns slangwoord voor "waardeloos" omdat het niet in de trainingsdata stond.
Het Bias-probleem: Het onderliggende AI-model dat ze gebruikten, is getraind op een enorme hoeveelheid internetdata die we niet kunnen zien. Dit betekent dat de AI al ingebouwde vooroordelen (biases) kan hebben die het team niet volledig kon oplossen.

De Kernboodschap

Het GemDetox-team heeft een krachtig hulpmiddel gebouwd dat automatisch giftige berichten op sociale media in 15 verschillende talen kan opschonen. Het werkt het beste wanneer er veel data beschikbaar is om van te leren en wanneer de AI wordt geleerd om "stap voor stap te denken". Hoewel het niet perfect is en nog steeds worstelt met complexe culturele nuances, vertegenwoordigt het een belangrijke stap voorwaarts om moderatoren te helpen online ruimtes veilig te houden zonder de vrijheid van meningsuiting te beperken.

Technische Samenvatting: GemDetox bij TextDetox CLEF 2025

Probleemstelling
Het artikel behandelt de dringende behoefte aan geautomatiseerde tekst-detoxificatie op sociale mediaplatforms, specifiek binnen de context van de PAN 2025 Multilingual Text Detoxification Challenge. De taak bestaat uit het herschrijven van toxische enkelvoudige zinnen naar neutrale parafrases, waarbij de oorspronkelijke betekenis behouden blijft over 15 typologisch diverse talen. De uitdaging is beperkt tot "expliciete toxiciteit" (obsceen of aanstootgevend lexicon met betekenisvolle neutrale inhoud), waarbij impliciete toxiciteit zoals sarcasme of gecodeerde haatspraak wordt uitgesloten. Een cruciale moeilijkheid ligt in de discrepantie tussen hoog-resource talen (bijv. Engels, Spaans) en laag-resource talen (bijv. Tataars, Hinglish, Amhaars), waar datascarciteit de modelprestaties vaak belemmert.

Methodologie
De auteurs stellen "GemDetox" voor, een systeem gebouwd op de 12B-parameter Gemma-3 meertalige transformer. De methodologie is gestructureerd rond drie kerncomponenten:

Data-constructie en Augmentatie:
- Door mensen geschreven data: Het systeem maakt gebruik van de door de organisator verstrekte ParaDetox-9 corpus, die 3.600 toxisch-neutrale parallelle paren bevat over negen talen.
- Machine-vertaalde uitbreiding: Om de zes talen te dekken die ontbraken in de oorspronkelijke corpus (Italiaans, Frans, Hebreeuws, Hinglish, Japans, Tataars), hebben de auteurs alle 3.600 originele paren vertaald met behulp van RLM-Hinglish en NLLB-200, wat resulteerde in 21.600 synthetische paren (ParaDetox-MT6).
- Synthetische Generatie: Aanvullend toezicht werd afgeleid van een Multilingual Toxicity Dataset. Het model genereerde neutralisatie-kandidaten voor enkel toxische zinnen, die werden gefilterd op basis van Jaccard-gelijkenis drempelwaarden (≥0,90 voor machine-vertalingen, ≥0,80 voor synthetische data) om lexicale divergentie en semantische preservatie te waarborgen.
- Contextuele Verrijking: Tijdens training en inferentie werden inputs verrijkt met drie door LaBSE opgehaalde semantische buren en expliciete toxische-span annotaties geëxtraheerd via een regelgebaseerde detector.
Modelarchitectuur en Training:
- Basismodel: Gemma-3-12B-Instruct, gekwantiseerd naar 4-bit precisie om binnen 24 GB VRAM te passen.
- Parameter-Efficient Fine-Tuning (PEFT): De auteurs gebruikten Low-Rank Adaptation (LoRA) met een rank van 16, waarbij slechts 0,55% (≈65M) van de parameters trainbaar werd gemaakt. Adapters werden ingevoegd in alle taal-, aandacht- en MLP-submodules.
- Driefasige Trainingsstrategie:
  - Fase 1: Fine-tuning over alle 15 talen om een baseline-alignment vast te stellen.
  - Fase 2: Gespecialiseerde fine-tuning op data voor talen die geen parallelle menselijke annotaties missen om catastrofale interferentie te voorkomen.
  - Fase 3: Fine-tuning op hoogwaardige synthetische data (gefilterd door Jaccard > 0,9) om de prestaties verder te verfijnen.
- Prompting Strategie: Het systeem maakt gebruik van een vierstaps Chain-of-Thought (CoT) prompting instructie (identificeer toxiciteit, haal semantiek op, herschrijf neutraal, verifieer niet-toxiciteit) gecombineerd met few-shot voorbeelden (drie semantisch dichtstbijzijnde buren) die zijn opgehaald uit de trainingscorpus.
Inferentie:
- Het systeem samplet drie kandidaat-herschrijvingen per input. De uiteindelijke output wordt geselecteerd op basis van de hoogste gezamenlijke score ( $J$ ), berekend met behulp van Style Transfer Accuracy (STA), Content Preservation (SIM via LaBSE) en Fluency (xCOMET).

Belangrijkste Resultaten

Automatische Evaluatie: Het GemDetox-systeem eindigde als eerste overall in zowel de hoog-resource als de laag-resource taalgroepen. Het behaalde een gezamenlijke score ( $J$ $J$ ) van 0,685 in talen met menselijke annotaties en 0,643 in talen zonder.
- Prestaties piekten op Duits ( $J=0,798$ ) en Frans ( $J=0,802$ ).
- Ablatie-studies gaven aan dat few-shot voorbeelden bijdroegen aan een toename van +0,081 in de gezamenlijke score, terwijl basis CoT-prompting +0,088 toevoegde.
LLM-as-a-Judge Evaluatie: Bij hernieuwde evaluatie met een gefinetunede Llama-3.1-8B-Instruct als rechter (getraind op menselijke voorkeuren), daalde de rangorde van het systeem naar de derde plaats in beide subgroepen, met een gemiddelde $J$ van 0,7669. Dit was aanzienlijk lager dan de "Golden Annotation" score (0,8233) maar competitief ten opzichte van andere topteams.
Statistische Analyse: Een ANOVA-analyse toonde aan dat "taal-resource status" de sterkste voorspeller van prestaties was ( $\eta^2 = 0,667, p < 0,01$ ), gevolgd door genetische affiliatie ( $\eta^2 = 0,592$ ).

Significantie en Claims
Het artikel claimt dat de primaire bijdrage het demonstreren is dat parameter-efficiënte fine-tuning van een massaal meertalig model, gecombineerd met strategische data-augmentatie en prompting, effectief de prestatiekloof tussen hoog-resource en laag-resource talen in detoxificatie-taken kan overbruggen.

De auteurs merken bescheiden op dat hoewel hun aanpak sterke automatische resultaten behaalde, de winsten van data-augmentatie "vooral uitgesproken waren voor de laag-resource talen waarvoor ze ontworpen waren." Ze erkennen dat de prestaties van het systeem sterk afhankelijk zijn van de basale capaciteiten van het pre-trained Gemma-3 model, aangezien de zero-shot mT0 baseline al concurrerende scores behaalde (0,675).

Het artikel benadrukt dat hoewel het systeem erin slaagt de kloof voor laag-resource talen te verkleinen, kwalitatieve analyse aantoont dat er hardnekkige uitdagingen blijven bestaan, waaronder:

Het falen om samengestelde toxiciteit te detecteren in talen met gemengde scripts zoals Hinglish.
Het genereren van onzinnige outputs in zeer laag-resource talen zoals Amhaars.
Ambiguïteit in toxiciteitsdefinities die leidt tot over- of onder-detoxificatie in politiek geladen contexten (bijv. Hebreeuws).

De auteurs concluderen dat robuuste detoxificatie bias-bewuste adaptaties vereist tijdens de pre-training, post-training en evaluatiefases, waarbij zij opmerken dat structurele biases in de trainingscorpus van het fundament-model onomkeerbaar zijn en alleen downstream kunnen worden gemitigeerd. Zij suggereren dat toekomstig werk de exploratie van preference-based optimalisatie (bijv. DPO, GRPO) en multi-stage reasoning pipelines moet verkennen om creatieve obfuscatie en emergent slang aan te pakken.