💬 NLP

GemDetox at TextDetox CLEF 2025: Enhancing a Massively Multilingual Model for Text Detoxification on Low-resource Languages

Das GemDetox-System, welches ein durch parametereffiziente Feinabstimmung, Few-Shot-Prompting und Retrieval-Augmented-Context erweitertes 12B-Parameter-Gemma-3-Modell nutzt, erreichte Spitzenplatzierungen bei der CLEF 2025 TextDetox-Challenge, indem es toxische Texte effektiv in neutrale Paraphrasen sowohl in ressourcenreichen als auch in ressourcenarmen Sprachen umschrieb.

Ursprüngliche Autoren: Trung Duc Anh Dang, Ferdinando Pio D'Elia

Veröffentlicht 2026-02-03

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Trung Duc Anh Dang, Ferdinando Pio D'Elia

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich soziale Medien wie einen riesigen, belebten Marktplatz vor. Manchmal schreien Menschen Beleidigungen, verbreiten Hass oder benutzen vulgäre Sprache, die andere verunsichert oder verängstigt. Das „GemDetox“-Team der Universität Kopenhagen hat einen digitalen „Friedenswächter“ entwickelt, der hilft, diesen Platz zu säubern, ohne die Menschen beim Sprechen mund zu versetzen.

So haben sie es gemacht, einfach erklärt:

Die Mission: Den Dreck beseitigen, ohne die Botschaft zu löschen

Die Herausforderung bestand darin, einen einzelnen Satz voller toxischer Wörter (wie Beleidigungen oder Schimpfwörter) so umzuschreiben, dass er höflich und neutral klingt, aber dennoch die ursprüngliche Bedeutung beibehält.

Die Analogie: Stellen Sie sich vor, jemand schreit: „Du bist ein nutzloser Idiot!“ Das Ziel ist nicht, den Satz komplett zu löschen (was Zensur wäre) oder das Thema zu ändern. Stattdessen schreibt das System es um zu: „Ich bin mit Ihrer Leistung unzufrieden.“ Der Zorn ist verschwunden, aber die Beschwerde bleibt bestehen.

Das Gehirn: Ein Super-Übersetzer mit einem Gedächtnis

Das Team hat kein neues Gehirn von Grund auf neu erschaffen. Sie nutzten ein sehr intelligentes, bereits existierendes KI-Modell namens Gemma-3 (das über 12 Milliarden „Neuronen“ oder Parameter verfügt). Denken Sie bei diesem Modell an einen Polyglotten, der bereits 15 verschiedene Sprachen fließend spricht, von Englisch und Spanisch bis hin zu Tatar und Hinglish (einer Mischung aus Hindi und Englisch).

Dieser Polyglott musste jedoch lernen, eine spezifische Aufgabe zu übernehmen: zu höflich zu sein.

Das Training: Die KI lehren, sanft zu sein

Um die KI zu lehren, erstellte das Team ein spezielles Trainingshandbuch unter Verwendung von drei verschiedenen Methoden:

Das menschliche Handbuch: Sie begannen mit 3.600 echten Beispielen, die von Menschen geschrieben wurden und genau zeigten, wie man einen toxischen Satz in einen netten verwandelt.
Der maschinelle Übersetzer: Da sie keine menschlichen Beispiele für sechs der Sprachen hatten, nutzten sie einen maschinellen Übersetzer, um diese 3.600 Beispiele in die fehlenden Sprachen zu übertragen. Es ist so, als würde man ein Rezeptbuch fotokopieren und die Zutatenliste in eine neue Sprache übersetzen.
Die Übungsdrills: Sie generierten zusätzliche Übungssätze mithilfe der KI selbst, waren dabei aber sehr streng beim Filtern. Wenn die Umformulierung der KI der ursprünglichen Beleidigung zu ähnlich war (wie etwa durch das Ändern eines einzigen Buchstabens), warfen sie diese weg. Sie behielten nur diejenigen, die wirklich unterschiedlich, aber dennoch bedeutungsgemäß identisch waren.

Der „Denk“-Trick:
Das Team brachte der KI eine spezielle Denkweise bei, die Chain-of-Thought (Gedankenkette) genannt wird. Anstatt einfach nur die Antwort zu raten, wurde die KI angewiesen, einer vierstufigen Checkliste zu folgen, bevor sie spricht:

Identifiziere die schlechten Wörter.
Verstehe, worum es in dem Satz eigentlich geht.
Schreibe ihn mit netten Wörtern um.
Überprüfe doppelt, ob der neue Satz nicht gemein ist.

Die Ergebnisse: Ein Sieg für die meisten, aber nicht für alle

Als sie ihr System im Wettbewerb testeten:

Der Gewinner: Ihr System belegte in den meisten Sprachen den ersten Platz, insbesondere bei denjenigen mit reichlich Daten (wie Englisch, Deutsch und Französisch).
Der Kampf: Das System hatte mehr Schwierigkeiten mit „ressourcenarmen“ Sprachen (Sprachen mit weniger verfügbaren Daten, wie Amharisch oder Tatar). In diesen Fällen produzierte die KI manchmal Unsinn oder übersah subtile Beleidigungen.
Die Lücke: Das Team stellte fest, dass der wichtigste Faktor für die Leistung der KI schlichtweg die Menge der vorhandenen Daten für diese Sprache war. Wenn eine Sprache viele Trainingsbeispiele hatte, war die KI großartig. Wenn es wenige gab, stolperte die KI.

Der Realitätscheck: Es ist nicht perfekt

Die Autoren sind ehrlich über die Mängel:

Uneinigkeit der „Richter“: Als sie eine andere, hochmoderne KI baten, ihre Arbeit zu bewerten (die als menschlicher Richter fungierte), fiel ihr System vom 1. Platz auf den 3. Platz zurück. Dies deutet darauf hin, dass ihr System zwar gut darin ist, Regeln zu befolgen, aber vielleicht das subtile „menschliche Gefühl“ dafür vermissen könnte, was wirklich beleidigend ist.
Kulturelle blinde Flecken: Die KI übersah manchmal Slang oder regionale Beleidigungen, da sie hauptsächlich auf Standardsprache trainiert wurde. Zum Beispiel übersah sie ein spezifisches argentinisches Slangwort für „wertlos“, weil es nicht in ihren Trainingsdaten enthalten war.
Das Bias-Problem: Das zugrunde liegende KI-Modell wurde mit einer riesigen Menge an Internetdaten trainiert, die wir nicht einsehen können. Das bedeutet, dass die KI bereits eingebaute Vorurteile (Biases) haben könnte, die das Team nicht vollständig korrigieren konnte.

Das Fazate

Das GemDetox-Team hat ein leistungsfähiges Werkzeug geschaffen, das in der Lage ist, toxische Social-Media-Beiträge in 15 verschiedenen Sprachen automatisch zu bereinigen. Es funktioniert am besten, wenn viel Datenmaterial zum Lernen vorhanden ist und wenn die KI angewiesen wird, „Schritt für Schritt zu denken“. Obwohl es nicht perfekt ist und immer noch mit komplexen kulturellen Nuancen kämpft, stellt es einen bedeutenden Fortschritt dar, um Moderatoren dabei zu helfen, Online-Räume sicher zu halten, ohne die freie Meinungsäußerung zu unterdrücken.

Technische Zusammenfassung: GemDetox bei TextDetox CLEF 2025

Problemstellung
Die Arbeit adressiert die dringende Notwendigkeit der automatisierten Text-Entgiftung (Detoxifizierung) auf Social-Media-Plattformen, speziell im Kontext der PAN 2025 Multilingual Text Detoxification Challenge. Die Aufgabe besteht darin, toxische Einzel-Satz-Eingaben in neutrale Paraphrasen umzuschreiben und dabei die ursprüngliche Bedeutung über 15 typologisch diverse Sprachen hinweg zu bewahren. Die Herausforderung ist auf „explizite Toxizität“ (obszöner oder beleidigender Wortschatz, der bedeutungsvolle neutrale Inhalte enthält) beschränkt und schließt implizite Toxizität wie Sarkasmus oder kodierten Hassrede aus. Eine kritische Schwierigkeit liegt in der Disparität zwischen ressourcenreichen Sprachen (z. B. Englisch, Spanisch) und ressourcenarmen Sprachen (z. B. Tatar, Hinglish, Amharisch), wobei Datenknappheit oft die Modellleistung behindert.

Methodik
Die Autoren schlagen „GemDetox“ vor, ein System, das auf dem 12B-Parameter Gemma-3 multilingualen Transformer basiert. Die Methodik gliedert sich in drei Kernkomponenten:

Datenkonstruktion und -augmentation:
- Vom Menschen verfasste Daten: Das System nutzt den vom Organisator bereitgestellten ParaDetox-9-Korpus, der 3.600 toxisch-neutrale Parallelpaare über neun Sprachen hinweg enthält.
- Maschinell übersetzte Erweiterung: Um die sechs Sprachen abzudecken, die im ursprünglichen Korpus fehlen (Italienisch, Französisch, Hebräisch, Hinglish, Japanisch, Tatar), übersetzten die Autoren alle 3.600 Originalpaare mittels RLM-Hinglish und NLLB-200, wodurch 21.600 synthetische Paare (ParaDetox-MT6) generiert wurden.
- Synthetische Generierung: Zusätzliche Supervision wurde aus einem multilingualen Toxizitätsdatensatz abgeleitet. Das Modell generierte Neutralisierungskandidaten für rein toxische Sätze, welche basierend auf Jaccard-Ähnlichkeitsschwellenwerten gefiltert wurden (≥0,90 für maschinell übersetzt, ≥0,80 für synthetisch), um lexikalische Divergenz und semantische Bewahrung sicherzustellen.
- Kontextuelle Anreicherung: Während des Trainings und der Inferenz wurden die Eingaben mit drei durch LaBSE abgerufenen semantischen Nachbarn und expliziten toxischen-Span-Annotationen angereichert, die via eines regelbasierten Detektors extrahiert wurden.
Modellarchitektur und Training:
- Basismodell: Gemma-3-12B-Instruct, quantisiert auf 4-Bit-Präzision, um in 24 GB VRAM zu passen.
- Parameter-Efficient Fine-Tuning (PEFT): Die Autoren setzten Low-Rank Adaptation (LoRA) mit einem Rang von 16 ein, wodurch nur 0,55 % (≈65M) der Parameter trainierbar waren. Die Adapter wurden in alle Sprach-, Attention- und MLP-Submodule eingefügt.
- Dreiphasige Trainingsstrategie:
  - Phase 1: Fine-Tuning über alle 15 Sprachen hinweg, um eine Baseline-Ausrichtung zu etablieren.
  - Phase 2: Spezialisiertes Fine-Tuning auf Daten für Sprachen, denen parallele menschliche Annotationen fehlten, um katastrophale Interferenz zu verhindern.
  - Phase 3: Fine-Tuning auf hochwertigen synthetischen Daten (gefiltert durch Jaccard > 0,9), um die Leistung weiter zu verfeinern.
- Prompting-Strategie: Das System nutzt eine vierstufige Chain-of-Thought (CoT) Instruktion (Toxizität identifizieren, Semantik abrufen, neutral umschreiben, Nicht-Toxizität verifizieren) kombiniert mit Few-Shot-Beispielen (drei semantisch ähnlichste Nachbarn), die aus dem Trainingskorpus abgerufen werden.
Inferenz:
- Das System sampelt drei Kandidat-Umschreibungen pro Eingabe. Die endgültige Ausgabe wird basierend auf dem höchsten gemeinsamen Score ( $J$ ) ausgewählt, der unter Verwendung von Style Transfer Accuracy (STA), Content Preservation (SIM via LaBSE) und Fluency (xCOMET) berechnet wird.

Wichtigste Ergebnisse

Automatische Evaluierung: Das GemDetox-System belegte insgesamt den ersten Platz sowohl in der Gruppe der ressourcenreichen als auch in der Gruppe der ressourcenarmen Sprachen. Es erreichte einen gemeinsamen Score ( $J$ $J$ ) von 0,685 in Sprachen mit menschlich annotierten Daten und 0,643 in Sprachen ohne diese.
- Die Leistung erreichte Spitzenwerte bei Deutsch ( $J=0,798$ ) und Französisch ( $J=0,802$ ).
- Ablationsstudien zeigten, dass Few-Shot-Beispiele zu einer Steigerung des gemeinsamen Scores um +0,081 beitrugen, während das grundlegende CoT-Prompting +0,088 hinzufügte.
LLM-as-a-Judge Evaluierung: Bei einer Re-Evaluierung unter Verwendung eines fein abgestimmten Llama-3.1-8B-Instruct als Judge (trainiert auf menschlichen Präferenzen) sank das Ranking des Systems auf den dritten Platz in beiden Subgruppen, mit einem durchschnittlichen $J$ von 0,7669. Dies war signifikant niedriger als der „Golden Annotation“-Score (0,8233), aber wettbewerbsfähig gegenüber anderen Top-Teams.
Statistische Analyse: Eine ANOVA-Analyse ergab, dass der „Sprachressourcen-Status“ der stärkste Prädiktor für die Leistung war ( $\eta^2 = 0,667, p < 0,01$ ), gefolgt von der genetischen Zugehörigkeit ( $\eta^2 = 0,592$ ).

Bedeutung und Ansprüche
Das Paper behauptet, dass sein primärer Beitrag darin besteht, zu zeigen, dass das Parameter-effiziente Fine-Tuning eines massiv multilingualen Modells, kombiniert mit strategischer Datenaugmentation und Prompting, die Leistungsdifferenz zwischen ressourcenreichen und ressourcenarmen Sprachen bei Detoxifizierungsaufgaben effektiv überbrücken kann.

Die Autoren merken bescheiden an, dass obwohl ihr Ansatz starke automatische Ergebnisse erzielte, die Gewinne durch Datenaugmentation „besonders ausgeprägt für die ressourcenarmen Sprachen waren, für die sie entwickelt wurden“. Sie räumen ein, dass die Leistung des Systems stark von den Basisfähigkeiten des vortrainierten Gemma-3 Modells abhängt, da die Zero-Shot mT0-Baseline bereits kompetitive Scores (0,675) erreichte.

Das Paper hebt hervor, dass das System zwar erfolgreich die Lücke für ressourcenarme Sprachen schließt, die qualitative Analyse jedoch anhaltende Herausforderungen aufzeigte, darunter:

Das Versagen bei der Erkennung komplexer Toxizität in gemischten Skript-Sprachen wie Hinglish.
Die Generierung unsinniger Ausgaben in sehr ressourcenarmen Sprachen wie Amharisch.
Ambiguität in Toxizitätsdefinitionen, die zu Über- oder Unter-Detoxifizierung in politisch aufgeladenen Kontexten (z. B. Hebräisch) führt.

Die Autoren schließen, dass robuste Detoxifizierung bias-bewusste Anpassungen in den Pre-Training-, Post-Training- und Evaluierungsphasen erfordert, wobei sie darauf hinweisen, dass strukturelle Biases im Trainingskorpus des Fundamentmodells irreversibel sind und nur downstream gemildert werden können. Sie schlagen vor, dass zukünftige Arbeiten die Untersuchung von präferenzbasierter Optimierung (z. B. DPO, GRPO) und mehrstufigen Reasoning-Pipelines zur Adressierung von kreativer Verschleierung und emergentem Slang explorieren sollten.