PSK@EEUCA 2026: Fine-Tuning Large Language Models with Synthetic Data Augmentation for Multi-Class Toxicity Detection in Gaming Chat
Das Team PSK@EEUCA 2026 erreichte im World of Tanks-Toxizitätserkennungswettbewerb den 4. Platz, indem es Llama 3.1 8B mit LoRA-Fine-Tuning und einer 5%igen synthetischen Datenaugmentierung kombinierte, um einen F1-Macro-Score von 0,6234 zu erzielen, und dabei gleichzeitig eine kritische „Validierungsfalle" identifizierte, bei der hohe Validierungsleistung nicht auf den Testset verallgemeinerbar ist.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich einen riesigen, chaotischen Online-Gaming-Lobby vor (speziell für das Spiel World of Tanks), in dem Tausende von Spielern jede Sekunde chatten. Meistens reden die Leute ganz normal, aber manchmal werden sie wütend, beleidigen sich gegenseitig oder sagen hasserfüllte Dinge.
Das Ziel dieser Forschung war es, einen „digitalen Schiedsrichter" (eine KI) zu entwickeln, der diese Chat-Nachrichten lesen und in sechs verschiedene Kategorien einteilen kann:
- Normaler Chat (Die überwältigende Mehrheit)
- Beleidigungen (Jemanden als schlechten Spieler zu bezeichnen)
- Andere Beleidigungen (Unhöflich, aber kein direkter Angriff)
- Hass/Belästigung (Angriff auf die Identität einer Person)
- Drohungen (Gewalt zu versprechen)
- Extremismus (Hassideologie)
Das Team PSK@EEUCA trat in einem Wettbewerb an, um zu sehen, wer den besten Schiedsrichter bauen kann. Sie landeten auf Platz 4 von 35 Teams. Hier ist, wie sie es geschafft haben, einfach erklärt.
Das große Problem: Der „leere Raum" versus die „winzige Menge"
Die größte Herausforderung bestand darin, dass die Chat-Daten extrem unausgewogen waren.
- 81 % der Nachrichten waren völlig normal.
- Die „schlechten" Nachrichten (wie Drohungen oder Extremismus) waren so selten, dass sie weniger als 1 % des Gesamtvolumens ausmachten.
Die Analogie: Stellen Sie sich vor, Sie versuchen, einem Hund beizubringen, eine bestimmte Art seltener Blumen auf einem Feld zu finden. Aber 81 % des Feldes sind nur Gras, und die seltenen Blumen sind in einer winzigen Ecke versteckt. Wenn Sie dem Hund das Feld einfach so zeigen, wie es ist, wird der Hund lernen, jedes Mal „Gras!" zu sagen, weil das die sicherste Wette ist. Er wird bei den Übungstests eine hohe Punktzahl erzielen (weil das Feld zu 81 % tatsächlich Gras ist), aber er wird versagen, wenn er tatsächlich die seltenen Blumen finden muss.
Die „Validierungs-Falle" (Die gefälschte Punktzahl)
Die Forscher entdeckten ein hinterhältiges Problem, das sie die „Validierungs-Falle" nennen.
Als sie ihre KI trainierten, testeten sie sie auf einem „Übungssatz" (Validierungsdaten). Einige der größten und leistungsfähigsten KI-Modelle erzielten auf diesem Übungssatz sehr hohe Punktzahlen. Warum? Weil sie zu konservativ waren. Sie sagten im Grunde: „Ich sehe 81 % Gras, also werde ich für fast alles einfach ‚Normal' raten."
- Die Falle: Diese Modelle sahen auf dem Übungstest großartig aus, weil sie perfekt dem Muster „81 % normal" entsprachen.
- Die Realität: Als sie dem endgültigen Test gegenüberstanden (der eine leicht andere Mischung an Nachrichten enthielt), versagten diese „sicheren" Modelle kläglich. Sie hatten zu große Angst, die seltenen toxischen Nachrichten zu melden.
Die Lösung: Eine Prise synthetischer „gefälschter" Daten
Um dies zu beheben, fütterte das Team die KI nicht einfach mit mehr echten Chat-Protokollen. Sie verwendeten einen cleveren Trick: Synthetische Daten-Augmentierung.
Stellen Sie sich dies wie ein Kochrezept vor.
- Die KI hungerte nach Beispielen für die seltenen „toxischen" Zutaten (wie Drohungen oder Hassrede).
- Das Team nutzte eine leistungsstarke KI, um neue, gefälschte Chat-Nachrichten zu schreiben, die genau wie die echten toxischen klangen, aber von einem Computer generiert wurden.
- Sie fügten diese gefälschten Nachrichten den Trainingsdaten hinzu, um der KI beizubringen, wie die seltenen „schlechten" Nachrichten aussehen.
Der Sweet Spot:
Sie versuchten, unterschiedliche Mengen dieser „gefälschten" Daten hinzuzufügen, und es war wie das Finden der perfekten Menge Salz in der Suppe:
- Zu wenig (2–3 %): Die KI lernte nicht genug über die seltenen Nachrichten.
- Zu viel (10–15 %): Die KI wurde verwirrt und begann zu denken, alles sei toxisch, oder sie memorisierte die gefälschten Muster statt der echten.
- Genau richtig (5 %): Dies war die magische Zahl. Das Hinzufügen von genau 5 % gefälschten Daten machte die KI „mutiger". Sie hörte auf, für alles „Normal" zu raten, und fing an, die seltenen toxischen Nachrichten tatsächlich zu erkennen.
Die Gewinnstrategie
Ihr gewinnendes System verwendete ein spezifisches KI-Modell namens Llama 3.1 8B.
- Das Modell: Ein intelligentes, vortrainiertes Sprachmodell.
- Das Training: Sie unterrichteten es mit einer Mischung aus echten Chat-Protokollen und genau diesen 5 % synthetischen (gefälschten) toxischen Nachrichten.
- Das Ergebnis: Diese Kombination ermöglichte es der KI, aus der „Validierungs-Falle" auszubrechen. Sie wurde bereitwilliger, die seltenen, schwierigen Nachrichten zu markieren, was zu einer viel besseren Punktzahl im endgültigen Test führte.
Was sie lernten
- Größer ist nicht immer besser: Ein massives 12-Milliarden-Parameter-Modell schnitt tatsächlich schlechter ab als das kleinere 8-Milliarden-Parameter-Modell, weil das große härter in die „Validierungs-Falle" fiel.
- Ensembles halfen nicht: Sie versuchten, viele verschiedene Modelle zusammenzubringen (wie ein Komitee), aber es funktionierte nicht, weil ihr einzelnes bestes Modell bereits die schwere Arbeit leistete.
- Die „Validierungs-Falle" ist real: Hohe Punktzahlen bei Übungstests können irreführend sein, wenn die KI einfach nur auf Nummer sicher geht.
Die Endpunktzahl
Durch das Finden dieses perfekten 5 %-Ausgleichs synthetischer Daten erreichte ihr System eine Punktzahl von 0,6234 und platzierte sich auf Platz 4 von 35 Teams. Sie bewiesen, dass manchmal eine kleine Menge sorgfältig gestalteter „gefälschter" Daten einer KI helfen kann, die reale Welt viel besser zu verstehen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.