"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Diese Arbeit adressiert die Lücke bei der Erkennung von Toxizität in Videospielen während laufender Matches, indem sie einen neu erstellten, fein abgestimmten Datensatz (L2DTnH) und einen darauf basierenden, überlegenen NLP-basierten Detektor vorstellt, der zudem als lokale Browser-Erweiterung implementiert wurde.

Das Wesentliche

Titel: Wie man den „Bot-Lane-Noob" im Spiel fängt – Ein Bericht über die Jagd nach toxischem Verhalten

Stell dir vor, du spielst ein Videospiel, bei dem du mit anderen zusammenarbeitest, um zu gewinnen. Es ist wie ein großes, virtuelles Fußballstadion. Aber statt nur zu pfeifen, wenn jemand einen Foul macht, schreien sich die Spieler manchmal im Chat gegenseitig Beleidigungen zu. Das nennt man „Toxizität". Es ist wie wenn jemand im echten Leben auf dem Sportplatz anfängt, andere zu beschimpfen, statt den Ball zu spielen.

Dieser wissenschaftliche Artikel erzählt die Geschichte davon, wie ein Team von Forschern versucht hat, ein digitaler Schiedsrichter zu werden, der diese Beleidigungen sofort erkennt und stoppt.

Hier ist die einfache Zusammenfassung, wie sie funktioniert hat:

1. Das Problem: Der „Noob" im Chat

In Spielen wie League of Legends (LoL) ist es leider sehr häufig, dass Spieler andere beleidigen. Begriffe wie „Noob" (Neuling) oder „bot lane" (eine Spielposition) werden oft als Waffe benutzt.

• Das Problem: Bisher gab es kaum gute Werkzeuge, um genau diese Beleidigungen während des Spiels automatisch zu erkennen.
• Warum? Die Forscher sagen: Es fehlte an einem guten „Übungsbuch". Um einen Computer beibringen zu erkennen, was gemein ist, braucht man tausende Beispiele von Beleidigungen, die von Experten als solche markiert wurden. Bisher gab es diese Daten nicht in guter Qualität.

2. Die Lösung: Ein neues „Übungsbuch" (Der L2DTnH-Datensatz)

Die Forscher haben sich etwas Cleveres überlegt. Sie haben nicht einfach irgendeine Liste genommen, sondern haben 8 echte Experten rekrutiert. Das waren keine normalen Spieler, sondern echte Profis, die das Spiel seit Jahren spielen und die Sprache der Gamer kennen (Slang, Sarkasmus, spezielle Beleidigungen).

• Die Aufgabe: Diese Experten haben sich tausende von Chat-Nachrichten aus echten Spielen angesehen und jede einzelne davon bewertet: „Ist das eine Beleidigung?" oder „Ist das nur ein normaler Satz?".
• Das Ergebnis: Sie haben einen riesigen Datensatz namens L2DTnH erstellt. Stell dir das wie einen riesigen Katalog von „Gute Nachrichten" und „Böse Nachrichten" vor, der speziell für dieses Spiel gemacht wurde. Es ist das größte seiner Art, das öffentlich verfügbar ist.

3. Der Test: Der neue Schiedsrichter (IGC-BERT)

Mit diesem neuen Übungsbuch haben sie einen Computer-Algorithmus (eine Art KI) trainiert. Man kann sich das vorstellen wie einen Schiedsrichter, der jahrelang Filme von Schiedsrichtern geschaut hat, um zu lernen, wann man pfeifen muss.

• Der Vergleich: Sie haben ihren neuen Schiedsrichter gegen andere, allgemein bekannte Schiedsrichter getestet (die nicht speziell für Videospiele gemacht wurden).
• Das Ergebnis: Der neue Schiedsrichter war viel besser! Er verstand den Kontext. Er wusste zum Beispiel, dass „Noob" in einem normalen Gespräch harmlos sein kann, aber in einem Wettkampfspiel oft eine Beleidigung ist. Die alten Modelle haben oft Dinge falsch verstanden, weil sie die Spiel-Sprache nicht kannten.

4. Der Beweis: Funktioniert es auch woanders?

Um zu zeigen, dass ihr Werkzeug wirklich nützlich ist, haben sie es an zwei Orten getestet:

1. YouTube-Videos: Sie haben ihre KI auf die Untertitel von YouTube-Videos über das Spiel angewandt. Die KI konnte auch dort Beleidigungen finden, die in Videos vorkamen.
2. Ein Browser-Plugin: Sie haben eine kleine Erweiterung für den Webbrowser gebaut. Stell dir das wie einen unsichtbaren Bodyguard vor, der auf deiner Seite sitzt. Wenn du eine Webseite öffnest, scannt er den Text sofort. Wenn er etwas Giftiges findet, verdeckt er es (wie ein „Spoiler"-Tag), damit du es nicht lesen musst.
   • Wichtig: Alles passiert direkt auf deinem Computer. Es werden keine Daten an große Firmen geschickt. Das ist wie ein privater Wachmann in deinem Wohnzimmer, der niemandem Bericht erstattet.

5. Was haben wir gelernt? (Die Moral der Geschichte)

• Kontext ist König: Ein Wort ist nicht immer gleich ein Wort. „Noob" kann ein Scherz sein oder ein Angriff. Ein Computer muss die Situation verstehen, um das zu erkennen.
• Daten sind Gold: Ohne gute, von Menschen geprüfte Daten kann man keine guten KI-Modelle bauen. Die Forscher haben gezeigt, dass man mit Expertenwissen viel bessere Ergebnisse erzielt.
• Privatsphäre: Man kann solche Werkzeuge auch so bauen, dass sie deine Daten nicht ausspionieren. Alles kann lokal auf deinem Gerät laufen.

Fazit:
Die Forscher haben bewiesen, dass man mit der richtigen „Übung" (dem Datensatz) und einem spezialisierten Trainer (der KI) den „Bot-Lane-Noob" und andere Beleidiger im Spiel besser fangen kann als bisher. Sie haben alle ihre Werkzeuge und Daten kostenlos veröffentlicht, damit andere Forscher und Entwickler darauf aufbauen können, um das Internet und Videospiele für alle ein bisschen freundlicher zu machen.

Kurz gesagt: Sie haben den Computer beigebracht, nicht nur Wörter zu lesen, sondern die Stimmung im Chat zu verstehen.

Technische Zusammenfassung

1. Problemstellung

Toxizität und Belästigung sind in der Videospielbranche, insbesondere in kompetitiven Online-Multiplayer-Spielen wie League of Legends (LoL), weit verbreitet. Die negativen Folgen reichen von leichten Ärgernissen bis hin zu ernsthaften psychischen Belastungen wie Depressionen oder dem Rückzug von Spielern.

Obwohl die schädlichen Auswirkungen gut dokumentiert sind, gibt es einen signifikanten Mangel an praktischen Gegenmaßnahmen, die speziell für Live-Matches entwickelt wurden. Die Forschungslücke liegt hauptsächlich in der Abwesenheit hochwertiger, granularer Datensätze. Bestehende Lösungen basieren oft auf allgemeinen NLP-Modellen, die den spezifischen Jargon, Sarkasmus und die kulturellen Nuancen von Gaming-Chats nicht verstehen. Zudem sind viele frühere Datensätze entweder nicht öffentlich zugänglich, nur auf Match-Ebene (nicht auf Nachrichtenebene) gelabelt oder stammen aus nicht-relevanten Kontexten (z. B. Foren oder Twitch-Chats außerhalb des Spiels).

2. Methodik

A. Systematische Literaturübersicht (SLR)

Die Autoren führten eine systematische Überprüfung von 1.039 wissenschaftlichen Arbeiten durch. Das Ergebnis zeigte, dass nur 15 Papers (<2%) automatisierte ML/NLP-Mechanismen zur Bekämpfung von Toxizität während des Spiels vorschlugen. Die meisten dieser Arbeiten hatten gravierende Einschränkungen bezüglich Datengranularität, Offenheit oder Sprachfokus.

B. Erstellung des Datensatzes L2DTnH

Um das Datenproblem zu lösen, entwickelten die Autoren den Datensatz L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment).

• Quelle: Basierend auf dem „Tribunal"-Datensatz von Riot Games, der Chat-Protokolle von gemeldeten toxischen Matches enthält.
• Herausforderung: Der Originaldatensatz ist nur auf Match-Ebene gelabelt (ein ganzes Match gilt als toxisch, wenn ein Spieler gemeldet wurde), was eine Nachrichtenklassifizierung unmöglich macht.
• Lösung: Acht Experten-Spieler (mit 6–20 Jahren Erfahrung und Rängen von Bronze bis Masters) annotierten die Nachrichten manuell.
• Prozess:
  1. Unabhängige Labeling von 5.000 Nachrichten durch alle Annotatoren (Toxisch / Nicht-toxisch / Nicht-Englisch).
  2. Konsensbildung: Eine Nachricht wurde als toxisch markiert, wenn mindestens zwei Annotatoren zustimmten.
  3. Review und Nachlabeling von weiteren ~11.000 Nachrichten zur Konsistenzsicherung.
• Ergebnis: Ein Datensatz mit 15.999 Nachrichten (1.398 toxisch, 13.773 nicht-toxisch, 828 nicht-englisch). Die Inter-Annotator-Übereinstimmung (Fleiss' κ) betrug 0,62 (substantiell).

C. Modellentwicklung (IGC-BERT)

• Basis: Ein vortrainiertes Toxic-BERT-Modell (allgemeiner Zweck).
• Fine-Tuning: Das Modell wurde auf dem neuen L2DTnH-Datensatz feinabgestimmt (Fine-Tuning) unter Verwendung von Hugging Face Transformers und PyTorch.
• Ziel: Ein binärer Klassifikator (Toxisch vs. Nicht-toxisch), der auf den spezifischen Jargon und Kontext von LoL spezialisiert ist. Das resultierende Modell wurde IGC-BERT (Inappropriate Game Chat-BERT) genannt.

D. Evaluierung und Anwendung

Die Autoren testeten IGC-BERT in drei Szenarien:

1. Vergleich mit State-of-the-Art: Gegenüberstellung mit allgemeinen Toxizitätsmodellen (z. B. protectai, nicholas kluge) und großen Sprachmodellen (GPT-4o, Llama 3.2).
2. Kontextuelle Granularität: Testung auf drei Ebenen: einzelne Nachrichten, gruppierte Nachrichten (kurze Sequenzen eines Spielers) und gesamte Matches.
3. Transfer-Learning auf YouTube: Testung der Modellleistung auf Untertiteln von LoL-YouTube-Videos (Proof-of-Concept).
4. Browser-Erweiterung: Entwicklung einer lokalen Browser-Erweiterung, die Webseiten auf toxische Inhalte scannt, ohne Daten an externe Server zu senden (Privacy-by-Design).

3. Wichtige Ergebnisse

• Überlegene Leistung: Das auf L2DTnH feinabgestimmte IGC-BERT-Modell übertraf alle getesteten State-of-the-Art-Modelle und allgemeinen Toxizitätsdetektoren signifikant.
  • F1-Score: Steigerung von ca. 0,59 (Baseline) auf 0,76 (IGC-BERT).
  • False Positives: Deutliche Reduktion von 137 auf 32 bei den Testdaten.
  • Präzision: Steigerung auf 0,8571 im Vergleich zu oft unter 0,5 bei allgemeinen Modellen.
• Kontextuelle Aggregation: Die Leistung verbesserte sich weiter, wenn Nachrichten gruppiert wurden (z. B. auf Match-Ebene), da der Kontext die Erkennung von toxischen Mustern erleichtert (F1-Score auf Match-Ebene: 0,9028).
• Domain-Spezifität: Das Modell zeigte, dass allgemeine Modelle (wie GPT-4o) oft versagen, wenn es um spiel spezifischen Sarkasmus oder Jargon geht (z. B. „bot lane noob" oder „ez"), die außerhalb des Spiels harmlos wirken, im Spiel aber toxisch sind.
• Browser-Erweiterung: Die lokale Implementierung funktionierte stabil, benötigte jedoch erhebliche Ressourcen (bis zu 1,4 GB RAM während des Scans), was die Notwendigkeit von Modell-Optimierungen (z. B. Quantisierung, Distillation) für den produktiven Einsatz aufzeigt.

4. Hauptbeiträge

1. Systematische Analyse: Nachweis, dass der Mangel an praktischen Lösungen primär auf fehlende, hochwertige, granulare Datensätze zurückzuführen ist.
2. L2DTnH-Datensatz: Bereitstellung des größten Open-Source-Datensatzes für Toxizitätserkennung in LoL mit feinkörnigen, manuell verifizierten Labels auf Nachrichtenebene.
3. IGC-BERT Modell: Entwicklung eines hochleistungsfähigen Detektors, der durch Fine-Tuning auf domänenspezifische Daten signifikant besser abschneidet als allgemeine Modelle.
4. Praktische Implementierung: Demonstration der Anwendbarkeit durch eine funktionierende Browser-Erweiterung und Tests auf YouTube-Inhalten, die zeigen, dass die Tools auch außerhalb von Live-Chats nutzbar sind.
5. Open Source: Vollständige Veröffentlichung aller Ressourcen (Datensatz, Code, Modelle, Browser-Erweiterung) zur Förderung weiterer Forschung.

5. Bedeutung und Ausblick

Dieses Paper legt einen fundamentalen Baustein für die praktische Bekämpfung von Toxizität in Videospielen. Es beweist, dass domänenspezifische Daten der Schlüssel zur erfolgreichen Anwendung von NLP in diesem Bereich sind. Allgemeine Modelle scheitern oft an der Nuance von Gaming-Slang.

Die Arbeit hebt hervor, dass Toxizitätserkennung kontextabhängig ist (ein Satz wie „uninstall" ist im Spiel toxisch, anderswo vielleicht nicht). Die Autoren plädieren für die Entwicklung von Ensembles aus spiel-spezifischen Detektoren.

Zukünftige Arbeiten sollten sich auf die Erweiterung des Datensatzes auf andere Spiele (nicht nur LoL), die Integration von Verhaltensdaten (z. B. Ping-Verhalten) zur Verbesserung der Detektion und die technische Optimierung der Modelle für den Einsatz in Echtzeit-Systemen konzentrieren. Die Autoren haben Riot Games bereits über ihre Werkzeuge informiert.