"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Deze studie introduceert een specifiek voor videospellen getrainde NLP-toxiciteitsdetector, gebaseerd op het door experts gelabelde L2DTnH-dataset, die beter presteert dan bestaande modellen en wordt aangeboden via een privacyvriendelijke browserextensie om live-game-chat te beschermen.

De kern

Stel je voor dat online gamen een gigantisch, drukke stad is. In deze stad zijn er pleinen waar mensen samen spelen, zoals in het populaire spel League of Legends (LoL). Meestal is het gezellig, maar soms wordt het een vuile straat waar mensen elkaar beschimpen, pesten en kwetsen. Dit noemen we "toxiciteit".

De onderzoekers van dit paper (Jonas, Irdin, Matthias en Giovanni) zeggen: "Hé, we weten dat dit een groot probleem is, maar we hebben geen goede gereedschappen om het op te lossen."

Hier is wat ze hebben gedaan, vertaald in simpele taal met een paar creatieve vergelijkingen:

1. Het Probleem: De "Blinde" Politieagent

Stel je voor dat je een politieagent hebt die moet oordelen of iemand een boete krijgt. Maar deze agent heeft een heel slecht boekje met regels.

• Het oude probleem: Vroeger hadden onderzoekers alleen een lijst met hele wedstrijden die "slecht" waren. Als er in een wedstrijd één persoon vloekte, werd de hele wedstrijd als giftig gemarkeerd.
• De analogie: Het is alsof je een hele klas straft omdat één kind een vuiltje heeft gegooid. De agent ziet niet wie het precies deed, en hij ziet ook niet dat de andere kinderen gewoon "hallo" zeiden. Daardoor konden slimme computers (AI) niet goed leren wie nu echt gemeen was en wie gewoon aan het spelen was.

2. De Oplossing: De "Super-Smaakproever"

De onderzoekers dachten: "We hebben een nieuw, super-accuraat recept nodig."

• Het nieuwe dataset (L2DTnH): Ze hebben 8 echte, ervaren gamers (veteranen) ingehuurd. Deze mensen kregen duizenden chat-berichten te zien. Ze moesten elk bericht apart bekijken en zeggen: "Is dit gemeen?" of "Is dit gewoon grappig?"
• De analogie: Het is alsof ze een groep van 8 super-smaakproevers hebben gevonden die precies weten wat "smaakt" als een giftige opmerking in een gamewereld. Ze hebben een enorme lijst gemaakt van 15.000 berichten, waarbij elk bericht zorgvuldig is getoetst. Dit is als het maken van een perfecte "gids voor goede manieren" specifiek voor gamers.

3. De Test: De Nieuwe Agent vs. De Oude Agent

Met deze nieuwe lijst hebben ze een slimme computer (een AI-model genaamd IGC-BERT) getraind.

• De vergelijking: Ze hebben deze nieuwe AI getest tegen andere bekende AI's die voor alles worden gebruikt (niet alleen voor games).
• Het resultaat: De oude AI's dachten vaak dat woorden als "noob" (nieuweling) of "uninstall" (verwijder het spel) altijd gemeen waren, zelfs als het een grapje was. Maar de nieuwe AI, getraind door de gamers, snapte de nuance.
• De uitkomst: De nieuwe AI was veel beter in het vinden van echte pesters en liet veel minder onschuldige spelers vallen. Het was alsof je een gewone politiemotor vervangt door een racefiets die precies weet waar de bochten liggen.

4. De Toepassing: Een "Onzichtbaar Schild"

Ze wilden niet alleen een theorie hebben, maar iets dat mensen echt kunnen gebruiken.

• De browser-extensie: Ze hebben een klein programmaatje gemaakt dat je op je computer kunt zetten.
• Hoe het werkt: Stel je voor dat je een website bezoekt (bijvoorbeeld een forum over games). Dit programmaatje leest de tekst voor je. Als het een gemeen bericht ziet, trekt het een "deken" over dat bericht (een spoiler-tag). Je ziet het pas als je er echt op klikt.
• Het grote voordeel: Dit gebeurt allemaal op je eigen computer. Niemand anders (geen grote tech-bedrijven) ziet wat je leest of wat er op je scherm staat. Het is alsof je een privé-bewaker hebt die alleen voor jou werkt, zonder dat hij naar een kantoor in een ander land belt.

5. De Les: Context is Koning

Een grappig voorbeeld uit het paper: Ze testten hun AI op een tekenfilm voor kinderen. De AI vond zinnen als "wat doet die ezel hier" gemeen.

• Waarom? Omdat de AI is getraind op gametext. In een game betekent "ezel" vaak "jij bent dom". In een tekenfilm is het gewoon een dier.
• De les: Je kunt niet één AI gebruiken voor alles. Je hebt een specialist nodig die de taal van de specifieke wereld begrijpt. Een AI voor games werkt niet goed voor forums, en andersom.

Conclusie

De onderzoekers zeggen eigenlijk: "We hebben de sleutel gevonden om de poort van de pesters te sluiten, maar we moeten het nog beter maken." Ze hebben hun gereedschappen (de lijst met berichten en het slimme programma) gratis beschikbaar gesteld voor iedereen.

Kort samengevat: Ze hebben een groep gamers gevraagd om een "woordenboek van gemeenheid" te maken, een slimme computer daarop getraind, en een privé-bewaker gebouwd die gemeen taalgebruik in games en op websites direct kan opsporen en verbergen, zonder je privacy te schenden.

Technische samenvatting

1. Het Probleem

Toxiciteit en intimidatie (harassment) zijn wijdverbreid in online video games, met name in competitieve multiplayer-scenario's zoals League of Legends (LoL). Deze gedragingen variëren van lichte ergernis tot ernstige psychologische gevolgen zoals depressie en terugtrekking bij spelers.

Hoewel er veel onderzoek is gedaan naar de negatieve effecten van toxiciteit, ontbreekt het aan praktische, geautomatiseerde oplossingen die specifiek zijn getest op tekstberichten die tijdens een match worden verzonden. Bestaande oplossingen zijn vaak te algemeen of gebaseerd op datasets die niet geschikt zijn voor live-game contexten. De auteurs stellen dat de belangrijkste belemmering voor de ontwikkeling van effectieve NLP- en ML-oplossingen het gebrek is aan hoogwaardige, fijnmazig gelabelde datasets die specifiek zijn voor game-communicatie (met jargon, sarcasme en game-specifieke context).

2. Methodologie

De onderzoekers volgen een systematische aanpak bestaande uit vier hoofdfasen:

A. Systematische Literatuurstudie (SLR)

• Er werd een zoekopdracht uitgevoerd in databases (ACM, IEEE, etc.) met 1.039 papers.
• Slechts 15 papers (<2%) boden geautomatiseerde ML/NLP-oplossingen voor toxiciteit in games.
• Gevonden beperkingen: Veel studies focussen op niet-live contexten (zoals Twitch-chat of forums), gebruiken datasets zonder fijnmazige labels (slechts op match-niveau), of zijn niet openbaar.

B. Creatie van de L2DTnH Dataset

Om het data-tekort op te lossen, creëerden de auteurs de L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment).

• Bron: De dataset is afgeleid van het bestaande "Tribunal"-dataset van Riot Games, maar dit dataset bevatte alleen labels op match-niveau (een hele match was "giftig" als één speler werd gerapporteerd).
• Annotatieproces: Acht ervaren LoL-spelers (met rangen van Bronze tot Masters en 6-20 jaar ervaring) labelden individuele berichten.
  • Stap 1: Onafhankelijke labeling van 5.000 berichten als "toxic", "non-toxic" of "non-English".
  • Stap 2: Consensus-drempel (minimaal 2 van de 8 annotatoren moesten "toxic" stemmen).
  • Stap 3: Handmatige herziening van grensgevallen en annotatie van extra berichten.
• Resultaat: Een dataset van 15.999 berichten (1.398 toxic, 13.773 non-toxic, 828 non-English). Dit is de grootste open-source, game-specifieke dataset met bericht-niveau labels.

C. Modelontwikkeling en Evaluatie

• Basis: Ze gebruikten Toxic-BERT als baseline (een state-of-the-art model voor algemene toxiciteit).
• Fine-tuning: Het model werd gefine-tuned op de L2DTnH dataset om IGC-BERT (Inappropriate Game Chat-BERT) te creëren.
• Validatie: Het model werd vergeleken met andere state-of-the-art modellen (zoals ProtectAI, Nicholas Kluge, Garak) en grote taalmodellen (ChatGPT-4o, Llama 3.2).
• Aggregatie: Er werd getest op drie niveaus: individueel bericht, gegroepeerde berichten (van dezelfde speler in korte tijd) en gehele match.

D. Praktische Implementatie

• YouTube-test: Het model werd getest op ondertitels van LoL-gerelateerde YouTube-video's om te zien of het ook daar giftige content kan detecteren.
• Browserextensie: Een lokale browserextensie werd ontwikkeld die giftige inhoud op webpagina's (zoals Reddit) automatisch verbergt ("spoiler") zonder data naar externe servers te sturen.

3. Belangrijkste Resultaten

• Dataset: L2DTnH is uniek omdat het de eerste open-source dataset is met fijnmazige labels voor LoL-chatberichten, ontwikkeld door experts die de game-cultuur begrijpen.
• Modelprestaties:
  • IGC-BERT presteerde significant beter dan alle andere modellen.
  • F1-score: IGC-BERT behaalde een F1-score van 0,7619, vergeleken met ongeveer 0,40 - 0,59 voor de beste bestaande modellen.
  • Verbetering: De fine-tuning resulteerde in een stijging van bijna 20 procentpunten in de F1-score ten opzichte van de baseline.
  • Valse Positieven: Het aantal valse positieven daalde drastisch (van 137 naar 32), wat betekent dat het model minder neutrale of sarcastische berichten onterecht als giftig bestempelt.
• Contextuele Aggregatie:
  • Bij het groeperen van berichten (Grouped-message level) steeg de recall met 12 procentpunten.
  • Op match-niveau bereikte het model een precisie van 0,9701, wat betekent dat het bijna geen fouten maakt bij het identificeren van giftige spelers in een hele match.
• Algemene Toepasbaarheid: Het model slaagde erin giftige content te detecteren in YouTube-ondertitels, maar faalde bij niet-game-gerelateerde content (zoals kinderprogramma's), wat aantoont dat de context (game-jargon) cruciaal is.
• Browserextensie: De extensie werkt lokaal (geen cloud-API's) en beschermt de privacy, maar vereist aanzienlijke lokale rekenkracht (ca. 1,4 GB RAM tijdens het scannen van zware pagina's).

4. Bijdragen

1. Literatuurstudie: Evidentie geleverd dat er een groot gat bestaat in de literatuur tussen het probleem van toxiciteit en de implementatie van specifieke, live-match detectoren.
2. L2DTnH Dataset: De creatie van een nieuwe, open-source dataset met 15.999 handmatig gelabelde berichten, specifiek voor LoL, ontwikkeld door experts.
3. IGC-BERT Model: Een getraind model dat significant beter presteert dan algemene toxiciteitsdetectoren door gebruik te maken van game-specifieke context.
4. Praktische Tools: Een proof-of-concept browserextensie die lokaal werkt en een test op YouTube, wat de bruikbaarheid in de echte wereld aantoont.
5. Openbaarheid: Alle broncode, datasets en tools zijn openbaar beschikbaar gemaakt.

5. Betekenis en Toekomstperspectief

Dit werk is een mijlpaal voor de bestrijding van toxiciteit in video games. Het demonstreert dat context-specifieke datasets essentieel zijn voor effectieve NLP-modellen; algemene modellen falen vaak omdat ze game-jargon (zoals "bot lane noob" of "ez") verkeerd interpreteren.

De auteurs benadrukken dat hun oplossing specifiek is voor LoL en niet direct toepasbaar is op andere games zonder aanpassing. Toekomstig werk zou moeten focussen op:

• Uitbreiding van de dataset naar andere games.
• Integratie van chat-data met gedragsdata (bijv. ping-gebruik) voor een holistische detectie.
• Optimalisatie van modellen voor lokaal gebruik op minder krachtige apparaten.

Kortom, dit onderzoek legt de basis voor de praktische implementatie van geautomatiseerde, privacy-vriendelijke systemen die de speelomgeving in online games veiliger en gezonder kunnen maken.