"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Questo lavoro affronta la scarsità di dataset di alta qualità per il rilevamento della tossicità nelle partite di videogiochi creando il dataset L2DTnH basato su League of Legends, sviluppando un rilevatore NLP più efficace di quelli esistenti e rilasciando pubblicamente tutte le risorse, inclusa un'estensione del browser per il rilevamento in tempo reale.

L'essenziale

Immagina di entrare in una partita di calcio online. L'obiettivo è divertirsi e vincere, ma spesso, invece di un fischio dell'arbitro, ti trovi a ricevere insulti, minacce o commenti demoralizzanti dagli altri giocatori. Questo è il mondo dei videogiochi competitivi, un luogo dove la "tossicità" (insulti, molestie, cattiveria) è diventata un problema enorme, capace di rovinare l'esperienza a milioni di persone.

Gli autori di questo studio, Jonas, Irdin, Matthias e Giovanni, si sono chiesti: "Perché non usiamo l'intelligenza artificiale per fermare questi insulti mentre accadono?"

Ecco la loro storia, raccontata come se fosse una ricetta per cucinare un piatto speciale.

1. Il Problema: La Cucina Senza Ingredienti

Fino a oggi, molti ricercatori hanno studiato la tossicità, ma c'era un grosso ostacolo: mancavano gli ingredienti giusti.
Immagina di voler insegnare a un cuoco (un'intelligenza artificiale) a riconoscere le mele marce. Se gli dai solo un sacchetto di frutta mista etichettato genericamente come "cattiva" (senza dirti quale mela è marcia e quale è buona), il cuoco non imparerà mai.
Nel mondo dei videogiochi, esistevano grandi archivi di chat, ma erano etichettati in modo troppo grossolano: se una partita era "tossica", tutte le chat di quella partita venivano considerate tossiche, anche i messaggi innocenti come "Ok" o "Bravo". Era come dire che un'intera pizza è avvelenata perché c'è un solo fungo velenoso sopra.

2. La Soluzione: Creare la "Mappa del Tesoro" (Il Dataset L2DTnH)

Per risolvere il problema, gli autori hanno fatto qualcosa di geniale: hanno reclutato 8 giocatori esperti di League of Legends (un gioco di strategia molto popolare), veri e propri "esperti di lingua" del mondo gaming.

Hanno preso quelle vecchie chat confuse e hanno chiesto a questi esperti di leggere ogni singolo messaggio e dire: "Questo è un insulto?" oppure "Questa è solo una battuta tra amici?".
Hanno creato così un nuovo database, chiamato L2DTnH, che è come una mappa del tesoro dettagliata:

• Contiene circa 15.000 messaggi.
• Ogni messaggio è etichettato con precisione: "Tossico" o "Non tossico".
• Include le sfumature del linguaggio dei gamer (come "noob" o "uninstall", che fuori dal gioco non significano nulla, ma dentro sono insulti pesanti).

3. L'Addestramento: Dall'Intelligenza Artificiale "Generica" all'Esperto "Specialista"

Con questa mappa in mano, hanno addestrato un'intelligenza artificiale (un modello chiamato IGC-BERT).

• Prima: L'IA era come un poliziotto generico che arrestava chiunque parlasse forte, anche se stava solo scherzando.
• Dopo: Grazie al nuovo dataset, l'IA è diventata un detective specializzato. Ora sa distinguere perfettamente tra un'insulto vero e proprio e una battuta tra amici, capendo il contesto specifico del gioco.
  I test hanno mostrato che la loro IA è molto più brava di quelle esistenti a riconoscere la cattiveria reale senza creare falsi allarmi.

4. L'Applicazione Pratica: Il "Filtro Magico" per il Browser

Non si sono fermati alla teoria. Hanno creato due cose concrete per il mondo reale:

1. Un test su YouTube: Hanno fatto analizzare alla loro IA i sottotitoli di video su League of Legends. L'IA è riuscita a trovare gli insulti nascosti nelle conversazioni dei video, anche se non erano chat di gioco dirette.
2. Un'estensione per il browser (come un filtro anti-polvere): Hanno creato un piccolo programma che si installa sul tuo browser (Chrome, Firefox, ecc.).
   • Come funziona: Quando navighi su un sito (ad esempio un forum di videogiochi), il programma legge i messaggi direttamente sul tuo computer.
   • Il vantaggio: Non invia i tuoi dati a nessun server esterno (quindi privacy totale). Se trova un insulto, lo nasconde sotto una "coperta" (un tag spoiler) che puoi decidere di togliere se vuoi. È come avere un guardiano personale che ti protegge dalle parole cattive senza che nessuno sappia cosa stai leggendo.

5. Lezioni Apprese e Futuro

Gli autori hanno imparato una cosa fondamentale: l'intelligenza artificiale deve essere "locale".
Hanno notato che se chiedi a un'IA generica (come un assistente virtuale) di giudicare una frase presa da un cartone animato per bambini, potrebbe sbagliarsi. Ma se chiedi alla stessa frase "Cosa significa 'il tuo giocattolo' in una partita di League of Legends?", l'IA capisce che potrebbe essere un insulto.
Questo dimostra che per combattere la tossicità servono strumenti fatti su misura per ogni gioco, non soluzioni "taglia unica".

In Sintesi

Questo paper è come la costruzione di un sistema di sicurezza intelligente per i videogiochi.

1. Hanno raccolto gli ingredienti giusti (i dati etichettati dagli esperti).
2. Hanno addestrato un detective (l'IA) che capisce il linguaggio dei gamer.
3. Hanno costruito un filtro (l'estensione) che protegge gli utenti in tempo reale, rispettando la loro privacy.

Il loro obiettivo è semplice: rendere i videogiochi un luogo dove si possa competere per divertimento, senza dover subire abusi, e stanno condividendo tutti i loro strumenti con il mondo affinché altri possano migliorare ulteriormente questa tecnologia.

Sommario tecnico

1. Il Problema

La tossicità e le molestie sono fenomeni endemici nel contesto dei videogiochi, specialmente nelle modalità competitive online (es. League of Legends - LoL). Le conseguenze per i giocatori bersaglio vanno dal fastidio lieve al ritiro sociale e alla depressione.
Sebbene esistano numerosi studi sugli effetti negativi di queste interazioni, c'è una scarsità significativa di soluzioni pratiche basate su Machine Learning (ML) e Natural Language Processing (NLP) progettate specificamente per rilevare messaggi tossici durante una partita in corso.
Le principali barriere identificate sono:

• Mancanza di dataset di alta qualità: I dataset esistenti sono spesso limitati (non pubblici, privi di etichette granulari a livello di messaggio, o focalizzati su piattaforme diverse come Twitch/YouTube invece che sulle chat di gioco in tempo reale).
• Specificità del linguaggio: Il gergo dei videogiochi (es. "noob", "botting", "ez") e il contesto competitivo rendono inefficaci i rilevatori di tossicità generici, che non comprendono le sfumature culturali e linguistiche specifiche del gaming.

2. Metodologia

Gli autori hanno adottato un approccio strutturato in quattro fasi principali:

A. Revisione Sistematica della Letteratura (SLR)

È stata condotta una revisione sistematica su 1.039 articoli pubblicati tra il 2014 e il 2025.

• Risultato: Solo 15 paper (<2%) hanno proposto meccanismi automatizzati ML/NLP per la tossicità nel gaming.
• Limitazioni rilevate: La maggior parte si basa su dati non pubblici, non è focalizzata sul linguaggio inglese (dominante nel gaming), o analizza contesti diversi dalle chat di gioco in tempo reale (es. forum, recensioni).

B. Creazione del Dataset L2DTnH

Per colmare il vuoto dei dati, gli autori hanno creato L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment).

• Origine: Derivato dal dataset pubblico "Tribunal" di Riot Games (che contiene log di partite con segnalazioni di tossicità, ma etichettate solo a livello di "partita intera", rendendo impossibile distinguere i messaggi specifici).
• Processo di Annotazione:
  • Reclutamento di 8 giocatori esperti di LoL (con 6-20 anni di esperienza e ranghi da Silver a Masters).
  • Strategia: I giocatori hanno etichettato manualmente i messaggi come "tossico", "non tossico" o "non inglese".
  • Consenso: Un messaggio è stato classificato come tossico solo se almeno 2 annotatori concordavano (soglia di consenso). Le discrepanze sono state risolte tramite discussione.
• Statistiche del Dataset:
  • Totale messaggi: 15.999.
  • Messaggi tossici: 1.398 (8,74%).
  • Messaggi non tossici: 13.773 (86,09%).
  • Messaggi non inglesi: 828 (5,17%).
  • È il più grande dataset open-source e specifico per il gioco, etichettato a livello di messaggio.

C. Sviluppo del Modello (IGC-BERT)

• Base: È stato utilizzato il modello pre-addestrato Toxic-BERT come baseline.
• Fine-tuning: Il modello è stato riaddestrato (fine-tuned) sul dataset L2DTnH utilizzando il framework Hugging Face Transformers e PyTorch.
• Risultato: È stato ottenuto un nuovo modello denominato IGC-BERT (Inappropriate Game Chat-BERT), ottimizzato per il gergo e il contesto di LoL.

D. Validazione e Applicazione Pratica

• Test su YouTube: Il modello è stato testato sui sottotitoli di video YouTube riguardanti LoL per verificare la capacità di rilevare tossicità in contesti esterni alla partita.
• Estensione Browser: È stata sviluppata un'estensione per browser che utilizza il modello IGC-BERT in locale (senza inviare dati a server esterni) per censurare automaticamente i contenuti tossici nelle pagine web.

3. Risultati Chiave

Performance del Modello

Il modello IGC-BERT ha superato significativamente i rilevatori di tossicità generici e lo stato dell'arte (SOTA):

• F1-Score: IGC-BERT ha raggiunto un F1-score di 0,7619, contro un massimo di 0,5900 del baseline unitary toxic-bert e valori inferiori per modelli come Toxic-BERT o GPT-4o (che hanno mostrato una precisione molto bassa, <0,4, a causa di falsi positivi su gergo e sarcasmo).
• Miglioramento: Il fine-tuning su L2DTnH ha portato a un miglioramento statisticamente significativo (p < 0,05) di circa 20 punti percentuali nell'F1-score rispetto alla baseline.
• Analisi per Livello di Granularità:
  • Livello Messaggio: Buona precisione.
  • Livello Gruppo Messaggi: Miglioramento del Recall (+12 punti) aggregando messaggi consecutivi dello stesso giocatore.
  • Livello Partita: Precisione estremamente alta (0,9701) con quasi zero falsi positivi, permettendo di identificare con certezza i giocatori tossici.

Applicazione Web

• L'estensione browser è stata testata con successo su subreddit di LoL, bloccando contenuti tossici.
• Privacy: L'elaborazione avviene interamente in locale (CPU), garantendo la privacy degli utenti, sebbene richieda risorse di sistema significative (circa 545MB di spazio e picchi di RAM fino a 1,4GB durante l'analisi).

4. Contributi Principali

1. Dataset L2DTnH: La creazione e la pubblicazione del primo dataset open-source, su larga scala e con etichette granulari a livello di messaggio, specifico per la tossicità nelle chat di gioco competitive (LoL).
2. Modello IGC-BERT: La dimostrazione empirica che un modello NLP fine-tuned su dati di gioco specifici supera di gran lunga i modelli generici nel rilevare insulti, trolling e gergo tossico.
3. Strumenti Pratici: Lo sviluppo e la pubblicazione di un'estensione browser funzionante che dimostra la fattibilità di un rilevamento della tossicità in tempo reale e privato (on-device).
4. Analisi Critica: Una revisione sistematica che evidenzia il divario tra la ricerca accademica sulla tossicità e le soluzioni pratiche implementabili nel settore del gaming.

5. Significato e Implicazioni

Questo lavoro è fondamentale per il futuro della sicurezza nei videogiochi perché:

• Sposta il focus dalla teoria alla pratica: Fornisce gli strumenti (dati e codice) necessari per costruire sistemi di moderazione automatizzati reali.
• Risolve il problema del contesto: Dimostra che la tossicità nel gaming richiede modelli addestrati su dati specifici, poiché i rilevatori generici falliscono nel comprendere il sarcasmo competitivo e il gergo tecnico.
• Promuove la Privacy: L'approccio "on-device" dell'estensione browser offre una via d'uscita per la moderazione dei contenuti senza compromettere la privacy degli utenti inviando dati a server di terze parti.
• Fondazione per la ricerca futura: Il dataset L2DTnH permette alla comunità scientifica di sviluppare e testare nuove contromisure, accelerando lo sviluppo di ambienti di gioco più sani.

In sintesi, il paper non solo identifica la mancanza di dati come il collo di bottiglia principale, ma fornisce una soluzione completa (dati, modello, applicazione) per iniziare a mitigare attivamente la tossicità nelle comunità di gioco online.