"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Cet article présente une revue systématique de la littérature et la création du jeu de données L2DTnH, annoté par des experts de League of Legends, pour développer un détecteur de toxicité en temps réel surpassant les solutions existantes et offrant une extension de navigateur privée pour lutter contre le harcèlement dans les jeux vidéo.

L'essentiel

🎮 Le Problème : La "Bot Lane" est devenue un champ de bataille toxique

Imaginez que vous jouez à un jeu vidéo en équipe (comme League of Legends). C'est un peu comme un match de football où tout le monde doit se passer la balle pour gagner. Mais souvent, au lieu de se féliciter, certains joueurs se mettent à crier des insultes, à se moquer ou à décourager les autres. C'est ce qu'on appelle la toxicité.

C'est comme si, pendant un match, un supporter commençait à jeter des tomates sur le terrain et à hurler des insultes aux joueurs. Cela gâche le jeu, rend les gens tristes et peut même les faire arrêter de jouer.

Les chercheurs se sont dit : "Il faut arrêter ça !" Mais ils ont réalisé un problème majeur : on ne peut pas construire un bon détecteur de poison sans avoir un échantillon de poison pur.

🔍 Le Premier Défi : La "Carte au Trésor" manquante

Jusqu'à présent, les chercheurs avaient très peu de données précises. Ils avaient des cartes floues qui disaient "Il y a eu une bagarre dans ce match", mais sans savoir qui a dit quoi. C'est comme si un policier savait qu'il y a eu un vol dans un quartier, mais qu'il n'avait pas les noms des voleurs ni les détails de ce qui a été dit.

De plus, les jeux vidéo ont leur propre langage. Dire "désinstalle" (uninstall) ou "noob" (nouveau) peut être une insulte grave dans un jeu, mais ça ne veut rien dire dans la vraie vie. Les détecteurs de mots grossiers classiques (comme ceux qui filtrent les insultes sur Twitter) ne comprennent pas ces nuances. C'est comme essayer de comprendre un poème en lisant seulement les mots, sans comprendre le contexte.

🛠️ La Solution : Créer la "Super-Équipe" d'Experts

Pour résoudre ce problème, les auteurs (des chercheurs de l'Université du Liechtenstein et de Reykjavik) ont fait quelque chose de très intelligent :

1. Ils ont recruté 8 experts : Au lieu de demander à des robots ou à des gens qui ne connaissent pas les jeux de juger, ils ont pris 8 joueurs de League of Legends très expérimentés (des "vétérans" qui jouent depuis des années).
2. Ils ont créé le dataset L2DTnH : Ces experts ont lu des milliers de messages de chat de matchs réels et ont étiqueté manuellement chaque phrase : "Toxique" ou "Pas toxique".
   • L'analogie : Imaginez que vous avez un tas de lettres anonymes. Au lieu de les laisser dans un carton, vous engagez 8 experts en littérature pour lire chaque lettre et décider si c'est une menace ou une blague. C'est ce travail de "nettoyage" qui a créé la base de données L2DTnH. C'est la plus grande base de données de ce type jamais rendue publique.

🤖 Le Résultat : Un "Super-Détective" nommé IGC-BERT

Une fois qu'ils ont eu cette base de données parfaite, ils ont entraîné un modèle d'intelligence artificielle (un robot) dessus. Ils l'ont appelé IGC-BERT.

• Le test : Ils ont comparé ce nouveau robot avec les meilleurs détecteurs de toxicité existants (ceux utilisés par les géants de la tech).
• Le verdict : Le robot des chercheurs a gagné haut la main ! Il est beaucoup plus précis parce qu'il a appris le "langage des joueurs". Il comprend que dire "C'est de la m..." dans un contexte de jeu est une insulte, mais que dans un autre contexte, ce n'est pas grave.

🌐 Au-delà du jeu : Le "Filtre Magique" pour Internet

Pour montrer que leur outil est vraiment utile, ils ont fait deux choses géniales :

1. Sur YouTube : Ils ont pris des vidéos de joueurs qui parlent de League of Legends. Même si ce n'est pas un chat en direct, le robot a réussi à repérer les insultes dans les sous-titres des vidéos. C'est comme si un détecteur de fumée fonctionnait aussi bien dans une cuisine que dans un garage.
2. L'Extension de Navigateur : Ils ont créé un petit programme (une extension) que vous pouvez installer sur votre navigateur web.
   • Comment ça marche ? Quand vous visitez une page web (par exemple, un forum de joueurs), l'extension lit le texte directement sur votre ordinateur (sans l'envoyer à un serveur distant). Si elle trouve une insulte, elle la cache sous un bandeau "Spoiler". Vous pouvez cliquer pour la voir si vous voulez, mais par défaut, elle est cachée.
   • L'avantage : C'est privé. Vos données ne quittent jamais votre ordinateur. C'est comme avoir un garde du corps personnel qui lit vos emails pour vous avant même qu'ils n'arrivent à vos yeux, sans que personne d'autre ne les lise.

💡 En Résumé : Ce que l'on retient

Ce papier nous dit trois choses importantes :

1. On ne peut pas lutter contre la toxicité sans les bons outils. Avant, on manquait de données précises pour entraîner les robots.
2. Le contexte est roi. Un mot n'est pas toxique tout seul ; c'est le contexte du jeu vidéo qui le rend toxique. Il faut des experts humains pour apprendre aux robots cette nuance.
3. La solution existe et elle est privée. On peut créer des outils qui protègent les joueurs sans espionner leurs conversations.

Les chercheurs ont partagé tous leurs outils (le jeu de données, le code du robot, l'extension) gratuitement. C'est comme s'ils avaient donné la recette du gâteau et les ingrédients à tout le monde pour que d'autres puissent faire de meilleurs gâteaux (ou dans ce cas, des jeux plus sains) pour tout le monde.

Leur message final ? Arrêtons de subir les insultes dans les jeux vidéo. Avec un peu d'intelligence artificielle et beaucoup de bon sens, on peut rendre l'expérience de jeu plus agréable pour tout le monde.

Résumé technique

1. Problématique

La toxicité et le harcèlement sont des problèmes endémiques dans le contexte des jeux vidéo, en particulier dans les jeux multijoueurs compétitifs en ligne comme League of Legends (LoL). Ces comportements ont des conséquences graves, allant de l'agacement à la dépression et au retrait du jeu.

Bien que de nombreuses études aient documenté l'impact négatif de ces interactions, il existe un manque criant de solutions pratiques déployées pendant la partie (en temps réel). La recherche actuelle souffre de deux limitations majeures :

• Manque de données de haute qualité : Les jeux vidéo utilisent un jargon spécifique (ex: "bot lane noob", "ez") et des nuances contextuelles (ironie, sarcasme) que les détecteurs de toxicité généraux ne comprennent pas.
• Granularité insuffisante : Les jeux de données existants (comme le jeu de données Tribunal de Riot Games) sont étiquetés au niveau de la match (si un match est toxique, tous les messages le sont), ce qui rend impossible l'identification des messages spécifiques toxiques.

L'objectif de cet article est de combler ce vide en créant une base de données fine et en développant un détecteur NLP (Traitement du Langage Naturel) capable de fonctionner dans le contexte spécifique du jeu.

2. Méthodologie

A. Revue Systématique de la Littérature (SLR)

Les auteurs ont analysé 1 039 articles publiés entre 2014 et 2025. Seuls 15 articles (< 2 %) proposaient des mécanismes automatisés basés sur le ML/NLP pour détecter la toxicité pendant une partie. La plupart des travaux existants se concentraient sur des chats de plateformes tierces (Twitch, forums) ou utilisaient des jeux de données non publics ou mal étiquetés.

B. Création du Jeu de Données L2DTnH

Pour surmonter le manque de données, les auteurs ont créé L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment) :

• Source : Dérivé du jeu de données Tribunal de Riot Games (plus d'un million de logs de chat).
• Annotation : 8 joueurs experts de LoL (avec 6 à 20 ans d'expérience et des rangs allant de Bronze à Masters) ont annoté manuellement les messages.
• Procédure :
  1. Annotation initiale de 5 000 messages par chaque annotateur (Toxique / Non-toxique / Non-anglais).
  2. Application d'un seuil de consensus : un message est considéré comme toxique si au moins 2 annotateurs le marquent comme tel.
  3. Révision manuelle des cas ambigus et annotation supplémentaire de 10 999 messages.
• Résultat : Un jeu de données de 15 999 messages (1 398 toxiques, 13 773 non-toxiques, 828 non-anglais). C'est le plus grand jeu de données open-source étiqueté au niveau du message pour la détection de toxicité dans LoL.

C. Développement du Modèle (IGC-BERT)

• Base : Utilisation de Toxic-BERT, un modèle pré-entraîné généraliste.
• Affinement (Fine-tuning) : Le modèle a été ré-entraîné sur le jeu de données L2DTnH pour créer IGC-BERT (Inappropriate Game Chat-BERT).
• Configuration : Architecture BERT avec une couche de classification binaire, entraînée sur 80% des données (échantillonnage stratifié) et testée sur 20%.

D. Évaluation et Déploiement

• Comparaison : IGC-BERT a été comparé à des modèles de pointe (Toxic-BERT, RoBERTa, etc.) et à des LLMs (GPT-4o, Llama 3.2).
• Tests hors domaine : Le modèle a été testé sur les sous-titres de vidéos YouTube concernant LoL.
• Outil pratique : Développement d'une extension de navigateur fonctionnant entièrement en local (sans envoi de données vers des serveurs tiers) pour censurer le contenu toxique sur les pages web.

3. Résultats Clés

Performance du Modèle

IGC-BERT surpasse significativement les modèles généralistes et les LLMs sur le jeu de données L2DTnH :

• F1-Score : 0,7619 pour IGC-BERT contre un maximum de 0,5900 pour le modèle de base (Toxic-BERT) et environ 0,47-0,50 pour GPT-4o.
• Précision : IGC-BERT atteint une précision de 0,8571, réduisant considérablement les faux positifs (les messages neutres ou sarcastiques ne sont plus marqués comme toxiques).
• Analyse par agrégation : La performance s'améliore lorsque les messages sont regroupés (par joueur ou par match), atteignant un F1 de 0,9028 au niveau du match, permettant d'identifier précisément les joueurs toxiques.

Tests sur YouTube et Extension

• Le modèle a réussi à détecter des contenus toxiques dans les sous-titres de vidéos YouTube, même avec un jargon spécifique au jeu.
• L'extension de navigateur fonctionne localement (modèle ONNX quantifié). Bien que le traitement de pages lourdes prenne environ 2 minutes (sur une machine avec 32 Go de RAM), cela démontre la faisabilité d'une solution respectueuse de la vie privée (aucune donnée ne quitte l'appareil).

4. Contributions Principales

1. L2DTnH : Création du plus grand jeu de données open-source étiqueté au niveau du message pour la toxicité dans LoL, résolvant le problème de la granularité des données existantes.
2. IGC-BERT : Développement d'un modèle NLP spécialisé qui surpasse les solutions d'usage général grâce à l'adaptation au jargon et au contexte du jeu.
3. Preuve de concept pratique : Démonstration de l'utilité du modèle sur des données non entraînées (YouTube) et intégration dans une extension de navigateur fonctionnant en local.
4. Ressources Open Source : Publication complète du code, du jeu de données et de l'extension pour favoriser la recherche future.

5. Signification et Impact

Cet article marque une étape importante dans la transition de la recherche théorique sur la toxicité vers des solutions déployables.

• Spécificité contextuelle : Il démontre que les détecteurs génériques échouent dans les environnements de jeux vidéo compétitifs en raison du manque de compréhension du contexte (ex: "noob" peut être une insulte ou une blague entre amis).
• Vie privée : La solution proposée (extension locale) offre une alternative aux solutions basées sur le cloud, protégeant la confidentialité des utilisateurs tout en luttant contre le harcèlement.
• Appel à l'action : Les auteurs soulignent que le manque de données partagées est le principal frein à l'innovation dans ce domaine et espèrent que L2DTnH servira de fondation pour de futures recherches appliquées.

Limites notables : Le modèle est spécifique à League of Legends et ne fonctionne pas aussi bien sur d'autres jeux (comme Dota 2) sans ré-entraînement. De plus, l'extension actuelle a des contraintes de performance sur les pages web très lourdes.