"bot lane noob" Towards Deployment of NLP-based Toxicity Detectors in Video Games

Este artículo aborda la escasez de detectores de toxicidad en tiempo real para videojuegos presentando el conjunto de datos L2DTnH, creado con jugadores expertos de League of Legends, y un detector basado en NLP que supera a las soluciones generales, junto con una extensión de navegador para mitigar el acoso sin depender de servidores externos.

Lo esencial

¡Hola! Imagina que el mundo de los videojuegos es como un gigantesco estadio deportivo lleno de millones de personas gritando, animando y compitiendo. Es un lugar increíble, pero a veces, en medio del ruido, hay gente que empieza a lanzar "frases venenosas" o insultos a sus compañeros o rivales. Esto es lo que los investigadores llaman "toxicidad".

Este paper (un artículo de investigación) es como un equipo de ingenieros que decide: "¡Basta! Vamos a construir un escudo invisible para proteger a los jugadores de esos insultos, pero primero necesitamos entender cómo funcionan".

Aquí te explico su trabajo con analogías sencillas:

1. El Problema: "El ruido en el estadio"

En los juegos competitivos (como League of Legends), la gente se estresa y a veces dice cosas horribles. Antes, los investigadores sabían que esto existía, pero no tenían las herramientas para detenerlo en tiempo real.

• La analogía: Imagina que tienes un detector de humo en una cocina. Si el humo es de quemar pan, suena la alarma. Pero si el humo es de un incendio real, también suena. El problema es que los detectores actuales son muy "tontos": si alguien dice "¡Qué mal jugaste!" en un juego, el detector piensa que es un insulto grave, pero si alguien dice "¡Qué bien jugaste!" en tono sarcástico, el detector no lo entiende. Además, no sabían exactamente qué palabras eran malas porque les faltaba un "diccionario" de insultos específicos de los juegos.

2. La Solución: Crear el "Diccionario de la Calle" (El Dataset L2DTnH)

Los autores se dieron cuenta de que para enseñar a una computadora a detectar insultos, necesitaban datos reales y muy específicos.

• Lo que hicieron: En lugar de usar un diccionario normal, reclutaron a 8 jugadores expertos (como si fueran árbitros veteranos del juego) que llevaban jugando desde hace años.
• La tarea: Estos expertos revisaron miles de mensajes de chat reales y los etiquetaron uno por uno: "Esto es un insulto", "Esto es una broma" o "Esto es solo ruido".
• El resultado: Crearon una base de datos llamada L2DTnH. Es como si hubieran creado el primer manual de instrucciones para entender el lenguaje secreto y agresivo de los videojuegos. Antes, los datos eran como ver una foto borrosa de todo el partido; ahora tienen una foto nítida de cada frase que se dijo.

3. Entrenando al "Guardián" (El Modelo IGC-BERT)

Con este nuevo "diccionario", entrenaron a una Inteligencia Artificial (un modelo llamado IGC-BERT).

• La analogía: Imagina que tienes a un perro guardián muy listo, pero que solo sabe ladrar a extraños en la calle. Si le enseñas a ladrar específicamente a los ladrones que entran por la ventana de tu casa (los insultos en el juego), se vuelve mucho más efectivo.
• El resultado: Probaron a su nuevo "perro" contra otros detectores genéricos. ¡Ganó por goleada! Su modelo entendió mejor el sarcasmo, las abreviaturas y los insultos específicos del juego, mientras que los modelos genéricos seguían confundiendo cosas inocentes con insultos graves.

4. Poniendo el Escudo en el Mundo Real

No se quedaron solo en el laboratorio. Quisieron ver si su herramienta funcionaba en la vida real:

• En YouTube: Probaron su detector en los subtítulos de videos de YouTube sobre el juego. Funcionó: pudo identificar cuando un creador de contenido estaba insultando a alguien en un video, algo que otros detectores no hacían bien.
• La extensión del navegador: Crearon un pequeño "superpoder" para tu navegador web (como Chrome).
  • ¿Cómo funciona? Imagina que tienes un filtro de gafas de sol. Cuando entras a una página web, el filtro escanea todo el texto. Si encuentra un insulto, lo tapa con una caja negra (como un spoiler) para que no lo leas, pero tú puedes decidir si quieres quitar la tapa y verlo.
  • Lo genial: Todo esto ocurre dentro de tu computadora. No envían tus datos a ninguna empresa de Inteligencia Artificial. Es como tener un guardaespaldas privado en tu casa que no llama a nadie para pedir ayuda.

5. ¿Por qué es importante esto?

Los autores nos dicen que, aunque los videojuegos son divertidos, la toxicidad hace que mucha gente se sienta mal, se deprime o deje de jugar.

• La lección: No puedes arreglar un problema si no tienes los datos correctos. Al crear este "diccionario" y compartirlo con todo el mundo (es de código abierto), están dando a otros investigadores y a las empresas de juegos las herramientas para crear entornos más seguros.

En resumen:
Este equipo de investigadores actuó como detectives y traductores. Primero, entendieron el "idioma" de los insultos en los juegos gracias a expertos reales. Luego, construyeron un robot inteligente que habla ese idioma y lo usaron para crear un filtro que protege a los jugadores de las palabras dañinas, todo sin invadir su privacidad. ¡Es como poner un escudo mágico en el chat del juego! 🛡️🎮

Resumen técnico

1. El Problema

La toxicidad y el acoso son problemas endémicos en los videojuegos, especialmente en entornos competitivos multijugador como League of Legends (LoL). Estas interacciones dañinas tienen consecuencias que van desde la molestia leve hasta la depresión y el abandono del juego.

A pesar de la abundante literatura sobre el impacto negativo de la toxicidad, existe una carencia crítica en la investigación aplicada: falta de soluciones prácticas de detección automática que funcionen específicamente durante las partidas en vivo. La mayoría de los trabajos anteriores se basan en:

• Datos de foros o chats de plataformas externas (Twitch, YouTube) que no reflejan el contexto del juego.
• Conjuntos de datos con etiquetas a nivel de "partida" (si una partida se marca como tóxica, todos sus mensajes se asumen tóxicos), lo que impide la clasificación precisa a nivel de mensaje.
• Falta de datos abiertos, granulares y específicos del dominio del juego para entrenar modelos de Procesamiento de Lenguaje Natural (NLP) y Aprendizaje Automático (ML).

2. Metodología

Los autores abordaron el problema mediante un enfoque de tres etapas principales:

A. Revisión Sistemática de Literatura (SLR)

• Se revisaron 1.039 artículos publicados entre 2014 y 2025 en bases de datos académicas (ACM, IEEE, Springer, Elsevier).
• Hallazgo: Solo 15 artículos (<2%) propusieron mecanismos automatizados basados en ML/NLP para detectar toxicidad durante el juego. La mayoría de estos tenían limitaciones graves en cuanto a la apertura de los datos, la fuente o la granularidad de las etiquetas.

B. Creación del Dataset L2DTnH

Para superar la falta de datos de alta calidad, los autores crearon L2DTnH (LoL-based Labeled Dataset of Toxicity and Harassment):

• Fuente: Se basó en el dataset "Tribunal" de Riot Games, que contiene registros de chat de partidas donde se reportó toxicidad, pero solo con etiquetas a nivel de partida.
• Proceso de Etiquetado: Se reclutaron 8 jugadores expertos de LoL (con rangos desde Bronce a Maestro y 6-20 años de experiencia).
  • Se les asignaron mensajes individuales para clasificarlos como "tóxico", "no tóxico" o "no inglés".
  • Se aplicó un umbral de consenso (un mensaje se consideraba tóxico si al menos 2 anotadores lo marcaron así).
  • Se revisaron casos ambiguos para alcanzar consenso final.
• Resultado: Un dataset de 15.999 mensajes (1.398 tóxicos, 13.773 no tóxicos, 828 no ingleses) etiquetados a nivel de mensaje, representando ≈100 partidas.

C. Desarrollo y Evaluación del Modelo

• Modelo Base: Se utilizó Toxic-BERT como línea base.
• Fine-tuning: Se ajustó el modelo utilizando el dataset L2DTnH para crear IGC-BERT (Inappropriate Game Chat-BERT).
• Evaluación: Se comparó IGC-BERT contra modelos de estado del arte (Toxic-BERT, ProtectAI, modelos de Kluge, etc.) y grandes modelos de lenguaje (GPT-4o, Llama 3.2).
• Pruebas Adicionales:
  • Se probó el modelo en subtítulos de videos de YouTube sobre LoL.
  • Se desarrolló una extensión de navegador que ejecuta el modelo localmente (sin enviar datos a servidores externos) para censurar contenido tóxico en páginas web.

3. Contribuciones Clave

1. L2DTnH: El dataset de código abierto más grande y específico para la detección de toxicidad en juegos, con etiquetas granulares a nivel de mensaje y validado por expertos del dominio.
2. IGC-BERT: Un modelo de ML fine-tuned que supera significativamente a los detectores de toxicidad de propósito general y a los modelos de lenguaje grandes (LLMs) en el contexto de LoL.
3. Herramienta de Privacidad: Una extensión de navegador que realiza inferencia localmente (usando un modelo ONNX cuantizado), garantizando que los datos del usuario nunca salgan de su dispositivo.
4. Recurso Abierto: Todos los datos, código y modelos se han hecho públicos para fomentar la investigación futura.

4. Resultados

• Rendimiento del Modelo:
  • IGC-BERT logró un F1-score de 0.7619 y una precisión de 0.8571, superando al modelo base (Toxic-BERT) en casi 20 puntos porcentuales en F1-score.
  • Los modelos de propósito general y los LLMs (GPT-4o, Llama 3.2) mostraron una precisión muy baja (<0.4), fallando al interpretar jerga específica del juego, sarcasmo y contextos competitivos.
• Análisis por Niveles de Agregación:
  • La precisión aumentó al agrupar mensajes (nivel de partida), alcanzando un F1-score de 0.9028 y una precisión del 97.01%, demostrando que el contexto acumulado ayuda a identificar jugadores tóxicos con muy pocos falsos positivos.
• Validación Externa: El modelo detectó correctamente contenido tóxico en subtítulos de videos de YouTube relacionados con LoL, demostrando su capacidad de generalización fuera de los chats en vivo.
• Eficiencia de la Extensión: La extensión funciona localmente, aunque requiere recursos significativos (≈1.4 GB de RAM durante el escaneo en máquinas potentes), lo que plantea desafíos de rendimiento en páginas web pesadas.

5. Significado e Impacto

Este trabajo es fundamental porque cierra la brecha entre la investigación teórica sobre toxicidad y la implementación práctica en la industria de los videojuegos.

• Especificidad de Dominio: Demuestra que los modelos genéricos fallan en entornos de gaming debido a la jerga única (ej. "bot lane noob", "ez") y el contexto emocional. Se requieren soluciones adaptadas al juego específico.
• Privacidad: La solución de extensión de navegador local aborda la preocupación de los usuarios sobre la privacidad de sus datos, evitando el envío de chats a servidores de terceros.
• Base para Futuras Investigaciones: Al liberar L2DTnH, los autores proporcionan el "suelo" necesario para que otros investigadores desarrollen y prueben nuevas contramedidas, algo que antes era imposible debido a la falta de datos etiquetados de alta calidad.
• Reconocimiento Industrial: Los autores contactaron a Riot Games para informarles sobre sus herramientas, señalando un potencial de colaboración directa con la industria.

En resumen, el artículo proporciona la primera base sólida y reproducible para desplegar detectores de toxicidad automatizados, precisos y respetuosos con la privacidad en el ecosistema de los videojuegos competitivos.