Toxicity in Twitch Chats: An LLM-Based Analysis Across Gaming Communities

Resumen Técnico: Toxicidad en los Chats de Twitch: Un Análisis Basado en LLM a través de Comunidades de Videojuegos

Planteamiento del Problema
Las comunidades de videojuegos en línea, particularmente en plataformas de transmisión como Twitch, se ven frecuentemente afectadas por comportamientos tóxicos, incluyendo acoso, discriminación y lenguaje abusivo. Aunque la toxicidad es un desafío reconocido, la investigación existente a menudo se centra en las interacciones dentro del juego o carece de granularidad respecto a cómo varía el comportamiento tóxico entre diferentes comunidades y géneros de videojuegos. Los esfuerzos actuales de moderación son en gran medida reactivos, y la naturaleza subjetiva y dependiente del contexto de la toxicidad dificulta su definición y detección consistentes. Existe una necesidad de conocimientos empíricos sobre cómo se manifiesta la toxicidad en juegos y géneros específicos para informar estrategias de moderación más dirigidas.

Metodología
Los autores presentan un análisis a gran escala de aproximadamente 20,2 millones de mensajes de chat recopilados de 4.452 transmisiones de Twitch. El estudio se centra en los dos juegos más populares dentro de siete categorías seleccionadas de Twitch, abarcando un período de tiempo desde junio de 2024 hasta noviembre de 2025.

• Recopilación y Preprocesamiento de Datos: Los datos se obtuvieron mediante SullyGnome y se descargaron usando TwitchDownloaderCLI. El conjunto de datos incluye 29.001 horas de tiempo de transmisión. Para optimizar los recursos computacionales, los autores preetiquetaron mensajes objetivamente no tóxicos (por ejemplo, "hola", "gg", mensajes de bots) y los excluyeron del pipeline de clasificación.
• Enfoque de Clasificación: El estudio emplea un enfoque de clasificación zero-shot utilizando un Modelo de Lenguaje Grande (LLM) preentrenado, específicamente el modelo Phi4 de 14 mil millones de parámetros. Este modelo fue elegido por su equilibrio entre rendimiento y eficiencia computacional, así como por su menor tendencia a negarse a procesar contenido abusivo en comparación con modelos como Llama3.
• Taxonomía: Los mensajes se clasificaron según la taxonomía oficial de moderación de Twitch, que comprende cuatro categorías principales (Acoso, Discriminación, Contenido Sexual, Palabrotas) y ocho subclases (por ejemplo, Intimidación, Agresión, Misoginia, Insultos).
• Conciencia Contextual: Para abordar la dependencia del contexto de la toxicidad, se proporcionó al modelo una ventana de contexto temporal de los diez segundos anteriores de mensajes de chat durante la inferencia.
• Validación: La fiabilidad del pipeline se evaluó mediante un estudio de acuerdo humano-modelo (Kappa de Cohen) y una comparación contra un modelo RoBERTa fine-tuned en el conjunto de datos TextDetox.

Contribuciones Clave

1. Pipeline Reproducible: El artículo proporciona un pipeline reproducible para la detección y clasificación de toxicidad utilizando LLMs zero-shot, logrando una puntuación F1 del 94,5% en la referencia TextDetox, superando ligeramente una línea base de RoBERTa fine-tuned.
2. Acuerdo Humano-Modelo: El estudio demuestra que el acuerdo del LLM con los evaluadores humanos (Kappa ~0,53) es comparable al acuerdo interhumano (Kappa ~0,55), validando la utilidad del modelo para análisis a gran escala a pesar de la naturaleza subjetiva de la toxicidad.
3. Análisis Empírico Granular: El trabajo ofrece un desglose detallado de los patrones de toxicidad en 14 juegos específicos y cuatro géneros distintos, avanzando más allá de generalizaciones amplias para identificar perfiles de toxicidad específicos de cada juego y género.

Resultados

• Prevalencia General: Aproximadamente el 2,4% de todos los mensajes analizados se clasificaron como tóxicos.
• Tipos de Toxicidad Dominantes: El acoso fue la categoría principal más prevalente (75,6%), siendo la intimidación la subclase más común. Las palabrotas aparecieron frecuentemente como etiqueta secundaria (53,0%), a menudo intensificando otros comportamientos tóxicos.
• Variaciones a Nivel de Juego: Las tasas de toxicidad variaron significativamente según el juego. Red Dead Redemption II exhibió la tasa de toxicidad más alta (3,96%), mientras que Minecraft mostró la más baja (0,74%). Cabe destacar que Counter-Strike 2 y Valorant mostraron distribuciones de toxicidad similares, probablemente debido a sus estructuras competitivas compartidas, mientras que otros juegos dentro de las mismas categorías amplias mostraron perfiles distintos.
• Variaciones a Nivel de Género: Las transmisiones de Arena de Batalla Multijugador en Línea (MOBA) tuvieron la tasa de toxicidad relativa más alta (3,2%), seguidas por los Shooters de Un Jugador (3,1%). Los juegos deportivos tuvieron la más baja (2,0%).
• Diferencias en la Distribución: Aunque el acoso y las palabrotas fueron comunes en todos los géneros, las transmisiones de Shooters de Un Jugador mostraron proporciones más altas de agresión, misoginia y contenido sexual en comparación con otros géneros. El análisis estadístico (PERMANOVA) indicó diferencias significativas en las distribuciones de toxicidad entre la mayoría de los juegos y géneros, aunque el análisis de dispersión (PERMDISP) sugirió que la variabilidad dentro de los géneros también juega un papel significativo.

Significado y Afirmaciones
Los autores afirman que sus hallazgos proporcionan evidencia empírica de que la toxicidad no es meramente un fenómeno a nivel de plataforma, sino que está fuertemente moldeada por las normas y mecánicas específicas de la comunidad de cada juego. El estudio sugiere que:

• El Contexto Importa: Los patrones de toxicidad difieren significativamente incluso entre juegos dentro del mismo género, lo que implica que las estrategias de moderación de "talla única" pueden ser menos efectivas que aquellas adaptadas a comunidades de juegos específicas.
• Brechas de Moderación: La presencia de contenido tóxico en el conjunto de datos (mensajes que sobrevivieron al filtrado de la plataforma) destaca las limitaciones de los sistemas actuales de moderación automatizada.
• Limitaciones de la Taxonomía: El estudio señala que la ambigüedad entre ciertas categorías (por ejemplo, acoso frente a palabrotas) en la taxonomía de Twitch contribuye a desacuerdos en la clasificación, sugiriendo que definiciones más claras podrían mejorar la consistencia.

El artículo concluye que, aunque el género proporciona una lente analítica útil para tendencias amplias, el juego específico y su comunidad circundante son los impulsores principales de las variaciones de toxicidad de granularidad fina. Estos conocimientos tienen como objetivo apoyar el desarrollo de estrategias de moderación más dirigidas y efectivas para las comunidades de videojuegos.