Resumen Técnico: PSK@EEUCA 2026

Definición del Problema

Este artículo aborda la Tarea Compartida EEUCA 2026 sobre la comprensión del comportamiento tóxico en comunidades de juegos, centrándose específicamente en la clasificación de mensajes de chat de World of Tanks. El objetivo es categorizar los mensajes en seis clases distintas:

1. No tóxico (Comunicación normal/positiva)
2. Insultos/Flaming (Ataques personales a la habilidad)
3. Otro ofensivo (Inapropiado pero no ataques directos)
4. Odio/Acoso (Abuso basado en la identidad)
5. Amenazas (Amenazas de violencia/daño)
6. Extremismo (Ideología de odio/deshumanización)

La tarea presenta desafíos significativos, incluido un desequilibrio de clases extremo (81% No tóxico frente a <0,2% para Amenazas y Extremismo), texto corto e informal que contiene jerga específica de los juegos, contenido multilingüe y distinciones sutiles entre categorías (por ejemplo, crítica basada en la habilidad frente a odio basado en la identidad).

Metodología

Los autores exploraron una gama de arquitecturas y estrategias, convergiendo finalmente en una configuración específica para su sistema de mejor rendimiento.

Arquitectura del Modelo y Ajuste Fino

• Modelo Base: El sistema final utiliza Llama 3.1 8B.
• Eficiencia: El modelo emplea cuantización NF4 de 4 bits y LoRA (Adaptación de Bajo Rango) con rank=16 y alpha=64.
• Ingeniería de Prompts: Se prependieron definiciones de clases estructuradas a las entradas para ayudar al modelo a distinguir entre categorías tóxicas similares (por ejemplo, distinguir "Insultos" de "Odio/Acoso").
• Arquitecturas Alternativas Probadas: XLM-RoBERTa Large (ajuste fino completo), Gemma 2B y Gemma 12B (ambas con LoRA).

Estrategia de Aumento de Datos Sintéticos

Un componente crítico de la metodología fue el uso de aumento de datos sintéticos para abordar el desequilibrio de clases.

• Generación: Se generaron datos sintéticos mediante parafraseo basado en LLM, apuntando específicamente a las clases minoritarias (Clases 2–5). El proceso de generación utilizó una plantilla estricta para asegurar que los mensajes reescritos mantuvieran el significado exacto y el nivel de toxicidad mientras adoptaban jerga y abreviaturas naturales de los juegos.
• Filtrado: El conjunto sintético pasó por una limpieza rigurosa, que incluyó filtrado por regex de fuga de etiquetas y deduplicación basada en incrustaciones.
• Calibración: Los autores encontraron una proporción óptima estrecha del 5% de datos sintéticos.
  • <5%: Insuficiente para mejorar la transferencia de prueba.
  • >5% (7–15%): Condujo a sobreajuste en patrones sintéticos y degradación sustancial del rendimiento en prueba.
• Distribución: La proporción del 5% (aproximadamente 1.921 ejemplos) se añadió solo a la partición de entrenamiento; el conjunto de validación permaneció 100% con datos reales.

Enfoques Alternativos (Rendimiento Inferior)

Se exploraron varias estrategias pero arrojaron resultados inferiores:

• Clasificación Jerárquica: Un enfoque de dos etapas (binario tóxico/no tóxico, luego multiclase) resultó en una gran brecha de generalización (0,67 F1 Val → 0,47 F1 Prueba).
• Uno contra Todos: Seis clasificadores binarios con sobremuestreo agresivo fueron demasiado conservadores.
• Métodos de Conjunto: El promediamiento de probabilidades y la votación generalmente perjudicaron el rendimiento, ya que el único mejor modelo dominó todas las clases.
• Aprendizaje por Transferencia: El preentrenamiento en datos de toxicidad de Dota 2 resultó en una "trampa de validación".

Resultados Clave

El sistema logró una puntuación F1-macro de 0,6234 en el conjunto de prueba, ubicándose en 4º lugar de 35 equipos participantes.

• Comparación de Rendimiento:
  • Llama 8B + 5% Sintético: 0,6234 F1 Prueba (Mejor)
  • Llama 8B (Sin Sintético): 0,5971 F1 Prueba
  • Gemma 12B: 0,52 F1 Prueba (A pesar de 0,66 F1 Val)
  • XLM-RoBERTa Large: 0,30 F1 Val
• Rendimiento por Clase: El rendimiento se correlacionó con la frecuencia de la clase. El modelo obtuvo puntuaciones altas en No tóxico (0,94) y Extremismo (0,86), pero tuvo dificultades con "Otro ofensivo" (0,44) y "Odio/Acoso" (0,43).

El Fenómeno de la "Trampa de Validación"

Una contribución significativa de este artículo es la identificación de una "trampa de validación".

• Observación: Los modelos que lograron altas puntuaciones F1 de validación a menudo lo hicieron mediante predicciones conservadoras que coincidían con la distribución de entrenamiento/validación (favoreciendo fuertemente la clase No tóxico del 81%).
• Consecuencia: Estos modelos tuvieron un mal rendimiento en el conjunto de prueba, que parecía tener patrones de anotación diferentes o una distribución desplazada.
• Evidencia: El modelo Gemma 12B logró 0,66 F1 Val pero cayó a 0,52 F1 Prueba. De manera similar, el enfoque de dos etapas cayó de 0,67 F1 Val a 0,47 F1 Prueba.
• Resolución: El enfoque de datos sintéticos del 5% mejoró el rendimiento en prueba al hacer que las predicciones fueran ligeramente más "agresivas" hacia las clases minoritarias (específicamente las Clases 2 y 3), alineándose mejor con la distribución de prueba a pesar de una ligera caída en el F1 de validación (de 0,6554 a 0,6271).

Significado y Afirmaciones

El artículo afirma que su principal significado radica en:

1. Demostrar la eficacia de Llama 3.1 8B sobre modelos más pequeños (2B) y más grandes (12B) para esta tarea específica.
2. Identificar la sensibilidad crítica de las proporciones de datos sintéticos, mostrando que una augmentación precisa del 5% es óptima, mientras que las desviaciones degradan significativamente el rendimiento.
3. Destacar la "trampa de validación", advirtiendo que las métricas de validación altas en tareas desequilibradas y específicas del dominio pueden ser engañosas si reflejan la coincidencia de distribución en lugar de una verdadera generalización.
4. Establecer que los métodos de conjunto no siempre son beneficiosos cuando un solo modelo ya domina el rendimiento en todas las clases.

Los autores concluyen que su enfoque navegó con éxito el desequilibrio severo y los desplazamientos de anotación del conjunto de datos para lograr un ranking entre los 4 primeros, mientras que señalan limitaciones relacionadas con la naturaleza específica del conjunto de datos de la "trampa de validación" y las restricciones computacionales que impidieron la exploración de modelos más grandes.