mdok-style at SemEval-2026 Task 9: Finetuning LLMs for Multilingual Polarization Detection

Resumen Técnico: mdok-style en SemEval-2026 Tarea 9

Definición del Problema
La Tarea 9 de SemEval-2026 aborda el desafío crítico de detectar la polarización en línea en 22 idiomas. La tarea se estructura en tres subtasas: (1) detección binaria de si un texto expresa polarización; (2) clasificación del tipo de polarización basada en dimensiones sociales (por ejemplo, política, racial/étnica, religiosa); y (3) identificación de manifestaciones retóricas (por ejemplo, deshumanización, falta de empatía, invalidación). Los autores señalan que la polarización en línea a menudo precede al discurso de odio y a la fragmentación social, haciendo vital su detección temprana para espacios digitales más seguros.

Metodología
El sistema presentado, denominado mdok-style, adapta el marco mdok (detector de máquinas de KInIT), desarrollado originalmente para detectar texto generado por máquinas en PAN@CLEF2025. El enfoque se basa en el ajuste fino de Modelos de Lenguaje Grandes (LLM) de tamaño medio utilizando la técnica de ajuste fino eficiente en parámetros QLoRA con cuantización de 4 bits.

• Aumento de Datos: Para mejorar la robustez y aumentar el volumen de entrenamiento, los autores aplicaron cuatro técnicas de aumento a los datos de entrenamiento:
  1. Anonimización: Reemplazo de correos electrónicos, menciones de usuarios y números de teléfono con etiquetas para reducir el sesgo hacia información personal específica.
  2. Variación de Mayúsculas y Minúsculas: Conversión de textos duplicados a todo minúsculas y todo mayúsculas para hacer la detección invariante al estilo visual.
  3. Homoglifización: Reemplazo de caracteres por contrapartes visualmente similares de otros scripts para simular ataques de ofuscación y mejorar la resistencia contra la interrupción de la tokenización.
• Selección del Modelo:
  • Para la Subtarea 1 (detección binaria), se seleccionó Qwen3-32B como modelo base óptimo debido a su rendimiento en los 22 idiomas.
  • Para las Subtasas 2 y 3 (clasificación multietiqueta), los autores encontraron dificultades al ajustar finamente los modelos Qwen3 para escenarios multietiqueta. En consecuencia, cambiaron a Gemma-3-27B-pt, que admite más de 140 idiomas.
• Estrategia de Entrenamiento: Los conjuntos de entrenamiento para los 22 idiomas se combinaron para enfocar el modelo en la tarea en lugar de en idiomas específicos. Los conjuntos de validación se construyeron muestreando 100 textos por idioma y etiqueta. Los modelos se ajustaron finamente durante una sola época utilizando una tasa de aprendizaje constante de 2e-5, con la selección de puntos de control basada en la mejor métrica de validación (AUC para la Subtarea 1, F1 macro para las Subtasas 2 y 3).
• Enfoque Alternativo (Teoría de la Evaluación): Los autores exploraron un método alternativo utilizando detección de emociones basada en la teoría de la evaluación (basada en el corpus ISEAR y la arquitectura AppraisePLM) para capturar señales cognitivas de polarización. Aunque esto no se incluyó en el sistema final presentado debido a limitaciones de tiempo, se evaluó en una parte retenida de los datos de entrenamiento.

Contribuciones Clave

• Adaptación Transversal de Tareas: Transferencia exitosa de un marco de detección de texto generado por máquinas (mdok) al dominio de la detección de polarización.
• Aumento Robusto: Demostración de que aumentos de texto específicos (anonimización, variación de mayúsculas y minúsculas, homoglifos) mejoran la robustez del modelo frente a la ofuscación visual y las variaciones de estilo comunes en las redes sociales.
• Unificación Multilingüe: Implementación de un único sistema capaz de manejar 22 idiomas diversos, abordando el desafío de los idiomas de recursos limitados dentro de un entorno de tarea compartida.
• Reproducibilidad Abierta: Los autores han publicado el código fuente completo y las dependencias del marco IMGTB para garantizar que los detectores sean replicables.

Resultados
El rendimiento del sistema se evaluó utilizando puntuaciones F1 promediadas macro por idioma:

• Subtarea 1 (Detección): El sistema se desempeñó de manera competitiva, logrando puntuaciones F1 macro superiores a 0.63 para todos los idiomas (oscilando entre 0.6293 para el camboyano hasta 0.9237 para el chino). Superó la línea base oficial en aproximadamente dos tercios de los casos, con una mejora promedio del 3%.
• Subtarea 2 (Tipo) y Subtarea 3 (Manifestación): El rendimiento fue más variable. El sistema tuvo dificultades con la naturaleza multietiqueta de estas tareas, particularmente para idiomas con menos muestras o distribuciones de etiquetas complejas. Por ejemplo, el hausa obtuvo un F1 de 0.0 en la Subtarea 3. Sin embargo, el sistema logró clasificaciones de primer nivel (top 20%) en 14 de las 62 combinaciones de idioma-subtarea.
• Clasificador Basado en Evaluación: El sistema alternativo basado en evaluación mostró promesa en la Subtarea 1 pero arrojó un rendimiento aleatorio en las Subtasas 2 y 3. No obstante, el análisis de AUC sugirió que las dimensiones de evaluación podrían servir como indicadores efectivos de polarización dignos de mayor exploración.

Significado y Afirmaciones
Los autores afirman que su trabajo demuestra que un único sistema unificado puede manejar eficazmente la detección de polarización en una amplia gama de idiomas, compitiendo con otros sistemas especializados. Reconocen que, aunque el enfoque es altamente efectivo para la detección binaria (Subtarea 1), las tareas de clasificación multietiqueta (Subtasas 2 y 3) siguen siendo más desafiantes.

El artículo concluye modestamente que, aunque el sistema actual es competitivo, el trabajo futuro podría implicar el ajuste fino de modelos individualmente para idiomas o grupos de idiomas específicos en lugar de un único modelo monolítico. Además, los autores sugieren que la combinación de detectores ajustados finamente con señales basadas en la evaluación representa una dirección prometedora para la investigación futura, a pesar de la dependencia actual del sistema de los primeros. El trabajo destaca el potencial del ajuste fino eficiente en parámetros y el aumento de datos para crear herramientas de PLN robustas y multilingües para el bien social.