MKJ at SemEval-2026 Task 9: A Comparative Study of Generalist, Specialist, and Ensemble Strategies for Multilingual Polarization

Resumen Técnico: MKJ en SemEval-2026 Tarea 9

1. Problema y Contexto

El artículo aborda el desafío de la detección de polarización en 22 idiomas tipológicamente diversos (Subtarea 1 de SemEval-2026). A diferencia del análisis de sentimientos tradicional, la detección de polarización requiere identificar retórica que refuerza divisiones ideológicas, lo cual implica comprender matices socio-políticos complejos y contextos culturales específicos.

El dilema central identificado por los autores es la arquitectura del modelo:

• ¿Es suficiente un modelo generalista multilingüe masivo (como XLM-RoBERTa) para todos los idiomas?
• ¿O es necesario recurrir a especialistas monolingües o ensembles híbridos, especialmente en idiomas con scripts distintos o recursos limitados?

2. Metodología: Marco de Modelado Adaptativo al Idioma

En lugar de imponer una arquitectura universal, el equipo "MKJ" desarrolló un marco de selección de arquitectura adaptativa basado en el rendimiento en el conjunto de desarrollo. El proceso se dividió en tres fases:

• Fase 1: Selección de Arquitectura (Generalistas vs. Especialistas):

  • Se estableció XLM-RoBERTa-Base como línea base universal.
  • Se realizó una búsqueda exhaustiva probando entre 4 y 13 configuraciones por idioma (incluyendo especialistas monolingües, generalistas de alta capacidad como mDeBERTa-v3 y ensembles).
  • Criterio de adopción: Una arquitectura no base se adoptó solo si mejoraba el Macro-F1 en el desarrollo en $\ge$ 2% o mostraba un perfil de Precisión/Recall más equilibrado.
  • Hallazgo clave: Los generalistas estándar sufren fragmentación de subpalabras en scripts no latinos (ej. Khmer, Odia), donde los especialistas monolingües obtuvieron ganancias significativas (hasta +10.6%).

• Fase 2: Ensembles Híbridos y Calibración:

  • Para idiomas donde diferentes modelos mostraban perfiles de error complementarios, se construyeron ensembles de votación suave ponderada ($P(x) = \alpha P_{spec} + (1-\alpha)P_{gen}$).
  • Se ajustaron umbrales de decisión ($\tau$) en casos específicos (ej. Hindi, Persa, Inglés) para mitigar sesgos de clase y equilibrar las fronteras de decisión, especialmente en modelos con predicciones demasiado agresivas.

• Fase 3: Augmentación Cruzada (Traducción):

  • Se exploró la traducción del conjunto de entrenamiento en inglés a los 11 idiomas objetivo utilizando NLLB-200.
  • Resultado: La augmentación mostró resultados mixtos e inconsistentes. En idiomas con morfología rica (Ruso, Polaco), degradó el rendimiento debido a la incapacidad del traductor para generar las inflexiones precisas requeridas por los tokenizadores nativos. Finalmente, se descartó esta estrategia a favor de la selección de arquitectura nativa.

3. Contribuciones Clave

1. Estrategia de Selección Dinámica: Demostración empírica de que una arquitectura única no es óptima para 22 idiomas. El sistema final combinó tres estrategias:
   • Generalistas suficientes: Para idiomas como Burmés, Español y Swahili (usando mDeBERTa-v3).
   • Superioridad de Especialistas: Para idiomas con scripts únicos o dominios específicos (ej. AraBERT para Árabe, BanglaBERT para Bengali, modelos XLM-R monolingües para Khmer y Odia).
   • Ensembles Híbridos: Para idiomas complejos como Inglés, Hindi, Persa y Polaco, combinando modelos de dominio (ej. BERTweet) con generalistas.
2. Análisis de Fracturación de Tokenización: Identificación de que la fragmentación excesiva de subpalabras en XLM-R es un cuello de botella crítico en scripts no latinos, justificando el uso de tokenizadores nativos.
3. Evaluación Crítica de Augmentación: Evidencia de que la traducción automática simple (NLLB) puede ser contraproducente en tareas de polarización para idiomas morfologicamente ricos, superando a la selección cuidadosa de modelos nativos.

4. Resultados

El sistema final logró un rendimiento sólido en la prueba oficial:

• Puntuación Global: Macro-F1 promedio de 0.796 y precisión promedio de 0.826 en los 22 tracks.
• Posicionamiento:
  • 2º lugar en Burmés (mya).
  • 2º lugar compartido en Persa (fas).
  • Dentro de los 4 puntos de Macro-F1 del mejor participante (SOTA) en 13 de los 22 idiomas.
• Casos de Éxito: Mejoras notables en Odia (+10.6% sobre la línea base) y Khmer (+8.1%) gracias a especialistas monolingües.
• Análisis de Fallos:
  • Trampas de Recuperación (Khmer, Urdu): Los modelos colapsaron hacia la clase mayoritaria (polarizada), prediciendo polarización en ~95% de las muestras.
  • Sobreajuste Semántico (Punjabi, Italiano): Los ensembles complejos o modelos especializados sobreajustaron a artefactos léxicos del conjunto de desarrollo, perdiendo generalización en la prueba.
  • Trampa del Especialista (Alemán): Un especialista (GBERT) superó la línea base en desarrollo pero falló en prueba, revelando el riesgo de validaciones pequeñas ($N \approx 160$).

5. Significado y Conclusiones

El estudio concluye que la detección de polarización multilingüe no tiene una solución única.

• Limitaciones de los Generalistas: Aunque XLM-RoBERTa es un buen punto de partida, su capacidad semántica no compensa la falta de vocabulario especializado ni la mala adaptación a scripts no latinos.
• Importancia de la Adaptación Cultural: El rendimiento competitivo requiere soluciones basadas en la cultura y el idioma, ya sea mediante especialistas monolingües, generalistas de alta capacidad (mDeBERTa-v3) o ensembles ponderados.
• Advertencia sobre Datos Sintéticos: La augmentación mediante traducción automática simple no es una panacea y puede degradar el rendimiento en idiomas con morfología compleja.

En resumen, el trabajo de MKJ demuestra que la selección de arquitectura específica por idioma es una estrategia más fiable que el simple escalado de modelos universales o la augmentación de datos sin filtrar, destacando la necesidad de soluciones de PLN cultural y lingüísticamente fundamentadas.