PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

Resumen Técnico: PSK en SemEval-2026 Tarea 9

Definición del Problema
El artículo aborda la Tarea 9 de SemEval-2026, un desafío de clasificación binaria centrado en la detección de polarización de actitudes en texto de redes sociales a través de 22 idiomas tipológicamente diversos. La tarea consiste en clasificar el texto como "polarizado" (que involucra estereotipos, vilificación, deshumanización o intolerancia) o "no polarizado". El conjunto de datos presenta desafíos significativos, incluyendo tamaños variables (desde ~1.700 hasta ~7.000 muestras por idioma), variaciones culturales en cómo se manifiesta la polarización y desequilibrios severos de clases en idiomas específicos (por ejemplo, jemer con una relación de 10:1 entre muestras polarizadas y no polarizadas). La métrica de evaluación principal es la puntuación F1 macro-promediada.

Metodología
El enfoque del equipo se centra en el ajuste fino de modelos separados para cada idioma utilizando la familia Gemma 3 de Google, complementada con datos sintéticos y estrategias de ensamble.

• Arquitectura del Modelo: El sistema utiliza dos tamaños de modelo: Gemma 3 12B (modelo principal) y Gemma 3 27B (modelo de ensamble). Ambos se ajustan finamente utilizando Adaptación de Bajo Rango (LoRA) con una cabeza de clasificación de secuencia. El modelo de 12B utiliza cuantización de 8 bits en una sola GPU A100, mientras que el modelo de 27B emplea cuantización NF4 de 4 bits en dos GPUs A100. Los parámetros de entrenamiento incluyen una tasa de aprendizaje de $5 \times 10^{-5}$, 3 épocas y tamaños de lote de 1–2 con acumulación de gradientes.
• Aumento de Datos Sintéticos: Para abordar la escasez de datos, el equipo generó aproximadamente 1.000 muestras sintéticas por idioma utilizando GPT-4o-mini mediante tres estrategias:
  1. Generación Directa (50%): Generación nativa de muestras en cinco temas culturalmente relevantes (político, étnico/racial, religioso, clase social, relaciones internacionales).
  2. Parafraseo que Preserva la Etiqueta (30%): Parafraseo de muestras reales de entrenamiento con una temperatura de 0.7, filtrado para mantener una similitud coseno inferior a 0.90 con la original.
  3. Pares Contrastivos (20%): Pares de edición mínima sobre el mismo tema, que contienen una instancia polarizada y una no polarizada para afilar los límites de clase.
  • Control de Calidad: Se aplicó una tubería de filtrado multi-etapa, que incluía limpieza básica, detección de filtrado de etiquetas basada en regex, deduplicación basada en incrustaciones (utilizando paraphrase-multilingual-MiniLM-L12-v2 con un umbral de 0.90) y verificaciones de consistencia de traducción de ida y vuelta.
• Ensamble y Ajuste de Umbral:
  • Optimización del Umbral: En lugar de utilizar un umbral predeterminado de 0.5, el equipo buscó umbrales óptimos ($t \in \{0.3, \dots, 0.7\}$) en el conjunto de desarrollo para maximizar la F1 macro para cada idioma individualmente.
  • Estrategias de Ensamble: Se evaluaron cuatro estrategias por idioma: solo 12B, solo 27B, promediado simple y promediado ponderado ($p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$). La estrategia que obtuvo la F1 de desarrollo más alta se seleccionó para la presentación final.

Resultados Clave

• Rendimiento: El sistema final logró una F1 macro media de 0.811 en los 22 idiomas, clasificándose en 2º lugar global entre 60 equipos participantes. El sistema obtuvo el 1º lugar en 3 idiomas (amaríco, hindi, suajili) y terminó entre los 3 primeros en 8 idiomas.
• Impacto de los Componentes:
  • Ajuste del Umbral: El ajuste del umbral por idioma en el conjunto de desarrollo produjo mejoras de F1 del 2% al 4% sin reentrenamiento.
  • Datos Sintéticos: Una relación óptima de datos sintéticos del 30% proporcionó ganancias modestas (2–3%), observándose los beneficios más significativos en idiomas de recursos limitados.
  • Ensamble: Los ensambles ponderados de los modelos 12B y 27B fueron la estrategia ganadora para 14 de los 22 idiomas.
• Generalización vs. Rendimiento en Desarrollo: Un hallazgo crítico fue la disparidad entre el rendimiento en desarrollo y en prueba a través de las arquitecturas. Mientras que XLM-RoBERTa y Qwen3 mostraron un fuerte rendimiento en el conjunto de desarrollo, sufrieron caídas masivas de F1 (30–50%) en el conjunto de prueba. Por ejemplo, XLM-RoBERTa cayó de 0.856 a 0.297 en bengalí. Solo los modelos Gemma demostraron una generalización fiable desde el desarrollo hasta la prueba.
• Estudio de Caso (Italiano): El rendimiento más débil del sistema fue en italiano (0.563 F1). El análisis reveló una "brecha de cobertura temática": los conjuntos de entrenamiento y desarrollo contenían cero ejemplos de temas "políticos" u "otros", sin embargo, estas categorías constituían el 41% del conjunto de prueba y el 87% de su clase positiva. Esto destacó un cambio de distribución donde el modelo fue evaluado en una subpoblación positiva que nunca observó durante el entrenamiento.

Significado y Afirmaciones
El artículo afirma que la generalización robusta es un factor más crítico para el éxito que maximizar el rendimiento del conjunto de desarrollo. Los autores argumentan que, aunque arquitecturas alternativas (XLM-RoBERTa, Qwen3) pueden parecer superiores durante el desarrollo, no logran transferirse eficazmente a distribuciones de prueba no vistas, mientras que la familia Gemma mantuvo un rendimiento consistente.

El estudio destaca la eficacia del ajuste de umbral por idioma como un método de bajo costo para impulsar significativamente el rendimiento corrigiendo la mala calibración de probabilidades (por ejemplo, modelos rusos con poca confianza y modelos jemer con demasiada confianza). Además, el trabajo demuestra que el aumento de datos sintéticos es más beneficioso para idiomas de recursos limitados, aunque requiere una gestión cuidadosa de la relación para evitar la degradación en idiomas de recursos abundantes o sensibles.

Limitaciones
Los autores reconocen varias limitaciones:

• Intensidad Computacional: Entrenar modelos separados para 22 idiomas requiere recursos significativos de GPU.
• Autenticidad de los Datos Sintéticos: La calidad de los datos sintéticos para idiomas de recursos limitados (por ejemplo, jemer, suajili) puede ser limitada si el LLM no puede generar texto auténtico en esos contextos lingüísticos específicos.
• Transferibilidad del Umbral: Los umbrales optimizados en un pequeño conjunto de desarrollo pueden no transferirse completamente a la distribución de prueba.
• Ratios de Estrategia Heurística: La división 50/30/20 para las estrategias de datos sintéticos se eligió heurísticamente en lugar de mediante ablación sistemática.

Conclusión
El sistema PSK aprovechó con éxito los modelos Gemma, el aumento de datos sintéticos y los métodos de ensamble para lograr una clasificación entre los 2 primeros en una tarea multilingüe desafiante. La conclusión principal es la necesidad de priorizar modelos que generalicen bien sobre aquellos que simplemente sobreajustan las métricas de desarrollo, junto con la utilidad de técnicas simples de calibración post-hoc como el ajuste de umbrales.