Resumen Técnico: PolarMind en SemEval-2026 Tarea 9

Declaración del Problema

El artículo aborda el desafío crítico de detectar la polarización en línea en contextos multilingües y multiculturales, específicamente dentro del alcance de la SemEval-2026 Tarea 9. La tarea consiste en identificar el discurso polarizado en 22 idiomas, categorizados en dos subtareas:

1. Subtarea 1: Clasificación binaria (polarizado vs. no polarizado).
2. Subtarea 2: Clasificación multiclase de tipos de polarización (Política, Racial, Género, Étnica, Otra).

Los autores destacan que la polarización depende de la cultura y el idioma; una oración puede ser neutral en un idioma (por ejemplo, inglés) pero polarizada cuando se traduce a otro (por ejemplo, urdu). Una dificultad primordial radica en la escasez de datos de entrenamiento para lenguas de bajos recursos, lo que a menudo genera brechas de rendimiento significativas entre los idiomas de altos recursos (por ejemplo, inglés) y los de bajos recursos en los modelos de vanguardia.

Metodología

Los autores proponen PolarMind, un sistema centrado en una arquitectura LaBSE (Language-agnostic BERT Sentence Embedding) personalizada, aumentada por Aprendizaje de Currículo Guiado por Proxis (Proxy-Guided Curriculum Learning).

Arquitectura Central: LaBSE con Agregación de Capas Híbrida

A diferencia de los codificadores multilingües estándar (por ejemplo, mBERT, XLM-R), LaBSE está optimizado para mapear oraciones translingüísticas semánticamente similares en el mismo espacio vectorial exacto. Los autores hipotetizan que este alineamiento estricto permite al modelo proyectar frases polarizadas de bajos recursos, que son escasas, en vecindarios semánticos robustos establecidos por idiomas de altos recursos.

La arquitectura incorpora dos modificaciones clave:

1. Agregación de Capas Ponderada: En lugar de utilizar solo la capa final, el modelo agrega las últimas cuatro capas ($L_{n-4}$ a $L_n$) utilizando parámetros aprendibles ($w_1, w_2, w_3, w_4$). Los pesos para las capas anteriores se inicializan de forma más pequeña ($\sim 0.2w_1$) para priorizar las características semánticas más profundas.
2. Pooling Híbrido: La representación final combina el Global Mean Pooling (que captura el contexto semántico general) y el Additive Attention Pooling (que resalta los tokens de alto impacto).
   • Mean Pooling: Calcula la media aritmética de los estados ocultos.
   • Attention Pooling: Utiliza un mecanismo de atención aditiva (Bahdanau et al., 2016) para asignar pesos a tokens específicos.
   • Fusión: El embedding final es $e_{hybrid} = e_{mean} + \lambda e_{attn}$. Para la Subtarea 2, se mantienen mecanismos de atención independientes para cada cabezal de clasificación para evitar la confusión de diferentes tipos de polarización (por ejemplo, género vs. etnia).

Estrategia de Entrenamiento: Aprendizaje de Currículo Guiado por Proxis

Para abordar el desequilibrio de datos y la variación de dificultad, los autores emplean una estrategia de aprendizaje de currículo:

• Clasificación de Dificultad: Un modelo proxi (XLM-RoBERTa-base) clasifica el conjunto de datos basado en una puntuación de dificultad $R(x) = \alpha \cdot P(y|x) + \beta \cdot \frac{1}{len(x)}$, donde $P(y|x)$ es la confianza del proxi y el término de la inversa de la longitud promueve ejemplos más cortos y de altos recursos.
• Fases de Entrenamiento: Los modelos se entrenan en etapas: primero muestras fáciles, seguidas de fáciles+medianas, medianas+difíciles, y finalmente el conjunto de datos completo.

Estudio de Ablación y Modelos Alternativos

El artículo evalúa la arquitectura central de LaBSE frente a varias alternativas:

• RemBERT: Probado con y sin preentrenamiento continuo en un corpus derivado de los datos de la Subtarea 3 para actualizar el conocimiento del modelo sobre eventos recientes.
• EuroBERT: Un codificador de vanguardia optimizado para lenguas europeas con un corte de conocimiento más reciente.
• Qwen-2.5-14B (LLM): Evaluado mediante un marco de prompting basado en recuperación.
  • Recuperación: LaBSE recupera los top-$k$ oraciones semánticamente similares de los datos de entrenamiento.
  • Diversidad: La Relevancia Marginal Máxima (MMR) asegura que los ejemplos recuperados sean tanto relevantes para la consulta como diversos entre sí.
  • Prompting: Se probó el prompting de pocos disparos (7 shots) con texto bruto y texto aumentado con fonemas (usando la librería Epitran) para analizar si la información fonética ayuda al rendimiento en lenguas de bajos recursos.

Contribuciones Clave

1. Arquitectura basada en LaBSE: Introducción de una agregación de capas ponderada y un mecanismo de pooling híbrido diseñado específicamente para la detección de polarización translingüística, aprovechando el estricto alineamiento translingüístico de LaBSE.
2. Aprendizaje de Currículo Guiado por Proxis: Una estrategia para mitigar el desequilibrio de datos multilingües entrenando con datos ordenados por dificultad.
3. Evaluación Exhaustiva de Modelos: Un análisis comparativo de modelos codificadores (LaBSE, RemBERT, EuroBERT) y modelos de lenguaje de gran escala (Qwen-2.5) dentro de un marco de recuperación.
4. Análisis Empírico de las Limitaciones de los LLM: Investigación sobre la eficacia del prompting basado en fonemas y el aprendizaje de pocos disparos para tareas de polarización de bajos recursos.

Resultados

El sistema fue evaluado en el conjunto de desarrollo y en el conjunto de prueba oficial a través de 22 idiomas.

• Subtarea 1 (Clasificación Binaria):

  • La arquitectura propuesta de LaBSE con pooling híbrido superó consistentemente al baseline oficial POLAR (LaBSE-base ajustado) con un promedio de 0.04 en Macro F1 en los 22 idiomas.
  • En idiomas de bajos recursos, el sistema logró resultados competitivos, asegurando los primeros 10 puestos en cinco idiomas. Por ejemplo, en amhárico (amh), el sistema alcanzó una puntuación de 0.771, una mejora del 5.6% sobre el baseline.
  • El preentrenamiento continuo en RemBERT produjo solo mejoras marginales (+0.005 Macro F1), lo que sugiere que la estrategia de pooling híbrido ofreció un impulso más significativo que el escalado del modelo por sí solo.
  • El modelo decodificador Qwen-2.5 no superó a los modelos codificadores, probablemente debido a desajustes de tokenización y un alineamiento translingüístico más débil en comparación con LaBSE.

• Subtarea 2 (Detección de Tipo):

  • El modelo basado en LaBSE superó nuevamente a RemBERT y EuroBERT.
  • La calibración de umbral específica por idioma mejoró el Macro-F1 promedio en el conjunto de desarrollo de 0.5216 a 0.5441 (+2.25%), resaltando la sensibilidad de la detección multietiqueta a la selección del umbral.
  • Qwen-2.5 (7-shot) funcionó a la par con el modelo codificador, aprovechando el conocimiento previo para generalizar patrones dispersos (por ejemplo, género/etnia) donde el codificador tenía dificultades con muestras limitadas.
  • Prompting Fonético: La adición de información fonética (texto + IPA) no produjo mejoras significativas. Los autores hipotetizan que para esta tarea, las capas fonéticas ofrecen información redundante, y la transformación IPA puede filtrar inadvertidamente emojis o marcadores específicos de la escritura que portan un peso polarizado significativo.

Significancia y Reivindicaciones

El artículo sostiene que el enfoque óptimo para la detección de la polarización multicultural implica sistemas especializados que tengan en cuenta los matices lingüísticos y culturales, en lugar de depender únicamente de modelos de propósito general.

La principal significancia del trabajo radica en demostrar que LaBSE, típicamente reservado para tareas de recuperación, puede ser reorientado eficazmente para la clasificación en entornos de bajos recursos. Al combinar el estricto alineamiento translingüístico de LaBSE con el pooling híbrido y el aprendizaje de currículo, el sistema cierra la brecha de rendimiento entre los idiomas de altos recursos y los de bajos recursos, logrando hasta una mejora de 0.2 en macro F1 en escenarios específicos de bajos recursos en comparación con los baselines estándar.

Los autores concluyen modestamente que, aunque los LLM muestran promesa mediante el aprendizaje de pocos disparos, actualmente enfrentan limitaciones en el alineamiento translingüístico y la tokenización para esta tarea específica, y que la aumentación fonética no proporciona actualmente una ventaja concluyente para la detección de la polarización. El trabajo establece una base sólida para futuras investigaciones en el campo del PLN multilingüe y multicultural.