Resumen Técnico: Aaron en SemEval-2026 Tarea 9

Definición del Problema

Este artículo aborda la SemEval-2026 Tarea 9, la cual se centra en la detección de la polarización en línea a través de múltiples idiomas, culturas y eventos. La tarea se divide en tres subtareas específicas para el inglés y el suajili:

1. Detección Binaria: Clasificar el texto como polarizado o no polarizado.
2. Clasificación de Tipo: Una clasificación multietiqueta que identifica cinco tipos de polarización (política/ideológica, racial/étnica, religiosa, de género/sexual y otra).
3. Identificación de Manifestaciones: Una clasificación multietiqueta que identifica seis manifestaciones específicas de la polarización (estereotipo, vilipendio, deshumanización, lenguaje extremo, falta de empatía y desvalidación).

Los principales desafíos identificados son el severo desequilibrio de etiquetas (particularmente para clases minoritarias como la polarización de género/sexual y manifestaciones específicas) y la necesidad de adaptabilidad multilingüe, específicamente para lenguas africanas donde los modelos multilingües generales pueden tener un bajo rendimiento.

Metodología

El sistema propuesto emplea un flujo de trabajo de cuatro etapas: preprocesamiento, arquitectura de modelo específica por idioma, entrenamiento con pesos de clase y ajuste de umbral post-entrenamiento.

1. Preprocesamiento de Datos

Los autores adoptaron una estrategia de preprocesamiento mínima para preservar las señales de polarización. Se conservaron el uso de mayúsculas original, los emojis y los caracteres especiales, mientras que solo se eliminaron los caracteres de control y los bytes nulos. Los datos se dividieron en un 80/20 en conjuntos de entrenamiento y validación utilizando un muestreo estratificado para mantener las distribuciones de clase.

2. Arquitectura del Modelo

El sistema utiliza modelos basados en transformadores seleccionados específicamente para cada idioma:

• Inglés: Se eligió RoBERTa-base (125 millones de parámetros) sobre BERT y XLM-RoBERTa. Los estudios de ablación indicaron que el enmascaramiento dinámico de RoBERTa y la ausencia de predicción de la siguiente oración arrojaron un rendimiento superior específico para el inglés, mientras que el preentrenamiento multilingüe de XLM-RoBERTa diluyó las representaciones del inglés.
• Suajili: Se seleccionó AfroXLMR-base (270 millones de parámetros). Este modelo está adaptado específicamente para lenguas africanas mediante un preentrenamiento continuo en diversos corpus africanos, superando a los modelos multilingües generales como mBERT y XLM-RoBERTa en tareas de suajili.

Ambos modelos utilizan una cabeza de clasificación que consiste en una capa de dropout (0.1) seguida de una capa lineal que mapea las incrustaciones (embeddings) de 768 dimensiones a los logits de salida requeridos (2 para la Subtarea 1, 5 para la Subtarea 2 y 6 para la Subtarea 3).

3. Función de Pérdida con Pesos de Clase

Para abordar el severo desequilibrio de etiquetas, los autores implementaron una función de pérdida de entropía cruzada binaria con pesos de clase. El peso para cada etiqueta $j$ ($w_j$) se calcula como la razón entre las muestras negativas y positivas ($n_{neg} / n_{pos}$). Esto aumenta la penalización por clasificar erróneamente las clases minoritarias. Por ejemplo, en la Subtarea 2 de inglés, los pesos variaron de 1.73 (político) a 41.95 (género/sexual). Se aplicó recorte de gradiente (max-norm 1.0) para asegurar la estabilidad del entrenamiento.

4. Ajuste de Umbral

Tras el entrenamiento, se realizó una búsqueda de umbral por etiqueta en el conjunto de validación. Los umbrales se escanearon de 0.1 a 0.9 en pasos de 0.05 para maximizar la puntuación F1 macro para cada etiqueta específica. Este enfoque mejoró las puntuaciones F1 macro entre 0.87 y 5.98 puntos en comparación con el umbral estándar de 0.5.

Configuración del Entrenamiento

Los modelos fueron ajustados finamente utilizando AdamW (tasa de aprendizaje $2 \times 10^{-5}$, decaimiento de peso 0.01) con un esquema de calentamiento lineal (linear warmup). El entrenamiento utilizó precisión mixta (FP16) en una sola GPU. Los tamaños de lote fueron 16 para la Subtarea 1 y 8 (con acumulación de gradiente) para las Subtareas 2–3 para acomodar longitudes de secuencia de 128 y 256 tokens, respectivamente. La parada temprana (early stopping) se basó en el F1 macro de validación.

Contribuciones Clave

El artículo destaca tres contribuciones técnicas primarias:

1. Selección de Modelos Específicos por Idioma: Demostrar que los modelos especializados (RoBERTa para inglés, AfroXLMR para suajili) superan a los baselines multilingües generales para la detección de polarización en estos contextos específicos.
2. Implementación de Pérdida con Pesos de Clase: Aplicar con éxito funciones de pérdida ponderadas para mitigar los efectos del desequilibrio extremo de etiquetas en tareas de polarización multietiqueta.
3. Ajuste de Umbral por Etiqueta: Optimizar los límites de clasificación individualmente para cada etiqueta, lo que resultó crítico para mejorar las puntuaciones F1 macro en conjuntos de datos desequilibrados.

Resultados Experimentales

El sistema fue evaluado en el conjunto de prueba utilizando Macro F1 como la métrica principal.

• Subtarea 1 (Detección Binaria): Logró puntuaciones de 0.7901 (inglés) y 0.7910 (suajili). El rendimiento en suajili superó ligeramente al de inglés, debido a una distribución de clases más equilibrada en el conjunto de datos de suajili.
• Subtarea 2 (Clasificación de Tipo): Logró puntuaciones de 0.4615 (inglés) y 0.4808 (suajili). El rendimiento se vio obstaculizado por el desequilibrio extremo, particularmente para las categorías de género/sexual y "otra".
• Subtarea 3 (Identificación de Manifestaciones): Logró puntuaciones de 0.4791 (inglés) y 0.5830 (suajili). El sistema ocupó el 2º lugar de 16 equipos para suajili en esta subtarea.

Rendimiento Comparativo:
El sistema superó consistentemente tanto al Baseline POLAR como a un baseline de mBERT ajustado en todas las subtareas e idiomas. Por ejemplo, en la Subtarea 3 de suajili, el sistema propuesto (0.5830) superó significativamente al baseline de mBERT (0.4380).

Estudios de Ablación:

• Ponderación de Clases: En la Subtarea 2 de inglés, eliminar la ponderación de clases redujo el F1 macro de 0.4721 a 0.4123, una disminución de 5.98 puntos.
• Elección del Modelo: RoBERTa-base superó a BERT-base en un 2.58% en la Subtarea 1 de inglés, mientras que el más grande XLM-RoBERTa tuvo un rendimiento inferior, confirmando el beneficio del preentrenamiento específico para el idioma.

Análisis de Errores y Limitaciones

Los autores identificaron modos de fallo específicos:

• Falsos Positivos: Titulares políticos neutrales y comentarios deportivos hiperbólicos fueron ocasionalmente clasificados erróneamente como polarizados debido a que el modelo confunde el lenguaje fuerte con la polarización.
• Ambigüedad Multietiqueta: En la Subtarea 2, el modelo tuvo dificultades para detectar matices raciales dentro de declaraciones políticas.
• Categorías Raras: La etiqueta de género/sexual (frecuencia del 2.2%) y la manifestación de deshumanización siguieron siendo difíciles de detectar, incluso con la ponderación de clases.
• Matiz Semántico: La deshumanización (31% de los errores) y la falta de empatía requieren una comprensión semántica matizada y razonamiento de teoría de la mente que los transformadores estándar luchan por capturar.
• Brecha Validación-Prueba: Se observó una discrepancia de 2.29 a 10.58 puntos entre las puntuaciones de validación y de prueba, atribuida al sobreajuste de umbrales en una única división de validación y a posibles cambios de dominio en los datos de prueba.

Significancia y Reivindicaciones

El artículo afirma que el enfoque propuesto demuestra un rendimiento competitivo en la tabla de clasificación, destacando particularmente el segundo lugar en la clasificación para suajili en la Subtarea 3. Los autores aseveran que sus métodos son efectivos para manejar la detección de polarización multietiqueta desequilibrada tanto en contextos de altos recursos (inglés) como de bajos recursos (suajili).

El trabajo subraya la necesidad de:

1. Ir más allá de los modelos multilingües genéricos para las lenguas africanas.
2. Emplear técnicas específicas (ponderación de clases y ajuste de umbral) para abordar el sesgo inherente en los conjuntos de datos de polarización.

Los autores concluyen que, si bien el sistema es efectivo, el trabajo futuro debe abordar el razonamiento pragmático, el modelado cultural y la transferencia translingüística para mejorar aún más la detección de manifestaciones sutiles como la deshumanización y la falta de empatía. También enfatizan la necesidad de supervisión humana en el despliegue en el mundo real para evitar la supresión de la expresión política legítima.