Lingo_Research_Group at SemEval-2026 Task 9: Evaluating Prompt Variants for Polarization Detection

Resumen Técnico: Lingo_Research_Group en SemEval-2026 Task 9

Definición del Problema
El artículo aborda la Tarea 9 de SemEval-2026, un desafío de clasificación de texto multilingüe centrado en la detección de la polarización. La tarea se divide en tres subtareas de complejidad creciente:

1. Subtarea 1 (Detección Binaria): Determinar si una publicación en redes sociales exhibe polarización de actitud (encuadre divisivo de endogrupo/exogrupo, hostilidad o exclusión).
2. Subtarea 2 (Clasificación de Objetivos): Identificar los objetivos específicos de la polarización (políticos, raciales/étnicos, religiosos, de género/sexuales u otros) en un entorno de etiquetas múltiples.
3. Subtarea 3 (Identificación de Manifestaciones): Detectar las formas retóricas de la polarización, tales como estereotipos, vilipendio, deshumanización, lenguaje extremo, falta de empatía o invalidación.

El desafío radica en que la polarización a menudo se realiza a través del encuadre, la retórica y el contexto cultural en lugar del discurso de odio explícito, lo que dificulta su detección, particularmente en 22 idiomas diversos con patrones de discurso variados.

Metodología
Los autores proponen un enfoque de inferencia basado en prompts utilizando Grandes Modelos de Lenguaje (LLMs) sin ajuste fino de parámetros (fine-tuning). La metodología central involucra:

• Ingeniería de Prompts: En lugar de un único prompt, el equipo diseñó y evaluó 12 variantes distintas de prompts. Estas variantes variaron sistemáticamente en claridad terminológica, detalle de definición, guía de razonamiento e inclusión de ejemplos de contexto. Los prompts se estructuraron como un gradiente conceptual, moviéndose desde un contexto mínimo hasta definiciones detalladas e instrucciones de razonamiento paso a paso.
• Selección de Modelos: Los experimentos se realizaron utilizando dos LLMs multilingües: aya-101 y Gemma3-27B. Basándose en las comparaciones de rendimiento entre subtareas y configuraciones de prompts, se seleccionó Gemma3-27B para la entrega final debido a sus superiores puntuaciones F1 macro.
• Estrategia de Inferencia: El sistema trata el análisis de la polarización como un problema de seguimiento de instrucciones. Para la Subtarea 1, el modelo predice una etiqueta binaria. Para las Subtareas 2 y 3, genera una lista de predicciones binarias para cada etiqueta de objetivo o manifestación. El equipo utilizó una estrategia de prompting "conservadora", prediciendo la polarización solo cuando existía evidencia explícita e inequívoca.
• Evaluación: El sistema fue evaluado en conjuntos de prueba no utilizados (held-out) a través de 22 idiomas utilizando puntuaciones F1 promediadas macro para dar cuenta del desequilibrio de clases. No se utilizó datos externos ni aumentación de datos.

Resultos Clave
El sistema logró las siguientes puntuaciones F1 macro promedio en el conjunto de prueba oficial:

• Subtarea 1: 0.762 (Precisión Promedio: 0.819)
• Subtarea 2: 0.587 (Precisión Promedio: 0.678)
• Subtarea 3: 0.444 (Precisión Promedio: 0.498)

El rendimiento varió significamente por idioma y subtarea. Por ejemplo, el chino y el nepalí lograron puntuaciones F1 altas (hasta 0.92) en la Subtarea 1, mientras que el italiano obtuvo tan solo 0.35. Los autores observaron una degradación sistemática del rendimiento a medida que la complejidad de la tarea aumentaba desde la detección binaria hacia la clasificación sociolingüística de etiquetas múltiples y finas.

Análisis y Hallazgos
El artículo proporciona un análisis detallado de los resultados, destacando varias tendencias clave:

• Complejidad de la Tarea: Existe una relación inversa clara entre la abstracción de la tarea y el rendimiento. Si bien los enfoques basados en prompts son efectivos para la detección de grano grueso (Subtarea 1), tienen dificultades con las tareas de etiquetas múltiples y de grano fino (Subtareas 2 y 3) donde las etiquetas son abstractas (por ejemplo, "falta de empatía") y carecen de indicadores léxicos claros.
• Supresión de Recall: La estrategia de prompting conservadora condujo a una alta precisión pero a un bajo F1 macro en las Subtareas 2 y 3. Los modelos subpredijeron frecuentemente las etiquetas positivas, particularmente en idiomas donde la polarización se transmite indirectamente a través de la ironía, preguntas retóricas o referencias culturales (por ejemplo, hausa, italiano, jemer).
• Matices Específicos del Idioma: El rendimiento no fue uniforme entre los idiomas. El nepalí y el chino funcionaron bien en las Subtareas 1 y 2 debido a las referencias grupales explícitas, mientras que el hindi funcionó mejor en la Subtarea 3, probablemente debido a su prevalencia de tácticas retóricas explícitas (vilipendio, lenguaje extremo) que se alinean bien con los sesgos previos de entrenamiento del modelo.
• La Paradoja del Inglés: A pesar del extenso entrenamiento previo en datos en inglés, el inglés tuvo un rendimiento inferior a la mediana. Los autores atribuyen esto a la prevalencia de la ironía, la sarcasmo y el lenguaje ideológico abreviado en la polarización en inglés, que los prompts conservadores a menudo clasifican erróneamente como no polarizados debido a la falta de hostilidad superficial.
• Limitaciones de la Traducción: El artículo señala que el razonamiento basado en traducción (codificar las entradas en inglés antes de la clasificación) puede despojar a las expresiones cargadas emocionalmente, fallando en preservar la intención retórica necesaria para la identificación de manifestaciones.

Significancia y Reivindicaciones
El artículo afirma que los enfoques basados en prompts utilizando LLMs multilingües son un método viable para detectar la polarización de grano grueso sin la necesidad de un ajuste fino específico de la tarea o grandes conjuntos de datos anotados. Sin embargo, los autores concluyen modestamente que estos métodos encuentran dificultades crecientes a medida que la tarea se desplaza hacia la clasificación sociolingüística de etiquetas múltiples y de grano fino.

El trabajo demuestra que el diseño de los prompts es crítico; la articulación de las definiciones de las tareas, los límites de decisión y las expectativas de razonamiento influye fuertemente en el rendimiento del modelo. El estudio destaca que, si bien los LLMs pueden manejar la detección binaria de manera efectiva, la "equivalencia semántica" de la traducción no garantiza la preservación de la intención retórica, lo que sugiere que el trabajo futuro debe abordar los matices del discurso translingüe y las limitaciones del prompting conservador para capturar la polarización implícita.

Consideraciones Éticas
Los autores enfatizan que su sistema no debe utilizarse como una herramienta de moderación independiente debido a los riesgos de falsos positivos (prohibición injusta del discurso legal) y falsos negativos (tolerancia de la retórica peligrosa). También reconocen disparidades significativas de rendimiento entre idiomas, que pueden derivar de la representación de los datos de preentrenamiento, variaciones culturales y densidad de anotación.