Resumen Técnico: Tarea Compartida StanceNakba 2026

Definición del Problema

La tarea compartida StanceNakba 2026 aborda el desafío de detectar automáticamente las posturas políticas en el discurso polarizado de las redes sociales en torno al conflicto palestino-israelí. Si bien la detección de posturas (identificar si un autor está a favor, en contra o es neutral hacia un objetivo) es una tarea de PLN bien establecida, los recursos y puntos de referencia existentes se han centrado principalmente en el inglés y en temas políticamente neutrales. Esta tarea pretende llenar el vacío en el análisis de discursos relacionados con conflictos, multilingües y altamente polarizados.

La tarea se estructura en torno a dos subtareas distintas diseñadas para investigar diferentes dimensiones de la alineación política:

• Subtarea A (Detección de Postura a Nivel de Actor): Una tarea en lengua inglesa que requiere que los modelos infieran la orientación política general de un autor hacia el conflicto en su conjunto. El objetivo es clasificar las publicaciones en tres categorías: Pro-Palestina, Pro-Israel o Neutral. Esta formulación asume que la orientación política se expresa a menudo de forma indirecta a través de elecciones de encuadre más que mediante marcadores de opinión explícitos.
• Subtarea B (Detección de Postura entre Temas): Una tarea en lengua árabe que requiere que los modelos detecten posturas hacia dos temas de política específicos relacionados con el conflicto: "Normalización con Israel" y "Presencia de Refugiados/Inmigrantes en Jordania". El objetivo es clasificar las publicaciones en A favor, En contra o Ninguna. Esta subtarea pone a prueba la capacidad de los modelos para generalizar las representaciones de postura a través de diferentes temas dentro del mismo dominio de conflicto.

Metodología y Conjunto de Datos

La tarea compartida se basa en un conjunto de datos anotado de 2.606 publicaciones de redes sociales, divididas entre inglés y árabe.

Construcción del Conjunto de Datos:

• Subtarea A (Inglés): Comprende 1.401 publicaciones recopiladas de X (anteriormente Twitter). Las publicaciones se recuperaron utilizando consultas de palabras clave específicas (por ejemplo, "I stand with Palestine" para Pro-Palestina) y se equilibraron a 467 muestras por clase. Un riguroso proceso de preprocesamiento eliminó palabras clave que filtraban la etiqueta (por ejemplo, las frases semilla utilizadas para la recuperación), URLs, menciones y emojis, conservando únicamente el texto alfanumérico. Los datos se dividieron en conjuntos de entrenamiento (70%), desarrollo (15%) y prueba (15%).
• Subtarea B (Árabe): Utiliza un subconjunto del corpus MARASTA, centrándose en 1.205 muestras a través de dos temas. Los datos cubren múltiples dialectos árabes (del Golfo, Levantino) y Árabe Estándar Moderno (MSA). Las anotaciones fueron realizadas por múltiples anotadores con un alto acuerdo inter-anotador (Kappa de Cohen de 0.84). El conjunto de datos está equilibrado en las tres clases de postura para cada tema.

Sistemas Participantes:
Un total de 7 equipos participaron en la Subtarea A y 6 equipos en la Subtarea B. La metodología dominante en todos los sistemas participantes fue el ajuste fino (fine-tuning) de modelos basados en transformadores pre-entrenados.

• Arquitecturas de Modelos: Los pilares (backbones) más comunes incluyeron modelos específicos para el árabe (MARBERT, ARBERT, CAMeLBERT) y modelos multilingües (DeBERTa-v3, XLM-RoBERTa, mDeBERTa).
• Técnicas: Los equipos emplearon diversas estrategias para manejar el desequilibrio de clases y mejorar la generalización, incluyendo:
  • Métodos de Ensamblaje: Combinación de predicciones de múltiples modelos o pliegues de validación cruzada.
  • Funciones de Pérdida: Entropía cruzada ponderada, suavizado de etiquetas (label smoothing) y aprendizaje contrastivo (por ejemplo, Aprendizaje Contrastivo de Prototipos).
  • Formulaciones de Entrada: Entradas condicionadas por el tema, reformulación de Inferencia de Lenguaje Natural (NLI) y "Ajuste de Sentencia" (usando plantillas de tipo cloze con tokens [MASK]).
  • Aumento de Datos: Traducción inversa y parafraseo generado por LLM (específicamente para la Subtarea B).
  • Regularización: Regularización de consistencia R-Drop y ajustes de dropout.

Resultados Clave

La métrica de evaluación para ambas subtareas fue la puntuación F1 Macro, que trata todas las clases por igual, penalizando así el bajo rendimiento en las clases a menudo subrepresentadas de "Neutral" o "Ninguna".

• Subtarea A (Nivel de Actor): El sistema con mejor desempeño, Shroukgbr, logró un F1 Macro de 0.9620. Este equipo utilizó un único transformador basado en BERT con pérdida de entropía cruzada ponderada y validación cruzada estratificada de 5 pliegues. El segundo y tercer lugar fueron alcanzados por equipos que utilizaron MARBERT/ARBERT y una arquitectura de BERT de Mezcla de Expertos (MoE), respectivamente.
• Subtarea B (Entre Temas): El sistema con mejor desempeño, Viva_Palestine, logró un F1 Macro de 0.8724. Este sistema realizó el ajuste fino de MARBERT en un conjunto de entrenamiento y validación fusionados con entradas de pares oración-tema. El segundo y tercer lugar fueron alcanzados por sistemas utilizando AraBERT y MARBERTv2 con aumento de datos consciente del dialecto.

Los resultados indican que los enfoques basados en transformadores son altamente efectivos para la detección de posturas en el dominio de conflictos. Sin embargo, las puntuaciones más bajas en la Subtarea B en comparación con la Subtarea A resaltan los desafíos persistentes en la generalización entre temas y la dificultad de predecir la clase neutral.

Significado y Contribuciones

El artículo posiciona a StanceNakba 2026 como un paso significativo en el procesamiento de lenguaje natural (PLN) para el árabe y el análisis del discurso político mediante:

1. Introducción de un Marco Dual: Distinguir entre la alineación política a nivel de actor (Subtarea A) y los patrones de postura entre temas (Subtarea B), permitiendo una investigación más matizada de cómo las alineaciones generales se relacionan con problemas de política específicos.
2. Provisión de un Recurso Consciente del Conflicto: Ofrecer un conjunto de datos anotado de alta calidad específicamente para el conflicto palestino-israelí, abordando la escasez de recursos para el discurso multilingüe y polarizado en comparación con los puntos de referencia centrados en el inglés.
   3 Establecimiento de Baselines: Demostrar que los transformadores multilingües y árabes ajustados (particularmente las variantes de MARBERT y DeBERTa) sirven como bases sólidas para este dominio, al tiempo que revelan las limitaciones de los modelos actuales para manejar cambios entre temas y la predicción de la postura neutral.

Los autores concluyen que, si bien la tarea ha atraído una amplia participación y ha demostrado la viabilidad de la detección de posturas en árabe a gran escala, el trabajo futuro debe abordar los desafíos del desequilibrio de clases, la variación dialectal y la ambigüedad inherente de la clase de postura neutral. El artículo también enfatiza la necesidad ética de utilizar estas herramientas para el análisis científico en lugar de la vigilancia o el perfilado político.