Resumo Técnico: StanceNakba 2026 Shared Task

Definição do Problema

A tarefa compartilhada (shared task) StanceNakba 2026 aborda o desafio de detectar automaticamente posicionamentos políticos no discurso polarizado das redes sociais em torno do conflito palestino-israelense. Embora a detecção de postura (identificar se um autor é a favor, contra ou neutro em relação a um alvo) seja uma tarefa de PLN bem estabelecida, os recursos e benchmarks existentes concentraram-se amplamente em inglês e em tópicos politicamente neutros. Esta tarefa visa preencher a lacuna na análise de discurso relacionada a conflitos, multilíngue e altamente polarizado.

A tarefa está estruturada em duas subtarefas distintas, projetadas para investigar diferentes dimensões de alinhamento político:

• Subtarefa A (Detecção de Postura ao Nível do Ator): Uma tarefa em língua inglesa que exige que os modelos infiram a orientação política geral de um autor em relação ao conflito como um todo. O objetivo é classificar as postagens em três categorias: Pró-Palestina, Pró-Israel ou Neutro. Esta formulação assume que a orientação política é frequentemente expressa indiretamente através de escolhas de enquadramento (framing), em vez de marcadores explícitos de opinião.
• Subtarefa B (Detecção de Postura Cross-Topic): Uma tarefa em língua árabe que exige que os modelos detectem posturas em relação a dois tópicos de políticas específicas relacionadas ao conflito: "Normalização com Israel" e "Presença de Refugiados/Imigrantes na Jordânia". O objetivo é classificar as postagens em Favorável, Contra ou Nem um nem outro. Esta subtarefa testa a capacidade dos modelos de generalizar representações de postura através de diferentes tópicos dentro do mesmo domínio de conflito.

Metodologia e Conjunto de Dados

A tarefa compartilhada baseia-se em um conjunto de dados anotado de 2.606 postagens de redes sociais, divididas entre inglês e árabe.

Construção do Conjunto de Dados:

• Subtarefa A (Inglês): Compreende 1.401 postagens coletadas do X (antigo Twitter). As postagens foram recuperadas usando consultas de palavras-chave específicas (ex: "I stand with Palestine" para Pró-Palestina) e balanceadas para 467 amostras por classe. Um pipeline rigoroso de pré-processamento removeu palavras-chave que causariam vazamento de rótulo (ex: as frases semente usadas para a recuperação), URLs, menções e emojis, mantendo apenas o texto alfanumérico. Os dados foram divididos em conjuntos de treinamento (70%), desenvolvimento (15%) e teste (15%).
• Subtarefa B (Árabe): Utiliza um subconjunto do corpus MARASTA, focando em 1.205 amostras através de dois tópicos. Os dados cobrem múltiplos dialetos árabes (Golfo, Levantino) e Árabe Padrão Moderno (MSA). As anotações foram realizadas por múltiplos anotadores com alta concordância inter-anotador (Kappa de Cohen de 0,84). O conjunto de dados é balanceado entre as três classes de postura para cada tópico.

Sistemas Participantes:
Um total de 7 equipes participaram da Subtarefa A e 6 equipes da Subtarefa B. A metodologia dominante em todos os sistemas participantes foi o ajuste fino (fine-tuning) de modelos baseados em transformers pré-treinados.

• Arquiteturas de Modelos: Os backbones mais comuns incluíram modelos específicos para o árabe (MARBERT, ARBERT, CAMeLBERT) e modelos multilíngues (DeBERTa-v3, XLM-RoBERTa, mDeBERTa).
• Técnicas: As equipes empregaram várias estratégias para lidar com o desbalanceamento de classes e melhorar a generalização, incluindo:
  • Métodos de Ensemble: Combinando previsões de múltiplos modelos ou dobras de validação cruzada.
  • Funções de Perda: Entropia cruzada ponderada, suavização de rótulos (label smoothing) e aprendizagem contrastiva (ex: Aprendizagem Contrastiva de Protótipos).
  • Formulações de Entrada: Entradas condicionadas ao tópico, reformulação de Inferência de Linguagem Natural (NLI) e "Ajuste de Declaração" (usando templates de cloze com tokens [MASK]).
  • Aumento de Dados: Tradução reversa (back-translation) e paráfrase gerada por LLM (especificamente para a Subtarefa B).
  • Regularização: Regularização de consistência R-Drop e ajustes de dropout.

Principais Resultados

A métrica de avaliação para ambas as subtarefas foi o F1 Macro, que trata todas as classes igualmente, penalizando assim o baixo desempenho nas classes frequentemente sub-representadas "Neutro" ou "Nem um nem outro".

• Subtarefa A (Nível do Ator): O sistema de melhor desempenho, Shroukgbr, alcançou um F1 Macro de 0,9620. Esta equipe utilizou um único transformer baseado em BERT com perda de entropia cruzada ponderada e validação cruzada estratificada de 5 dobras. O segundo e o terceiro lugares foram alcançados por equipes utilizando MARBERT/ARBERT e uma arquitetura de BERT de Mistura de Especialistas (MoE), respectivamente.
• Subtarefa B (Cross-Topic): O sistema de melhor desempenho, Viva_Palestine, alcançou um F1 Macro de 0,8724. Este sistema realizou o ajuste fino do MARBERT em um conjunto de treinamento e validação mesclados com entradas de pares tópico-sentença. O segundo e o terceiro lugares foram alcançados por sistemas usando AraBERT e MARBERTv2 com aumento de dados consciente de dialetos.

Os resultados indicam que abordagens baseadas em transformers são altamente eficazes para a detecção de postura em domínios de conflito. No entanto, as pontuações mais baixas na Subtarefa B em comparação com a Subtarefa A destacam os desafios persistentes na generalização entre tópicos e a dificuldade de prever a classe neutra.

Significância e Contribuições

O artigo posiciona o StanceNakba 2026 como um passo significativo no avanço do PLN para o árabe e na análise de discurso político ao:

1. Introduzir um Duplo Framework: Distinguindo entre o alinhamento político ao nível do ator (Subtarefa A) e padrões de postura cross-topic (Subtarefa B), permitindo uma investigação mais matizada de como alinhamentos gerais se relacionam com questões políticas específicas.
2. Fornecer um Recurso Consciente de Conflito: Oferecendo um conjunto de dados anotado de alta qualidade especificamente para o conflito palestino-israelense, abordando a escassez de recursos para o discurso multilíngue e polarizado em comparação com os benchmarks centrados no inglês.
3. Estabelecer Baselines: Demonstrando que transformers árabes e multilíngues ajustados (particularmente variantes de MARBERT e DeBERTa) servem como fortes baselines para este domínio, ao mesmo tempo em que revelam as limitações dos modelos atuais em lidar com mudanças de tópico e previsão de postura neutra.

Os autores concluem que, embora a tarefa tenha atraído ampla participação e demonstrado a viabilidade da detecção de postura em árabe em larga escala, o trabalho futuro deve abordar os desafios do desbalanceamento de classes, variação dialetal e a ambiguidade inerente da classe de postura neutra. O artigo também enfatiza a necessidade ética de usar essas ferramentas para análise científica, em vez de vigilância ou perfilamento político.