Resumo Técnico: PolarMind no SemEval-2026 Task 9

Declaração do Problema

O artigo aborda o desafio crítico de detectar a polarização online em contextos multilíngues e multiculturais, especificamente no âmbito da SemEval-2026 Task 9. A tarefa envolve a identificação de discursos polarizados em 22 idiomas, categorizados em duas subtarefas:

1. Subtarefa 1: Classificação binária (polarizado vs. não polarizado).
2. Subtarefa 2: Classificação multiclasse de tipos de polarização (Política, Racial, Gênero, Étnica, Outros).

Os autores destacam que a polarização é cultural e linguisticamente dependente; uma frase pode ser neutra em uma língua (ex: inglês) mas polarizada quando traduzida para outra (ex: urdu). Uma dificuldade primária reside na escassez de dados de treinamento para línguas de baixos recursos, o que frequentemente leva a lacunas significativas de desempenho entre línguas de altos recursos (ex: inglês) e línguas de baixos recursos em modelos de última geração.

Metodologia

Os autores propõem o PolarMind, um sistema centrado em uma arquitetura LaBSE (Language-agnostic BERT Sentence Embedding) customizada, aumentada por Aprendizagem de Currículo Guiada por Proxy (Proxy-Guided Curriculum Learning).

Arquitetura Central: LaBSE com Pooling Híbrido

Ao contrário de codificadores multilíngues padrão (ex: mBERT, XLM-R), o LaBSE é otimizado para mapear sentenças cross-linguais semanticamente similares exatamente no mesmo espaço vetorial. Os autores hipotetizam que este alinhamento estrito permite que o modelo projete frases polarizadas de baixos recursos, escassas, em vizinhanças semânticas robustas estabelecidas por línguas de altos recursos.

A arquitetura incorpora duas modificações principais:

1. Agregação de Camadas Ponderada: Em vez de utilizar apenas a camada final, o modelo agrega as quatro camadas finais ($L_{n-4}$ a $L_n$) usando parâmetros aprendíveis ($w_1, w_2, w_3, w_4$). Os pesos para as camadas anteriores são inicializados para serem menores ($\sim 0.2w_1$) para priorizar características semânticas mais profundas.
2. Pooling Híbrido: A representação final combina Global Mean Pooling (capturando o contexto semântico geral) e Additive Attention Pooling (destacando tokens de alto impacto).
   • Mean Pooling: Calcula a média aritmética dos estados ocultos.
   • Attention Pooling: Utiliza um mecanismo de atenção aditiva (Bahdanau et al., 2016) para atribuir pesos a tokens específicos.
   • Fusão: O embedding final é $e_{hybrid} = e_{mean} + \lambda e_{attn}$. Para a Subtarefa 2, mecanismos de atenção independentes são mantidos para cada cabeça de classificação para evitar a confluência de diferentes tipos de polarização (ex: gênero vs. etnia).

Estratégia de Treinamento: Aprendizagem de Currículo Guiada por Proxy

Para lidar com o desequilíbrio de dados e a variação de dificuldade, os autores empregam uma estratégia de aprendizagem de currículo:

• Classificação de Dificuldade: Um modelo proxy (XLM-RoBERTa-base) classifica o conjunto de dados com base em um escore de dificuldade $R(x) = \alpha \cdot P(y|x) + \beta \cdot \frac{1}{len(x)}$, onde $P(y|x)$ é a confiança do proxy e o termo do inverso do comprimento promove exemplos mais curtos e de altos recursos.
• Fases de Treinamento: Os modelos são treinados em estágios: amostras fáceis primeiro, seguidas de fáceis+médias, médias+difíceis e, finalmente, o conjunto de dados completo.

Estudo de Ablação e Modelos Alternativos

O artigo avalia a arquitetura central do LaBSE contra várias alternativas:

• RemBERT: Testado com e sem pré-treinamento contínuo em um corpus derivado dos dados da Subtarefa 3 para atualizar o conhecimento do modelo sobre eventos recentes.
• EuroBERT: Um codificador de última geração otimizado para línguas europeias com um corte de conhecimento mais recente.
• Qwen-2.5-14B (LLM): Avaliado utilizando uma estrutura de prompting baseada em recuperação (retrieval-based prompting).
  • Recuperação (Retrieval): O LaBSE recupera as top-$k$ sentenças semanticamente similares dos dados de treinamento.
  • Diversidade: A Relevância Marginal Máxima (MMR) garante que os exemplos recuperados sejam tanto relevantes para a consulta quanto diversos entre si.
  • Prompting: O prompting de poucos disparos (7-shot) foi testado com texto bruto e texto aumentado com fonemas (usando a biblioteca Epitran) para analisar se a informação fonética auxilia o desempenho em baixos recursos.

Contribuições Principais

1. Arquitetura baseada em LaBSE: Introdução de um mecanismo de agregação de camadas ponderada e pooling híbrido especificamente projetado para detecção de polarização cross-lingual, aproveitando o alinhamento cross-lingual estrito do LaBSE.
2. Aprendizagem de Currículo Guiada por Proxy: Uma estratégia para mitigar o desequilíbrio de dados multilíngues treinando em dados ordenados por dificuldade.
3. Avaliação Abrangente de Modelos: Uma análise comparativa de modelos codificadores (LaBSE, RemBERT, EuroBERT) e modelos de linguagem de grande escala (Qwen-2.5) dentro de uma estrutura de recuperação.
4. Análise Empírica das Limitações de LLMs: Investigação da eficácia do prompting baseado em fonemas e do aprendizado de poucos disparos (few-shot learning) para tarefas de polarização de baixos recursos.

Resultados

O sistema foi avaliado no conjunto de desenvolvimento e no conjunto de teste oficial através de 22 línguas.

• Subtarefa 1 (Classificação Binária):

  • A arquitetura proposta baseada em LaBSE com pooling híbrido superou consistentemente o baseline oficial POLAR (LaBSE-base ajustado) em uma média de 0.04 Macro F1 em todas as 22 línguas.
  • Em línguas de baixos recursos, o sistema alcançou resultados competitivos, garantindo o top-10 em cinco línguas. Por exemplo, em amárico (amh), o sistema alcançou uma pontuação de 0.771, uma melhoria de 5,6% sobre o baseline.
  • O pré-treinamento contínuo no RemBERT rendeu apenas ganhos marginais (+0.005 Macro F1), sugerindo que a estratégia de pooling híbrido ofereceu um aumento mais significativo do que o escalonamento de modelo isolado.
  • O modelo decoder Qwen-2.5 não superou os modelos encoder, provavelmente devido a incompatibilidades de tokenização e um alinhamento cross-lingual mais fraco em comparação ao LaBSE.

• Subtarefa 2 (Detecção de Tipo):

  • O modelo baseado em LaBSE novamente superou o RemBERT e o EuroBERT.
  • A calibração de limiar específica para cada língua melhorou o Macro-F1 médio no conjunto de desenvolvimento de 0.5216 para 0.5441 (+2,25%), destacando a sensibilidade da detecção multi-rótulo à seleção de limiares.
  • O Qwen-2.5 (7-shot) apresentou desempenho equivalente ao modelo encoder, aproveitando o conhecimento prévio para generalizar padrões esparsos (ex: gênero/etnia) onde o encoder encontrou dificuldades com amostras limitadas.
  • Prompting de Fonemas: A adição de informação fonética (texto + IPA) não gerou melhorias significativas. Os autores hipotetizam que, para esta tarefa, as camadas fonéticas oferecem informações redundantes, e a transformação para IPA pode inadvertidamente filtrar emojis ou marcadores de scripts específicos que carregam peso polarizado significativo.

Significância e Alegações

O artigo alega que a abordagem ideal para a detecção de polarização multicultural envolve sistemas especializados que considerem nuances linguísticas e culturais, em vez de depender apenas de modelos de propósito geral.

A principal significância do trabalho reside em demonstrar que o LaBSE, tipicamente reservado para tarefas de recuperação, pode ser efetivamente reaproveitado para classificação em cenários de baixos recursos. Ao combinar o alinhamento cross-lingual estrito do LaBSE com pooling híbrido e aprendizagem de currículo, o sistema reduz a lacuna de desempenho entre línguas de altos recursos e de baixos recursos, alcançando até 0.2 de melhoria no macro F1 em cenários específicos de baixos recursos comparado aos baselines padrão.

Os autores concluem modestamente que, embora os LLMs mostrem promessa via aprendizado de poucos disparos, eles atualmente enfrentam limitações em alinhamento cross-lingual e tokenização para esta tarefa específica, e que a aumentação fonética não oferece atualmente uma vantagem conclusiva para a detecção de polarização. O trabalho estabelece um baseline robusto para pesquisas futuras em NLP multilíngue e multicultural.