Resumo Técnico: Aaron na SemEval-2026 Task 9

Definição do Problema

Este artigo aborda a SemEval-2026 Task 9, que foca na detecção de polarização online através de múltiplas línguas, culturas e eventos. A tarefa é dividida em três subtarefas específicas para inglês e suaíli:

1. Detecção Binária: Classificar o texto como polarizado ou não polarizado.
2. Classificação de Tipo: Uma classificação multi-rótulo que identifica cinco tipos de polarização (política/ideológica, racial/étnica, religiosa, gênero/sexual e outros).
3. Identificação de Manifestação: Uma classificação multi-rótulo que identifica seis manifestações específicas de polarização (estereótipo, vilipêndio, desumanização, linguagem extrema, falta de empatia e invalidação).

Os principais desafios identificados são o severo desequilíbrio de rótulos (particularmente para classes minoritárias como polarização de gênero/sexual e manifestações específicas) e a necessidade de adaptabilidade multilíngue, especificamente para línguas africanas onde modelos multilingues genéricos podem ter um desempenho inferior.

Metodologia

O sistema proposto emprega um pipeline de quatro estágios: pré-processamento, arquitetura de modelo específica para a língua, treinamento com pesos de classe e ajuste de limiar pós-treinamento.

1. Pré-processamento de Dados

Os autores adotaram uma estratégia de pré-processamento mínima para preservar os sinais de polarização. O uso de maiúsculas/minúsculas original, emojis e caracteres especiais foram mantidos, enquanto apenas caracteres de controle e bytes nulos foram removidos. Os dados foram divididos em 80/20 em conjuntos de treinamento e validação usando amostragem estratificada para manter as distribuições de classe.

2. Arquitetura do Modelo

O sistema utiliza modelos baseados em transformer selecionados especificamente para cada língua:

• Inglês: O RoBERTa-base (125M de parâmetros) foi escolhido em vez do BERT e XLM-RoBERTa. Estudos de ablação indicaram que o mascaramento dinâmico do RoBERTa e a ausência de previsão da próxima sentença resultaram em um desempenho superior específico para o inglês, enquanto o pré-treinamento multilingue do XLM-RoBERTa diluiu as representações do inglês.
• Suáíli: O AfroXLMR-base (270M de parâmetros) foi selecionado. Este modelo é especificamente adaptado para línguas africanas através de pré-treinamento contínuo em diversos corpora africanos, superando modelos multilingues gerais como mBERT e XLM-RoBERTa em tarefas de suaíli.

Ambos os modelos utilizam uma cabeça de classificação consistindo em uma camada de dropout (0.1) seguida por uma camada linear que mapeia embeddings de 768 dimensões para os logits de saída necessários (2 para a Subtarefa 1, 5 para a Subtarefa 2 e 6 para a Subtarefa 3).

3. Função de Perda com Pesos de Classe

Para lidar com o severo desequilíbrio de rótulos, os autores implementaram uma função de perda de entropia cruzada binária ponderada por classe. O peso para cada rótulo $j$ ($w_j$) é calculado como a razão entre amostras negativas e positivas ($n_{neg} / n_{pos}$). Isso aumenta a penalidade para a classificação incorreta de classes minoritárias. Por exemplo, na Subtarefa 2 em inglês, os pesos variaram de 1.73 (político) a 41.95 (gênero/sexual). O clipping de gradiente (norma máxima 1.0) foi aplicado para garantir a estabilidade do treinamento.

4. Ajuste de Limiar (Threshold Tuning)

Após o treinamento, uma busca de limiar por rótulo foi conduzida no conjunto de validação. Os limiares foram varridos de 0.1 a 0.9 em passos de 0.05 para maximizar o F1 macro para cada rótulo específico. Esta abordagem melhorou os escores de F1 macro em 0.87 a 5.98 pontos em comparação ao limiar padrão de 0.5.

Configuração de Treinamento

Os modelos foram ajustados usando AdamW (taxa de aprendizado $2 \times 10^{-5}$, decaimento de peso 0.01) com um cronograma de warmup linear. O treinamento utilizou precisão mista (FP16) em uma única GPU. Os tamanhos de lote (batch sizes) foram 16 para a Subtarefa 1 e 8 (com acumulação de gradiente) para as Subtarefas 2–3 para acomodar comprimentos de sequência de 128 e 256 tokens, respectivamente. O término antecipado (early stopping) foi baseado no F1 macro de validação.

Principais Contribuições

O artigo destaca três contribuições técnicas primárias:

1. Seleção de Modelo Específico por Língua: Demonstrando que modelos especializados (RoBERTa para inglês, AfroXLMR para suaíli) superam baselines multilingues gerais para detecção de polarização nestes contextos específicos.
2. Implementação de Perda com Pesos de Classe: Aplicando com sucesso funções de perda ponderadas para mitigar os efeitos do extremo desequilíbrio de rótulos em tarefas de polarização multi-rótulo.
3. Ajuste de Limiar por Rótulo: Otimizando as fronteiras de classificação individualmente para cada rótulo, o que se provou crítico para melhorar os escores de F1 macro em datasets desbalanceados.

Resultados Experimentais

O sistema foi avaliado no conjunto de teste usando Macro F1 como a métrica primária.

• Subtarefa 1 (Detecção Binária): Alcançou escores de 0.7901 (Inglês) e 0.7910 (Suáíli). O desempenho em suaíli excedeu ligeiramente o de inglês, atribuído a uma distribuição de classe mais equilibrada no dataset de suaíli.
• Subtarefa 2 (Classificação de Tipo): Alcançou escores de 0.4615 (Inglês) e 0.4808 (Suáíli). O desempenho foi prejudicado pelo desequilíbrio extremo, particularmente para as categorias de gênero/sexual e "outros".
• Subtarefa 3 (Identificação de Manifestação): Alcançou escores de 0.4791 (Inglês) e 0.5830 (Suáíli). O sistema classificou-se em 2º lugar entre 16 equipes para suaíli nesta subtarefa.

Desempenho Comparativo:
O sistema superou consistentemente tanto o Baseline POLAR quanto um baseline mBERT ajustado em todas as subtarefas e línguas. Por exemplo, na Subtarefa 3 de suaíli, o sistema proposto (0.5830) superou significativamente o baseline mBERT (0.4380).

Estudos de Ablação:

• Pesagem de Classe: Na Subtarefa 2 de inglês, remover a pesagem de classe reduziu o F1 macro de 0.4721 para 0.4123, uma queda de 5.98 pontos.
• Escolha de Modelo: O RoBERTa-base superou o BERT-base em 2.58% na Subtarefa 1 de inglês, enquanto o maior XLM-RoBERTa teve um desempenho inferior, confirmando o benefício do pré-treinamento específico para a língua.

Análise de Erros e Limitações

Os autores identificaram modos de falha específicos:

• Falsos Positivos: Manchetes políticas neutras e comentários esportivos hiperbólicos foram ocasionalmente classificados incorretamente como polarizados devido ao modelo confundir linguagem forte com polarização.
• Ambiguidade Multi-rótulo: Na Subtarefa 2, o modelo teve dificuldade em detectar nuances raciais dentro de declarações políticas.
• Categorias Raras: O rótulo gênero/sexual (frequência de 2.2%) e a manifestação de desumanização permaneceram difíceis de detectar, mesmo com a pesagem de classe.
• Nuance Semântica: Desumanização (31% dos erros) e falta de empatia exigem uma compreensão semântica matizada e raciocínio de teoria da mente que os transformers padrão têm dificuldade em capturar.
• Gap Validação-Teste: Uma discrepância de 2.29 a 10.58 pontos foi observada entre os escores de validação e teste, atribuída ao overfitting de limiar em um único split de validação e potenciais mudanças de domínio nos dados de teste.

Significância e Alegações

O artigo afirma que a abordagem proposta demonstra um desempenho competitivo no leaderboard, destacando particularmente o 2º lugar no ranking para suaíli na Subtarefa 3. Os autores afirmam que seus métodos são eficazes para lidar com a detecção de polarização multi-rótulo desbalanceada tanto em contextos de altos recursos (inglês) quanto de baixos recursos (suaíli).

O trabalho ressalta a necessidade de:

1. Ir além de modelos multilingues genéricos para línguas africanas.
2. Empregar técnicas específicas (pesagem de classe e ajuste de limiar) para lidar com o desvio inerente em datasets de polarização.

Os autores concluem que, embora o sistema seja eficaz, trabalhos futuros devem abordar o raciocínio pragmático, modelagem cultural e transferência cross-lingual para melhorar ainda mais a detecção de manifestações sutis como desumanização e falta de empatia. Eles também enfatizam a necessidade de supervisão humana no deployment real para evitar a supressão da expressão política legítima.