Not All Pretraining are Created Equal: Threshold Tuning and Class Weighting for Imbalanced Polarization Tasks in Low-Resource Settings

O essencial

Imagine que você é um detetive digital encarregado de vigiar uma enorme praça pública online (as redes sociais). Nessa praça, existem duas línguas principais: o inglês e o swahili. O seu trabalho é identificar quando as pessoas estão apenas discutindo ideias ou quando estão realmente "se polarizando" — ou seja, quando o debate vira um ataque, onde um grupo odeia o outro e se recusa a ouvir qualquer coisa diferente.

Este artigo é o diário de bordo desse detetive (Abass Oguntade) contando como ele construiu sua equipe de robôs (inteligência artificial) para fazer esse trabalho, especialmente em um cenário onde há muitos poucos exemplos de "ataques graves" comparados a discussões normais.

Aqui está a explicação do que ele fez, usando analogias do dia a dia:

1. O Problema: A "Festa" Desbalanceada

Imagine que você está tentando ensinar um robô a identificar incêndios em uma floresta. O problema é que, na floresta, existem 100 árvores saudáveis para cada 1 árvore em chamas.

• O Desafio: Se você treinar o robô apenas mostrando que "a maioria das árvores está verde", ele vai ficar preguiçoso e dizer que tudo é verde, ignorando os incêndios raros.
• Na Pesquisa: O autor encontrou o mesmo problema. Havia muito mais posts "normais" do que posts "polarizados". Além disso, alguns tipos de polarização (como ataques baseados em gênero) eram tão raros que pareciam agulhas no palheiro.

2. A Equipe de Robôs: O "Generalista" vs. O "Especialista"

O autor testou seis robôs diferentes (modelos de linguagem) para ver quem era o melhor detetive.

• Os Especialistas Locais: Ele contratou robôs que só estudaram a língua swahili (como o SwahBERT). A lógica era: "Quem conhece a cultura local vai entender melhor o que está acontecendo".
• O Generalista Multilíngue: Ele também contratou um robô muito inteligente que estudou muitas línguas ao mesmo tempo (o mDeBERTa), mas não era especialista em swahili.

A Grande Surpresa:
O robô generalista (que não era especialista em swahili) venceu todos os especialistas locais por uma margem grande!

• A Analogia: É como se você contratasse um médico que só estudou medicina na África para tratar uma doença complexa, mas descobrisse que um médico que estudou medicina em todo o mundo, mesmo sem ser especialista na região, tinha um conhecimento mais amplo e conseguia diagnosticar melhor. O autor descobriu que, para essa tarefa, a inteligência geral do modelo era mais importante do que o conhecimento específico de uma única língua.

3. As Ferramentas Mágicas: Como ele fez o robô prestar atenção

Como o robô tendia a ignorar os casos raros (os "incêndios"), o autor usou duas técnicas inteligentes:

A. O "Sistema de Pontos Dobrados" (Pesos de Classe)

Imagine que você está treinando um jogador de basquete. Se ele errar um arremesso comum, você diz "tudo bem". Mas se ele errar um arremesso muito difícil e raro, você grita "PRECISAMOS CORRIGIR ISSO AGORA!".

• Na Prática: O autor programou o robô para "gritar mais alto" (dar mais peso na matemática) quando ele errava os casos raros de polarização. Isso forçou o robô a aprender a identificar esses casos difíceis, em vez de apenas focar nos casos fáceis e comuns.

B. O "Ajuste Fino do Termostato" (Threshold Tuning)

Imagine que o robô dá uma nota de 0 a 100 para cada post, dizendo o quão "polarizado" ele parece.

• O Problema: O padrão de fábrica é: "Se a nota for acima de 50, é polarizado". Mas, como os casos raros são difíceis, o robô pode dar 40 para um caso real de polarização e o sistema ignora.
• A Solução: O autor criou um "termostato" ajustável. Ele testou milhões de combinações para ver qual era a nota perfeita para cada tipo de polarização.
  • Para "ataques políticos", talvez 45 seja suficiente.
  • Para "ataques de gênero", talvez precise de 60.
• O Resultado: Esse ajuste fino foi mágico. Ele melhorou a pontuação do robô em mais de 20 pontos! Foi como afinar um instrumento musical: antes, a música estava desafinada; depois, ficou perfeita.

4. O Que Deu Errado? (Os "Cegos" do Robô)

Mesmo com robôs inteligentes, eles ainda tropeçaram em algumas pedras:

• O "Sussurro" Sutil: O robô é bom em gritos de ódio, mas ruim em entender "sussurros". Se alguém diz "Aqueles pessoas não entendem nosso jeito de viver" (usando uma palavra genérica para se referir a um grupo étnico), o robô muitas vezes não percebe que é um ataque.
• A Mistura de Línguas: Quando as pessoas misturam inglês e swahili na mesma frase (como "Hawa watu are destroying everything"), o robô fica confuso, como se alguém estivesse falando com sotaque estranho e palavras trocadas.
• Política Quente vs. Polarização Real: Às vezes, o robô acha que uma discussão política acalorada é polarização, quando na verdade é apenas um debate intenso. Ele confunde "raiva" com "ódio".

5. A Lição Final

O autor conclui que, para resolver problemas complexos em línguas com poucos dados (como o swahili):

1. Não subestime os generalistas: Às vezes, um modelo que sabe de tudo é melhor do que um especialista que sabe de pouco.
2. Ajuste é tudo: Não basta treinar o modelo; você precisa "afinar" como ele toma decisões (o termostato) para não perder os casos raros.
3. Cuidado com a mistura: Tentar ensinar tudo de uma vez (ingles + swahili juntos) às vezes confunde o robô, fazendo-o piorar em vez de melhorar.

Em resumo: O autor criou um sistema que usa robôs inteligentes e ajustes matemáticos cuidadosos para caçar o ódio nas redes sociais, provando que, às vezes, a melhor ferramenta não é a mais especializada, mas a mais bem ajustada.

Resumo técnico

Resumo Técnico: Detecção de Polarização em Redes Sociais (SemEval-2025)

1. O Problema

O artigo aborda a detecção e classificação de polarização de opinião em textos de redes sociais, focando em dois idiomas: Inglês e Suaíli. A polarização é definida como a divisão aguda de opiniões em grupos opostos, caracterizada por hostilidade contra "outros grupos" (out-groups) e apoio cego ao "próprio grupo" (in-group).

O desafio central reside em três frentes:

1. Desequilíbrio de Classes Severo: Os dados de treinamento apresentam distribuições altamente desiguais, especialmente nas tarefas multirrótulo (onde certas categorias, como "gênero/sexual", são extremamente raras comparadas a "político").
2. Recursos Limitados: A escassez de dados de alta qualidade para línguas africanas (como o Suaíli) em comparação com o inglês.
3. Complexidade Linguística: Dificuldade em distinguir entre discurso político acalorado (não polarizado) e polarização genuína, além de lidar com code-switching (mistura de inglês e suaíli) e polarização implícita.

A tarefa é dividida em três subtarefas hierárquicas:

• Subtarefa 1: Detecção binária (Polarizado vs. Não Polarizado).
• Subtarefa 2: Classificação multirrótulo dos alvos da polarização (político, racial/étnico, religioso, gênero/sexual, outros).
• Subtarefa 3: Detecção multirrótulo das manifestações da polarização (estereótipo, vilificação, desumanização, linguagem extrema, falta de empatia, invalidação).

2. Metodologia

O autor desenvolveu sistemas baseados em Transformers, empregando uma combinação de estratégias de pré-processamento, seleção de modelos e otimização específica para dados desbalanceados.

• Pré-processamento:

  • Conversão de emojis em descrições textuais.
  • Remoção de URLs, menções e símbolos de hashtag (mantendo o texto da hashtag).
  • Padronização para minúsculas e truncamento/padding para 128 tokens.

• Seleção de Modelos (Arquiteturas):
  Foram avaliados seis modelos Transformer para comparar o impacto do pré-treinamento multilíngue geral versus modelos especializados em línguas africanas:

  • Multilíngues: TwHIN-BERT, DistilBERT-multilingual, mDeBERTa-v3-base.
  • Especializados em África: SwahBERT, AfriBERTa-large, AfroXLMR-large.

• Estratégias para Desbalanceamento de Dados:

  • Função de Perda Ponderada por Classe (Class-Weighted Loss): Uso de BCEWithLogitsLoss com pesos dinâmicos para as classes positivas, calculados inversamente à frequência das classes (w_pos = n_neg / n_pos). Isso força o modelo a prestar mais atenção às categorias raras.
  • Divisão Iterativa Estratificada (Iterative Stratified Splitting): Utilizada para as tarefas multirrótulo (Subtarefas 2 e 3) para garantir que a distribuição de múltiplos rótulos seja preservada nas divisões de treino e validação.
  • Ajuste de Limiar por Rótulo (Threshold Tuning): Em vez de usar um limiar fixo de 0.5, o sistema realiza uma busca em duas etapas (global grosseira + refinamento por rótulo) para maximizar o Macro-F1 em cada rótulo individualmente.

• Treinamento:

  • Uso de early stopping baseado no Macro-F1 de validação.
  • Experimentos de treinamento multilíngue combinado (Inglês + Suaíli) foram realizados, mas mostraram transferência negativa.

3. Contribuições e Descobertas Principais

1. Arquitetura > Pré-treinamento Específico: A descoberta mais contraintuitiva é que o modelo mDeBERTa-v3-base (um modelo multilíngue geral sem foco explícito no Suaíli) superou os modelos especializados em Suaíli (como SwahBERT e AfriBERTa) em 10 a 15 pontos percentuais na tarefa binária. Isso sugere que, em cenários de poucos dados, a arquitetura robusta e a capacidade de transferência cruzada de modelos multilíngues gerais podem ser superiores a modelos pré-treinados especificamente em línguas africanas.
2. Impacto Crítico do Ajuste de Limiar: Para tarefas multirrótulo com desbalanceamento extremo, o ajuste de limiar foi fundamental. O uso de limiares padrão (0.5) resultou em Macro-F1 de ~0.14, enquanto o ajuste otimizado elevou a pontuação para 0.556 (um ganho de mais de 20 pontos).
3. Transferência Negativa no Treinamento Combinado: Tentar treinar um único modelo com dados mistos de Inglês e Suaíli sem adaptação cuidadosa resultou em degradação de desempenho (queda de 5-15 pontos), indicando que a diversidade linguística não adaptada pode interferir negativamente no aprendizado.
4. Análise de Erros:
   • Falsos Positivos: O modelo tende a classificar discurso político intenso (mas não polarizado) como polarizado, confiando em marcadores de intensidade ("falhou completamente") em vez de entender a semântica da polarização.
   • Falsos Negativos: O sistema falha em detectar polarização implícita (eufemismos como "aquele povo") e em lidar com code-switching, onde a fragmentação de subpalavras confunde o tokenizador.

4. Resultados

Os resultados foram reportados em conjuntos de validação interna e no teste oficial (Codabench):

• Subtarefa 1 (Detecção Binária):

  • Melhor Modelo: mDeBERTa-v3-base.
  • Desempenho (Validação): 0.8032 (Inglês), 0.7850 (Suaíli).
  • Desempenho (Teste Oficial): 0.815 (Inglês), 0.785 (Suaíli).
  • Nota: Modelos especializados em Suaíli (SwahBERT) tiveram desempenho inferior no inglês (0.6375).

• Subtarefa 2 (Alvos) e Subtarefa 3 (Manifestações):

  • O desempenho foi significativamente menor devido à complexidade multirrótulo e ao desbalanceamento.
  • Melhores Pontuações (Teste Oficial):
    • Alvos: 0.341 (Inglês), 0.4977 (Suaíli).
    • Manifestações: 0.464 (Inglês), 0.556 (Suaíli).
  • O ajuste de limiar foi o fator determinante para alcançar essas pontuações competitivas.

5. Significância e Conclusão

Este trabalho é significativo para o campo de PLN (Processamento de Linguagem Natural) em línguas de baixos recursos e detecção de discurso de ódio/polarização.

• Implicações Práticas: Demonstra que, para tarefas de classificação em línguas africanas com dados limitados, investir em arquiteturas multilíngues robustas e técnicas de otimização de limiar pode ser mais eficaz do que buscar modelos pré-treinados especificamente na língua alvo.
• Relevância Social: A detecção precisa de polarização é crucial para mitigar danos online, prevenir violência e fomentar diálogo construtivo, especialmente em contextos eleitorais e de conflito na África.
• Limitações e Futuro: O sistema ainda luta com code-switching e polarização implícita. O autor sugere futuras pesquisas em aumento de dados (back-translation), aprendizado few-shot com LLMs grandes e objetivos de aprendizado contrastivo para melhorar a robustez a pistas implícitas.

Em suma, o artigo valida que "nem todo pré-treinamento é criado igual", mostrando que a engenharia de dados (pesos de classe, ajuste de limiar) e a escolha da arquitetura podem superar a especialização linguística pura em cenários desbalanceados.