💬 NLP

PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation

A equipe PSK alcançou o 2º lugar geral na SemEval-2026 Tarefa 9 com um macro-F1 médio de 0,811 ao empregar um ensemble de modelos Gemma 3 ajustados com LoRA e aumentados com dados sintéticos gerados pelo GPT-4o-mini e ajuste de limiar por idioma, ao mesmo tempo em que demonstrou a importância crítica da generalização em relação a arquiteturas que se saíram bem em conjuntos de desenvolvimento, mas falharam no conjunto de teste.

Autores originais: Srikar Kashyap Pulipaka

Publicado 2026-05-07

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Srikar Kashyap Pulipaka

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um grupo de 22 alunos diferentes (representando 22 idiomas distintos) a identificar uma "discussão acalorada" versus uma "conversa calma" em publicações de redes sociais. Este foi o desafio da SemEval-2026 Task 9, e a equipe PSK (liderada pelo pesquisador independente Srikar Kashyap Pulipaka) construiu um sistema para resolvê-lo.

Veja como eles fizeram isso, explicado de forma simples:

1. O Objetivo: Identificar o "Calor"

A tarefa era ler publicações de redes sociais em 22 idiomas (do inglês ao amárico) e decidir: esta publicação é polarizada (cheia de estereótipos, ódio ou intolerância)? Ou é neutra?

O Desafio: Alguns idiomas tinham muito poucos exemplos para aprender, e a "polarização" se parece diferente em cada cultura. É como tentar ensinar alguém a reconhecer uma "tempestade" quando essa pessoa só viu chuva em um único país.

2. Os Professores: Os Modelos "Gemma"

Em vez de usar um único professor gigante para todos, a equipe contratou dois "tutores" específicos para cada idioma:

O Tutor 12B: Um modelo inteligente e eficiente (12 bilhões de parâmetros).
O Tutor 27B: Um modelo ainda mais inteligente e poderoso (27 bilhões de parâmetros).
Eles usaram uma técnica chamada LoRA, que é como dar a esses tutores uma pequena "cola" especializada para aprender o idioma específico sem precisar reescrever todo o seu cérebro.

3. O Colega de Estudo: Dados Sintéticos

A equipe percebeu que alguns alunos não tinham problemas de prática suficientes. Então, usaram uma IA (GPT-4o-mini) para escrever problemas de prática falsos (dados sintéticos).

Geração Direta: A IA escreveu novos argumentos falsos do zero.
Parafraseamento: A IA pegou exemplos reais e os reescreveu com palavras diferentes (como um aluno reescrevendo uma pergunta de tarefa de casa).
Pares Contrastivos: A IA criou exemplos "gêmeos" — um polarizado e um calmo — para que o modelo pudesse ver a diferença exata.
O Filtro: Eles não apenas despejaram esses dados falsos. Submeteram-nos a um filtro rigoroso de "controle de qualidade" para remover duplicatas e nonsense, garantindo que os alunos estudassem apenas material de alta qualidade.

4. A Estratégia: Ajustando o "Botão de Volume"

Após o treinamento, os modelos precisavam tomar uma decisão final. Normalmente, a IA diz "Sim" se tiver mais de 50% de certeza. Mas a equipe descobriu que, para alguns idiomas, 50% era alto demais ou baixo demais.

A Correção: Eles trataram o limiar de decisão como um botão de volume. Para alguns idiomas, eles baixaram o botão para 30% (para capturar mais argumentos), e para outros, aumentaram para 70% (para evitar falsos alarmes). Esse ajuste simples melhorou suas pontuações em 2–4% sem nenhum treinamento extra.

5. O "Ensemble": Um Painel de Juízes

Para a decisão final, eles não ouviram apenas um tutor. Usaram um Ensemble:

Permitiram que ambos os tutores 12B e 27B votassem.
Às vezes, eles fizeram a média dos votos; outras vezes, deram mais peso ao tutor mais inteligente.
Para cada idioma, escolheram a estratégia de votação que funcionou melhor nos testes de prática.

6. Os Resultados: Quem Venceu?

O Vencedor: A equipe ficou em 2º lugar no geral entre 60 equipes.
A Pontuação: Eles alcançaram uma pontuação de 0,811 (uma medida de precisão). Ficaram em 1º lugar em 3 idiomas e no topo-3 em outros 8.
A Surpresa: Eles tentaram usar outros modelos de IA famosos (XLM-RoBERTa e Qwen3). Esses modelos se saíram bem nos testes de prática, mas falharam no teste real, perdendo 30–50% de sua precisão.
- A Lição: É melhor ter um modelo que generaliza bem (aprende o conceito de polarização) do que um que apenas memoriza as respostas de prática. Os modelos Gemma foram os únicos que não "esqueceram" quando o teste começou.

7. A Única Fraqueza: O "Capítulo Faltante" do Italiano

O sistema teve mais dificuldades com o italiano. Por quê?

Os dados de treinamento para o italiano estavam faltando categorias inteiras de tópicos (como "política" ou outros problemas).
No entanto, o teste final incluía muitas perguntas sobre esses tópicos faltantes.
É como estudar para uma prova de matemática apenas em adição, mas o exame final inclui uma grande seção sobre divisão. O modelo nunca tinha visto esses tipos específicos de argumentos antes, então não conseguiu adivinhar corretamente.

Resumo

A equipe construiu um sistema que usa tutores de IA especializados, problemas de prática gerados por IA e regras de decisão personalizadas para identificar argumentos online em 22 idiomas. Seu segredo não foi apenas usar a maior IA, mas usar aquela que realmente podia aprender o conceito de polarização sem memorizar as respostas, e depois ajustar finamente as regras para cada idioma específico.

Resumo Técnico: PSK no SemEval-2026 Task 9

Definição do Problema
O artigo aborda a Task 9 do SemEval-2026, um desafio de classificação binária focado na detecção de polarização de atitudes em textos de mídias sociais em 22 linguas tipologicamente diversas. A tarefa envolve classificar o texto como "polarizado" (envolvendo estereotipagem, vilificação, desumanização ou intolerância) ou "não polarizado". O conjunto de dados apresenta desafios significativos, incluindo tamanhos variados (variando de ~1.700 a ~7.000 amostras por língua), variações culturais na manifestação da polarização e desequilíbrios severos de classes em línguas específicas (por exemplo, Cambojano com uma proporção de 10:1 de amostras polarizadas para não polarizadas). A métrica de avaliação principal é o escore F1 macro-médiado.

Metodologia
A abordagem da equipe centra-se no ajuste fino de modelos separados para cada língua utilizando a família Gemma 3 do Google, aumentada por dados sintéticos e estratégias de ensemble.

Arquitetura do Modelo: O sistema utiliza dois tamanhos de modelo: Gemma 3 12B (modelo principal) e Gemma 3 27B (modelo de ensemble). Ambos são ajustados finamente usando Adaptação de Baixo Rank (LoRA) com uma cabeça de classificação de sequência. O modelo 12B usa quantização de 8 bits em uma única GPU A100, enquanto o modelo 27B emprega quantização NF4 de 4 bits em duas GPUs A100. Os parâmetros de treinamento incluem uma taxa de aprendizado de $5 \times 10^{-5}$ , 3 épocas e tamanhos de lote de 1–2 com acumulação de gradiente.
Aumento de Dados Sintéticos: Para abordar a escassez de dados, a equipe gerou aproximadamente 1.000 amostras sintéticas por língua usando GPT-4o-mini através de três estratégias:
1. Geração Direta (50%): Geração nativa de amostras em cinco tópicos culturalmente relevantes (político, étnico/racial, religioso, classe social, relações internacionais).
2. Paráfrase Preservando Rótulo (30%): Paráfrase de amostras reais de treinamento com uma temperatura de 0,7, filtrada para manter similaridade de cosseno abaixo de 0,90 com o original.
3. Pares Contrastivos (20%): Pares de edição mínima no mesmo tópico, contendo uma instância polarizada e uma não polarizada para afiar os limites de classe.
- Controle de Qualidade: Um pipeline de filtragem multiestágio foi aplicado, incluindo limpeza básica, detecção de vazamento de rótulo baseada em regex, deduplicação baseada em embeddings (usando paraphrase-multilingual-MiniLM-L12-v2 com um limiar de 0,90) e verificações de consistência de tradução de ida e volta.
Ensemble e Ajuste de Limiar:
- Otimização de Limiar: Em vez de usar um limiar padrão de 0,5, a equipe buscou limiares ótimos ( $t \in \{0,3, \dots, 0,7\}$ ) no conjunto de desenvolvimento para maximizar o F1 macro para cada língua individualmente.
- Estratégias de Ensemble: Quatro estratégias foram avaliadas por língua: apenas 12B, apenas 27B, média simples e média ponderada ( $p = w \cdot p_{12B} + (1-w) \cdot p_{27B}$ ). A estratégia que produziu o maior F1 de desenvolvimento foi selecionada para a submissão final.

Principais Resultados

Desempenho: O sistema final alcançou um F1 macro médio de 0,811 em todas as 22 línguas, classificando-se em 2º lugar geral entre 60 equipes participantes. O sistema garantiu o 1º lugar em 3 línguas (Amárico, Hindi, Suaíli) e terminou no top-3 em 8 línguas.
Impacto dos Componentes:
- Ajuste de Limiar: O ajuste de limiar por língua no conjunto de desenvolvimento produziu melhorias de F1 de 2% a 4% sem retreinamento.
- Dados Sintéticos: Uma proporção ótima de dados sintéticos de 30% forneceu ganhos modestos (2–3%), com os benefícios mais significativos observados em línguas de baixo recurso.
- Ensemble: Ensembles ponderados dos modelos 12B e 27B foram a estratégia vencedora para 14 das 22 línguas.
Generalização vs. Desempenho de Desenvolvimento: Uma descoberta crítica foi a disparidade entre o desempenho de desenvolvimento e teste em diferentes arquiteturas. Enquanto XLM-RoBERTa e Qwen3 mostraram forte desempenho no conjunto de desenvolvimento, sofreram quedas massivas de F1 (30–50%) no conjunto de teste. Por exemplo, o XLM-RoBERTa caiu de 0,856 para 0,297 em Bengali. Apenas os modelos Gemma demonstraram generalização confiável do desenvolvimento para o teste.
Estudo de Caso (Italiano): O desempenho mais fraco do sistema foi em Italiano (0,563 F1). A análise revelou uma "lacuna de cobertura de tópicos": os conjuntos de treinamento e desenvolvimento continham zero exemplos dos tópicos "político" ou "outro", ainda que essas categorias compusessem 41% do conjunto de teste e 87% de sua classe positiva. Isso destacou uma mudança de distribuição onde o modelo foi avaliado em uma subpopulação positiva que nunca observou durante o treinamento.

Significado e Alegações
O artigo alega que generalização robusta é um fator mais crítico para o sucesso do que maximizar o desempenho do conjunto de desenvolvimento. Os autores argumentam que, embora arquiteturas alternativas (XLM-RoBERTa, Qwen3) possam parecer superiores durante o desenvolvimento, elas falham em transferir efetivamente para distribuições de teste não vistas, enquanto a família Gemma manteve desempenho consistente.

O estudo destaca a eficácia do ajuste de limiar por língua como um método de baixo custo para aumentar significativamente o desempenho corrigindo a má calibração de probabilidades (por exemplo, modelos russos sendo subconfiantes e modelos cambojanos superconfiantes). Além disso, o trabalho demonstra que o aumento de dados sintéticos é mais benéfico para línguas de baixo recurso, embora requeira gerenciamento cuidadoso da proporção para evitar degradação em línguas de alto recurso ou sensíveis.

Limitações
Os autores reconhecem várias limitações:

Intensidade Computacional: Treinar modelos separados para 22 línguas requer recursos significativos de GPU.
Autenticidade de Dados Sintéticos: A qualidade dos dados sintéticos para línguas de baixo recurso (por exemplo, Cambojano, Suaíli) pode ser limitada se o LLM não puder gerar texto autêntico nesses contextos linguísticos específicos.
Transferibilidade de Limiares: Limiares otimizados em um pequeno conjunto de desenvolvimento podem não transferir totalmente para a distribuição de teste.
Razões de Estratégia Heurística: A divisão 50/30/20 para estratégias de dados sintéticos foi escolhida heurística em vez de através de ablação sistemática.

Conclusão
O sistema PSK aproveitou com sucesso modelos Gemma, aumento de dados sintéticos e métodos de ensemble para alcançar uma classificação top-2 em uma tarefa multilíngue desafiadora. A principal lição é a necessidade de priorizar modelos que generalizam bem sobre aqueles que apenas superajustam métricas de desenvolvimento, juntamente com a utilidade de técnicas simples de calibração pós-hoc como o ajuste de limiar.