mdok-style at SemEval-2026 Task 9: Finetuning LLMs for Multilingual Polarization Detection

Resumo Técnico: mdok-style no SemEval-2026 Tarefa 9

Definição do Problema
A Tarefa 9 do SemEval-2026 aborda o desafio crítico de detectar polarização online em 22 idiomas. A tarefa é estruturada em três subtarefas: (1) detecção binária de se um texto expressa polarização; (2) classificação do tipo de polarização com base em dimensões sociais (por exemplo, política, racial/étnica, religiosa); e (3) identificação de manifestações retóricas (por exemplo, desumanização, falta de empatia, invalidação). Os autores observam que a polarização online frequentemente precede discurso de ódio e fragmentação social, tornando a detecção precoce vital para espaços digitais mais seguros.

Metodologia
O sistema submetido, denominado mdok-style, adapta o framework mdok (detector de máquina de KInIT), originalmente desenvolvido para detectar texto gerado por máquina no PAN@CLEF2025. A abordagem baseia-se no ajuste fino de Modelos de Linguagem de Grande Porte (LLMs) de tamanho médio utilizando a técnica de ajuste fino eficiente em parâmetros QLoRA com quantização de 4 bits.

• Aumento de Dados: Para aumentar a robustez e o volume de treinamento, os autores aplicaram quatro técnicas de aumento aos dados de treinamento:
  1. Anonimização: Substituição de e-mails, menções de usuários e números de telefone por tags para reduzir o viés em relação a informações pessoais específicas.
  2. Variação de Caixa: Conversão de textos duplicados para minúsculas e maiúsculas totais para tornar a detecção invariante ao estilo visual.
  3. Homoglifização: Substituição de caracteres por contrapartes visualmente similares de outros scripts para simular ataques de ofuscação e melhorar a resiliência contra interrupção de tokenização.
• Seleção de Modelo:
  • Para a Subtarefa 1 (detecção binária), o Qwen3-32B foi selecionado como o modelo base ótimo devido ao seu desempenho em 22 idiomas.
  • Para as Subtarefas 2 e 3 (classificação multirrótulo), os autores encontraram dificuldades em ajustar os modelos Qwen3 para cenários multirrótulo. Consequentemente, mudaram para o Gemma-3-27B-pt, que suporta mais de 140 idiomas.
• Estratégia de Treinamento: Os conjuntos de treinamento para todos os 22 idiomas foram combinados para focar o modelo na tarefa, e não em idiomas específicos. Os conjuntos de validação foram construídos amostrando 100 textos por idioma e rótulo. Os modelos foram ajustados finamente por uma única época usando uma taxa de aprendizado constante de 2e-5, com seleção de checkpoint baseada na melhor métrica de validação (AUC para a Subtarefa 1, F1 macro para as Subtarefas 2 e 3).
• Abordagem Alternativa (Teoria da Avaliação): Os autores exploraram um método alternativo usando detecção de emoção baseada na teoria da avaliação (baseada no corpus ISEAR e na arquitetura AppraisePLM) para capturar sinais cognitivos de polarização. Embora isso não tenha sido incluído no sistema final submetido devido a restrições de tempo, foi avaliado em uma parte de retenção dos dados de treinamento.

Principais Contribuições

• Adaptação entre Tarefas: Transferência bem-sucedida de um framework de detecção de texto gerado por máquina (mdok) para o domínio de detecção de polarização.
• Aumento Robusto: Demonstração de que aumentos de texto específicos (anonimização, variação de caixa, homoglifos) melhoram a robustez do modelo contra ofuscação visual e variações de estilo comuns em mídias sociais.
• Unificação Multilíngue: Implementação de um único sistema capaz de lidar com 22 idiomas diversos, abordando o desafio de idiomas de baixo recurso em um cenário de tarefa compartilhada.
• Reprodutibilidade Aberta: Os autores publicaram o código-fonte completo e as dependências do framework IMGTB para garantir que os detectores sejam replicáveis.

Resultados
O desempenho do sistema foi avaliado usando pontuações F1 médias macro por idioma:

• Subtarefa 1 (Detecção): O sistema performou competitivamente, alcançando pontuações F1 macro acima de 0,63 para todos os idiomas (variando de 0,6293 para o cambojano a 0,9237 para o chinês). Superou a linha de base oficial em aproximadamente dois terços dos casos, com uma melhoria média de 3%.
• Subtarefa 2 (Tipo) e Subtarefa 3 (Manifestação): O desempenho foi mais variável. O sistema lutou com a natureza multirrótulo dessas tarefas, particularmente para idiomas com menos amostras ou distribuições de rótulos complexas. Por exemplo, o hauçá alcançou um F1 de 0,0 na Subtarefa 3. No entanto, o sistema alcançou classificações de elite (top 20%) em 14 de 62 combinações de idioma-subtarefa.
• Classificador Baseado em Avaliação: O sistema alternativo baseado em avaliação mostrou promessa na Subtarefa 1, mas rendeu desempenho aleatório nas Subtarefas 2 e 3. No entanto, a análise de AUC sugeriu que as dimensões de avaliação poderiam servir como indicadores eficazes de polarização, dignos de maior exploração.

Significado e Alegações
Os autores afirmam que seu trabalho demonstra que um único sistema unificado pode lidar efetivamente com a detecção de polarização em uma ampla gama de idiomas, competindo com outros sistemas especializados. Eles reconhecem que, embora a abordagem seja altamente eficaz para detecção binária (Subtarefa 1), as tarefas de classificação multirrótulo (Subtarefas 2 e 3) permanecem mais desafiadoras.

O artigo conclui modestamente que, embora o sistema atual seja competitivo, trabalhos futuros poderiam envolver o ajuste fino de modelos individualmente para idiomas ou grupos de idiomas específicos, em vez de um único modelo monolítico. Além disso, os autores sugerem que a combinação de detectores ajustados finamente com sinais baseados em avaliação representa uma direção promissora para pesquisas futuras, apesar da dependência atual do sistema do primeiro. O trabalho destaca o potencial do ajuste fino eficiente em parâmetros e do aumento de dados na criação de ferramentas de PNL multilíngues robustas para o bem social.