mdok-style at SemEval-2026 Task 10: Finetuning LLMs for Conspiracy Detection

Resumo Técnico: mdok-style na SemEval-2026 Task 10

Definição do Problema
O artigo aborda a Task 10 da SemEval-2026 (PsyCoMark), uma tarefa compartilhada focada na detecção de crenças conspiratórias no discurso de redes sociais. Especificamente, os autores tratam da Subtask 2, um problema de classificação binária que exige a identificação de se um comentário do Reddit em inglês expressa uma crença conspiratória (Sim/Não). O principal desafio destacado é a escassez de dados de treinamento rotulados, consistindo apenas em 1.715 amostras positivas e 2.263 negativas, com comprimentos de texto filtrados entre 160 e 1.000 caracteres.

Metodologia
O sistema proposto, denominado mdok-style, adapta um framework robusto de detecção de texto gerado por máquina (originalmente desenvolvido para PAN@CLEF2025) ao domínio da detecção de conspirações. A abordagem baseia-se em três componentes principais:

1. Modelo Base e Ajuste Fino: O sistema utiliza o modelo de linguagem grande (LLM) Qwen3-32B, selecionado a partir de uma comparação entre as famílias Qwen3 e Gemma-3. O modelo é ajustado finamente para classificação de sequência binária usando QLoRA (quantização de 4 bits) para eficiência de parâmetros. O processo de otimização emprega o otimizador paged AdamW com um cronograma de taxa de aprendizado cosseno (2e-5) e uma razão de aquecimento de 0,03.
2. Aumento de Dados: Para mitigar o tamanho pequeno do conjunto de dados, os autores empregam quatro técnicas específicas de aumento aplicadas a 10% das cópias dos dados de treinamento:
   • Anonimização: Substituição de e-mails, menções de usuários e números de telefone identificados por regex por tags ([EMAIL], [USER], [PHONE]), mantendo a substituição original de URLs ([URL]).
   • Variação de Caixa: Geração de versões em minúsculas e maiúsculas do texto para impor insensibilidade a caixa e focar no significado semântico.
   • Homoglifização: Introdução de trocas de caracteres visualmente semelhantes de diferentes scripts para aumentar a robustez contra confusão de classificadores baseada em tokenização.
   • Deduplicação: Remoção de cópias redundantes não modificadas do conjunto de treinamento final.
3. Auto-treinamento: O sistema implementa uma abordagem iterativa de aprendizado semi-supervisionado. Um modelo inicial é treinado nos dados rotulados de ouro aumentados. Em seguida, ele prevê rótulos para os conjuntos de desenvolvimento e teste não rotulados. Apenas previsões com confiança extrema (probabilidade $\ge$ 0,99 para "Sim" ou $\le$ 0,01 para "Não") são retidas como "rótulos de prata". Esses pseudo-rótulos de alta confiança são combinados com os dados de treinamento originais para retreinar o detector, visando expandir o conjunto de treinamento efetivo sem propagar erros significativos.

Principais Contribuições

• Transferência Interdomínio: O artigo demonstra a transferência bem-sucedida do framework mdok, originalmente projetado para detecção de texto gerado por máquina, para o domínio distinto da detecção de teorias da conspiração.
• Robustez via Aumento de Dados: O estudo valida que a combinação de técnicas específicas de ofuscação de texto (homoglifos, anonimização) com auto-treinamento pode abordar efetivamente a escassez de dados no ajuste fino de LLMs.
• Implementação do Sistema: Os autores fornecem uma implementação completa de código aberto (via o framework IMGTB) e um guia detalhado de replicação, incluindo os hiperparâmetros específicos e os pipelines de processamento de dados utilizados.

Resultados
O sistema submetido alcançou uma pontuação Macro F1 de 0,78 no conjunto de testes oficial.

• Classificação: O sistema ficou em 8º lugar entre 52 submissões, classificando-se no percentil 85.
• Desempenho Comparativo: Embora o Qwen3-32B com auto-treinamento e um limiar de classificação deslocado (0,7) tenha produzido a maior pontuação, os autores observam que modelos menores, como o DeBERTa-Large (<0,5B de parâmetros), alcançaram um Macro F1 competitivo de 0,75, sugerindo uma troca favorável entre desempenho e custo computacional.
• Ablação: A inclusão de auto-treinamento e aumento de dados melhorou consistentemente o desempenho sobre o modelo base sem esses componentes (por exemplo, Qwen3-32B sem auto-treinamento pontuou 0,76).

Significado e Afirmações
O artigo afirma modestamente que a abordagem mdok-style, originária da detecção de texto gerado por máquina, é uma estratégia viável e competitiva para detecção de conspirações. Os autores enfatizam que seu método aproveita com sucesso o aumento de dados e o auto-treinamento para superar as limitações de pequenos conjuntos de dados de treinamento. Eles reconhecem que, embora seu sistema seja altamente competitivo, o custo computacional de modelos de 32B de parâmetros deve ser ponderado contra os ganhos marginais sobre modelos menores e mais eficientes, como o DeBERTa. O trabalho conclui que a abordagem é eficaz, mas nota limitações relacionadas à avaliação apenas de textos em inglês e uma exploração limitada de arquiteturas de modelos base.