Duluth at SemEval-2026 Task 6: DeBERTa with LLM-Augmented Data for Unmasking Political Question Evasions

1. Problema e Contexto

O artigo aborda a SemEval-2026 Task 6 (CLARITY), focada na detecção computacional e classificação de estratégias de evasão na comunicação política. O objetivo é analisar pares de perguntas e respostas (QA) extraídos de entrevistas presidenciais dos EUA, utilizando uma taxonomia hierárquica de dois níveis proposta por Thomas et al. (2024):

• Tarefa 1 (Classificação de Nível de Clareza): Classificar a resposta em uma de três categorias:
  • Resposta Clara (Clear Reply): Informações solicitadas fornecidas explicitamente.
  • Ambivalente (Ambivalent): Resposta dada, mas com múltiplas interpretações (implícita, geral, parcial ou defensiva).
  • Não-Resposta Clara (Clear Non-Reply): Recusa aberta, alegação de ignorância ou pedido de esclarecimento.
• Tarefa 2 (Classificação de Nível de Evasão): Classificar a resposta em 9 técnicas de evasão específicas (subcategorias das três acima).

O principal desafio identificado é o desequilíbrio severo de classes nos dados de treinamento (59% Ambivalente, 31% Resposta Clara, 10% Não-Resposta Clara) e a dificuldade em distinguir respostas "parcialmente informativas" (Ambivalentes) de respostas "diretas" (Claras), uma confusão que reflete até mesmo discordâncias entre anotadores humanos.

2. Metodologia

A equipe "Duluth" (Universidade de Minnesota Duluth) desenvolveu um sistema baseado em transformadores, integrando técnicas avançadas de processamento de linguagem natural (PLN) e geração de dados sintéticos.

A. Arquitetura do Modelo

• Base: O sistema utiliza o DeBERTa-V3-base (184M parâmetros), escolhido por superar BERT, DistilBERT e modelos específicos de domínio (como Political DEBATE) em conjuntos de desenvolvimento, devido ao seu mecanismo de atenção desentrelaçada e melhor compreensão de linguagem política matizada.
• Aprimoramentos Arquiteturais:
  • Recursos Booleanos: Adição de dois recursos binários extraídos dos dados originais (affirmative_questions e multiple_questions) concatenados à saída do modelo.
  • Decaimento de Taxa de Aprendizado por Camada (LLRD): As camadas inferiores recebem taxas de aprendizado progressivamente menores (fator $\alpha=0.9$) para preservar conhecimento pré-treinado, enquanto as camadas superiores se adaptam à tarefa.
  • Função de Perda Focal (Focal Loss): Utilizada para focar em exemplos difíceis e mitigar o desequilíbrio de classes, com parâmetro $\gamma=2.0$ e pesos de classe baseados na frequência inversa.
  • Agendamento: Cosine annealing com 15% de warmup.

B. Aumento de Dados com LLMs (Contribuição Central)

Para combater o desequilíbrio de classes, a equipe utilizou Grandes Modelos de Linguagem (LLMs) para gerar exemplos sintéticos de alta qualidade para as classes minoritárias:

1. Gemini 3 (Geração Sintética Consciente do Contexto - CASA): Extraiu quadros retóricos das classes minoritárias e combinou-os com contextos políticos aleatórios. Gerou 2.672 exemplos, equilibrando perfeitamente as classes (2.040 amostras cada).
2. Claude Sonnet 4.5 (Parafraseamento Léxico): Aplicou operações de EDA (substituição de sinônimos, inserção, troca e deleção aleatória) para gerar 1.086 exemplos, criando uma distribuição parcialmente balanceada.
3. Treinamento: Foi aplicada uma perda ponderada pela confiança (0.7x para dados do Gemini, 0.5x para dados do Claude) para reduzir o overfitting durante o treinamento.

3. Resultados

O sistema foi avaliado usando a métrica Macro F1.

• Tarefa 1 (Clareza):
  • O sistema com aumento de dados do Gemini alcançou um Macro F1 de 0,76 no conjunto de avaliação.
  • Isso posicionou a equipe em 8º lugar entre 40 equipes.
  • Comparação: O sistema líder (TeleAI) obteve 0,89; a média dos participantes foi 0,70.
  • O modelo sem aumento de dados obteve 0,69, demonstrando o ganho significativo (+0,07) trazido pela síntese de dados.
• Tarefa 2 (Evasão):
  • O desempenho foi inferior, com uma queda acentuada de 0,45 (fase de desenvolvimento) para 0,28 (fase de avaliação), atribuída a uma mudança de distribuição (distribution shift) entre as fases.

Análise de Erros:
A principal fonte de erro (68% dos erros no conjunto de teste) foi a confusão entre Ambivalente e Resposta Clara. O modelo tende a classificar respostas com linguagem hedging (qualificadores, condicionais) como Ambivalentes, mesmo quando a intenção é clara, ou vice-versa. Curiosamente, o modelo distinguiu perfeitamente "Não-Resposta Clara" de "Resposta Clara" (zero falsos positivos nessa direção), mas ainda confundia alguns "Não-Respostas" com "Ambivalentes".

4. Contribuições Principais

1. Eficácia do Aumento de Dados por LLM: Demonstrou que a geração sintética de dados por LLMs avançados (Gemini 3 e Claude Sonnet 4.5) pode melhorar significativamente a recuperação (recall) de classes minoritárias em tarefas de discurso político complexo.
2. Pipeline de Treinamento Robusto: A combinação de DeBERTa-V3 com Focal Loss, LLRD e recursos de discurso booleanos provou ser uma configuração eficaz para lidar com a complexidade linguística e o desequilíbrio de dados.
3. Análise de Limitações Humanas: O estudo revelou que a dificuldade do modelo em distinguir entre respostas ambivalentes e claras espelha a discordância entre anotadores humanos ($\kappa = 0.65$), sugerindo que o problema é inerente à natureza subjetiva do discurso político, e não apenas uma falha do modelo.

5. Significado e Trabalhos Futuros

O trabalho destaca que, embora a detecção de recusas diretas seja bem resolvida, a "zona cinzenta" da ambiguidade política permanece um desafio crítico.

Os autores propõem três direções futuras:

• Aprendizado Multi-tarefa: Explorar a estrutura hierárquica da taxonomia, treinando o modelo para prever simultaneamente o nível de clareza e as técnicas de evasão finas.
• Recursos Sensíveis a Hedging: Incorporar detecção explícita de qualificadores e mudanças de tópico para melhorar a distinção entre respostas parciais e diretas.
• Robustez na Tarefa 2: Desenvolver validação mais robusta e aumento de dados específico para as 9 classes de evasão para mitigar a queda de desempenho observada devido à mudança de distribuição.

Em resumo, o sistema Duluth demonstra que a integração de dados sintéticos de alta qualidade gerados por LLMs com arquiteturas de transformadores modernas é uma estratégia viável e eficaz para melhorar a análise computacional de discursos políticos evasivos.