CSE-UOI at SemEval-2026 Task 6: A Two-Stage Heterogeneous Ensemble with Deliberative Complexity Gating for Political Evasion Detection

Resumo Técnico: CSE-UOI no SemEval-2026 Task 6

1. Problema e Contexto

O artigo aborda a Task 6 do SemEval-2026, que foca na classificação da clareza de respostas em entrevistas políticas. O objetivo é identificar automaticamente se uma resposta de um político é:

1. Resposta Clara (Clear Reply): Responde diretamente à pergunta.
2. Ambivalente (Ambivalent): Evade a questão de forma sutil, sem ser uma recusa explícita.
3. Não-Resposta Clara (Clear Non-Reply): Recusa-se explicitamente a responder ou ignora a pergunta.

O desafio central reside na distinção sutil entre respostas ambivalentes e claras, onde a variação pragmática e a evasão política tornam a classificação automática difícil para modelos de linguagem padrão.

2. Metodologia Proposta

Os autores propõem uma solução em duas etapas baseada em um ensemble heterogêneo de Grandes Modelos de Linguagem (LLMs) e um mecanismo de correção pós-hoc inovador.

Fase 1: Ensemble Heterogêneo Dual (Stage 1)

• Estratégia de "Evasão Primeiro": Em vez de classificar diretamente nas 3 categorias de clareza, os modelos são instruídos a classificar a resposta em 9 categorias de evasão finas (ex: desvio, generalidade, recusa, etc.). Essas 9 categorias são então mapeadas deterministicamente para as 3 classes de clareza. Isso atua como um "buffer de erro", pois muitos erros de classificação de evasão ainda resultam na classe de clareza correta.
• Modelos Utilizados: Um ensemble de dois modelos distintos:
  • grok-4-1-fast-reasoning (xAI)
  • gemini-3-flash-preview (Google)
• Consistência Self-Consistency (SC): Cada modelo executa a inferência 5 vezes ($k=5$) com diferentes sementes de temperatura para gerar múltiplas previsões.
• Votação Ponderada Assimétrica: As previsões são agregadas. O Grok contribui com 5 votos (baseados nos 5 outputs de SC). O Gemini contribui com um "bloco de voto" ponderado ($w=4$) baseado na sua maioria de evasão. Se os modelos concordarem na classe de clareza, essa é mantida; caso contrário, aplica-se a votação ponderada sobre os sinais combinados.

Fase 2: Portão de Complexidade Deliberativa (DCG - Stage 2)
Esta é a contribuição principal do trabalho. O DCG é um mecanismo de correção pós-hoc e não supervisionado aplicado apenas a casos onde o Stage 1 apresenta incerteza (especificamente quando há desacordo entre os modelos ou sinais de ambiguidade).

• Sinais Comportamentais: O sistema explora a descoberta de que o comprimento da resposta de um LLM correlaciona-se fortemente com a ambiguidade da amostra. Respostas ambivalentes tendem a ser mais longas devido à necessidade de "deliberação" para evitar a resposta direta.
• Lógica do Portão (Gate):
  • O DCG dispara (ativa a correção) quando duas condições são atendidas simultaneamente:
    1. O comprimento médio da resposta do Gemini excede o primeiro quartil ($Q_{25}$) do lote atual (indicando alta complexidade/dificuldade).
    2. A autoconsistência do Grok é menor que 1.0 (indicando que o Grok não está confiante, pois suas 5 amostras divergem).
  • Ação de Correção: Se o portão disparar, a contribuição do Gemini para a votação final é sobrescrita para a classe "Ambivalente".
• Vantagem: Diferente de debates multi-agente que aumentam o custo computacional, o DCG é leve, não requer chamadas de API adicionais e adapta-se dinamicamente à distribuição de cada lote de inferência.

3. Contribuições Chave

1. Mecanismo DCG (Deliberative Complexity Gating): Uma nova estratégia que utiliza sinais comportamentais cruzados (comprimento de resposta e consistência interna) para detectar e corrigir casos de ambiguidade sem treinamento adicional.
2. Estratégia de Mapeamento de Evasão: A abordagem de classificar primeiro em 9 categorias de evasão e depois mapear para clareza demonstrou ser mais robusta do que a classificação direta.
3. Análise de Diversidade vs. Debate: O trabalho compara o ensemble heterogêneo estático com abordagens de "debate multi-agente". Os resultados mostram que, para esta tarefa, a diversidade de modelos com fusão estática é superior ao aumento do número de agentes de um mesmo modelo para debates iterativos.
4. Desempenho SOTA: Atingiu o 3º lugar entre 41 submissões no SemEval-2026.

4. Resultados Experimentais

• Pontuação Final: O sistema alcançou um Macro-F1 de 0.85 no conjunto de avaliação cega (blind evaluation), empatando com o segundo melhor resultado e garantindo o 3º lugar.
• Impacto do DCG:
  • O Ensemble (Stage 1) sozinho obteve 0.8122 de Macro-F1 na avaliação.
  • A adição do DCG (Stage 2) elevou a pontuação para 0.8505 (+3.83 pontos percentuais).
  • A precisão geral aumentou de 81.0% para 84.4%.
• Análise de Erros:
  • A maior parte dos erros remanescentes (86.8%) ocorre na fronteira entre "Resposta Clara" e "Ambivalente", refletindo a dificuldade inerente da tarefa e o desacordo entre anotadores humanos.
  • O DCG foi particularmente eficaz em corrigir casos onde os modelos discordavam, melhorando a detecção de respostas ambivalentes.
• Ablação:
  • O uso de Self-Consistency ($k=5$) foi superior à inferência única.
  • Debates multi-agente (7 agentes) tiveram desempenho inferior ao ensemble estático heterogêneo, sugerindo que a diversidade de arquiteturas é mais valiosa que a quantidade de agentes idênticos.

5. Significado e Conclusão

O trabalho demonstra que a diversidade de modelos combinada com controle de deliberação adaptativa baseada em sinais comportamentais (como comprimento de texto) é uma estratégia poderosa para tarefas de classificação de discurso político.

O mecanismo DCG oferece uma via eficiente para melhorar a robustez de sistemas de LLM em cenários de alta ambiguidade, evitando o custo computacional de métodos iterativos complexos como debates multi-agente. O estudo também destaca que, embora os LLMs sejam fortes, a fronteira entre "clareza" e "ambiguidade" em respostas políticas permanece um desafio difícil, onde até mesmo os melhores sistemas ainda cometem erros em amostras onde a anotação humana também apresenta discordância.

O código do sistema está disponível publicamente, permitindo a reprodutibilidade e o uso de modelos de código aberto como alternativas aos modelos proprietários utilizados no experimento.