KCLarity at SemEval-2026 Task 6: Encoder and Zero-Shot Approaches to Political Evasion Detection

Este artigo descreve a participação da equipe KCLarity na tarefa CLARITY do SemEval-2026, onde compararam abordagens de modelos codificadores e zero-shot para detectar evasão política, constatando que, embora as formulações de treinamento tenham desempenho semelhante, o RoBERTa-large obteve os melhores resultados no conjunto de teste público, enquanto o GPT-5.2 em configuração zero-shot generalizou melhor no conjunto de avaliação oculto.

O essencial

Título: O Detetive da Clareza: Como a KCLarity Tentou Desmascarar a "Fuga" de Políticos

Imagine que você está assistindo a um debate político na TV. O jornalista faz uma pergunta direta: "O senhor vai aumentar os impostos?". O político responde: "Estamos sempre analisando todas as opções para o bem do povo, e o importante é a segurança nacional...".

Você fica confuso. Ele respondeu? Sim, mas não disse "sim" ou "não". Ele evadiu a pergunta.

Este é o problema que a equipe KCLarity (do King's College London) tentou resolver no "SemEval-2026", uma espécie de Olimpíada de Inteligência Artificial para linguagem. O objetivo deles foi criar um "detetive digital" capaz de ler essas respostas e dizer: "Ei, isso é uma resposta clara!" ou "Ops, isso é uma fuga!".

Aqui está como eles fizeram isso, explicado de forma simples:

1. O Jogo das Duas Camadas

Pense na tarefa como um jogo de "quem é quem" em duas camadas:

• Camada 1 (A Clareza): A resposta foi clara ou foi um "gambiarra"? (Sim, Não, ou "Depende").
• Camada 2 (A Fuga): Se foi uma "gambiarra", qual foi o truque usado? (Ex: Mudar de assunto, dar uma resposta vaga, dizer que não sabe, ou fingir que não ouviu).

A equipe testou duas estratégias principais para ensinar seus robôs:

1. O Método Direto: Ensinar o robô a olhar para a resposta e gritar "Clara!" ou "Ambígua!".
2. O Método do Detetive (Fuga Primeiro): Ensinar o robô a identificar primeiro qual truque o político usou (ex: "Ele mudou de assunto!"). Depois, o robô usa uma "tabela de regras" para deduzir que, se ele mudou de assunto, a resposta não foi clara.

O Resultado: Curiosamente, os dois métodos funcionaram quase igual. Mas o "Método do Detetive" foi mais inteligente, pois permitia usar um único robô treinado para detectar truques e, automaticamente, saber se a resposta era clara ou não.

2. Os "Atletas" da Competição

Eles colocaram dois tipos de atletas na pista:

• Os Especialistas (Modelos Codificadores - Encoder): São como robôs que leram milhões de livros e foram "treinados" especificamente para este jogo. Eles são rápidos e eficientes. O campeão aqui foi o RoBERTa-large, que se saiu muito bem nos testes públicos.
• Os Gênios Genéricos (Modelos Decodificadores - Zero-Shot): São como a GPT-5.2 (uma IA super avançada). Eles não foram treinados especificamente para este jogo; eles apenas receberam as regras e tiveram que "adivinhar" a resposta na hora, sem estudar antes.

A Grande Virada:
Nos testes iniciais (públicos), os Especialistas ganharam. Eles conheciam o terreno.
Mas, quando chegaram nos testes finais secretos (onde os dados eram diferentes), os Gênios Genéricos (especialmente a GPT-5.2) surpreenderam todos e venceram!

A Analogia:
Imagine que você está treinando um cachorro para pegar uma bola específica (os Especialistas). Ele é ótimo com aquela bola. Mas, se você jogar uma bola de tênis diferente (os dados secretos), ele pode falhar.
Agora, imagine um humano (a GPT-5.2) que nunca viu aquela bola, mas sabe o que é "pegar uma coisa". Ele se adapta melhor a qualquer tipo de bola nova. Isso mostra que, às vezes, ser "genérico e inteligente" é melhor do que ser "especialista e rígido".

3. Os Obstáculos no Caminho

O trabalho não foi fácil. Eles enfrentaram alguns problemas divertidos:

• O Desequilíbrio da Turma: A maioria das respostas dos políticos era "Ambivalente" (a "gambiarra"). Era como ter uma sala de aula onde 60% dos alunos são "talvez", 30% são "sim" e 10% são "não". O robô tendia a achar que tudo era "talvez" só porque era o mais comum.
• O Problema dos Nomes: Eles tentaram esconder os nomes dos políticos (trocar "Trump" por "Pessoa X") para ver se o robô aprendia a lógica e não apenas a fama. Mas não funcionou: o robô precisava dos nomes para entender o contexto!
• A Ordem da Conversa: Eles descobriram que era melhor colocar a pergunta do jornalista antes da resposta do político no texto para o robô ler. É como ler uma história: você precisa saber o que foi perguntado antes de julgar a resposta.

4. O Veredito Final

No fim das contas, a equipe KCLarity concluiu que:

1. Detectar mentiras políticas é difícil. Até os humanos (os anotadores) discordam muito sobre o que é uma "fuga". Às vezes, o que parece uma resposta vaga para um, parece uma resposta clara para outro.
2. A IA evoluiu. Os modelos grandes (como a GPT-5.2) que não foram treinados especificamente para a tarefa conseguiram generalizar melhor do que os modelos treinados de forma pesada. Isso sugere que a próxima geração de IAs vai ser muito boa em entender a "máquina" da política, mesmo sem ter estudado o caso específico.

Em resumo: A equipe criou um sistema que consegue, com boa precisão, dizer quando um político está "falando bonito para não dizer nada". E a lição mais importante? Às vezes, o melhor detetive não é aquele que decorou o manual, mas aquele que tem a inteligência para entender a intenção por trás das palavras.

Resumo técnico

Resumo Técnico: KCLarity no SemEval-2026 Task 6

1. Problema e Contexto

O artigo descreve a participação da equipe KCLarity (King's College London) na tarefa compartilhada CLARITY do SemEval-2026. O objetivo central é desenvolver métodos de Processamento de Linguagem Natural (PLN) para detectar e classificar ambiguidade e técnicas de evasão em discursos políticos.

• Motivação: A clareza das respostas de políticos é crucial para a escrutínio público. Estudos anteriores indicam que políticos tendem a fornecer respostas menos claras do que não-políticos, utilizando estratégias de "equivocação" ou evasão.
• Tarefas: O desafio consiste em duas sub-tarefas hierárquicas baseadas no conjunto de dados QEvasion:
  1. Task 1 (Clareza): Classificar a resposta em três níveis: Resposta Clara, Resposta Ambivalente ou Não-Resposta Clara.
  2. Task 2 (Evasão): Identificar a técnica específica de evasão utilizada (9 classes, como Desvio, Generalização, Parcial, etc.), que mapeia para os níveis de clareza.
• Desafios: O conjunto de dados apresenta desequilíbrio de classes severo (a classe "Ambivalente" representa ~59% dos dados) e baixa concordância entre anotadores humanos, especialmente nas fronteiras entre "Resposta Clara" e "Ambivalente".

2. Metodologia

A equipe investigou duas abordagens principais de modelagem: Modelos Codificadores (Encoder) ajustados (fine-tuning) e Modelos Decodificadores (Decoder) em configuração zero-shot.

A. Abordagens de Modelagem:

1. Codificadores (Fine-tuning):

   • Modelos: RoBERTa (base e large) e DeBERTa-v3 (base e large).
   • Estratégias de Treinamento:
     • Clareza Direta: Prever diretamente as 3 classes de clareza.
     • Clareza Baseada em Evasão: Prever as 9 classes de evasão e inferir a clareza através da hierarquia da taxonomia. A equipe optou por esta abordagem para permitir o uso de um único modelo para ambas as tarefas.
   • Técnicas Auxiliares:
     • Balanceamento de Perda: Testes com pesos de entropia cruzada (não ponderado, balanceado por frequência inversa e raiz quadrada) para mitigar o desequilíbrio de classes.
     • Representação de Entrada: Comparação entre formato segmentado (Resposta [SEP] Pergunta) e formato marcado (Pergunta [ANSWER] Resposta). O formato marcado (pergunta primeiro) mostrou-se superior.
     • Mascaramento: Tentativas de mascarar nomes de entidades (pessoas) para forçar o modelo a depender de pistas discursivas em vez de conhecimento de mundo, o que não trouxe melhorias consistentes.

2. Decodificadores (Zero-Shot):

   • Modelos: LLMs de peso aberto (Llama 3, Qwen, Gemma 3) e modelos comerciais (GPT-5.2).
   • Configuração: Avaliação zero-shot (sem ajuste fino) utilizando prompts estruturados que instruem o modelo a seguir uma "escada de decisão" lógica para classificar a evasão antes de inferir a clareza.

B. Configuração Experimental:

• Divisão de Dados: Testes com divisões estratificadas por rótulos e divisões "disjuntas por presidente" (para evitar vazamento de falante entre treino e validação).
• Métricas: F1-macro, Precisão, Recall e ACCmatch (fração de previsões que correspondem a pelo menos um anotador para a Task 2).

3. Resultados Principais

Desempenho no Conjunto de Teste Público:

• Modelos Codificadores: O RoBERTa-large (treinado para prever evasão) obteve os melhores resultados, alcançando um F1-macro de 0,661 na Task 1 (Clareza) e 0,371 na Task 2 (Evasão).
• Modelos Decodificadores: O modelo comercial GPT-5.2 foi o melhor entre os modelos zero-shot, com F1-macro de 0,626 na Task 1. Modelos de peso aberto (como Llama-3.3-70B) performaram significativamente pior (F1 ~0,53).
• Comparação: No conjunto público, os modelos codificadores ajustados superaram os decodificadores zero-shot.

Desempenho no Conjunto de Teste Oculto (Ranking Oficial):

• A tendência inverteu-se no conjunto oculto. O sistema GPT-5.2 (zero-shot) alcançou o melhor desempenho geral, classificando-se em 22º lugar (Task 1) e 13º lugar (Task 2).
• O ensemble de RoBERTa-large ficou em segundo lugar entre as submissões da equipe, mas com pontuações ligeiramente inferiores ao GPT-5.2 no conjunto oculto (F1 0,72 vs 0,74 na Task 1).
• Interpretação: O GPT-5.2 demonstrou melhor generalização para dados não vistos, enquanto os modelos ajustados podem ter sofrido de overfitting parcial à distribuição de treino ou às especificidades do conjunto público.

Análise de Erros:

• A maior confusão ocorre nas classes de fronteira (Resposta Ambivalente vs. Clara), refletindo a baixa concordância entre anotadores humanos.
• No nível de evasão, o modelo tem dificuldade em distinguir entre General, Deflection e Partial, devido à sobreposição semântica dessas estratégias.

4. Contribuições Chave

1. Comparação de Paradigmas: Estudo empírico detalhado comparando a eficácia de fine-tuning de codificadores versus zero-shot em grandes modelos de linguagem para detecção de evasão política.
2. Validação da Hierarquia: Demonstração de que prever a evasão detalhada e inferir a clareza é uma estratégia viável e competitiva, eliminando a necessidade de treinar modelos separados para cada nível da taxonomia.
3. Análise de Generalização: Evidência de que, embora modelos ajustados funcionem bem em dados distribuídos similarmente ao treino, modelos zero-shot de última geração (GPT-5.2) podem oferecer maior robustez em cenários de distribuição não vista.
4. Reprodutibilidade: Publicação de código completo, prompts utilizados e análise detalhada de hiperparâmetros e ablações (mascaramento, perda ponderada, estratégias de divisão de dados).

5. Significado e Conclusão

O trabalho destaca que a detecção de evasão política permanece um desafio complexo devido à subjetividade inerente às respostas ambíguas. Embora modelos codificadores tradicionais (como RoBERTa) sejam eficientes e estáveis em domínios específicos, os modelos generativos de última geração (zero-shot) mostram potencial superior em generalização, sugerindo que o conhecimento linguístico pré-treinado massivo pode capturar nuances de discurso político que modelos menores ajustados perdem.

A equipe conclui que, para tarefas com alta subjetividade e desequilíbrio de classes, a combinação de estratégias hierárquicas e o uso de modelos de linguagem grandes (LLMs) são caminhos promissores. O artigo também aponta limitações, como a necessidade de futuras investigações sobre fine-tuning supervisionado de LLMs e o uso de rótulos "soft" (distribuição de anotadores) para melhor capturar a incerteza da anotação.