💬 NLP

CLaC at SemEval-2026 Task 6: Response Clarity Detection in Political Discourse

O sistema da equipe CLaC para a SemEval-2026 Tarefa 6 demonstra que modelos de linguagem grandes baseados em prompts superam codificadores ajustados na detecção de clareza e evasão em respostas no discurso político, alcançando resultados de alto nível por meio de uma estratégia de ensemble e contextos de entrada enriquecidos, ao mesmo tempo que destacam o desafio persistente de distinguir entre respostas claras e ambivalentes.

Autores originais: Nawar Turk, Lucas Miquet-Westphal, Leila Kosseim

Publicado 2026-05-05

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Nawar Turk, Lucas Miquet-Westphal, Leila Kosseim

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está assistindo a um debate ao vivo na TV onde um político está sendo interpelado por um jornalista exigente. Às vezes, o político responde diretamente à pergunta. Às vezes, ele dá uma resposta vaga, do tipo "talvez", que soa como uma resposta, mas não é. E às vezes, ele desvia completamente da pergunta, fingindo que não a ouviu ou dizendo que não sabe.

O artigo que você está lendo trata de uma equipe de cientistas da computação (da Universidade Concordia) que construiu um "árbitro inteligente" para classificar automaticamente essas respostas. Eles participaram de uma competição chamada SemEval-2026 Task 6 para ver quem conseguiria construir o melhor árbitro.

Aqui está a história de como eles fizeram isso, explicada de forma simples:

Os Dois Níveis do Jogo

A competição tinha dois níveis, como um videogame com um "Modo Fácil" e um "Modo Difícil":

Nível 1 (A Visão Geral): A resposta é Clara, Vaga ou um Desvio Total? (3 categorias).
Nível 2 (Os Detalhes): Se a resposta for vaga ou um desvio, exatamente como eles fizeram isso? (9 categorias específicas, como "desviar", "ser muito genérico" ou "alegar ignorância").

As Três Estratégias que Eles Tentaram

A equipe tentou três maneiras diferentes de construir seu árbitro:

1. Os "Treinadores Especializados" (Modelos Codificadores)
Pense neles como alunos que memorizaram milhares de exemplos de respostas políticas. Eles são muito bons em identificar padrões, mas são rígidos.

O Experimento: Eles testaram 8 "alunos" diferentes (modelos de computador) e os ensinaram usando um processo de treinamento de quatro etapas.
O Truque: Eles descobriram que, se deixassem os alunos memorizarem tudo (treinamento completo), os alunos ficavam confusos e cometiam erros. Mas, se dissessem aos alunos: "Vocês já conhecem o básico, apenas ajuste os 25% superiores do seu cérebro", os alunos se saíam muito melhor.
O Resultado: Mesmo quando combinaram todos os 8 alunos em um "grupo de estudo" (um ensemble), eles foram bons, mas não os melhores.

2. O "Leitor de Longo Contexto" (Longformer)
Algumas entrevistas são muito longas. A equipe testou um modelo especial projetado para lembrar histórias longas.

O Resultado: Não funcionou tão bem quanto o esperado. Embora conseguisse "ler" textos mais longos, não entendia a nuance das respostas melhor do que os modelos padrão. É como ter um cartão de biblioteca para uma biblioteca enorme, mas ainda não saber como encontrar o livro certo.

3. Os "Tutores Superinteligentes" (Modelos de Linguagem Grandes / LLMs)
Estes são os modelos "gênios" (como GPT-5, Gemini e Qwen) que não foram especificamente treinados neste conjunto de dados. Em vez disso, a equipe forneceu-lhes um manual de instruções muito detalhado (um "prompt") e mostrou-lhes 27 exemplos de boas respostas antes de pedir que julgassem.

O Segredo: A equipe percebeu que a forma como faziam a pergunta importava mais do que o tamanho do modelo.
- Eles deram aos modelos o contexto completo (toda a conversa, não apenas a pergunta).
- Eles deram aos modelos uma "cola" que explicava as categorias complicadas em detalhes.
- Eles disseram aos modelos para "pensar sobre isso internamente" antes de dar uma resposta.
O Resultado: Esses "Tutores" esmagaram a competição. Eles não precisaram ser retreinados; apenas precisaram das instruções certas.

As Grandes Vitórias e Surpresas

O Efeito "Grupo de Estudo": A equipe combinou seus três melhores "Tutores" (GPT-5, Gemini e Qwen) em uma equipe final. Se dois tutores concordassem em uma resposta, essa era a decisão final. Essa equipe obteve 80 de 100 no nível fácil e 59 de 100 no nível difícil.
Tamanho Não Importa: Você poderia pensar que um modelo maior e mais poderoso sempre venceria. Mas a equipe descobriu que um modelo massivo de 253 bilhões de parâmetros na verdade se saiu pior do que um modelo menor e mais inteligente de 70 bilhões de parâmetros. Não se trata do tamanho do cérebro, mas de como você fala com ele.
O Problema da "Vagueza": A parte mais difícil tanto para os computadores quanto para os juízes humanos era distinguir entre uma "Resposta Clara" e uma "Resposta Vaga". Até mesmo os humanos discordavam disso com frequência. Os computadores cometeram o mesmo erro, mostrando que algumas respostas políticas são naturalmente confusas.

A Conclusão

O sistema de "Tutor Superinteligente" da equipe foi o 9º melhor entre 41 equipes no nível fácil e o 3º melhor entre 33 no nível difícil.

A principal lição? Ao tentar entender respostas políticas complicadas, você não necessariamente precisa construir um novo cérebro de computador supercaro do zero. Às vezes, você só precisa pegar um cérebro inteligente existente, dar a ele um manual de instruções muito bom, mostrar alguns exemplos e deixá-lo fazer o trabalho.

Eles também observaram que seu código e instruções estão gratuitos para que qualquer pessoa os use, para que outros pesquisadores possam tentar superar sua pontuação na próxima vez!

Resumo Técnico: CLaC na SemEval-2026 Tarefa 6 (CLARITY)

Definição do Problema

O artigo aborda a SemEval-2026 Tarefa 6 (CLARITY), uma tarefa compartilhada focada na detecção de clareza e evasão em respostas no discurso político. O sistema processa pares pergunta-resposta em inglês extraídos de entrevistas presidenciais dos EUA. A tarefa é estruturada hierarquicamente:

Tarefa 1: Classificar as respostas em uma de três categorias de Clareza: Resposta Clara, Resposta Ambivalente ou Não Resposta Clara.
Tarefa 2: Prever uma de nove etiquetas de Evasão de granularidade fina que subcategorizam as classes de Clareza (por exemplo, Desvio, Desvio de Foco, Explícito, Parcial).

O conjunto de dados compreende 3.993 instâncias com desequilíbrio significativo de classes (dominado por Ambivalente no Nível 1 e Explícito/Desvio no Nível 2) e dificuldade inerente de anotação, evidenciada por concordância moderada entre anotadores ( $\kappa = 0.65$ ) na fronteira entre Resposta Clara e Ambivalente.

Metodologia

A equipe CLaC avaliou três abordagens arquitetônicas distintas, otimizando-as por meio de um pipeline multiestágio:

1. Modelos Baseados em Codificadores

A equipe avaliou 8 codificadores transformer (incluindo variantes em inglês como BERT, RoBERTa, DeBERTa e variantes multilíngues como mBERT, XLM-RoBERTa, mDeBERTa) em quatro estágios de otimização:

Estágio 1 (Adaptação do Codificador): Comparou o ajuste fino completo contra o desbloqueio parcial de camadas (topo 25%, 50%, 75%) e LoRA. O desbloqueio parcial (especificamente o topo 25%) superou significativamente o ajuste fino completo.
Estágio 2 (Classificação e Representação): Avaliou diferentes cabeças de classificação (Linear sobre CLS, MLP, Pooling Médio) e estratégias de truncamento (padrão vs. cabeça-cauda).
Estágio 3 (Função de Perda e Regularização): Testou Focal Loss e taxas de dropout variáveis contra uma linha de base de Entropia Cruzada Ponderada (WCE) com 0,1 de dropout. A WCE provou ser suficiente.
Estágio 4 (Dados e Entrada): Testou aumento de dados (parafraseamento gerado por LLM para a classe minoritária Não Resposta Clara) e entrada enriquecida (concatenando a fala completa do entrevistador com a pergunta-alvo).
Ensemble: A melhor configuração para cada um dos 8 codificadores foi combinada via votação majoritária.

2. Arquitetura de Contexto Longo

Para abordar cerca de 30% das instâncias que excedem o limite de 512 tokens, a equipe experimentou o Longformer-base-4096. Realizaram um estudo de ablação sobre a ordem de entrada, padrões de atenção global (apenas CLS vs. estendido para tokens da pergunta) e cabeças de classificação. Apesar da janela de contexto estendida, esta abordagem não superou o ensemble de codificadores otimizado.

3. LLMs Baseados em Prompt

A equipe avaliou Modelos de Linguagem de Grande Porte (LLMs) de pesos abertos (LLaMA, Qwen, Mixtral) e proprietários (GPT-5, Claude-Opus-4.5, Gemini-3-Flash-Preview) sem atualizações de parâmetros específicos da tarefa.

Estratégias de Prompting: Avaliaram Zero-Shot, Zero-Shot com instruções repetidas, Few-Shot (3, 9, 27 exemplos) e Chain-of-Thought (raciocínio interno apenas).
Otimização: A estratégia de melhor desempenho (FS27 com entrada enriquecida) foi refinada enriquecendo as definições de rótulo com subcategorias de Evasão do Nível 2 e, para alguns modelos, antepor o nome do presidente.
Ensemble: As 3 melhores configurações de LLM (GPT-5, Gemini-3-Flash-Preview, Qwen3-235B) foram combinadas via votação majoritária.

Resultados Principais

Desempenho na Tarefa 1: O ensemble de LLMs alcançou o melhor desempenho com 80 macro-F1 no conjunto de teste (classificando 9º/41). Isso superou significativamente o ensemble de codificadores (70,5 macro-F1 no desenvolvimento, menor no teste) e o modelo Longformer (64,3 macro-F1).
Desempenho na Tarefa 2: Aplicar a configuração do ensemble de LLMs da Tarefa 1 à Tarefa 2 resultou em 59 macro-F1 (classificando 3º/33).
Descobertas sobre Codificadores:
- Desbloqueio Parcial: O desbloqueio do topo 25% das camadas melhorou o macro-F1 em +17,9 sobre o ajuste fino completo (59,1 vs. 41,2), sugerindo que o ajuste fino completo sofre de sobreajuste nos dados limitados.
- Diversidade do Ensemble: Combinar codificadores em inglês e multilíngues (70,5) superou ensembles de qualquer família isoladamente, apesar de os modelos multilíngues individualmente terem desempenho inferior aos modelos apenas em inglês.
- Enriquecimento de Entrada: Adicionar a fala completa do entrevistador degradou o desempenho dos codificadores, mas melhorou o desempenho dos LLMs.
Descobertas sobre LLMs:
- Engenharia de Prompt: O refinamento do prompt (adicionando definições de subcategorias) gerou um ganho de +7,1 no macro-F1 para o GPT-5.
- Escala do Modelo vs. Desempenho: A contagem de parâmetros não previu o desempenho; modelos menores (por exemplo, Qwen3-30B) às vezes superaram modelos maiores (por exemplo, LLaMA-3.1-Nemotron-Ultra-253B).
- Classes Minoritárias: O ensemble de LLMs mostrou robustez superior em classes minoritárias (Resposta Clara e Não Resposta Clara), melhorando o F1 em quase 10 pontos sobre o ensemble de codificadores.

Significado e Alegações

O artigo alega que, para tarefas de baixo recurso e rotuladas hierarquicamente como a CLARITY, escolhas de design no tempo de inferência (estrutura do prompt, integração da hierarquia de rótulos e composição do ensemble) são mais impactantes do que a adaptação no nível de parâmetros (ajuste fino).

Observações-chave incluem:

Superioridade do Prompting: LLMs baseados em prompt, sem qualquer ajuste fino, superaram codificadores ajustados, particularmente em classes minoritárias.
Utilização de Contexto: A divergência no desempenho em relação à "entrada enriquecida" (ajudando LLMs, mas prejudicando codificadores) sugere que LLMs aproveitam o contexto adicional de forma mais eficaz do que arquiteturas de codificador, um fator não atribuído apenas à capacidade de comprimento de sequência.
Ambiguidade Inerente: O modo de falha dominante para ambos os sistemas foi a confusão entre Resposta Clara e Ambivalente, espelhando a discordância entre anotadores humanos. Isso indica que a fronteira é inerentemente subjetiva e difícil tanto para humanos quanto para modelos.
Estratégia de Ensemble: A diversidade arquitetônica (combinando modelos em inglês e multilíngues) forneceu sinais complementares que melhoraram o desempenho geral do ensemble mais do que o aumento da escala do modelo isoladamente.

Os autores notam limitações relacionadas à restrição do conjunto de dados a entrevistas presidenciais dos EUA, à dependência de APIs proprietárias para reprodutibilidade e à falta de uma varredura dedicada de prompts para a Tarefa 2, o que foi abordado transferindo a configuração da Tarefa 1.