💬 NLP

RaguTeam at SemEval-2026 Task 8: Meno and Friends in a Judge-Orchestrated LLM Ensemble for Faithful Multi-Turn Response Generation

O sistema vencedor da RaguTeam para a Tarefa 8 do SemEval-2026, que emprega um ensemble heterogêneo de sete LLMs orquestrado por um juiz GPT-4o-mini para selecionar a melhor resposta, alcançou o primeiro lugar ao superar significativamente a linha de base mais forte, ao mesmo tempo em que introduziu o modelo Meno-Lite-0.1, de custo eficaz, e criticou as limitações de anotação da tarefa.

Autores originais: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Publicado 2026-05-07

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Ivan Bondarenko, Roman Derunets, Oleg Sedukhin, Mikhail Komarov, Ivan Chernov, Mikhail Kulakov

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Visão Geral: Um "Show de Talentos" para IA

Imagine que você está organizando um show de talentos para encontrar a melhor resposta a uma pergunta complicada. Você tem um painel de sete juízes diferentes (modelos de IA), cada um com seu próprio estilo único, pontos fortes e fraquezas. Alguns são gigantes enormes e superinteligentes; outros são especialistas menores e mais focados.

A equipe da Universidade Estadual de Novosibirsk, chamada RaguTeam, não escolheu apenas o juiz "mais inteligente". Em vez disso, eles criaram um sistema onde todos os sete juízes escrevem uma resposta e, em seguida, um Juiz Principal (uma IA leve chamada GPT-4o-mini) lê todas as sete respostas e seleciona a única melhor para aquela pergunta específica.

Eles inscreveram esse sistema em uma competição chamada SemEval-2026 Task 8 (especificamente a Tarefa B), que testa quão bem a IA pode responder a perguntas baseadas apenas em documentos fornecidos, mesmo durante uma conversa longa. Seu sistema conquistou o 1º lugar entre 26 equipes.

O Problema: A Armadilha da "Alucinação"

No mundo real, a IA frequentemente tenta ser muito prestativa. Se ela não sabe a resposta, pode inventar algo (alucinar) para parecer confiante. Isso é perigoso quando a IA deve atuar como um verificador de fatos.

A tarefa da competição era complicada porque envolvia:

Conversas de múltiplas voltas: A IA precisa lembrar o que foi dito anteriormente no chat.
Regras estritas: A IA deve usar apenas os "trechos de referência" fornecidos (como uma prova de livro fechado).
O teste do "Não sei": Às vezes, os documentos não contêm a resposta. A IA deve dizer "Não sei", em vez de chutar.

Como Eles Venceram: A Estratégia do "Canivete Suíço"

1. A Equipe Diversa (O Ensemble)

Em vez de depender de um único supercomputador, eles usaram uma equipe de sete modelos de IA diferentes.

Os Gigantes: Eles incluíram modelos massivos (como o GLM-4.6 com 357 bilhões de parâmetros) que são como enciclopédias.
Os Especialistas: Eles incluíram um modelo menor, construído sob medida, chamado Meno-Lite-0.1. Pense nele como um modelo de 7 bilhões de parâmetros treinado especificamente para ser um "verificador de fatos" em vez de um "escritor criativo". É como um detetive pequeno e ágil que é muito bom em identificar quando informações estão faltando.
A Mistura: Eles usaram modelos de diferentes empresas (Google, Meta, Microsoft, etc.) e de diferentes tamanhos. A ideia é que, se um modelo cometer um erro, outro pode acertar.

2. Os Dois Estilos de Prompting

Eles não pediram aos modelos da mesma maneira. Eles usaram dois estilos de "instrução" diferentes:

Estilo A (O Livro de Regras): Um conjunto estrito de regras dizendo à IA para se ater apenas ao texto fornecido.
Estilo B (Os Exemplos): Eles deram à IA alguns exemplos de como lidar com situações complicadas (como quando não há documentos ou quando o histórico da conversa está vazio). Isso é como mostrar a um aluno uma prova prática antes da real.

3. O Juiz Principal (A Seleção)

Este é o segredo. Para cada pergunta individual, todos os sete modelos geraram uma resposta. Em seguida, o Juiz Principal (GPT-4o-mini) leu todas elas e perguntou: "Qual dessas respostas é a mais fiel aos documentos?"

Se os documentos estavam vazios, o sistema automaticamente disse "Não sei" (um movimento seguro e perfeito).
Se os documentos tinham uma resposta, o Juiz Principal escolheu aquela que não inventou fatos.

Descobertas Chave (Os Momentos "Eureca!")

Diversidade > Tamanho: A equipe vencedora provou que ter uma mistura de modelos diferentes é melhor do que ter apenas o maior e mais caro. A "equipe" venceu o melhor modelo gigante individual (GLM-4.6) por uma margem significativa. É como uma equipe de revezamento vencer um corredor solo porque cobriram mais terreno.
Exemplos Vencem Regras: Quando deram à IA exemplos específicos de como lidar com situações de "Não sei" (prompting few-shot), ela teve um desempenho muito melhor do que quando apenas receberam regras abstratas. É como ensinar uma criança mostrando um vídeo de alguém compartilhando, em vez de apenas dizer "seja legal".
O Papel do Modelo Pequeno: O modelo personalizado de 7B (Meno-Lite-0.1) não recebeu a maioria dos votos, mas quando foi escolhido, frequentemente era a resposta perfeita. Foi um "especialista" que salvou o dia em situações de nicho, provando que você nem sempre precisa de um cérebro massivo para cada trabalho.

A Crítica: O Jogo Estava Um Pouco Manipulado

Os autores também apontaram uma falha na própria competição.

O Atalho da "Caixa Vazia": No teste, sempre que uma pergunta era "inrespondível", os documentos fornecidos estavam completamente vazios. Isso tornou muito fácil para a IA vencer: ela só precisava detectar a "caixa vazia" e dizer "Não sei".
A Vida Real é Mais Difícil: No mundo real, perguntas inrespondíveis geralmente vêm com documentos irrelevantes (distratores). Os autores argumentam que testes futuros devem incluir esses "distratores" para fazer a IA trabalhar mais e provar que ela realmente entende o texto, em vez de apenas detectar espaço vazio.

Resumo

A RaguTeam venceu tratando a geração de IA como um show de talentos. Eles reuniram um elenco diversificado de personagens (diferentes modelos de IA), deram-lhes maneiras diferentes de se preparar (prompts) e contrataram um árbitro inteligente (o Juiz Principal) para escolher o vencedor em cada rodada. Eles mostraram que uma equipe bem coordenada de IAs diversas é mais inteligente e confiável do que qualquer IA individual trabalhando sozinha.

Resumo Técnico: RaguTeam no SemEval-2026 Tarefa 8

Definição do Problema

O artigo aborda a Tarefa 8 do SemEval-2026 (MTRAGEval), especificamente a Tarefa B, que foca na geração fiel de respostas multi-turno em configurações de Geração Aumentada por Recuperação (RAG). O desafio central envolve gerar uma resposta para uma consulta final do usuário dentro de um diálogo multi-turno, estritamente fundamentada em passagens de referência fornecidas.

A tarefa exige que os sistemas naveguem por várias restrições complexas:

Integração de Contexto: Combinar o histórico do diálogo com documentos recuperados.
Fidelidade: Garantir que todas as afirmações sejam apoiadas pela evidência fornecida, evitando alucinações ou dependência de conhecimento paramétrico do mundo.
Abstenção: Identificar corretamente e recusar-se a responder perguntas não respondíveis ou subespecificadas.
Coerência Multi-turno: Resolver coreferências e rastrear a intenção do usuário ao longo das trocas.

A métrica de avaliação é uma Média Harmônica Condicionada (HM3) de três pontuações: $RB_{alg}$ (Recall BERTScore, Precisão BERT-K, ROUGE-L), $RB_{llm}$ (pontuação do avaliador LLM) e $RL_F$ (fidelidade sem referência). Um componente crítico é o tratamento de instâncias "não respondíveis", onde o sistema deve abster-se para alcançar altas pontuações.

Metodologia

O sistema RaguTeam emprega uma abordagem de ensemble heterogêneo combinada com um mecanismo de seleção baseada em avaliador. O pipeline consiste em três etapas:

1. Estratégias de Engenharia de Prompt

A equipe utilizou duas estratégias de prompting distintas para maximizar a diversidade de candidatos:

Apenas Prompt do Sistema (Grupo 1): Um prompt do sistema iterativamente refinado ( $P$ ) gerado via um procedimento baseado em LLM (usando Gemini). Este prompt enfatiza adesão estrita ao contexto, formulação extrativa, síntese despersonalizada e abstenção explícita para perguntas não respondíveis.
Estratégia Few-Shot (Grupo 2): Prompts aumentados contendo exemplos few-shot conscientes de categoria. As instâncias foram agrupadas em três categorias com base na disponibilidade de contexto: (1) contexto completo, (2) contexto vazio (não respondível) e (3) histórico vazio (primeira troca). Medoides foram selecionados de cada categoria para fornecer demonstrações comportamentais robustas.

2. Composição do Ensemble Heterogêneo

O sistema gera candidatos a partir de sete LLMs diversos para explorar modos de falha complementares entre famílias de modelos, escalas e provedores:

Grupo 1 (Prompt do Sistema): Gemini-3-Pro-Preview, GLM-4.6, Llama-3.3-70B-Instruct e Qwen3-235B-A22B-Instruct-2507.
Grupo 2 (Few-Shot): Claude 4.5 Haiku, Qwen2.5-32B-Instruct e Meno-Lite-0.1.
- Meno-Lite-0.1 é um modelo de 7B introduzido pelos autores, derivado do Qwen2.5-7B-Instruct. Ele passou por pré-treinamento contínuo em dados educacionais russo-inglês e ajuste fino supervisionado para extração, QA multi-hop e seguimento de instruções orientado a RAG.

3. Seleção Baseada em Avaliador

Para cada instância, um modelo leve GPT-4o-mini atua como avaliador. Ele avalia todas as sete respostas candidatas quanto à fidelidade (verificando se as afirmações são apoiadas pelas passagens fornecidas) e atribui uma pontuação de 0 a 1. O candidato com a pontuação mais alta é selecionado.

Pós-processamento: Para instâncias com contextos de referência vazios, o sistema contorna a geração e produz uma resposta fixa "Não tenho uma resposta" para garantir abstenção confiável.

Principais Contribuições

Ensemble Selecionado por Avaliador: Um sistema combinando sete LLMs com duas estratégias de prompting, selecionado por um avaliador GPT-4o-mini, alcançando uma HM3 condicionada de 0,7827.
Ablações de Diversidade: Demonstrações de que a diversidade em famílias de modelos, escalas e estratégias de prompting produz ganhos consistentes sobre qualquer modelo individual.
Meno-Lite-0.1: A introdução de um modelo adaptado a domínio de 7B que alcança um forte compromisso custo-desempenho, atingindo uma HM3 de 0,681 em instâncias respondíveis e mostrando capacidades de abstenção superiores em instâncias não respondíveis em comparação com baselines maiores.
Análise de Benchmark: Um exame crítico do MTRAGEval, destacando limitações como "vazamento de alvo" via contextos vazios e lacunas de anotação.

Resultados

O sistema ficou em 1º lugar entre 26 equipes no SemEval-2026 Tarefa 8.

Desempenho: Alcançou uma HM3 condicionada de 0,7827, superando significativamente a baseline mais forte (gpt-oss-120b, 0,6390) em +0,1437 pontos absolutos (+22,5% relativo).
Ensemble vs. Modelos Únicos: O ensemble (0,783) superou o melhor modelo individual, GLM-4.6 (0,748), confirmando que a seleção baseada em avaliador agrega valor além da escala bruta do modelo.
Insights de Ablação:
- Diversidade: Seleção aleatória do ensemble superou a maioria dos modelos individuais, provando o valor da diversidade de candidatos.
- Prompting: Prompting few-shot com exemplos conscientes de categoria superou o prompt do sistema iterativamente refinado, particularmente em perguntas subespecificadas (+3,7 p.p. de ganho).
- Meno-Lite-0.1: Embora raramente selecionado pelo avaliador (2/424 instâncias), forneceu seleções de nicho de alta qualidade e demonstrou desempenho robusto independente em perguntas não respondíveis (taxa de IDK de 0,54 vs. 0,24 para Qwen2.5-32B).

Significado e Afirmações

O artigo postula três principais insights derivados de seus resultados:

Diversidade sobre Escala: Um ensemble heterogêneo de modelos menores e maiores pode superar o maior modelo único (por exemplo, GLM-4.6 de 357B) para geração fundamentada, sugerindo que modos de falha complementares são mais críticos que a contagem de parâmetros.
Demonstrações Concretas: Exemplos few-shot conscientes de categoria são mais eficazes que instruções de sistema abstratas, especialmente para lidar com casos extremos como perguntas subespecificadas.
Fidelidade vs. Adequação Pragmática: Embora a fidelidade seja necessária, não é suficiente para adequação pragmática. O ensemble teve desempenho inferior em perguntas subespecificadas em comparação com o GLM-4.6, indicando a necessidade de seleção multi-objetivo que equilibre fundamentação com completude.

Os autores também notam limitações do sistema, incluindo custos computacionais, latência devido à geração/avaliação sequencial e dependência do modelo avaliador específico (GPT-4o-mini). Eles concluem que futuros benchmarks devem incluir passagens de distração para perguntas não respondíveis para evitar atalhos triviais e restringir o cálculo de métricas sem referência à fase de avaliação para prevenir vazamento.