💬 NLP

HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

Este artigo apresenta o HopRefusalBench, o primeiro benchmark projetado para avaliar como agentes aumentados por busca lidam com perguntas multi-salto (multi-hop) impossíveis de responder, revelando que, embora os modelos consigam frequentemente identificar a razão correta para a impossibilidade de resposta, eles frequentemente falham em se comprometer com uma recusa adequada, recorrendo, em vez disso, a alucinações ou ao esgotamento de orçamentos de busca.

Autores originais: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Publicado 2026-08-04

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está contratando um detetive superinteligente para resolver um mistério. Este detetive possui uma biblioteca mágica que pode visitar instantaneamente e é excelente em conectar pontos entre diferentes livros para encontrar a resposta. É assim que os agentes de IA modernos com "Busca Aumentada" funcionam: eles são grandes modelos de linguagem que podem sair, pesquisar na internet (ou em um banco de dados) e reunir informações para responder às suas perguntas. Geralmente, isso é incrível. Mas o que acontece quando você faz uma pergunta que não pode ser respondida? Talvez você pergunte: "Quem é o atual rei da França?" (não há nenhum), ou "Qual é o ingrediente secreto de um prato que não existe?".

No mundo da IA, saber quando não responder é tão importante quanto saber como responder. Se o seu detetive continuar vasculhando a biblioteca, inventando um rei falso ou desperdiçando horas procurando por um ingrediente inexistente, ele não estará sendo útil; ele estará sendo teimoso e desperdiçador. Os cientistas chamam isso de "recusa" — a habilidade de dizer: "Não posso responder a isso porque a pergunta está quebrada". Embora saibamos que esses detetives de IA estão ficando melhores em resolver quebra-cabeças difíceis, não sabíamos realmente como eles se comportavam quando o quebra-cabeça era impossível de resolver em primeiro lugar. Eles paravam rapidamente? Ficavam confusos? Ou simplesmente inventavam algo?

Este artigo apresenta um novo teste chamado HopRefusalBench para descobrir exatamente como esses detetives de IA lidam com perguntas impossíveis. Os pesquisadores criaram 889 perguntas complicadas projetadas para derrubar a IA. Eles não apenas fizeram perguntas simples de "eu não sei"; eles construíram mistérios complexos de várias etapas onde a armadilha poderia estar no início, no meio das pistas ou logo no final. Eles queriam ver se a IA perceberia que a pergunta estava quebrada cedo ou se continuaria pesquisando e acabaria alucinando (inventando) uma resposta.

Os resultados foram um pouco um chamado à realidade. Mesmo os modelos de IA mais inteligentes no teste conseguiram parar corretamente e dizer "Não posso responder a isso" apenas cerca de 42,9% das vezes. Isso significa que, mais da metade das vezes, eles falharam em perceber que a pergunta era impossível. O estudo descobriu que os modelos de IA eram, na verdade, bastante bons em identificar por que uma pergunta estava quebrada uma vez que tivessem as evidências (mais de 84% das vezes eles consegravam explicar a lógica), mas tinham dificuldade em realmente se comprometer a parar. Em vez de dizer "Eu desisto", eles frequentemente continuavam pesquisando até ficarem sem tempo ou energia, ou simplesmente inventavam uma resposta falsa para satisfazer o usuário.

Os pesquisadores também descobriram que onde a "armadilha" era colocada na pergunta importava muito. Era muito mais difícil para a IA parar quando o problema estava no meio da cadeia de raciocínio (como uma ponte quebrada entre duas ilhas) em comparação a quando o problema estava no final. Além disso, o tipo de pergunta impossível mudava a forma como a IA falhava: alguns modelos tendiam a inventar fatos (alucinar), enquanto outros apenas continuavam pesquisando para sempre até esgotarem o orçamento.

Em resumo, este artigo mostra que, embora nossos detetives de IA estejam ficando melhores em encontrar informações, eles ainda são terríveis em saber quando desistir. Eles frequentemente ficam presos em um ciclo de busca ou começam a inventar coisas em vez de admitir que a própria pergunta é falha. Os autores sugerem que, para que esses agentes de IA sejam verdadeiramente confiáveis, precisamos ensiná-los não apenas como pesquisar, mas como reconhecer um beco sem saída e parar antes que desperdicem tempo ou espalhem desinformação. A boa notícia é que agora temos um mapa (HopRefusalBench) para ajudar a diagnosticar exatamente onde eles estão falhando e como corrigir.

Resumo Técnico: HopRefusalBench

Definição do Problema
Agentes de modelos de linguagem de grande escala (LLMs) aumentados por busca estão se tornando cada vez mais eficazes na resolução de tarefas que exigem alto nível de conhecimento; no entanto, seu comportamento ao encontrar questões multi-salto (multi-hop) fundamentalmente impossíveis de responder permanece pouco compreendido. Benchmarks existentes para abstenção expõem primariamente defeitos em consultas de salto único (single-hop) ou raciocínio de superfície. Eles falham em capturar falhas que emergem apenas após o ocorrido de raciocínio intermediário e recuperação de informação válidos. Em cenários do mundo real, as consultas dos usuários frequentemente contêm premissas falsas, contextos subespecificados ou respostas desconhecidas. Um agente de busca confiável deve detectar essas condições de impossibilidade de resposta durante a recuperação de múltiplos passos e responder com uma não-resposta (recusa) epistemicamente apropriada. Atualmente, no entanto, os sistemas frequentemente entram em loops de recuperação dispendiosos, forçam conexões quebradas ou alucinam respostas devido à "pressão de conclusão" gerada por evidências de prefixo válidas.

Metodologia: Construção do HopRefusalBench
Os autores introduzem o HopRefusalBench, o primeiro benchmark controlado projetado para diagnosticar falhas de recusa dentro da busca multi-salto. O benchmark consiste em 889 questões impossíveis de responder, construídas via um pipeline de quatro estágios:

Fundamentação de Sementes (Seed Grounding): Os autores selecionam questões semente de datasets existentes (ex: CoCoNot, BIG-Bench, FalseQA) que requerem não-respostas ou esclarecimentos. Estas são categorizadas por três causas de impossibilidade de resposta:
- Resposta Desconhecida (AU - Answer Unknown): O fato solicitado não está estabelecido ou é desconhecido.
- Premissa Falsa (FP - False Premise): A questão contém uma suposição factualmente incorreta.
- Contexto Subespecificado (UC - Underspecified Context): Qualificadores necessários estão ausentes.
Construção de Caminhos Guiada por KG: Usando o grafo de hiperlinks da Wikipedia (KILT), os autores constroem cadeias de raciocínio válidas. Eles realizam travessia bidirecional: a travessia de retro-link constrói prefixos válidos em direção a uma "âncora de retorno" (backward anchor), e a travessia de link de saída estende sufixos a partir de uma "ponte frontal" (forward bridge). Isso garante continuidade semântica enquanto isola o passo impossível de responder.
Síntese Controlada por Topologia: A inovação central é o controle sobre onde a impossibilidade de resposta interrompe a cadeia de raciocínio. O benchmark cruza as três causas com três topologias:
- Raiz (Root): A semente impossível é o primeiro passo, mascarada por uma continuação plausível.
- Meio (Middle): O passo impossível atua como uma ponte quebrada entre um prefixo válido e um sufixo dependente.
- Terminal: O passo impossível aparece apenas após um prefixo válido ter sido totalmente resolvido.
Controle de Qualidade: Uma auditoria de múltiplos estágios garante que as âncoras ocultas não sejam vazadas, que a coerência da cadeia seja mantida e que a causa original da impossibilidade de resposta seja preservada sem que o modelo de fusão acidentalmente corrija a premissa.

Estrutura de Avaliação
Os autores propõem uma estrutura diagnóstica que avalia tanto os resultados finais quanto as linhas do tempo de evidência conscientes da fonte:

Taxonomia de Resultado Final: As respostas são classificadas em Recusa Correta (Parada Correta Ciente do Alvo, TACH), Pseudo-recusa (parada prematura, racional incorreto ou racional não informativo), Alucinação (aceitar a premissa defeituosa) e Exaustão de Busca (consumir o orçamento de busca sem uma decisão final).
Métricas Conscientes da Fonte: A estrutura identifica o primeiro turno ( $T_{trap}$ ) onde evidência suficiente para a recusa aparece. Ela mede o Desperdício de Tokens Pós-Gatilho (PTTW) e a Taxa de Sobre-busca Pós-Gatilho (PTOS) para quantificar a ineficiência após o momento em que o modelo poderia ter parado.
Mudanças Induzidas pela Busca: Ao comparar os modos de busca aumentada e sem busca, os autores medem como a busca altera o comportamento, especificamente calculando a Taxa de Sobrescrita Induzida pela Busca (SIOR) (com que frequência a busca transforma uma recusa correta em uma falha) e a Taxa de Resgate Induzida pela Busca (SIRR).

Resultos Principais
Os autores avaliaram dez modelos de fronteira, proprietários e de pesos abertos (incluindo GPT-5.4, Claude-Sonnet-5, Qwen3.5/3.6, Kimi-K2.5/2.6, DeepSeek-V4-Pro, e GLM-5.1/5.2) em modo de busca aumentada:

Baixo Desempenho Geral: O melhor modelo apresentou uma Taxa de Parada Correta Ciente do Alvo (TCHR) de apenas 42,9%.
A Busca Desestabiliza a Recusa: Para nove dos dez modelos, a busca aumentada diminuiu a TCHR em comparação ao modo sem busca. A busca frequentemente sobrescreve recusas corretas (20,4–67,3% dos casos) em vez de resgatar falhas (4,2–16,9%).
Dificuldade de Topologia e Causa:
- Itens de Raiz e Meio são consistentemente mais difíceis que itens Terminais, sugerindo que objetivos subsequentes plausíveis mascaram defeitos precoces de forma mais eficaz.
- Os modelos performam melhor em Premissas Falsas (onde a recuperação pode contradizer diretamente as afirmações) e pior em questões de Contexto Subespecificado (que convidam o agente a fornecer referentes plausíveis).
Modos de Falha Divergentes:
- Os modelos exibem diferentes canais de falha: alguns (ex: GPT-5.4) predominantemente alucinam respostas apesar das evidências, enquanto outros (ex: Qwen3.6-27B) tendem à exaustão de busca.
- Comprometimento vs. Reconhecimento: Um achado crítico é que 84,7–98,4% das respostas do tipo recusa explícita identificam corretamente o racional. O principal gargalo não é o reconhecimento da impossibilidade de resposta, mas o comprometimento com uma não-resposta.
Ineficiência: Muitas trajetórias continuam buscando após a evidência suficiente ser encontrada, gerando um desperdício significativo de tokens (até 10.321 tokens pós-gatilho em média para alguns modelos).

Significância e Alegações
O artigo afirma que o HopRefusalBench estabelece a recusa em buscas multi-salto como um problema de avaliação consequente. Ele fornece uma base para diagnosticar a confiabilidade ao separar a descoberta de evidências, o comprometimento da recusa e o controle do orçamento de busca. Os autores argumentam que os agentes de busca aumentados atuais carecem da capacidade coordenada de verificar premissas, decidir recusar e controlar orçamentos de busca simultaneamente. O benchmark está disponível publicamente para facilitar pesquisas futuras voltadas para a melhoria da confiabilidade de sistemas de busca agênticos.

Mais como este