💬 NLP

HopRefusalBench: Diagnosing Refusal Failures in Search-Augmented Agents for Multi-Hop Reasoning

Ce document présente HopRefusalBench, le premier benchmark conçu pour évaluer la manière dont les agents augmentés par la recherche gèrent les questions multi-étapes impossibles à répondre, révélant que si les modèles parviennent souvent à identifier la raison correcte de l'impossibilité de répondre, ils échouent fréquemment à s'engager dans un refus approprié, recourant plutôt à des hallucinations ou à l'épuisement de leurs budgets de recherche.

Auteurs originaux : Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Publié 2026-08-04

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Jianan Xie, Xin Sun, Zhongqi Chen, Xing Zheng, Qiang Liu, Bowen Song

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous engagiez un détective super intelligent pour résoudre un mystère. Ce détective possède une bibliothèque magique qu'il peut visiter instantanément, et il est excellent pour relier les points entre différents livres afin de trouver la réponse. C'est ainsi que fonctionnent les agents d'IA modernes « augmentés par la recherche » : ce sont des modèles de langage étendus qui peuvent sortir, chercher sur Internet (ou dans une base de données), et assembler des informations pour répondre à vos questions. Généralement, c'est extraordinaire. Mais que se passe-t-il lorsque vous posez une question qui ne peut pas recevoir de réponse ? Peut-être demandez-vous : « Qui est l'actuel roi de France ? » (il n'y en a pas), ou « Quel est l'ingrédient secret d'un plat qui n'existe pas ? »

Dans le monde de l'IA, savoir quand ne pas répondre est tout aussi important que savoir comment répondre. Si votre détective continue de fouiller dans la bibliothèque, inventant un faux roi, ou perdant des heures à chercher un ingrédient inexistant, il n'est pas utile ; il est têtu et gaspilleur. Les scientifiques appellent cela le « refus » : la capacité de dire : « Je ne peux pas répondre à cela parce que la question est erronée. » Bien que nous sachions que ces détectives IA deviennent meilleurs pour résoudre des énigmes difficiles, nous ne savions pas vraiment comment ils se comportaient lorsque l'énigme était impossible à résoudre en premier lieu. S'arrêtaient-ils rapidement ? Étaient-ils confus ? Ou inventaient-ils simplement des choses ?

Ce document présente un nouveau test appelé HopRefusalBench pour comprendre exactement comment ces détectives d'IA gèrent les questions impossibles. Les chercheurs ont créé 889 questions complexes conçues pour piéger l'IA. Ils ne se sont pas contentés de poser de simples questions du type « je ne sais pas » ; ils ont construit des mystères complexes à plusieurs étapes où le piège pouvait se trouver au tout début, au milieu des indices, ou juste à la fin. Ils voulaient voir si l'IA réaliserait que la question était erronée tôt, ou si elle continuerait à chercher et finirait par halluciner (inventer) une réponse.

Les résultats ont été un véritable signal d'alarme. Même les modèles d'IA les plus intelligents du test n'ont réussi à s'arrêter correctement et à dire « je ne peux pas répondre à cela » que 42,9 % du temps. Cela signifie que plus de la moitié du temps, ils n'ont pas réalisé que la question était impossible. L'étude a révélé que les modèles d'IA étaient en fait assez doués pour repérer pourquoi une question était erronée une fois qu'ils avaient les preuves (plus de 84 % du temps, ils pouvaient expliquer la logique), mais qu'ils avaient du mal à réellement s'engager à s'arrêter. Au lieu de dire « j'abandonne », ils continuaient souvent à chercher jusqu'à ce qu'ils manquent de temps ou d'énergie, ou ils inventaient simplement une fausse réponse pour satisfaire l'utilisateur.

Les chercheurs ont également découvert que l'endroit où le « piège » était placé dans la question importait beaucoup. Il était bien plus difficile pour l'IA de s'arrêter lorsque le problème se trouvait au milieu du raisonnement (comme un pont brisé entre deux îles) par rapport à lorsque le problème était à la toute fin. De plus, le type de question impossible changeait la façon dont l'IA échouait : certains modèles avaient tendance à inventer des faits (halluciner), tandis que d'autres continuaient simplement à chercher indéfiniment jusqu'à épuiser leur budget.

En résumé, ce document montre que si nos détectives d'IA deviennent meilleurs pour trouver des informations, ils sont encore terribles pour savoir quand s'arrêter. Ils se retrouvent souvent coincés dans une boucle de recherche ou commencent à inventer des choses plutôt que d'admettre que la question elle-même est défectueuse. Les auteurs suggèrent que pour que ces agents d'IA soient véritablement fiables, nous devons leur apprendre non seulement comment chercher, mais aussi comment reconnaître une impasse et s'arrêter avant de perdre du temps ou de propager de la désinformation. La bonne nouvelle est que nous avons maintenant une carte (HopRefusalBench) pour aider à diagnostiquer précisément là où ils échouent et comment les corriger.

Résumé Technique : HopRefusalBench

Énoncé du Problème
Les agents de grands modèles de langage (LLM) augmentés par la recherche sont de plus en plus efficaces pour résoudre des tâches exigeant une grande connaissance ; cependant, leur comportement lorsqu'ils sont confrontés à des questions multi-étapes fondamentalement impossibles à répondre reste mal compris. Les benchmarks existants pour l'abstention exposent principalement des défauts dans les requêtes à étape unique ou un raisonnement de surface. Ils ne parviennent pas à capturer les échecs qui émergent uniquement après qu'un raisonnement intermédiaire et une recherche valides ont eu lieu. Dans des scénarios réels, les requêtes des utilisateurs contiennent souvent des prémisses fausses, des contextes sous-spécifiés ou des réponses inconnues. Un agent fiable augmenté par la recherche devrait détecter ces conditions de non-réponse pendant la recherche multi-étapes et répondre par une absence de réponse épistémiquement appropriée (refus). Cependant, les systèmes actuels entrent souvent dans des boucles de recherche coûteuses, forcent des connexions brisées ou hallucinent des réponses en raison de la « pression de complétion » générée par des preuves de préfixes valides.

Méthodologie : Construction de HopRefusalBench
Les auteurs introduisent HopRefusalBench, le premier benchmark contrôlé conçu pour diagnostiquer les échecs de refus au sein de la recherche multi-étapes. Le benchmark se compose de 889 questions impossibles à répondre, construites via un pipeline en quatre étapes :

Ancrage des Semences (Seed Grounding) : Les auteurs sélectionnent des questions sources à partir de jeux de données existants (ex. CoCoNot, BIG-Bench, FalseQA) qui nécessitent des non-réponses ou des clarifications. Celles-ci sont catégorisées par trois causes d'impossibilité de réponse :
- Réponse Inconnue (AU - Answer Unknown) : Le fait demandé n'est pas établi ou n'est pas connaissable.
- Prémisse Fausse (FP - False Premise) : La question contient une hypothèse factuellement incorrecte.
- Contexte Sous-spécifié (UC - Underspecied Context) : Les qualificatifs nécessaires sont manquants.
Construction de Chemins Guidée par KG : En utilisant le graphe de liens hypertexte de Wikipedia KILT, les auteurs construisent des chaînes de raisonnement valides. Ils effectuent une traversée bidirectionnelle : la traversée de liens de retour construit des préfixes valides vers un « ancrage arrière », et la traversance de liens sortants étend les suffixes à partir d'un « pont avant ». Cela garantit la continuité sémantique tout en isolant l'étape de non-réponse.
Synthèse Contrôlée par la Topologie : L'innovation centrale est le contrôle de l'endroit où l'impossibilité de réponse interrompt la chaîne de raisonnement. Le benchmark croise les trois causes avec trois topologies :
- Racine (Root) : La semence impossible est la première étape, masquée par une continuation plausible.
- Milieu (Middle) : L'étape impossible agit comme un pont brisé entre un préfixe valide et un suffixe dépendant.
- Terminale (Terminal) : L'étape impossible n'apparaît qu'après qu'un préfixe valide a été entièrement résolu.
Contrôle Qualité : Un audit multi-étapes garantit que les ancres cachées ne sont pas divulguées, que la cohérence de la chaîne est maintenue et que la cause originale de l'impossibilité de réponse est préservée sans que le modèle de fusion ne corrige accidentellement la prémisse.

Cadre d'Évaluation
Les auteurs proposent un cadre de diagnostic qui évalue à la fois les résultats finaux et les chronologies de preuves sensibles à la source :

Taxonomie des Résultats Finaux : Les réponses sont classées en Refus Correct (Arrêt Correct Sensible à la Cible, TACH), Pseudo-refus (arrêt prématuré, raisonnement erroné ou raisonnement non informatif), Hallucination (acceptation de la prémisse défectueuse) et Épuisement de la Recherche (consommation du budget de recherche sans décision finale).
Métriques Sensibles à la Source : Le cadre identifie le premier tour ( $T_{trap}$ ) où suffisamment de preuves pour le refus apparaissent. Il mesure le Gaspillage de Tokens Post-Déclenchement (PTTW) et le Taux de Sur-Recherche Post-Déclenchement (PTOS) pour quantifier l'inefficacité après que le modèle aurait pu s'arrêter.
Décalages Induits par la Recherche : En comparant les modes avec et sans recherche, les auteurs mesurent comment la recherche altère le comportement, calculant spécifiquement le Taux de Substitution Induit par la Recherche (SIOR) (fréquence à laquelle la recherche transforme un refus correct en échec) et le Taux de Sauvetage Induit par la Recherche (SIRR).

Résultats Clés
Les auteurs ont évalué dix modèles de pointe, tant propriétaires qu'à poids ouverts (incluant GPT-5.4, Claude-Sonnet-5, Qwen3.5/3.6, Kimi-K2.5/2.6, DeepSeek-V4-Pro, et GLM-5.1/5.2) en mode augmenté par la recherche :

Faible Performance Globale : Le meilleur modèle a atteint un Taux d'Arrêt Correct Sensible à la Cible (TCHR) de seulement 42,9 %.
La Recherche Déstabilise le Refus : Pour neuf des dix modèles, l'augmentation par la recherche diminue le TCHR par rapport au mode sans recherche. La recherche supplante fréquemment les refus corrects (20,4–67,3 % des cas) plutôt que de sauver les échecs (4,2–16,9 %).
Difficulté liée à la Topologie et à la Cause :
- Les éléments Racine et Milieu sont systématiquement plus difficiles que les éléments Terminaux, suggérant que des objectifs en aval plausibles masquent plus efficacement les défauts précoces.
- Les modèles performent le mieux sur les Prémisses Fausses (où la recherche peut directement contredire les affirmations) et le moins bien sur les questions de Contexte Sous-spécifié (qui invitent l'agent à fournir des référents plausibles).
Modes de Défaillance Divergents :
- Les modèles présentent différents canaux de défaillance : certains (ex. GPT-5.4) hallucinent principalement des réponses malgré les preuves, tandis que d'autres (ex. Qwen3.6-27B) tendent vers l'épuisement de la recherche.
- Engagement vs Reconnaissance : Une conclusion critique est que 84,7–98,4 % des réponses de type refus identifient correctement le raisonnement. Le principal goulot d'étranglement n'est pas la reconnaissance de l'impossibilité, mais l'engagement envers une absence de réponse.
Inefficacité : De nombreuses trajectoires continuent de chercher après que des preuves suffisantes ont été trouvées, générant un gaspillage de tokens significatif (jusqu'à 10 321 tokens post-déclenchement en moyenne pour certains modèles).

Signification et Revendications
L'article affirme que HopRefusalBench établit le refus dans la recherche multi-étapes comme un problème d'évaluation conséquent. Il fournit une base pour diagnostiquer la fiabilité en séparant la découverte de preuves, l'engagement du refus et l'arrêt efficace. Les auteurs soutiennent que les agents de recherche actuels manquent de la capacité coordonnée pour vérifier les prémisses, décider de refuser et contrôler les budgets de recherche simultanément. Le benchmark est rendu public pour faciliter la recherche ultérieure sur l'amélioration de la fiabilité des systèmes de recherche agentiques.

Articles similaires