Verification Without Sufficiency: Per-Chunk Filtering Fails on Multi-Hop RAG, and Decomposition Repairs It

Le détective et l'indice manquant

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'un carnet de notes, vous avez un assistant robotique super intelligent. Ce robot est excellent pour écrire des histoires et répondre à des questions, mais il lui arrive parfois d'inventer des choses. Pour l'empêcher de mentir, vous lui donnez une pile de coupures de journaux (le texte récupéré) et vous lui demandez de trouver les faits spécifiques cachés à l'intérieur avant qu'il n'écrive sa réponse. Cette configuration est appelée Génération Augmentée par Récupération, ou RAG (Retrieval-Augmented Generation). L'idée est simple : le robot lit les indices, vérifie s'ils sont cohérents, puis vous dit la vérité.

Mais que se passe-t-il lorsque le mystère est un puzzle « multi-étapes » (multi-hop) ? Dans une question normale, la réponse se trouve directement dans un paragraphe. Dans un puzzle multi-étapes, la réponse est cachée dans une chaîne d'indices. Vous devez lire un paragraphe pour trouver un nom, puis utiliser ce nom pour trouver un second paragraphe qui détient la véritable réponse. Le travail du robot est de vérifier : « Ce paragraphe aide-t-il à résoudre l'énigme ? » La grande question que les chercheurs se posent est la suivante : pouvons-nous simplement vérifier chaque paragraphe un par un pour voir s'il est utile, ou le puzzle s'effondre-t-il si nous examinons les pièces de manière isolée ?

---

Le piège de l'examen pièce par pièce

Dans cet article, un chercheur nommé Randhir Kumar étudie une stratégie courante utilisée pour corriger ces assistants robotiques. Cette stratégie est appelée « filtrage par segment » (per-chunk filtering). Imaginez que vous avez une pile de 10 coupures de journaux. Le conseil standard est d'examiner chacune d'elles individuellement, de leur attribuer un score, et de jeter celles qui ne semblent pas contenir la réponse. Cela semble logique, comme un videur vérifiant les pièces d'identité à l'entrée d'un club. Si la pièce d'identité ne correspond pas à la liste des invités, on ne laisse pas entrer la personne.

L'article montre que pour les puzzles multi-étapes, cette stratégie du « videur » est en réalité un désastre. Ce n'est pas seulement que le videur est mauvais dans son travail ; c'est que la fiche de poste est impossible.

Voici le rebondissement : dans un puzzle multi-étapes, le paragraphe qui détient réellement la réponse finale est généralement celui dont la question ne fait pas mention. Par exemple, si la question est « Qui était la femme de l'acteur qui jouait le méchant dans le Film X ? », la question nomme le film et l'acteur. Le paragraphe sur le film est facile à trouver. Mais le paragraphe sur la femme de l'acteur ? La question ne mentionne jamais son nom. Si vous demandez au robot : « Est-ce que ce paragraphe sur la femme aide à répondre à la question ? », le robot regarde la question, ne voit aucune mention de la femme, et répond : « Non, cela n'est pas pertinent. » Il jette l'indice le plus important à la poubelle.

Les chercheurs ont testé cela sur trois ensembles de données de puzzles (HotpotQA, 2WikiMultihopQA et MuSiQue) et ont constaté que cette méthode de vérification « un par un » a échoué lamentablement. Lorsqu'ils ont essayé de noter les paragraphes individuellement, le système ne pouvait pas faire la différence entre un indice utile et un faux indice. Le taux de réussite (mesuré par l'AUC) oscillait autour de 0,54 à 0,64, ce qui est à peine meilleur que de jouer à pile ou face. En fait, sur les puzzles les plus difficiles, le système était si confus qu'il conservait souvent les mauvais paragraphes et jetait les bons.

Pourquoi le « videur » échoue

L'article écarte plusieurs excuses pour expliquer pourquoi cela se produit. Ce n'est pas parce que le robot est trop stupide (ils ont testé des robots plus grands et plus petits, et le problème s'aggravait avec des robots plus intelligents). Ce n'est pas parce que les paragraphes étaient trop courts ou trop longs. Ce n'est pas non plus parce que le « videur » était trop strict ou trop indulgent dans ses règles.

Le véritable coupable est la suffisance. Le « videur » suppose qu'un seul paragraphe devrait suffire à prouver la réponse. Mais dans un puzzle multi-étapes, aucun paragraphe seul ne suffit. Vous avez besoin de la combinaison du premier indice et du second pour que cela ait du sens.

Pour prouver cela, les chercheurs ont réalisé une expérience ingénieuse. Ils ont pris les deux paragraphes corrects et les ont collés ensemble pour former un seul long texte. Lorsqu'ils ont demandé au robot de vérifier ce texte combiné, le taux de réussite est passé d'un lancer de pièce de 0,66 à un solide 0,88. Cela a montré que l'information était là ; le robot ne pouvait simplement pas la voir lorsque les indices étaient séparés.

Ils ont également constaté que le problème s'aggrave à mesure que le puzzle comporte davantage d'étapes. Si un puzzle nécessite deux étapes pour être résolu, le robot s'en sort plutôt bien. Si un puzzle en nécessite quatre, le robot est complètement perdu. C'est comme essayer de trouver une aiguille dans une botte de foin en regardant chaque brin d'herbe un par un ; vous ne trouverez jamais l'aiguille tant que vous ne regarderez pas l'ensemble de la pile.

La solution : Décomposer le problème

Alors, si vérifier un paragraphe à la fois échoue, qu'est-ce qui fonctionne ? L'article suggère une réparation qui change la façon dont nous posons la question.

Au lieu de demander au robot : « Ce paragraphe répond-il à la question originale ? », les chercheurs suggèrent de demander : « Ce paragraphe répond-il à la prochaine étape du puzzle ? »

Imaginez que le puzzle soit une chasse au trésor.

• L'ancienne méthode : Vous montrez au robot une carte de l'île et demandez : « Cette carte montre-t-elle le trésor ? » Le robot répond : « Non, le trésor n'est pas sur cette carte », et jette la carte. Mais la carte montre en fait l'emplacement de la clé nécessaire pour ouvrir le coffre au trésor.
• La nouvelle méthode : Vous déterminez d'abord la première étape : « Où est la clé ? » Vous trouvez la carte avec la clé. Ensuite, vous demandez au robot : « Cette carte suivante montre-t-elle le trésor étant donné que nous avons la clé ? » Soudain, le robot comprend. Il voit la connexion.

Les chercheurs ont testé cela en utilisant un « décomposeur » — un outil qui décompose la grande question en sous-questions plus petites. Lorsqu'ils ont utilisé ces questions plus petites pour vérifier les paragraphes, le taux de réussite a grimpé en flèche. Sur les puzzles les plus difficiles, le score est passé de 0,546 (devinette aléatoire) à 0,840. C'est une amélioration massive, prouvant que si vous donnez au robot le bon contexte pour l'étape spécifique qu'il examine, il peut trouver la réponse.

Le coût de l'erreur

L'article a également examiné ce qui se passe lorsque vous utilisez ces méthodes pour générer réellement des réponses. Ils ont découvert que l'utilisation de la méthode du videur « un par un » était le pire choix possible. C'était si mauvais que cela rendait les réponses du robot moins bonnes que si vous l'aviez simplement laissé lire tout sans filtrage.

En fait, plus le robot était intelligent, plus il souffrait de ce mauvais filtrage. Un robot légèrement plus intelligent perdait 4,6 points de précision, tandis qu'un robot très intelligent en perdait 19,4. C'est comme donner à un chef brillant une recette où vous avez jeté l'ingrédient principal parce qu'il ne correspondait pas au titre du plat. Le chef est si bon pour cuisiner qu'il peut vous dire exactement ce qui manque, mais il ne peut pas préparer le plat sans cet ingrédient.

Ce qu'il faut retenir

La principale leçon est que vous ne pouvez pas juger un puzzle multi-étapes en examinant les étapes de manière isolée. L'approche du « videur » consistant à vérifier chaque paragraphe par rapport à la question originale échoue car la réponse est cachée dans la connexion entre les paragraphes, et non dans les paragraphes eux-mêmes.

L'article ne prétend pas avoir résolu tout le problème parfaitement. Même avec la nouvelle méthode de « décomposition », il reste de la place pour l'amélioration, et les chercheurs admettent que leur outil n'est pas encore parfait. Mais ils ont prouvé que l'ancienne méthode de filtrage est défaillante et que la voie à suivre consiste à diviser la grande question en morceaux plus petits et gérables avant de vérifier les indices. C'est un rappel que parfois, pour trouver la réponse, il faut arrêter de regarder l'image globale et commencer à regarder la prochaine étape.