🤖 AI

Reason Before You Retrieve: Agentic Planning for Multi-modal RAG

Le papier propose MM-R2, un cadre agentique multimodal qui améliore la génération augmentée par récupération en raisonnant explicitement sur les cibles de recherche et en structurant l'espace de recherche via une KnowledgeMap, soutenu par un nouveau jeu de données de trajectoire et une stratégie de post-entraînement en deux étapes pour atteindre une précision et une interprétabilité supérieures sur les ensembles de données de référence.

Auteurs originaux : Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Publié 2026-07-28

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyu Yang, Shir Simon, Zhenzhen Li, Minhao Cheng, Xiangliang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère, mais au lieu d'un indice unique, vous avez un tas géant et désordonné de livres, de photos et de cartes jetés dans une grande boîte. C'est le monde de la « Génération Augmentée par Récupération Multimodale » (mRAG). C'est une façon sophistiquée de dire que nous voulons que les ordinateurs répondent à des questions sur des images en allant chercher des faits dans une immense bibliothèque. Habituellement, lorsqu'un ordinateur essaie de faire cela, il agit un peu comme un acheteur frénétique dans un supermarché massif : il saisit une question, la hurle dans tout le magasin et espère que les premiers articles qu'il trouve sur les étagères seront les bons. Le problème est que l'ordinateur prend souvent les mauvaises choses parce qu'il ne comprend pas vraiment ce qu'il cherche ou où dans le magasin cet article pourrait être caché. C'est comme demander « la voiture rouge » et obtenir la photo d'une pomme rouge parce que l'ordinateur a simplement vu le mot « rouge » et a saisi le premier objet rouge qu'il a trouvé.

C'est là qu'intervient le nouvel article de recherche. Les chercheurs ont réalisé qu'avant même de commencer à chercher, il faut s'arrêter et réfléchir. Ils appellent leur nouveau système MM-R2, qui signifie « Reason Before You Retrieve » (Raisonner avant de Récupérer). Au lieu de crier aveuglément dans le vide, MM-R2 agit comme un détective intelligent. D'abord, il examine l'image et la question ensemble pour déterminer exactement quel est le « indice » (l'objet spécifique dans la photo) et quel type d'information est nécessaire. Ensuite, au lieu de chercher dans toute la boîte désordonnée, il consulte une carte spéciale et organisée de la bibliothèque appelée « KnowledgeMap » (Carte de Connaissances). Il choisit le bon rayon, prend le bon livre, le lit et décide s'il doit chercher ailleurs. L'article suggère qu'en effectuant cette étape de « réflexion préalable », l'ordinateur trouve bien mieux les bonnes réponses et peut même vous montrer son travail, prouvant exactement comment il a résolu le mystère.

La nouvelle stratégie du détective

L'idée centrale de cet article est que les ordinateurs sont actuellement trop impatients de passer à l'action. Quand vous posez la question à un ordinateur, « Quel genre d'oiseau est sur cette photo ? » en lui montant une image, les systèmes actuels se contentent souvent de fusionner les mots et l'image et commencent à tout chercher en même temps. Les auteurs soutiennent que c'est une erreur. Ils ont constaté que ces systèmes s'embrouillent parce qu'ils ne savent pas quelle partie de l'image est importante ou de quel fait spécifique ils ont besoin. C'est comme essayer de trouver une recette spécifique dans une bibliothèque en cherchant le mot « gâteau » dans tous les livres du bâtiment, plutôt que d'aller directement à la section « Pâtisserie ».

Pour corriger cela, l'équipe a construit MM-R2, un système qui force l'ordinateur à faire une pause et à planifier avant de chercher. Ils décomposent le processus en trois étapes amusantes :

Le plan du « Quoi » et du « Où » : Avant de chercher, le système crée un « état de récupération ». Considérez cela comme l'écriture d'une liste de courses parfaite. Il identifie le Besoin d'Information (que dois-je savoir ?), le Référent Ancré (de quel objet spécifique dans la photo parlons-nous ?) et les Contraintes (ai-je besoin d'une date ? d'un lieu ? d'un nom scientifique ?). Cela empêche l'ordinateur d'être distrait par des détails non pertinents.
La Carte Organisée (KnowledgeMap) : Les chercheurs ont réalisé que chercher dans une liste de faits plate et désordonnée est inefficace. Ils ont donc organisé leur bibliothèque en une KnowledgeMap. Imaginez que la bibliothèque n'est pas seulement un tas de livres, mais un ensemble de bacs soigneusement étiquetés : un bac pour les « Oiseaux », un pour les « Voitures », un pour l'« Histoire ». Lorsque l'ordinateur a sa liste de courses, il ne cherche pas dans toute la bibliothèque ; il décide d'abord quel bac ouvrir. C'est ce qu'on appelle le « routage ».
La Boucle du Détective : Une fois que l'ordinateur a choisi le bon bac (l'unité de récupération), il cherche l'information spécifique à l'intérieur de ce bac. S'il trouve la réponse, tant mieux ! Sinon, il peut décider de choisir un autre bac ou de poser une question plus spécifique. Il continue ainsi jusqu'à ce qu'il ait assez de preuves pour résoudre l'affaire.

Comment ils ont appris à l'ordinateur à réfléchir

Vous vous demandez peut-être : « Comment un ordinateur apprend-il à planifier comme un détective ? » Les auteurs n'ont pas simplement dit à l'ordinateur d'« être intelligent ». Au lieu de cela, ils ont créé un immense ensemble de données d'entraînement appelé MM-R2-Traj. Cet ensemble contient 900 000 exemples de « processus de pensée ».

Imaginez un enseignant montrant à un élève comment résoudre un puzzle. L'enseignant ne donne pas seulement la réponse ; il montre les étapes : « D'abord, regarde les pièces d'angle. Ensuite, trie par couleur. Puis, essaie d'assembler ces deux-là. » Les chercheurs ont utilisé une IA « enseignante » pour générer ces histoires étape par étape pour l'IA « élève ». Ils ont appris à l'élève à :

Analyser l'image et la question pour établir un plan.
Choisir le bon « bac » (unité de la KnowledgeMap).
Poser une question spécifique à l'intérieur de ce bac.
Résumer ce qu'il a trouvé.
Décider s'il a terminé ou s'il doit chercher à nouveau.

Ils ont entraîné l'ordinateur en deux étapes. D'abord, ils ont utilisé le Fine-Tuning Supervisé (SFT), ce qui revient à demander à l'élève de copier les notes du professeur pour apprendre les règles de base. Ensuite, ils ont utilisé l'Optimisation de Politique Relative au Groupe (GRPO), qui est comme un jeu où l'élève essaie différentes stratégies, et s'il obtient la bonne réponse, il reçoit un score élevé. S'il se trompe, il apprend à essayer un autre chemin la fois suivante. Cela a permis à l'ordinateur de devenir très doué pour faire les bons choix.

Les résultats : Plus intelligent et plus clair

Lorsqu'ils ont testé MM-R2 sur deux grands défis — InfoSeek (un ensemble de données comprenant 1,3 million de paires image-question) et Encyclopedic VQA (un test de connaissances de type encyclopédique) — les résultats ont été impressionnants.

Sur le test InfoSeek, MM-R2 a donné la bonne réponse 54,3 % du temps au total. C'est un bond important par rapport aux autres systèmes intelligents, qui tournent généralement autour de 46-47 %. Sur la partie spécifique « Unseen-Question » du test (où l'ordinateur doit gérer des questions qu'il n'a jamais vues auparavant), MM-R2 a obtenu un score de 56,0 %, dépassant nettement la meilleure performance précédente. Même sur le test Encyclopedic VQA, il a atteint 39,4 %, prouvant qu'il fonctionne bien même lorsque les questions sont très spécifiques et difficiles.

Mais l'article suggère quelque chose d'encore plus important que le simple score : la transparence. Parce que MM-R2 planifie ses étapes, nous pouvons réellement voir comment il a résolu le problème.

Meilleur Routage : Le système a choisi correctement le bon « bac » (unité de la KnowledgeMap) 74 % du temps, contre seulement 23 % pour les anciens systèmes. Il a cessé de perdre du temps à chercher dans les mauvais endroits.
Explications plus claires : Lorsque le système expliquait sa réponse, elle était plus concise et ciblée. Le score de « Fidélité » (qui vérifie si la réponse provient réellement des preuves trouvées) était de 0,90, ce qui signifie que la réponse était presque entièrement basée sur les faits trouvés, et non sur de simples suppositions.

Ce que cela signifie

L'article suggère que l'ancienne méthode consistant à simplement « tout chercher » arrive à un point de saturation. En forçant l'ordinateur à raisonner avant de récupérer, nous pouvons construire des systèmes qui sont non seulement plus intelligents, mais aussi plus dignes de confiance. Ils ne se contentent pas de deviner ; ils suivent un chemin logique, vérifient leur travail et peuvent vous montrer exactement comment ils ont trouvé la réponse. C'est la différence entre une chasse au trésor chaotique et une mission de détective bien planifiée. Bien que les chercheurs précisent que c'est une approche spécifique à l'IA multimodale et qu'elle ne résout pas tous les problèmes du monde, les résultats suggèrent que prendre un moment pour réfléchir avant d'agir est une stratégie puissante pour l'avenir des ordinateurs intelligents.

Résumé Technique : Raisonner avant de Récupérer : Planification Agentique pour le RAG Multimodal

Énoncé du Problème

Le RAG multimodal (mRAG) vise à répondre à des requêtes image-texte en exploitant des connaissances externes. Cependant, les systèmes existants emploient généralement un pipeline « récupérer-puis-générer » qui opère sur un espace d'évidence plat et faiblement structuré. Les auteurs identifient deux limitations critiques dans cette conception prédominante :

Ambiguïté de l'Intention de Récupération : Dans les contextes multimodaux, la question textuelle définit le besoin d'information, tandis que l'image ancre le référent visuel spécifique. Les systèmes existants échouent souvent à ancrer explicitement la requête au bon instantané visuel, entraînant une dérive de la récupération vers des priors textuels ou des correspondances génériques de type légende, plutôt que vers une évidence spécifique au couple image-question.
Espace de Recherche Faiblement Structuré : La plupart des systèmes intègrent des évidences diverses dans un espace de représentation unique et s'appuient sur des fonctions de similarité globales. Cela force des évidences sémantiquement distinctes à rivaliser lors d'une étape de classement unique, favorisant souvent un contenu générique au détriment d'une évidence précise et spécifique au domaine.

L'article soutient que la récupération multimodale devrait être reformulée comme « raisonner avant de récupérer », en s'appuyant sur une analogie avec la Théorie du Schéma en sciences cognitives, où des cadres de connaissances structurés guident l'attention et l'accès à la mémoire.

Méthodologie : Le Cadre MM-R2

Les auteurs proposent MM-R2 (MultiModal Reason-to-Retrieve), un cadre de récupération agentique qui modélise explicitement ce qu'il faut récupérer et où chercher avant d'exécuter la récupération. Le cadre opère à travers les composants suivants :

1. Module de Liaison Intention-Référent

Avant la récupération, le système construit un état de récupération structuré à partir du couple image-question $(I, Q)$ . Ce module, noté $\Phi$ , produit un triplet $z = (i, r, c)$ :

$i$ (Besoin d'Information) : La connaissance spécifique requise (ex: taxonomie, localisation, fonction).
$r$ (Référent Ancré) : L'objet, l'entité ou la région spécifique dans l'image auquel la requête se réfère.
$c$ (Contraintes) : Des conditions spécifiques à la tâche telles que le type de réponse, la granularité ou la portée temporelle.

Cette étape résout l'intention de récupération avant la recherche, réduisant ainsi la dérive de la requête.

2. KnowledgeMap Structurée

Au lieu d'un corpus plat, la base de connaissances externe est pré-structurée en une KnowledgeMap ( $K$ ), composée d'unités de récupération sémantiquement cohérentes ( $u_1, \dots, u_N$ ).

Construction : Les passages sont encodés, regroupés par HDBSCAN (pour gérer des densités variables sans fixer le nombre de clusters à l'avance) et se voient assigner des métadonnées légères (titres et descriptions) via un LLM.
Fonction : Elle agit comme un échafaudage de routage. L'agent sélectionne d'abord les unités pertinentes ( $a_t$ ) puis exécute des requêtes ancrées ( $q_t$ ) au sein de ces unités, plutôt que de chercher dans l'ensemble du corpus de manière globale.

3. Boucle de Planification Agentique

L'agent $A$ (un modèle de langage multimodal) effectue un processus de prise de décision séquentiel :

Routage : Sélectionne une ou plusieurs unités de récupération de la KnowledgeMap basée sur l'état actuel (intention $z$ et historique $h_t$ ).
Génération de Requête : Formule une requête ancrée spécifique à l'unité sélectionnée.
Récupération et Mise à jour : Récupère l'évidence $e_t$ et met à jour l'historique $h_{t+1}$ .
Décision de Terminaison : L'agent décide de manière itérative s'il doit continuer la récupération ou générer la réponse finale $\hat{y}$ sur la base de l'évidence accumulée.

4. Stratégie d'Entraînement

Pour entraîner l'agent à effectuer cette planification multi-étapes, les auteurs introduisent MM-R2-Traj, un ensemble de données à grande échelle de 900 000 trajectoires de récupération multi-étapes ancrées, synthétisées à l'aide d'un modèle enseignant. L'entraînement suit un pipeline de post-entraînement en deux étapes :

Étape 1 (Apprentissage Supervisé - SFT) : L'agent apprend la structure de base des comportements de récupération (sélection d'unité, génération de requête, résumé, génération de réponse) en imitant les trajectoires structurées.
Étape 2 (Optimisation de Politique Relative au Groupe - GRPO) : L'agent est optimisé davantage via l'apprentissage par renforcement avec une fonction de récompense au niveau du déploiement ( $R_i$ ) qui évalue conjointement la qualité du routage ( $R_{route}$ ) et la justesse de la réponse finale ( $R_{ans}$ ). Cela renforce la capacité de l'agent à planifier des chemins de récupération sous un feedback de niveau tâche.

Contributions Clés

Cadre Novateur : MM-R2 est un cadre agentique multimodal qui raisonne explicitement sur la cible de récupération et l'espace de recherche avant la récupération, rendant le « quoi » et le « où » de la récupération interprétables.
Innovations Architecturales : La conception du Module de Liaison Intention-Référent et de la KnowledgeMap fournit un état de décision explicite et un espace de recherche structuré, répondant à l'ambiguïté et à la platitude des systèmes mRAG précédents.
Jeu de Données et Entraînement : La construction de MM-R2-Traj et l'adoption d'une stratégie d'entraînement SFT+GRPO en deux étapes permettent aux agents d'apprendre une planification de récupération complexe et multi-étapes.
Analyse au Niveau du Processus : Le cadre permet une analyse légère au niveau du processus, permettant l'inspection de l'intention inférée, des unités sélectionnées et des évidences séparément.

Résultats Expérimentaux

Les auteurs ont évalué MM-R2 sur deux benchmarks : InfoSeek et Encyclopedic VQA.

Efficacité au Niveau de la Tâche : MM-R2 surpasse substantiellement les bases de référence solides. Sur InfoSeek, il a atteint 54,3 % de précision (All), progressant de 7,8 points par rapport à la base de référence la plus forte (Wiki-R1-7B à 46,5 %). Sur Encyclopedic VQA, il a atteint 39,4 %. Les gains de performance sont constants à travers différents budgets de récupération (Top-1 à Top-5), les améliorations augmentant à mesure que le budget s'élargit, suggérant une utilisation efficace de l'évidence supplémentaire.
Vérifiabilité au Niveau du Processus :
- Précision du Routage : Le Recall@1 du routage s'est considérablement amélioré, passant de 0,2339 (baseline) à 0,7400, indiquant que l'agent identifie avec succès les régions correctes de la KnowledgeMap.
- Qualité de la Trace : Les scores LLM-as-a-Judge pour la cohérence trace-réponse et la couverture de l'évidence se sont améliorés.
- Fidélité : Le modèle a obtenu un score de fidélité de 0,9011, indiquant que la prédiction finale est hautement reproductible à partir du résumé de l'évidence révélé, contrairement aux bases de référence qui reposent souvent sur une connaissance paramétrique cachée.

Signification et Revendications

L'article affirme que MM-R2 démontre que le fait de recadrer la récupération multimodale comme une tâche de raisonnement (« raisonner avant de récupérer ») apporte des bénéfices substantiels. En ancrant explicitement l'intention de récupération et en structurant l'espace de recherche, le système atteint :

Une Précision Supérieure : Une récupération d'évidence plus précise conduit à une meilleure génération de réponse.
L'Interprétabilité : La trajectoire de récupération est transparente, permettant aux utilisateurs d'inspecter le raisonnement de l'agent, ses décisions de routage et l'utilisation de l'évidence.
La Vérifiabilité : Les résumés d'évidence exposés sont suffisants pour justifier la réponse finale, réduisant la dépendance à la connaissance paramétrique « boîte noire ».

Les auteurs concluent que MM-R2 offre une approche plus robuste et digne de confiance pour les requêtes multimodales complexes par rapport aux pipelines de récupération statiques et plats.