🤖 AI

Progressive Multimodal Search and Reasoning for Knowledge-Intensive Visual Question Answering

Le papier présente PMSR, un cadre de recherche et de raisonnement multimodal progressif qui améliore la réponse aux questions visuelles nécessitant des connaissances externes en construisant itérativement des trajectoires de raisonnement structurées pour optimiser l'acquisition et la synthèse des connaissances.

Auteurs originaux : Changin Choi, Wonseok Lee, Jungmin Ko, Wonjong Rhee

Publié 2026-04-23

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Changin Choi, Wonseok Lee, Jungmin Ko, Wonjong Rhee

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕵️‍♂️ Le Problème : Le Détective Pressé

Imaginez que vous avez un détective très intelligent (une Intelligence Artificielle) capable de voir des images. On lui montre une photo d'un oiseau rare et on lui demande : "Où vit cet oiseau ?".

Le problème, c'est que l'IA ne connaît pas tout par cœur. Elle doit aller chercher des informations dans une immense bibliothèque (Internet ou Wikipédia).

L'approche traditionnelle (les anciennes méthodes) :
C'est comme si le détective lançait une seule question à la bibliothèque, lisait les 10 premiers livres qu'on lui donne, et répondait immédiatement.

Le souci : Si les premiers livres sont incomplets ou s'il y a des fausses informations (des "distractions"), le détective se trompe. Il ne peut pas revenir en arrière pour corriger son erreur. C'est comme essayer de résoudre un puzzle en ne regardant que les pièces du bord, sans jamais vérifier si l'image centrale est correcte.

🚀 La Solution : PMSR (Le Détective Méthodique)

Les auteurs de ce papier proposent une nouvelle méthode appelée PMSR (Recherche Multimodale Progressive et Raisonnement). Au lieu de faire une seule grosse recherche, PMSR agit comme un détective très méthodique qui travaille par étapes.

Voici comment cela fonctionne, avec des analogies simples :

1. Le Carnet de Notes Structuré (La "Trajectoire")

Au lieu de garder tout dans sa tête (ce qui est confus et encombrant), PMSR tient un carnet de notes très propre.

À chaque étape, il ne garde que l'essentiel : ce qu'il a trouvé de nouveau et ce que cela signifie.
Il jette les vieux brouillons inutiles. Cela évite que le détective se perde dans ses propres notes et oublie pourquoi il a commencé à chercher.

2. La Double Question (La "Requête à Double Portée")

C'est le cœur de la magie. À chaque tour de recherche, PMSR pose deux types de questions à la bibliothèque :

Question Locale (Le Zoom) : "J'ai trouvé que c'est un oiseau, mais je ne suis pas sûr de l'espèce. Cherche-moi des détails précis sur cet oiseau spécifique." (C'est basé sur la dernière note du carnet).
Question Globale (Le Grand Plan) : "Attends, est-ce que j'ai bien compris le contexte ? Y a-t-il des informations plus larges ou des contradictions que j'ai manquées ?" (C'est basé sur tout le chemin parcouru jusqu'à présent).

C'est comme si le détective disait : "Regarde de près ce détail" ET "Recule pour voir le tableau d'ensemble" en même temps.

3. La Correction en Cours de Route

Si le détective se trompe au début (par exemple, il pense que l'oiseau est un faucon alors que c'est un hibou), la méthode PMSR lui permet de se corriger.

Grâce à ses deux types de questions, il va chercher de nouvelles preuves.
Il écrit une nouvelle note dans son carnet qui dit : "Ah, en fait, ce n'est pas un faucon, c'est un hibou."
Il efface l'erreur précédente et continue avec la bonne information. Les anciennes méthodes, elles, resteraient bloquées sur l'erreur initiale.

4. L'Arrêt Intelligent (Quand s'arrêter ?)

Le détective ne cherche pas éternellement. Il a un petit indicateur : "Est-ce que je trouve encore de nouvelles choses intéressantes ?".

Si les nouvelles recherches ne donnent que les mêmes informations que les précédentes (c'est redondant), il arrête tout de suite et donne la réponse finale.
Cela lui fait gagner du temps et de l'énergie.

🌟 Pourquoi c'est génial ?

Imaginez que vous essayez de comprendre une blague complexe.

L'ancienne méthode : Vous écoutez la blague une fois, vous riez (ou vous pleurez) immédiatement, même si vous n'avez pas tout compris.
La méthode PMSR : Vous écoutez la blague, vous demandez des précisions sur un mot, vous vérifiez le contexte, vous vous dites "Ah, j'avais mal compris ce mot !", et vous reformulez la blague dans votre tête jusqu'à ce que le sens soit clair.

En Résumé

PMSR, c'est comme donner à une IA un carnet de notes intelligent et lui apprendre à poser deux questions à la fois (une précise, une large) à chaque étape de sa recherche. Cela lui permet de :

Trouver plus d'informations pertinentes.
Se corriger si elle se trompe au début.
Arrêter de chercher dès qu'elle a assez d'infos.

Résultat : Elle répond beaucoup mieux aux questions difficiles qui demandent de combiner une image et des connaissances externes, comme un vrai expert humain.

1. Problématique

Le Visual Question Answering (VQA) axé sur la connaissance (Knowledge-Intensive VQA) nécessite des réponses qui dépassent le simple contenu visuel de l'image, exigeant l'intégration de connaissances externes (encyclopédiques, factuelles, temporelles).

Les approches existantes, basées sur la Génération Augmentée par Récupération Multimodale (RAG), souffrent de deux limitations majeures :

Approche "Single-Pass" (Un seul passage) : La plupart des modèles récupèrent les connaissances en une seule étape avant de générer la réponse. Si la récupération initiale est insuffisante ou contient des informations distractrices, le modèle ne peut pas corriger son raisonnement.
Propagation des erreurs dans les approches "Agentic" : Les méthodes itératives récentes (agents) accumulent tout l'historique des interactions dans le contexte. Cela conduit à une accumulation d'erreurs (dans la génération de requêtes, le filtrage ou le résumé) et à une dérive du raisonnement, car les erreurs initiales continuent d'influencer les étapes suivantes.

2. Méthodologie : PMSR (Progressive Multimodal Search and Reasoning)

Les auteurs proposent PMSR, un cadre qui construit progressivement une trajectoire de raisonnement structurée composée de "records" (enregistrements) compacts, plutôt que de maintenir un historique brut et croissant.

Le processus se déroule en trois étapes clés :

A. Génération du premier enregistrement de raisonnement

Le modèle multimodal (MLLM) génère une description visuelle initiale de l'image liée à la question.
Cette description enrichit la requête initiale pour récupérer un premier ensemble de candidats (images et textes) depuis des bases de connaissances hétérogènes.
Ces candidats sont synthétisés en un premier record de raisonnement ( $r_0$ ).

B. Boucle itérative avec requêtes à double portée (Dual-scope Querying)

C'est le cœur de l'innovation. À chaque itération $t$ , le système génère deux types de requêtes distinctes pour interroger les bases de connaissances (Textuelles et Multimodales) :

Requête de niveau "Record" (Record-level) : Basée uniquement sur le dernier enregistrement de raisonnement ( $r_{t-1}$ ). Elle vise un raffinement local pour approfondir les déductions récentes.
Requête de niveau "Trajectoire" (Trajectory-level) : Basée sur l'ensemble des enregistrements accumulés ( $\langle r_0, ..., r_{t-1} \rangle$ ). Elle vise une réflexion globale pour identifier les lacunes, résoudre les conflits ou élargir le contexte.

Ces requêtes sont utilisées pour récupérer de nouvelles preuves (images/textes) via une recherche conjointe sur des bases hétérogènes.

C. Mise à jour de la trajectoire et terminaison adaptative

Synthèse Compositive : Les nouvelles preuves récupérées sont synthétisées par un opérateur de raisonnement pour créer un nouveau record de raisonnement ( $r_t$ ).
Mise à jour de l'état : Ce nouveau record est ajouté à la trajectoire. Contrairement aux agents classiques, le modèle ne conditionne pas l'étape suivante sur tout l'historique brut, mais sur cette trajectoire structurée de records compacts, ce qui réduit la propagation des erreurs.
Terminaison Adaptative : Le processus s'arrête automatiquement lorsque la saturation informationnelle est atteinte (c'est-à-dire lorsque les nouvelles requêtes deviennent trop similaires aux précédentes, indiquant un manque de nouvelles informations pertinentes).

3. Contributions Clés

Trajectoire de raisonnement structurée : Remplacement de l'historique d'interaction non structuré par une séquence de records synthétisés, permettant une itération contrôlée et une réduction de la dérive du raisonnement.
Mécanisme de requêtes à double portée : Découplage entre le raffinement local (basé sur le dernier état) et la réflexion globale (basée sur l'histoire), permettant une récupération de connaissances plus diversifiée et précise.
Récupération conjointe hétérogène : Utilisation simultanée de bases de connaissances textuelles et multimodales (images-textes) pour capturer des preuves complémentaires.
Terminaison adaptative : Un critère d'arrêt basé sur la saturation des requêtes pour optimiser l'efficacité de l'inférence sans sacrifier la précision.

4. Résultats Expérimentaux

Les auteurs ont évalué PMSR sur six benchmarks diversifiés (Encyclopedic-VQA, InfoSeek, MMSearch, LiveVQA, FVQA, OK-VQA).

Performance de Récupération : PMSR améliore systématiquement le recall (rappel) par rapport aux méthodes de base (RAG statique et agents itératifs). Par exemple, sur InfoSeek, le modèle atteint un cumulative recall de 87,4 % (modèle 4B) et 87,7 % (modèle 8B), surpassant les meilleures méthodes précédentes. Sur OK-VQA, le rappel cumulé atteint 97,1 % avec le modèle 8B.
Précision de Réponse (Accuracy) :
- Sur E-VQA, PMSR atteint 46,4 % d'exactitude avec un modèle Qwen3-VL-8B, et jusqu'à 59,9 % avec un modèle plus puissant (Gemini-2.5-Flash) pour la génération de la trajectoire.
- Sur les benchmarks orientés recherche (LiveVQA, MMSearch), PMSR obtient les meilleures performances parmi les méthodes comparées, démontrant sa capacité à gérer des informations en temps réel et à long terme.
Analyse de la Trajectoire : L'analyse montre que PMSR corrige plus souvent les erreurs initiales (taux de "Correction" élevé) et maintient plus fréquemment un raisonnement correct ("Stable-Correct") par rapport aux approches agentic traditionnelles qui souffrent d'un taux élevé d'échecs persistants ("Persistent-Fail").

5. Signification et Impact

Ce travail démontre que pour les tâches VQA complexes nécessitant des connaissances externes, la qualité de la structure de raisonnement est aussi cruciale que la puissance du modèle de récupération.

Stabilité : En évitant l'accumulation de bruit dans le contexte, PMSR offre des trajectoires de raisonnement plus stables et moins sujettes aux hallucinations.
Efficacité : La terminaison adaptative permet de réduire le nombre d'itérations nécessaires (en moyenne 3,3 à 3,5 itérations au lieu de 5 fixes), rendant le processus plus efficace en termes de calcul.
Généralisation : La méthode s'avère robuste sur différents types de connaissances (encyclopédiques, actualités, faits scientifiques) et différents types de modèles de base, suggérant une applicabilité large au-delà du VQA pur.

En résumé, PMSR propose un changement de paradigme passant d'une récupération statique ou d'une accumulation d'historique chaotique à une recherche progressive et structurée, où chaque étape affine activement la compréhension du problème et la pertinence des connaissances récupérées.