QA-Dragon: Query-Aware Dynamic RAG System for Knowledge-Intensive Visual Question Answering

Le papier présente QA-Dragon, un système RAG dynamique et conscient de la requête qui améliore les réponses aux questions visuelles complexes en orchestrant de manière hybride des agents de recherche textuelle et visuelle pour un raisonnement multimodal et multi-étapes.

L'essentiel

🐉 QA-Dragon : Le Détective Multimédia qui ne se trompe jamais

Imaginez que vous avez un ami très intelligent, un génie des livres et des images, appelé MLLM (un grand modèle de langage multimodal). Ce génie est capable de répondre à presque n'importe quelle question en regardant une photo. Mais il a un gros défaut : il a tendance à halluciner.

C'est comme un conteur de histoires qui, s'il ne connaît pas la réponse, va inventer un mensonge très convaincant plutôt que de dire "Je ne sais pas". Par exemple, si vous lui montrez une photo d'une voiture et demandez "Quel est le prix de ce modèle ?", il pourrait inventer un prix au hasard s'il ne l'a pas appris par cœur.

Pour régler ce problème, les chercheurs ont créé QA-Dragon. C'est un système qui agit comme un chef d'orchestre ou un détective privé très méthodique. Au lieu de laisser le génie répondre tout de suite, QA-Dragon l'oblige à faire ses devoirs avant de parler.

Voici comment ça marche, étape par étape, avec des images de la vie quotidienne :

1. Le Tri Postal : "De quel sujet parle-t-on ?" (Le Routeur de Domaine)

Quand vous posez une question, le système ne la traite pas comme n'importe quelle autre. Il regarde d'abord le sujet.

• L'analogie : Imaginez un bureau de poste géant. Si vous arrivez avec une lettre sur la "cuisine", le facteur ne l'envoie pas au département "mécanique automobile".
• Dans QA-Dragon : Le système identifie si votre question porte sur des animaux, des voitures, de la nourriture ou des livres. Il envoie ensuite la question au spécialiste le plus adapté pour ce domaine précis. Cela évite de chercher des recettes de cuisine dans un manuel de mécanique.

2. Le Chef de Service : "Faut-il chercher ou répondre ?" (Le Routeur de Recherche)

Une fois le sujet identifié, le système se pose une question cruciale : "Est-ce que le génie a déjà la réponse dans sa tête, ou doit-il aller chercher des infos ?"

• L'analogie : C'est comme un patron de restaurant.
  • Si vous commandez un café (une question simple, visible sur la photo), le patron dit : "C'est prêt, servez !" (Réponse directe).
  • Si vous demandez "D'où vient le grain de ce café ?", le patron dit : "Attendez, je dois appeler le fournisseur" (Recherche externe).
• Dans QA-Dragon : Le système analyse si la réponse est visible sur l'image (comme lire un texte sur un panneau) ou si elle nécessite des connaissances extérieures (comme le prix d'un objet).

3. Le Choix de l'Outil : "Où aller chercher ?" (Le Routeur d'Outils)

Si une recherche est nécessaire, le système décide où chercher.

• L'analogie : C'est comme choisir entre aller à la bibliothèque (texte) ou au musée (images).
  • Si vous demandez "Quel est le nom de ce chien ?", le système va au musée (recherche d'images similaires) pour trouver la race.
  • Si vous demandez "Quand ce chien a-t-il été élevé ?", le système va à la bibliothèque (recherche web) pour trouver l'histoire de la race.
• Dans QA-Dragon : Il peut même utiliser les deux en même temps s'il le faut, comme un détective qui consulte à la fois les archives policières et les photos de scène de crime.

4. Le Filtre de Qualité : "Est-ce que c'est vrai ?" (Le Reranker)

Le système peut trouver des milliers de documents ou d'images. Il ne peut pas tout lire. Il doit choisir les meilleurs.

• L'analogie : Imaginez que vous recevez 50 courriers de réponse à votre question. La plupart sont du bruit ou des publicités. Le système agit comme un éditeur de journal très sévère. Il lit rapidement tous les courriers, jette ceux qui sont hors-sujet, et ne garde que les 3 ou 4 plus pertinents et les plus fiables.
• Dans QA-Dragon : Il utilise une méthode "du grossier au fin" (coarse-to-fine) pour trier les informations et ne garder que ce qui aide vraiment à répondre.

5. Le Vérificateur Final : "On est sûr à 100% ?" (Le Vérificateur)

Avant de donner la réponse finale, le système la vérifie une dernière fois.

• L'analogie : C'est comme un fact-checker (vérificateur de faits) dans un journal. Il compare la réponse du génie avec les documents qu'il vient de trouver. Si le génie dit "C'est 50€" mais que le document dit "C'est 45€", le vérificateur corrige la réponse. Si le génie invente quelque chose, le vérificateur dit : "Non, on ne peut pas répondre avec certitude", et le système préfère dire "Je ne sais pas" plutôt que de mentir.

Pourquoi est-ce important ?

Dans le monde réel, on ne veut pas d'un assistant qui invente des faits. Que ce soit pour savoir le prix d'une voiture, l'histoire d'un monument ou identifier une plante rare, la précision est clé.

QA-Dragon a remporté un grand succès (le KDD Cup 2025) parce qu'il a réussi à :

1. Comprendre le contexte (est-ce une question simple ou complexe ?).
2. Choisir la bonne source (image ou texte).
3. Vérifier la réponse pour éviter les mensonges.

En résumé, QA-Dragon ne remplace pas l'intelligence artificielle, il lui donne un système de vérification et une méthode de travail pour qu'elle devienne un expert fiable, et non un conteur de fables. C'est la différence entre un ami qui devine et un expert qui vérifie ses sources.

Résumé technique

1. Problématique

Les modèles de langage multimodaux (MLLM) actuels, bien que performants dans de nombreuses tâches de vision-linguistique, souffrent de hallucinations et d'un manque de connaissances factuelles, en particulier pour les requêtes nécessitant un raisonnement multi-sauts (multi-hop) ou des connaissances à long terme (long-tail). Les approches de Génération Augmentée par la Récupération (RAG) existantes traitent souvent le texte et l'image de manière isolée, ce qui limite leur capacité à gérer des requêtes complexes du monde réel qui nécessitent une fusion d'informations hétérogènes, une vérification de la vérité et des interactions multi-tours.

L'objectif est de créer un système capable de répondre à des questions visuelles complexes (VQA) en s'appuyant sur des connaissances externes fiables, tout en minimisant les erreurs factuelles et en respectant des contraintes de latence strictes.

2. Méthodologie : QA-Dragon

QA-Dragon est un système RAG dynamique et conscient de la requête, conçu spécifiquement pour les tâches VQA intensives en connaissances. Il repose sur une architecture modulaire orchestrant trois branches de raisonnement et plusieurs composants clés :

A. Module Pré-Réponse (Pre-Answer Module)

• Routeur de Domaine (Domain Router) : Utilise un modèle BLIP-2 finetuné pour identifier le domaine sémantique de la requête (ex: véhicules, nourriture, livres). Cela permet d'activer des agents de raisonnement spécialisés adaptés au contexte.
• Chaîne de Pensée Spécifique au Domaine (D-CoT) : Le MLLM génère une trace de raisonnement structurée et une réponse préliminaire. Cette étape introspective permet au système de déterminer s'il possède suffisamment d'informations internes ou s'il a besoin de preuves externes.

B. Routage Dynamique

• Search Router (Routeur de Recherche) : Analyse la trace de raisonnement et la réponse préliminaire pour classer la requête dans l'une des trois voies d'exécution :
  1. Direct Output : Si la réponse est certaine et déductible uniquement de l'image (ex: OCR, calculs visuels).
  2. Search Verify : Si la réponse est plausible mais nécessite une vérification factuelle externe.
  3. RAG-Augment : Si la réponse manque d'informations critiques et nécessite une récupération active de connaissances.
• Tool Router (Routeur d'Outils) : Décide du type de recherche à effectuer (recherche d'images, recherche textuelle, ou les deux) en fonction des lacunes identifiées dans le raisonnement (ex: identifier un objet via image, puis chercher ses spécifications via texte).

C. Agents de Recherche et Reranking

• Agents de Recherche :
  • Image Search Agent : Extrait des objets pertinents, les segmente (via DINO), et recherche des images similaires dans une base de connaissances visuelle (Image-KG).
  • Text Search Agent : Reformule les requêtes complexes en sous-questions claires, fusionne les informations d'objets identifiés pour créer des requêtes textuelles précises, et interroge une base de données web.
• Reranker Multimodal (Coarse-to-Fine) : Un mécanisme à deux étapes pour filtrer et classer les preuves récupérées :
  1. Reranking grossier : Utilise un modèle Q-Former pour évaluer la similarité globale entre la paire (image, question) et les documents.
  2. Reranking fin : Utilise un LLM (Qwen3-Reranker) pour une évaluation contextuelle précise et l'assemblage du contexte final.

D. Module Post-Réponse

• Générateur et Vérificateur : Génère la réponse finale en suivant une chaîne de pensée basée sur les preuves rerankées. Un vérificateur dual (basé sur les probabilités des tokens et un vérificateur LLM) évalue la fiabilité et la cohérence logique pour rejeter les réponses hallucinées.

3. Contributions Clés

1. Architecture Hybride Dynamique : Contrairement aux RAG statiques, QA-Dragon adapte dynamiquement sa stratégie de recherche (texte, image, ou les deux) en fonction de la nature de la requête et de ses lacunes de connaissances.
2. Routage Intelligent : Introduction de routeurs (Domain, Search, Tool) qui décomposent le problème en étapes logiques, permettant d'éviter des recherches inutiles et d'optimiser la latence.
3. Fusion Multimodale Avancée : Capacité à lier des entités visuelles segmentées à des connaissances textuelles externes pour un raisonnement multi-sauts robuste.
4. Vérification de la Vérité : Mise en place d'un mécanisme de double vérification (statistique et sémantique) pour réduire drastiquement les hallucinations.

4. Résultats Expérimentaux

Le système a été évalué lors du Meta CRAG-MM Challenge (KDD Cup 2025), un benchmark rigoureux incluant des images "egocentric", des bases de connaissances factuelles et des scénarios multi-tours.

• Performance Globale : QA-Dragon a surpassé les bases de référence (LLM seul, CoT, RAG direct) sur toutes les tâches.
  • Tâche Source Unique : +5,06 % d'amélioration en précision par rapport au meilleur baseline.
  • Tâche Multi-Sources : +6,35 % d'amélioration en précision.
  • Tâche Multi-Tours : +5,03 % d'amélioration en précision.
• Qualité des Réponses : Le système a obtenu des scores de chevauchement de connaissances (Knowledge Overlap) significativement plus élevés, indiquant une meilleure alignement avec les preuves factuelles.
• Analyse par Ablation : Les expériences montrent que chaque composant (Routeur de domaine, découpage de requêtes, reranking) contribue de manière cruciale à la performance globale. L'absence de routeur de domaine entraîne une chute notable de la précision.
• Limites Observées : Les performances baissent sur les requêtes très dynamiques (temps réel) et dans des domaines visuellement complexes comme la botanique (plantes), où la discrimination fine est difficile.

5. Signification et Impact

QA-Dragon représente une avancée significative dans le domaine de la VQA complexe. Il démontre que l'intégration d'une conscience contextuelle (domaine) et d'une orchestration dynamique des outils de recherche est essentielle pour surmonter les limites des MLLM actuels.

Ce travail établit un nouveau standard pour les systèmes RAG multimodaux, prouvant qu'il est possible de construire des agents capables de raisonner de manière fiable sur des données visuelles et textuelles hétérogènes, tout en maintenant une traçabilité des preuves et en réduisant les hallucinations. Cela ouvre la voie à des applications plus robustes dans des domaines critiques comme l'assistance médicale, la maintenance industrielle ou l'éducation, où la précision factuelle est non négociable.