💻 computer science

mKG-RAG: Leveraging Multimodal Knowledge Graphs in Retrieval-Augmented Generation for Knowledge-intensive VQA

Ce papier propose mKG-RAG, un cadre de génération augmentée par la récupération novateur qui exploite des graphes de connaissances multimodaux et une stratégie de récupération en deux étapes pour surmonter les limites des méthodes basées sur des documents non structurés, atteignant des performances à la pointe de l'état de l'art dans le domaine de la réponse visuelle aux questions intensive en connaissances.

Auteurs originaux : Xu Yuan, Liangbo Ning, Qingqing Ye, Wenqi Fan, Qing Li

Publié 2026-04-28

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xu Yuan, Liangbo Ning, Qingqing Ye, Wenqi Fan, Qing Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Robot « Intelligent mais Oublieux »

Imaginez que vous avez un robot super-intelligent (appelé Modèle de Langage Multimodal, ou MLLM) qui est excellent pour regarder des images et répondre à des questions. Il en sait beaucoup sur le monde. Cependant, il présente un défaut majeur : il a une mauvaise mémoire pour les faits spécifiques.

Si vous lui demandez : « Qui a conçu ce musée précis ? » ou « Quand ce stade a-t-il été rénové pour la dernière fois ? », le robot risque de :

Halluciner : Inventer une réponse qui semble plausible mais qui est complètement fausse.
Refuser : Dire « Je ne sais pas », même si la réponse existe quelque part.

Cela arrive parce que le robot ne « se souvient » que de ce sur quoi il a été entraîné. Il n'a pas accès à une bibliothèque de faits spécifiques et à jour concernant chaque bâtiment, personne ou événement dans le monde.

L'Ancienne Solution : La « Bibliothèque Bruyante »

Pour résoudre ce problème, les chercheurs ont essayé de donner au robot un système de « Génération Augmentée par la Récupération » (RAG). Imaginez cela comme donner au robot une bibliothèque pour consulter des réponses avant de parler.

Cependant, l'ancienne façon de faire était comme remettre au robot une pile de journaux désordonnés et mal organisés.

Le robot doit lire des milliers de mots pour trouver la seule phrase qui compte.
Il est souvent distrait par du bruit non pertinent (publicités, histoires sans rapport).
Il manque les connexions entre les faits. Par exemple, il peut voir « Stade » et « Rénovation » dans deux paragraphes différents mais échouer à réaliser qu'ils font partie de la même histoire.

La Nouvelle Solution : mKG-RAG (La « Carte Intelligente »)

Les auteurs proposent un nouveau système appelé mKG-RAG. Au lieu de donner au robot une pile désordonnée de journaux, ils lui donnent une carte visuelle structurée (un Graphique de Connaissance Multimodal).

Voici comment cela fonctionne, étape par étape :

1. Transformer le Chaos en Carte (Construction du Graphique)

Imaginez prendre une page Wikipédia qui contient du texte et des photos.

Ancienne méthode : Lire simplement le texte.
Méthode mKG-RAG : Le système utilise une IA intelligente pour lire le texte et regarder les photos simultanément. Il extrait le « squelette » de l'information.
- Il identifie les Entités (par exemple, « Le Stade », « L'Architecte »).
- Il identifie les Relations (par exemple, « L'Architecte a conçu le Stade »).
- Crucialement, il lie la description textuelle du stade à la photo réelle du stade.
- Résultat : Au lieu d'un mur de texte, vous obtenez une carte propre et organisée où chaque fait est connecté à l'image qui le prouve.

2. La Recherche en Deux Étapes (Récupération à Double Étape)

Lorsque vous posez une question, le système ne jette pas toute la carte devant le robot. Il utilise une stratégie de recherche intelligente en deux étapes :

Étape 1 : Le Filet Large (Récupération de Documents)
D'abord, le système scanne rapidement toute la bibliothèque pour trouver les quelques documents susceptibles de contenir la réponse. C'est comme un bibliothécaire qui dit : « D'accord, la réponse se trouve probablement dans la section 'Sports', pas dans la section 'Cuisine'. »
Étape 2 : Le Filet de Précision (Récupération de Graphique)
Une fois les documents pertinents trouvés, le système ne les lit pas de manière linéaire. Il zoome sur la Carte créée à l'Étape 1. Il recherche des nœuds spécifiques (faits) et des arêtes (connexions) qui correspondent à votre question.
- Analogie : Au lieu de lire tout le livre, il surligne le paragraphe exact et la photo spécifique qui répondent à votre question, en ignorant le reste.

3. Le Détective « Conscient de la Question » (QM-Retriever)

Le papier introduit un outil spécial appelé le QM-Retriever.

Le Problème : Les moteurs de recherche standards sont mauvais pour faire correspondre une question (par exemple, « Qui a construit cela ? ») avec une affirmation (par exemple, « John a construit cela. »). Ils cherchent souvent des correspondances exactes de mots.
La Correction : Le QM-Retriever est un détective entraîné à comprendre l'intention de la question. Il apprend à traduire votre question en un format « déclaratif » (une affirmation) afin de trouver la correspondance parfaite dans le graphique de connaissances, même si les mots sont légèrement différents. Il examine à la fois le texte et l'image pour trouver la bonne preuve.

Pourquoi Cela Compte (Les Résultats)

Les auteurs ont testé ce système sur deux quiz difficiles (E-VQA et InfoSeek) qui nécessitent des connaissances profondes et spécifiques.

Le Résultat : mKG-RAG a nettement surpassé toutes les méthodes précédentes.
L'Analogie : Si les anciennes méthodes étaient comme un élève devinant des réponses à partir d'un manuel désordonné, mKG-RAG est comme un élève disposant d'une encyclopédie parfaitement organisée et interréférencée, avec un surligneur qui sait exactement quoi lire.

Résumé

mKG-RAG est une nouvelle façon d'aider l'IA à répondre à des questions difficiles sur le monde réel. Au lieu de noyer l'IA dans du texte désordonné, elle :

Construit une carte structurée reliant texte et images.
Recherche efficacement en réduisant d'abord la bibliothèque, puis en trouvant des connexions exactes sur la carte.
Comprend mieux la question que les outils de recherche standards.

Cela permet à l'IA d'arrêter de deviner et de commencer à fournir des réponses précises, basées sur des faits et étayées par des preuves visuelles.

1. Énoncé du Problème

La Réponse aux Questions Visuelles (VQA) Intensive en Connaissances exige que les modèles répondent à des questions reposant sur des faits externes, encyclopédiques ou de longue traîne, absents des données d'entraînement ou de l'entrée visuelle immédiate. Bien que les Grands Modèles de Langage Multimodaux (MLLM) excellent dans le raisonnement de bon sens, ils peinent avec des requêtes factuelles spécifiques, hallucinant souvent ou refusant de répondre.

Les approches actuelles de Génération Augmentée par Récupération (RAG) tentent de résoudre ce problème en récupérant des documents externes. Cependant, les méthodes existantes souffrent de trois limitations critiques :

Bruit Non Structuré : Elles reposent sur des fragments de texte ou des paragraphes non structurés, qui introduisent un contexte non pertinent et du « bruit », rendant difficile pour les MLLM l'isolement des faits clés.
Absence de Relations Structurelles : Elles négligent les liens logiques entre les éléments de connaissance, limitant la capacité du modèle à effectuer un raisonnement multi-sauts.
Fossé Multimodal : La plupart des systèmes RAG utilisent des récupérateurs unimodaux (texte uniquement ou vision uniquement) ou échouent à aligner efficacement les preuves visuelles et textuelles, conduisant à une récupération sous-optimale dans les scénarios multimodaux.

2. Méthodologie : mKG-RAG

Les auteurs proposent mKG-RAG, un cadre qui intègre des Graphes de Connaissance Multimodaux (KG) dans le pipeline RAG. Le cadre se compose de deux étapes principales :

A. Construction du Graphe de Connaissance Multimodal

Au lieu d'utiliser des KG préexistants (qui manquent de connaissances spécifiques ou de longue traîne), mKG-RAG construit des KG dynamiques et de haute qualité à partir de documents multimodaux non structurés (par exemple, des pages Wikipédia contenant du texte et des images).

Extraction de Graphe Textuel : Utilise un MLLM pour extraire des entités et des relations à partir de segments de texte, formant un sous-graphe textuel ( $G_t$ ).
Extraction de Graphe Visuel : Utilise des techniques de Génération de Graphes de Scène (SGG) pour détecter des objets et leurs relations spatiales/sémantiques au sein des images, formant un sous-graphe visuel ( $G_v$ ).
Agrégation de Graphe Multimodal : Une innovation centrale où un MLLM agit comme un Appariement Vision-Texte. Il aligne les entités et les relations de $G_t$ $G_{t}$ et $G_v$ $G_{v}$ sur la base de la cohérence sémantique.
- Mécanisme : Le MLLM reçoit l'image, le graphe textuel (sous forme de langage naturel) et le graphe visuel (sous forme d'IDs d'objets, de catégories et de boîtes englobantes). Il produit des paires appariées, attachant efficacement des attributs visuels (boîtes englobantes, catégories d'objets) aux entités textuelles.
- Résultat : Un KG multimodal unifié où les nœuds et les arêtes possèdent à la fois des descriptions textuelles et un ancrage visuel.

B. Récupération Multimodale à Deux Étages

Pour gérer le coût computationnel de la recherche dans de grands graphes, mKG-RAG emploie une stratégie de récupération en deux étapes :

Récupération de Document à Granularité Grossière :
- Utilise un Récupérateur Multimodal Sensible à la Question (QM-Retriever) pour effectuer une recherche vectorielle sur l'ensemble du corpus de documents.
- Le QM-Retriever est entraîné pour aligner les requêtes multimodales (Image + Question) avec les preuves (Image + Texte). Il inclut un « Convertisseur de Question » qui transforme les questions interrogatives en énoncés déclaratifs dans l'espace latent pour mieux correspondre au texte des preuves.
- Cette étape réduit l'espace de recherche aux $K$ documents candidats principaux.
Récupération de Graphe à Granularité Multiple :
- Construit un sous-graphe spécifique à la requête en fusionnant les KG hors ligne des documents candidats.
- Récupération d'Entités/Relations : Récupère des nœuds et des arêtes spécifiques basés sur la similarité d'embedding avec la requête.
- Expansion de Sous-graphe : Effectue un parcours de voisins à $l$ -sauts (Recherche en Largeur) sur le sous-graphe récupéré pour capturer les connexions contextuelles, mais n'inclut que les voisins dépassant un seuil de similarité pour éviter le bruit.

C. Génération de Réponse

Le contexte final fourni au MLLM comprend l'image originale, la question, les éléments de graphe structurés récupérés (fournissant un aperçu des connaissances) et les fragments textuels associés (fournissant les détails).

3. Contributions Clés

RAG Augmenté par KG Multimodal : Le premier cadre à intégrer spécifiquement des KG multimodaux construits dans le RAG pour la VQA intensive en connaissances, capturant les relations structurelles et les indices inter-modaux.
Pipeline de Construction Novel : Une méthode pour distiller des documents multimodaux non structurés en KG structurés en utilisant une extraction pilotée par MLLM et un appariement vision-texte, assurant une cohérence sémantique à travers les modalités.
Récupération à Deux Étages & QM-Retriever : Un paradigme de récupération à deux étapes (Document $\to$ Graphe) et un Récupérateur Multimodal Sensible à la Question spécialisé, entraîné avec des objectifs d'apprentissage contrastif et de reformulation de questions pour combler le fossé multimodal.
Performance de l'État de l'Art : L'approche surpasse significativement les bases existantes sur des benchmarks standards.

4. Résultats Expérimentaux

La méthode a été évaluée sur deux benchmarks : E-VQA (5,8k échantillons) et InfoSeek (73k échantillons de validation).

Performance :
- E-VQA : A atteint une précision de 36,3 % (ensemble All), surpassant la meilleure précédente (ReflectiVA*) d'une marge significative.
- InfoSeek : A atteint une précision de 40,5 % (ensemble All), établissant un nouvel état de l'art.
- Amélioration : Par rapport aux MLLM en mode zéro-shot, mKG-RAG a amélioré la précision de plus de 20 % sur E-VQA et de 31 % sur InfoSeek.
Efficacité de Récupération : Le QM-Retriever a obtenu des améliorations moyennes de Rappel de 9,9 % (E-VQA) et 7,0 % (InfoSeek) par rapport aux meilleures bases unimodales/cross-modales (comme CLIP).
Études d'Ablation :
- Le retrait du QM-Retriever (en utilisant CLIP à la place) a fait chuter la précision d'environ 4-5 %.
- Le remplacement de la récupération par graphe par une récupération par fragments a fait chuter la précision d'environ 8 %.
- L'expansion de sous-graphe a contribué à un gain supplémentaire d'environ 1,3 %.
Généralisation : Le cadre a montré des gains de performance cohérents (+9,4 % en moyenne) sur diverses architectures MLLM (Phi3V, LLaMA-3.2, Qwen2.5-VL, etc.), indépendamment de la taille des paramètres.
Efficacité : Malgré le pipeline complexe, la construction lourde du KG est hors ligne. L'inférence en ligne n'ajoute qu'un coût computationnel de 1,14x par rapport à la génération zéro-shot, tout en délivrant une amélioration de précision de 1,37x par rapport au RAG naïf.

5. Signification

Ce papier aborde un goulot d'étranglement critique en IA multimodale : l'incapacité des modèles actuels à raisonner sur des connaissances externes structurées lorsque les indices visuels et textuels sont entrelacés. En passant de la récupération de texte non structuré à la récupération de graphe multimodal structuré, mKG-RAG :

Réduit les Hallucinations : Fournit des preuves précises et structurées qui guident le MLLM.
Améliore le Raisonnement : La structure du graphe modélise explicitement les relations, aidant au raisonnement multi-sauts (par exemple, connecter un objet dans une image à un fait spécifique dans un document).
Comble le Fossé Multimodal : Le QM-Retriever et l'appariement vision-texte assurent que les preuves visuelles et textuelles sont récupérées et alignées de manière cohérente, plutôt que traitées comme des silos séparés.

Ce travail démontre que l'intégration de représentations de connaissances structurées (KG) avec des modèles génératifs est un paradigme supérieur pour les tâches intensives en connaissances par rapport au RAG traditionnel, ouvrant la voie à des systèmes d'IA multimodaux plus fiables et factuels.