Résumé Technique : MKG-RAG-Bench

Énoncé du Problème

La génération augmentée par récupération (RAG) a amélioré l'ancrage factuel des grands modèles de langage (LLM), pourtant les approches existantes reposent principalement sur des corpus textuels non structurés. Bien que le RAG basé sur des graphes de connaissances (KG-RAG) remédie aux problèmes de bruit et de fragmentation en utilisant des données structurées, les méthodes actuelles sont largement confinées aux graphes de connaissances textuels. Cette limitation restreint l'applicabilité dans des scénarios réels où des informations critiques sont transmises via des images, des graphiques et des tableaux.

Le défi spécifique abordé dans ce travail est le MKG-RAG (Multimodal Knowledge Graph-RAG), qui intègre des connaissances structurées à travers plusieurs modalités. Cependant, le domaine manque d'un benchmark dédié pour évaluer ce cadre. Les benchmarks existants pour le RAG multimodal (M-RAG) récupèrent des informations à partir de corpus non structurés, tandis que les benchmarks KG-RAG se concentrent sur des graphes textuels. Aucun ne capture les défis uniques du MKG-RAG, spécifiquement :

1. Récupération Hétérogène : Les requêtes et les triplets cibles peuvent impliquer différentes combinaisons de modalités (par exemple, des requêtes uniquement textuelles nécessitant des preuves visuelles, ou des requêtes multimodales nécessitant des relations textuelles).
2. Alignement Cross-Modal : La pertinence nécessite souvent un raisonnement à travers les modalités et la topologie du graphe plutôt qu'une simple correspondance de surface.
3. Utilité du Benchmark : Les graphes de connaissances multimodaux existants contiennent souvent des triplets de faible utilité ou génériques qui mènent à des requêtes ambiguës, occultant la véritable contribution des mécanismes de récupération.

Une analyse préliminaire dans l'article démontre que la combinaison naïve des graphes de connaissances multimodaux existants (par exemple, MedMKG) avec des tâches en aval entraîne une dégradation des performances par rapport aux lignes de base sans RAG, principalement en raison de la récupération de connaissances non pertinentes pour la tâche et de l'absence de connaissances critiques pour celle-ci.

Méthodologie

Les auteurs proposent MKG-RAG-Bench, un benchmark trans-domaine conçu pour évaluer explicitement la récupération et la génération dans le cadre du MKG-RAG. Le benchmark est construit à l'aide d'un pipeline de curation fondé sur des principes et piloté par des LLM, impliquant trois étapes :

1. Filtrage de l'Utilité par LLM : Un LLM évalue les triplets provenant de graphes de connaissances sources (MarKG pour les domaines généraux et MedMKK pour les domaines médicaux) afin d'éliminer les données de faible utilité. Les triplets qui produisent des questions génériques ou qui ne nécessitent pas de preuves externes sont supprimés pour garantir que les requêtes soient bien ancrées et que la récupération soit nécessaire.
2. Simulation de Complétude Contrôlée : Pour créer des requêtes avec une supervision exacte, le pipeline simule l'incomplétude en masquant des composants des triplets conservés.
   • Masquage de Relation : La relation est cachée, nécessitant une inférence à partir des entités tête et queue.
   • Masquage de Queue : L'entité de queue est cachée, nécessitant une inférence à partir de la tête et de la relation.
   • L'entité tête est préservée comme ancrage sémantique pour faciliter l'ancrage multimodal.
3. Synthèse de Questions Hybride : Un LLM (GPT-5) synthétise des questions en langage naturel à partir des triplets masqués selon deux modes :
   • Texte uniquement : Pour les connaissances textuelles uniquement, générant des questions qui ciblent explicitement le composant manquant.
   • Ancré sur l'image : Pour les triplets possédant des entités visuelles, l'image est fournie au LLM, et l'entité est référencée par [Image] pour imposer un ancrage visuel et empêcher une correspondance lexicale triviale.

Le jeu de données résultant comprend des paires requête-triplet alignées pour l'évaluation de la récupération et des paires question-réponse pour l'évaluation de la génération. Le benchmark couvre cinq configurations d'évaluation spécifiques (S1–S5) variant selon la modalité de la requête (texte uniquement vs multimodal) et le champ des triplets candidats (texte uniquement vs multimodal vs tous).

Le cadre d'évaluation teste quatre catégories de récupérateurs dans un environnement sans entraînement (training-free) :

• Des récupérateurs textuels uniquement (traitant les triplets comme du texte brut).
• Des récupérateurs multimodaux basés sur la fusion (espace de représentation partagé).
• Des récupérateurs basés sur le légendage (conversion des images en texte).
• Des récupérateurs basés sur le re-classement/reranking (filtrage multi-étapes).

Contributions Clés

1. Identification d'une Lacune de Recherche : Ce travail souligne que la récupération dans le MKG-RAG est sous-explorée et insuffisamment évaluée dans la recherche actuelle sur le RAG multimodal.
2. Premier Benchmark MKG-RAG Trans-Domaine : L'introduction de MKG-RAG-Bench, comprenant deux graphes de connaissances multimodaux et les jeux de données QA correspondants, permettant une évaluation systématique de la qualité de la récupération et de la génération en aval.
3. Pipeline de Curation Fondé sur des Principes : Un nouveau pipeline utilisant des LLM pour répondre aux défis de la récupération hétérogène, de l'alignement multimodal et de l'utilité du benchmark en filtrant les connaissances de faible utilité et en générant des requêtes structurellement ancrées.
4. Cadre d'Évaluation Unifié : Expériences exhaustives à travers diverses configurations multimodales démontrant le rôle critique d'une récupération efficace sur les performances de bout en bout du MKG-RAG.

Résultats

Des expériences approfondies ont été menées sur les jeux de données MKG-RAG-Bench-G (général) et MKG-RAG-Bench-M (médical) en utilisant des architectures de récupérateurs représentatives. Les principales conclusions incluent :

• Difficulté de Récupération : Une récupération multimodale efficace reste un défi majeur. Dans le domaine médical (MedMKG), les récupérateurs multimodaux (Fusion, Reranking) ont nettement surpassé les récupérateurs textuels et ceux basés sur le légendage dans les contextes multimodaux, mais les performances variaient drastiquement selon l'alignement des modalités.
• Impact de la Modalité :
  • Dans le domaine général, les récupérateurs basés sur la fusion ont atteint les scores NDCG@K et Recall@K les plus élevés (par exemple, ~62% de Recall@100 pour les requêtes multimodales avec des triplets multimodaux), surpassant les approches textuelles et de légendage.
  • Dans le domaine médical, les récupérateurs basés sur le reranking ont montré des performances supérieures dans les contextes multimodaux complexes (par exemple, ~51% de Recall@100 pour les requêtes multimodales avec tous les triplets), suggérant que les pipelines multi-étapes sont efficaces pour gérer des données médicales bruitées ou complexes.
• La Récupération Détermine la Génération : L'article établit que la qualité de la récupération détermine fortement les résultats de la génération. Une mauvaise récupération conduit à l'injection de bruit ou à l'absence de faits critiques, dégradant la qualité de la réponse finale.
• Comparaison avec les Baselines : Dans les études préliminaires utilisant des graphes existants sans curation, les modèles sans RAG (RAG-free) surpassaient souvent les modèles augmentés par récupération, soulignant la nécessité du jeu de données de haute utilité fourni par MKG-RAG-Bench.

Signification

L'article affirme que MKG-RAG-Bench fournit une base fondée sur des principes pour diagnostiquer les limitations actuelles des systèmes de graphes de connaissances multimodaux. En isolant la récupération comme une cible d'évaluation de premier rang, le benchmark permet aux chercheurs de :

• Distinguer les améliorations provenant d'une récupération efficace de celles issues des priors génératifs.
• Couvrir systématiquement diverses configurations de modalités pour refléter des usages réels.
• Faire progresser le développement de récupérateurs plus puissants spécifiquement conçus pour les connaissances structurées et multimodales.

Ce travail soutient que sans un tel benchmark, les capacités et limites réelles des systèmes MKG-RAG restent obscurcies par le désalignement entre les sources de connaissances, les objectifs de récupération et les métriques d'évaluation.