💬 NLP

MAGE-RAG: Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG in Long-Document QA

MAGE-RAG est un cadre de graphe adaptatif multigranulaire pour le questionnement multimodal sur documents longs qui construit des sous-graphes d'évidence au moment de la requête en activant et en élaguant de manière itérative des nœuds de page et d'élément, équilibrant ainsi la couverture d'évidence avec la réduction du bruit pour atteindre des performances de pointe sur LongDocURL et MMLongBench-Doc.

Auteurs originaux : Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Publié 2026-06-16

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yilong Zuo, Xunkai Li, Jing Yuan, Qiangqiang Dai, Hongchao Qin, Ronghua Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais au lieu de quelques indices sur un bureau, on vous remet une encyclopédie massive de 500 pages remplie de textes, de graphiques, de photos et de diagrammes complexes. Votre objectif est de trouver la réponse spécifique à une question cachée quelque part à l'intérieur.

C'est le défi du Questionnement Multimodal sur Documents Longs (Long-Document Multimodal Question Answering). Le document présente un nouveau système appelé MAGE-RAG pour résoudre ce problème. Voici comment il fonctionne, expliqué simplement :

Le Problème : L'erreur du « Taille Unique »

Les systèmes actuels tentent de résoudre ce mystère de deux manières imparfaites :

L'approche « Texte Seul » : Ils lisent les mots mais jettent les images et la mise en page. C'est comme lire la transcription d'un film sans jamais voir les acteurs ou les décors. Vous pourriez manquer un indice crucial caché dans un graphique ou un diagramme.
L'approche « Page Entière » : Ils saisissent des pages entières du livre et les montrent à l'IA. Mais si la réponse n'est qu'une petite phrase au milieu d'une page, l'IA est submergée par tout le contenu non pertinent (comme les publicités, les pieds de page ou des images sans rapport) qui l'entoure. C'est comme essayer de trouver une aiguille dans une botte de foin en tendant toute la botte de foin à un robot.

Les deux méthodes sont bloquées dans un mode « fixe » : elles saisissent un nombre déterminé de pages ou de segments, peu importe la difficulté ou la complexité de la question.

La Solution : MAGE-RAG (Le Détective Intelligent)

MAGE-RAG agit comme un détective intelligent et adaptatif qui ne se contente pas de saisir des pages ; il construit une carte dynamique du document.

1. La Carte (Le Graphe Multigranulaire)

Avant même que le détective ne commence ses recherches, MAGE-RAG construit une « carte » spéciale de l'ensemble du document.

Nœuds de Page : Ce sont les points de repère importants (la page entière).
Nœuds d'Éléments : Ce sont les détails infimes (un paragraphe spécifique, un tableau, un graphique ou une liste).
Connexions : La carte trace des lignes entre ces éléments, montissant comment ils sont liés. Par exemple, elle sait qu'un graphique se trouve à l'intérieur d'une section spécifique, ou qu'un tableau est à côté d'un paragraphe.

Cette carte permet au système de zoomer sur un détail précis ou de dézoomer pour voir la page entière, selon les besoins.

2. L'Enquête (Contrôle au moment de la requête)

Lorsque vous posez une question, MAGE-RAG ne se contente pas de déverser des données sur l'IA. Il joue à un jeu de « Chaud ou Froid » avec un budget strict (une limite de temps et de mémoire qu'il peut utiliser).

Étape 1 : Le Point d'Entrée : Il commence par saisir quelques pages probables (comme le détective entrant dans la bonne pièce).
Étape 2 : La Chasse Itérative : Le système possède un « contrôleur » qui agit comme un chef de projet. Il demande :
- « Avons-nous assez d'informations ? »
- « Devons-nous zoomer et ouvrir ce graphique spécifique ? » (Ouvrir un Nœud)
- « Devons-nous regarder la page précédente ou suivante ? » (Rechercher/Étendre)
- « Ce paragraphe est-il non pertinent ? Ignorons-le. » (Élaguer)
Étape 3 : Le Budget : Le détective a une règle : « Je peux seulement regarder 5 pages et ouvrir 10 détails. » Si la réponse est simple, il s'arrête tôt. Si la réponse est complexe et éparpillée dans le livre, il utilise l'intégralité de son budget pour creuser plus profondément.

3. Le Rapport Final (Rendu Structuré)

Une fois que le détective a rassemblé les bons indices, il ne se contente pas de remettre une pile de papiques désordonnés. Il organise les preuves en un rapport propre et structuré. Il présente à l'IA le texte spécifique, le recadrage exact du graphique et la mise en page pertinente de la page, en éliminant tout le bruit environnant.

Pourquoi est-ce meilleur ? (Les Résultats)

Le papier a testé ce système sur deux jeux de données difficiles (LongDocURL et MMLongBench-Doc) remplis de documents longs et complexes.

Précision : MAGE-RAG a atteint environ 52,75 % de précision sur un test et 53,26 % sur l'autre, surpassant les méthodes précédentes qui reposaient sur des nombres de pages fixes ou des recherches textuelles uniquement.
Efficacité : Il n'a pas seulement gagné en lisant plus ; il a gagné en lisant mieux. Il a réussi à trouver des réponses éparpillées sur différentes pages ou cachées dans des mises en page complexes, là où d'autres systèmes ont échoué.
Transparence : Comme le système conserve une « trace » (un journal de chaque étape effectuée), nous pouvons voir exactement pourquoi il a réussi ou échoué. A-t-il manqué la bonne page ? A-t-il élagué un indice trop tôt ? Cela rend le système plus facile à déboguer.

L'Essentiel

MAGE-RAG change la donne : on passe de « saisir quelques pages et espérer que ça marche » à « construire une carte, suivre les indices et ne montrer à l'IA que ce dont elle a précisément besoin pour résoudre l'énigme ». Il équilibre le besoin de voir l'image globale (la page) avec le besoin de voir les détails fins (le graphique ou le texte spécifique), tout en respectant un budget strict de temps et de ressources.

Résumé Technique : MAGE-RAG

Définition du Problème

Le questionnement multimodal sur documents longs (QA) nécessite des systèmes capables de localiser des preuves éparses au sein de PDF volumineux et d'intégrer des indices hétérogènes provenant de textes, tableaux, images, graphiques et mises en page complexes. Les approches actuelles de génération augmentée par récupération (RAG) font face à trois limitations principales :

Top-k fixe et budgets statiques : Les méthodes actuelles associent chaque requête à un nombre fixe de pages ou de segments. Cela crée un compromis où un petit $k$ manque les preuves dispersées entre plusieurs pages, tandis qu'un grand $k$ introduit un excès de bruit et de régions non pertinentes, particulièrement pour les questions sans réponse ou portant sur une seule page.
Preuve à granularité unique : La récupération basée sur le texte compresse le contexte mais perd les informations visuelles et de mise en page. À l'inverse, la récupération visuelle au niveau de la page préserve la mise en page originale mais force le lecteur à traiter de larges zones non pertinentes, augmentant ainsi les coûts d'inférence et le bruit.
Absence de contrôle au moment de la requête : Les pipelines standards transmettent les candidats récupérés directement au lecteur sans mécanisme explicite pour suivre l'état des preuves, gérer les lacunes ou étendre/élaguer dynamiquement les preuves en fonction des besoins spécifiques d'une requête.

L'article formule le questionnement multimodal sur documents longs comme un problème de construction de sous-graphe d'évidence au moment de la requête sous contraintes budgétaires, visant à équilibrer la couverture des preuves, le contrôle du bruit et le coût d'inférence.

Méthodologie : MAGE-RAG

MAGE-RAG (Multigranular Adaptive Graph Evidence for Agentic Multimodal RAG) répond à ces limitations via un cadre comprenant quatre composantes interconnectées :

1. Construction hors ligne d'un graphe d'évidence multigranulaire

Avant le moment de la requête, le système analyse le PDF pour construire un graphe d'évidence hétérogène $G_D = (V, E)$ :

Nœuds : Le graphe contient des Nœuds de Page ( $V_p$ ) représentant des vues de pages entières (préservant la mise en page et le contexte visuel) et des Nœuds d'Élément ( $V_e$ ) représentant des composants fins (titres, paragraphes, tableaux, graphiques, images, formules).
Arêtes : Les relations encodent la structure du document, incluant le confinement (page vers élément), l'ordre de lecture, l'adjacence de mise en page, la hiérarchie des sections et les relations de voisinage sémantique.
Attributs : Chaque nœud stocke des descriptions multimodales, incluant des résumés, le contenu textuel, des boîtes englobantes (bounding boxes) et des références d'images.

2. Ancrage initial au niveau de la page

Au moment de la requête, le système utilise une récupération visuelle au niveau de la page (ex: ColPali) pour identifier les Top- $k$ pages les plus pertinentes. Cela sert de point d'entrée robuste, initialisant la mémoire de travail avec des nœuds de page plutôt que de tenter de rechercher dans tout l'espace des éléments à partir de zéro.

3. Contrôleur d'évidence en ligne

Un contrôleur itératif gère l'état de l'évidence ( $S_t$ ) à travers une séquence d'actions dans un budget défini ( $B$ ). L'état de chaque nœud peut être Inactif, Actif (sélectionné pour la mémoire de travail), Ouvert (contenu détaillé exposé) ou Élagué (écarté).

Espace d'actions : Le contrôleur effectue les actions ACTIVATEPAGE, ACTIVATENODE, OPENNODE, SEARCHEVIDENCE (re-récupération ciblée), PRUNENODE et STOP.
Processus de décision : Un évaluateur estime l'utilité marginale des actions candidates en fonction de la question actuelle, de l'état de l'évidence et de la trace récente. Il décide s'il faut étendre le graphe, ouvrir des éléments spécifiques, chercher de nouvelles pages ou élaguer des nœuds de faible valeur.
Contraintes budgétaires : Le processus est limité par des seuils sur les pages initiales, les actions d'activation par itération, le nombre total d'itérations et les nœuds finaux ouverts, empêchant une croissance incontrôlée du contexte.

4. Rendu du lecteur multimodal structuré

Le sous-graphe d'évidence final est rendu sous la forme d'une entrée structurée pour le lecteur LVLM (Large Vision-Language Model). Cette entrée aligne les images de pages, les recadrages de nœuds locaux et les boîtes englobantes avec un texte structuré en XML contenant les résumés et les types de nœuds. Cela permet au lecteur de consommer une preuve compacte, pertinente et visuellement ancrée plutôt que du texte brut non structuré ou des pages entières.

Principales Contributions

Formulation du problème : Les auteurs diagnostiquent les limites de la récupération à granularité fixe et proposent de formuler le QA sur documents longs comme une construction de sous-graphe d'évidence budgétisée, soulignant la nécessité d'une gestion d'état au moment de la requête.
Cadre MAGE-RAG : L'article présente un système qui unifie les points d'entrée visuels au niveau de la page, un graphe documentaire multigranulaire, un contrôleur d'évidence en ligne et un rendu structuré. Cela permet la sélection, l'expansion et l'élagage dynamiques de l'évidence au sein d'un espace d'état partagé.
Protocole unifié et analyse : Les auteurs établissent un protocole de comparaison unifié sur LongDocURL et MMLongBench-Doc, analysant les performances non seulement par la précision, mais aussi par le budget d'évidence, le comportement de la trace et les décompositions granulaires (page unique vs multi-pages, types d'évidence).

Résultats Expérimentaux

Le système a été évalué sur LongDocURL et MMLongBench-Doc, comparé à Direct MLLM, Text RAG (BM25, ColBERTv2), Page-level Visual RAG (M3DocRAG, VisRAG) et Graph/Agentic RAG (MLDocRAG, G2-Reader).

Performance : MAGE-RAG a atteint une précision globale de 52,75 % sur LongDocURL et 53,26 % de précision (51,19 F1) sur MMLongBench-Doc.
Comparaisons : Il a surpassé Direct MLLM, Text RAG, Page-level Visual RAG et la base de référence Graph/Agentic G2-Reader. Notamment, il a montré des améliorations significatives dans les tâches de raisonnement inter-pages par rapport aux bases de référence de RAG visuel (ex: 34,70 % de précision inter-pages contre 24,87 % pour M3DocRAG sur MMLongBench-Doc).
Granularité : Le système a démontré que la combinaison d'ancres au niveau de la page avec des preuves locales au niveau des éléments produit des performances plus stables à travers des types d'évidences hétérogènes (texte, tableaux, graphiques) que les approches à granularité unique.
Analyse de trace : Une analyse détaillée des traces a révélé que les échantillons corrects ne nécessitent pas nécessairement des traces plus longues ou plus d'itérations que les incorrects ; ils bénéficient plutôt d'une sélection d'évidence plus efficace (ouverture des nœuds pertinents et élagage des nœuds non pertinents).

Signification et Revendications

L'article affirme que MAGE-RAG démontre que la construction de sous-graphes d'évidence au moment de la requête peut équilibrer efficacement la couverture d'évidences dispersées et le contrôle du bruit contextuel. En traitant la récupération non pas comme une décision en une seule étape, mais comme un processus itératif et étatique, le cadre s'adapte aux exigences d'évidence spécifiques de chaque question.

Les auteurs notent avec modestie que la limite supérieure du cadre dépend de la qualité du graphe d'évidence hors ligne et que le contrôleur introduit des coûts de calcul supplémentaires (appels à l'évaluateur). Ils suggèrent que l'approche est particulièrement adaptée aux scénarios de documents longs avec des preuves éparses, des dépendances inter-pages ou des mises en page visuelles complexes, tout en reconnaissant qu'elle peut ne pas être rentable pour tous les cas de documents courts ou à un seul saut. Ce travail fournit un mécanisme traçable et auditable pour diagnostiquer les échements dans la compréhension de documents multimodaux, allant au-delà des simples mesures de précision pour analyser le processus de construction de l'évidence lui-même.