💻 computer science

VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

VLD-RAG est un cadre de génération augmentée par récupération multimodal et agentique qui utilise l'indexation préservant la mise en page, des stratégies de récupération hybrides et un flux de travail multi-agents coordonné pour répondre efficacement aux questions en synthétisant des preuves textuelles et visuelles éparses à travers de longs documents multi-pages riches en éléments visuels.

Auteurs originaux : Seonok Kim

Publié 2026-07-29

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seonok Kim

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère géant de 100 pages, mais que les indices sont éparpillés partout. Certains indices sont écrits en texte brut, d'autres sont cachés dans des graphiques complexes, d'autres encore sont nichés dans des diagrammes, et certains font simplement partie de la mise en page. C'est le monde des « documents visuellement riches » — pensez à ces rapports, manuels et présentations denses et colorés que nous voyons dans le monde réel. Pendant longtemps, les ordinateurs essayant de lire ces documents ont eu un problème majeur : ils tentaient souvent de supprimer toutes les images et les mises en page pour ne lire que les mots. C'était comme essayer de comprendre une bande dessinée en ne lisant que les bulles de dialogue et en ignorant les dessins ; vous auriez manqué le contexte, les blagues et les rebondissements de l'intrigue.

Pour corriger cela, les scientifiques utilisent une technique appelée Génération Augmentée par Récupération (RAG). Considérez le RAG comme un bibliothécaire super intelligent qui ne se contente pas de mémoriser des livres, mais qui part chercher les pages exactes dont vous avez besoin avant de répondre à votre question. Cependant, lorsque les « livres » sont ces documents visuels désordonnés et multi-pages, les bibliothécaires standards s'y perdent souvent. Ils peuvent prendre la mauvaise page parce qu'ils n'ont regardé que le texte, ou ils peuvent manquer un graphique crucial parce qu'ils ne savaient pas comment « voir » l'image. La grande question est la suivante : comment construire un système capable de traquer les bonnes preuves à travers des dizaines de pages, en mélangeant parfaitement texte et images, pour répondre correctement à une question ?

Voici venu VLD-RAG, un nouveau cadre conçu pour être l'ultime détective pour ces longs documents visuels. Les chercheurs derrière ce travail ont réalisé que pour résoudre un mystère réparti sur 150 pages, on ne peut pas se contenter d'une seule astuce. Au lieu de cela, ils ont construit un système « agentique » — une équipe de spécialistes de l'IA travaillant ensemble. Imaginez un trio de détectives : l'un est un Chasseur de Mots-Clés qui scanne les mots et les chiffres exacts ; un autre est un Enquêteur Visuel qui observe l'« ambiance » générale et la mise en page des pages ; et un troisième est un Vérificateur Critique qui contrôle leur travail.

Voici comment ils collaborent. D'abord, le système décompose votre question en un plan. Il ne demande pas seulement : « Quel est le profit ? ». Il demande : « Trouvez le tableau dans la section 3, cherchez le graphique intitulé "Résultats du T4", et vérifiez dans le texte le montant spécifique en dollars ». Ensuite, le Chasseur de Mots-Clés et l'Enquêteur Visuel partent chercher dans le document simultanément. Le Chasseur attrape les pages contenant les bons mots, tandis que l'Enquêteur attrape les pages qui ressemblent à celles contenant la réponse, même si les mots sont différents.

La magie opère lorsqu'ils comparent leurs notes. Si le Chasseur dit : « La page 12 semble bonne », mais que l'Enquêteur dit : « La page 12 a l'air totalement fausse », le système ne se contente pas de deviner. Il utilise un « contrôle de cohérence » spécial pour réaliser que quelque chose ne va pas. Si les preuves semblent faibles ou manquantes, le Vérificateur Critique intervit et dit : « Hé, nous avons raté quelque chose ! Essayons de poser la question d'une manière différente ». Cela déclenche une seconde recherche, affinant les indices jusqu'à ce qu'ils trouvent les bonnes pages. Enfin, le système rassemble les preuves — extraits de texte, découpes de graphiques et numéros de pages — et les transmet à un générateur pour rédiger la réponse finale, en s'assurant que chaque affirmation est étayée par le document réel.

Les chercheurs ont testé cette équipe de détectives sur deux défis massifs : MMLongBench-Doc et LongDocURL. Ce sont comme les « Jeux Olympiques » de la lecture de documents, contenant des centaines de documents avec des milliers de pages, des tableaux complexes et des questions difficiles. Les résultats sont impressionnants. VLD-RAG n'a pas seulement trouvé les bonnes pages plus souvent que les méthodes précédentes ; il en a trouvé plus. Sur le benchmark LongDocURL, qui présente des documents d'une moyenne de 85,6 pages, VLD-RAG a réussi à récupérer les pages de preuves correctes dans 81,16 % des cas lors de la consultation des 5 meilleurs résultats (Recall@5), battant toutes les autres méthodes. Il a également classé les pages les plus pertinentes plus haut que quiconque, ce qui signifie que la réponse se trouvait généralement en haut de la liste.

L'article suggère que ce succès vient du fait de ne pas forcer l'ordinateur à choisir entre « lire » et « voir ». En gardant la mise en page visuelle et le texte séparés mais travaillant ensemble, et en laissant les agents d'IA se vérifier mutuellement, le système évite les erreurs qui surviennent lorsque l'on tente d'aplatir un document riche et coloré en un simple texte brut. Bien que les chercheurs notent que cette approche est spécifiquement destinée aux documents où l'information est éparpillée sur plusieurs pages, les conclusions suggèrent fortement que pour ces mystères complexes et multi-pages, une équipe d'agents spécialisés et vérificateurs est bien supérieure à un chercheur solitaire et isolé.

Résumé Technique : VLD-RAG

Énoncé du Problème

Les documents visuellement riches (par exemple, des rapports, des diapositives, des manuels) distribuent souvent les preuves nécessaires pour répondre à une question sur plusieurs pages, mélangeant le texte avec des mises en page complexes, des tableaux, des graphiques et des figures. Les pipelines de RAG (Génération Augmentée par Récupération) standards, conçus principalement pour des contextes centrés sur le texte, se dégradent dans ces scénarios. La conversion des pages en texte brut entraîne souvent une perte d'information, occultant la sémantique de la mise en page, les relations spatiales et les indices non textuels essentiels à une interprétation correcte. De plus, les approches existantes axées sur la vision sont confrontées à des défis : la dépendance à l'extraction de texte ou à l'OCR peut manquer des signaux structurels ; la fusion naïve des signaux lexicaux et sémantiques peut être fragile lorsque les modalités divergent ; et la récupération en une seule étape est souvent insuffisante pour les documents longs nécessitant une découverte d'indices multi-étapes dispersés sur plusieurs pages.

Méthodologie : Cadre VLD-RAG

Les auteurs proposent VLD-RAG, un cadre de RAG multimodal agentique conçu pour la récupération de preuves multi-pages et le raisonnement inter-pages. Le système opère en trois étapes principales :

1. Représentation de Document à Double Espace

VLD-RAG emploie une architecture à double indexation pour préserver des signaux complémentaires :

Index Visuel : Les images de pages sont encodées en plongements (embeddings) de langage-vision denses ( $v_i$ ) à l'aide d'un encodeur de vision (ColPali). Cela préserve la mise en page visuelle et la sémantique textuelle dans un espace unifié, adhérant à la philosophie de « récupération par image de page ».
Index Textuel : Les pages sont analysées en Markdown structuré, préservant les informations de mise en page (tableaux, figures, titres). Ceux-ci sont sérialisés et indexés sous forme de plongements de fragments ( $t_{i,j}$ ). Cela permet une reconstruction fidèle des preuves et une correspondance lexicale précise (identifiants, nombres, entités rares).

2. Formulation de Requête Multimodale et Récupération Hybride

Lors de la réception d'une requête $q$ , le système effectue une décomposition de la requête multimodale pour générer des intentions de récupération structurées, incluant des entités saillantes, des ancres visuelles et des types de preuves attendus. Le processus de récupération combine deux branches :

Récupération Lexicale Creuse (Sparse) : Extrait des mots-clés ( $k$ ) de la requête pour effectuer une recherche standard basée sur la fréquence des termes.
Récupération Sémantique Dense : Génère un « document hypothétique » ( $h$ ) conditionné par la requête en utilisant un modèle de langage (Gemma3n). Ce document synthétique approxime le contenu d'une page idéale contenant la réponse, comblant ainsi l'écart sémantique entre la requête et le document. Le document hypothétique est encodé en un plongement de langage-vision dense ( $e_h$ ) et mis en correspondance avec les plongements de pages via une recherche ANN.

Fusion de Cohérence de Modalité :
Les candidats issus des deux branches sont fusionnés. Pour gérer le désaccord inter-modal, un score de fusion contraint par la cohérence est appliqué :
$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$
où $\Delta(i)$ pénalise les candidats où les signaux creux et denses divergent de manière significative.

3. Flux de Travail Agentique et Raffinement Itératif

VLD-RAG utilise un flux de travail d'agent guidé par un vérificateur impliquant un Agent de Récupération, un Agent de Réponse et un Agent de Validation.

Génération Fondée sur les Preuves : Le générateur produit une réponse ancrée dans les régions de pages récupérées, les segments Markdown analysés et les métadonnées.
Boucle de Vérification : Un agent de validation vérifie si la réponse générée est suffisamment soutenue par les preuves (seuil de confiance $\tau$ ). Si la validation échoue (par exemple, citations manquantes ou faible confiance), le système déclenche une étape de raffinement itératif. La requête est raffinée ( $q'$ ) sur la base des preuves manquantes, et le processus de récupération se répète avec des intentions mises à jour.

Principales Contributions

Architecture à Double Index : Un cadre de RAG de documents de langage-vision qui préserve à la fois les indices de mise en page visuelle (via des plongements au niveau de la page) et les signaux lexicaux précis (via la sérialisation Markdown structurée).
Récupération Hybride de Cohérence de Modalité : Une stratégie de récupération qui modélise explicitement l'accord entre les modalités creuses et denses, utilisant des contraintes de cohérence pour améliorer la robustesse face aux décalages inter-modaux.
Boucle Agentique Guidée par Vérificateur : Un mécanisme permettant une découverte fiable de preuves multi-pages par le biais du raffinement itératif de la requête, répondant à l'insuffisance de la récupération en une seule étape pour les questions complexes traversant plusieurs pages.

Résultats Expérimentaux

Le cadre a été évalué sur deux benchmarks de documents longs multimodaux : LongDocURL et MMLongBench-Doc.

Performance de Récupération : VLD-RAG a démontré des améliorations constantes par rapport aux bases de référence (incluant M3DocRAG, MDocAgent et MoLoRAG) en termes de Recall@K, NDCG et MRR dans tous les réglages de top-K ( $K \in \{1, 3, 5\}$ $K \in {1, 3, 5}$ ).
- Sur MMLongBench-Doc, VLD-RAG a obtenu les scores les plus élevés pour les métriques de rappel et de qualité de classement.
- Sur LongDocURL (qui présente des documents plus longs et un pourcentage plus élevé de questions multi-pages), VLD-RAG a montré des gains particulièrement marqués en Recall et NDCG, surpassant les bases de référence uniquement textuelles ou uniquement visuelles.
Analyse : Les résultats indiquent que l'approche hybride capture efficacement la pertinence liée à la position, ce qui est critique pour la récupération multi-pages. L'intégration de la génération de documents hypothétiques a aidé à combler les écarts sémantiques, particulièrement lorsque les preuves étaient intégrées dans des mises en page complexes. Bien que certaines bases de référence aient atteint une précision plus élevée à des valeurs de K intermédiaires, la supériorité de VLD-RAG en matière de Recall et de métriques de classement suggère une meilleure efficacité globale pour les tâches de génération augmentée par récupération nécessitant une couverture exhaustive des preuves.

Signification

L'article soutient qu'une vérification agentique coordonnée et une récupération hybride multimodale sont cruciales pour un ancrage fiable lorsque les réponses correctes dépendent de preuves dispersées sur plusieurs pages. En préservant les informations de mise en page visuelle tout en maintenant une correspondance lexicale précise, VLD-RAG répond aux limites des systèmes RAG existants dans les contextes de documents longs et visuellement riches. Les conclusions soulignent qu'un RAG multimodal efficace nécessite non seulement de meilleurs encodeurs, mais aussi des stratégies structurelles pour fusionner les modalités et des mécanismes itératifs pour récupérer les preuves manquantes.