LAD-RAG: Layout-aware Dynamic RAG for Visually-Rich Document Understanding

LAD-RAG est un cadre RAG dynamique et conscient de la mise en page qui améliore la compréhension des documents visuellement riches en construisant un graphe symbolique pour capturer la structure et les dépendances inter-pages, permettant ainsi une récupération adaptative des preuves par un agent LLM et dépassant les méthodes conventionnelles en précision et en rappel.

L'essentiel

📚 Le Problème : Lire un livre page par page sans jamais tourner la page

Imaginez que vous essayez de répondre à une question complexe en utilisant un livre très épais, rempli de tableaux, de graphiques et de textes (un "document visuellement riche").

Les méthodes actuelles (appelées RAG classiques) fonctionnent un peu comme un lecteur très pressé et un peu distrait :

1. Il découpe le livre en petits morceaux isolés (des "chips" de texte).
2. Il ne se souvient que du contenu de chaque morceau, sans se rappeler comment ils sont reliés entre eux (par exemple, qu'un graphique à la page 5 explique un titre à la page 2).
3. Quand vous posez une question, il cherche les 5 ou 10 morceaux qui ressemblent le plus à vos mots-clés.

Le résultat ? Il rate souvent l'essentiel. Si la réponse nécessite de lire trois pages différentes qui sont liées par la structure du document, le lecteur classique ne les trouve pas toutes. Il donne une réponse incomplète ou fausse, comme si on lui demandait de résumer un film en ne regardant que 3 scènes au hasard.

---

💡 La Solution : LAD-RAG, le "Super-Inspecteur"

Les auteurs proposent LAD-RAG. C'est une nouvelle façon de traiter les documents qui imite la façon dont un humain intelligent lit et comprend un document complexe.

Imaginez que LAD-RAG est un détective très organisé qui ne se contente pas de lire, mais qui construit une carte mentale du document avant même de répondre à la question.

1. L'Ingestion : Construire la Carte au Trésor 🗺️

Au lieu de simplement scanner le texte, LAD-RAG crée deux choses simultanément :

• Une bibliothèque de résumés (L'index neuronal) : Comme des fiches de lecture classiques pour trouver des mots-clés.
• Un "Graphique Symbolique" (La carte) : C'est la grande innovation. Le détective dessine un schéma où chaque élément (titre, tableau, image, paragraphe) est un nœud (un point sur la carte). Il trace des lignes (des liens) entre eux pour montrer comment ils sont connectés.
  • Exemple : Une ligne relie le titre "Chiffres 2023" à la page 10, et une autre ligne relie ce titre au graphique de la page 12 qui le prouve.
  • Il garde aussi en mémoire la structure globale : "Ah, ce tableau fait partie du chapitre 'Finances', qui commence à la page 5 et finit à la page 15".

2. L'Inférence : L'Agent qui enquête 🕵️‍♂️

Quand vous posez une question, un agent intelligent (un assistant IA) prend le relais. Il ne cherche pas bêtement des mots-clés. Il agit comme un humain qui réfléchit :

• Il planifie : "Pour répondre à cette question, dois-je chercher un mot précis ? Ou dois-je regarder toute la structure d'un chapitre ?"
• Il explore dynamiquement :
  • S'il trouve un indice, il utilise sa carte pour voir ce qui est connecté. "Tiens, ce paragraphe mentionne un tableau. Allons voir le tableau !"
  • Il peut sauter d'une page à l'autre en suivant les liens de la carte, même si les mots ne sont pas identiques.
  • Il s'arrête quand il a tous les éléments nécessaires, ni plus, ni moins.

---

🌟 Pourquoi c'est génial ? (Les Analogies)

Voici trois métaphores pour comprendre la différence :

1. Le Puzzle vs. La Boîte de Legos :

   • L'ancienne méthode : C'est comme si on vous donnait une boîte de Legos mélangés. On vous demande de construire une maison, mais vous ne voyez pas quelles pièces vont ensemble. Vous prenez celles qui ont la même couleur (le texte), mais vous ratez la structure.
   • LAD-RAG : C'est comme si on vous donnait le plan de montage du Legos en plus des pièces. Vous savez exactement quelles pièces (pages, graphiques) s'emboîtent pour former la maison (la réponse complète).

2. Le Chasseur vs. Le Guide de Tourisme :

   • L'ancienne méthode : C'est un chasseur qui tire au hasard dans la forêt (le document) en espérant toucher un animal (la réponse). Il tire beaucoup de coups pour en avoir un bon.
   • LAD-RAG : C'est un guide de tourisme qui connaît la forêt par cœur. Il sait exactement où se trouve le trésor, il suit les sentiers (la structure) et vous y emmène directement sans vous faire perdre de temps.

3. La Mémoire Humaine :

   • Quand vous lisez un rapport financier, vous ne lisez pas mot à mot. Vous vous souvenez : "Le chiffre clé est dans le tableau de la page 4, qui est lié à la conclusion de la page 10".
   • LAD-RAG fait exactement cela : il recrée cette mémoire structurée du document.

---

🏆 Les Résultats : Plus rapide et plus précis

Les chercheurs ont testé cette méthode sur des documents très difficiles (rapports scientifiques, documents juridiques, présentations complexes).

• Précision : LAD-RAG trouve plus de 90% des bonnes pages nécessaires pour répondre, sans avoir besoin de régler des paramètres compliqués.
• Comparaison : Il est jusqu'à 20% meilleur que les meilleurs systèmes actuels pour retrouver l'information exacte.
• Vitesse : Contrairement à d'autres méthodes qui doivent relire tout le document à chaque fois, LAD-RAG utilise sa carte pré-construite. C'est comme si le détective avait déjà fait le travail de terrain avant d'arriver sur les lieux. La réponse est donc rapide.

En résumé

LAD-RAG ne se contente pas de "lire" des documents. Il comprend leur architecture, dessine une carte de leurs relations, et utilise cette carte pour trouver la réponse exacte, même si elle est cachée à travers plusieurs pages et différents types de contenu (textes, images, tableaux). C'est un pas de géant vers des IA qui raisonnent vraiment comme des humains face à des documents complexes.

Résumé technique

1. Problématique

La compréhension de documents riches visuellement (VRD - Visually-Rich Documents), tels que les rapports, les présentations ou les articles scientifiques, nécessite non seulement l'analyse du contenu textuel, mais aussi la compréhension de la structure du document, de la mise en page (layout) et des dépendances inter-pages.

Les méthodes de RAG (Retrieval-Augmented Generation) conventionnelles présentent trois limitations majeures dans ce contexte :

1. Perte du contexte structurel : Elles traitent le document comme une séquence linéaire de fragments isolés, ignorant les hiérarchies de mise en page et la continuité entre les pages. Cela conduit à une récupération incomplète des preuves (ex: récupérer un titre de section sans les pages suivantes listant les exemples).
2. Sur-reliance sur les embeddings : Les recherches basées uniquement sur la similarité sémantique échouent souvent face aux requêtes dépendant de repères symboliques ou structurels (ex: "Combien de graphiques dans cette section ?" ou "Quelles sont les sources du tableau 3 ?").
3. Récupération statique (Top-k) : Le nombre de pages récupérées est fixe et ne s'adapte pas à la complexité de la question. Cela entraîne soit un manque de preuves, soit un bruit excessif (trop de pages non pertinentes).

2. Méthodologie : LAD-RAG

Pour surmonter ces limites, les auteurs proposent LAD-RAG (Layout-Aware Dynamic RAG), un cadre qui intègre une représentation symbolique du document et un agent de récupération dynamique. L'approche se divise en deux phases :

A. Phase d'Ingestion (Construction de l'index)

Au lieu de simplement vectoriser des chunks de texte, LAD-RAG construit une représentation hybride :

• Extraction par LVLM : Un grand modèle de langage-vision (LVLM, ici GPT-4o) parcourt le document page par page pour extraire tous les éléments visibles (paragraphes, titres, figures, tableaux).
• Mémoire courante : Le modèle maintient une mémoire contextuelle pour suivre la structure des sections, les entités mentionnées et les références non résolues à travers les pages.
• Graphe Document Symbolique (G) :
  • Nœuds : Représentent les éléments locaux (ex: un tableau spécifique, un paragraphe) avec leurs attributs (position, type, contenu, résumé autonome).
  • Arêtes : Capturent les relations structurelles et sémantiques (ex: "ce paragraphe explique ce graphique", "cette section continue sur la page suivante", liens hiérarchiques).
• Indexation Dual : Le système stocke à la fois le graphe symbolique (pour la recherche structurelle) et un index neuronal (embeddings vectoriels des résumés des nœuds pour la recherche sémantique).

B. Phase d'Inférence (Récupération Dynamique)

Un agent LLM orchestre la récupération des preuves en interagissant itérativement avec les deux index :

• Planification : L'agent analyse la question pour déterminer la stratégie de récupération (sémantique, basée sur le graphe, ou hybride).
• Outils d'interaction :
  1. NeuroSemanticSearch : Recherche par similarité vectorielle.
  2. SymbolicGraphQuery : Requêtes structurées sur le graphe (filtrage par type d'élément, section, page).
  3. Contextualize : Expansion d'un nœud vers ses voisins structurels (détection de communautés via l'algorithme Louvain) pour récupérer des groupes cohérents de preuves (ex: toute une section ou un ensemble de graphiques liés).
• Boucle itérative : L'agent continue d'interroger les index jusqu'à ce qu'il estime avoir collecté un ensemble de preuves complet, ou jusqu'à atteindre une limite de contexte/tours.

3. Contributions Clés

• Représentation Graphique Symbolique : Introduction d'un graphe de document qui encode explicitement la structure de mise en page et les dépendances inter-pages, complétant les embeddings neuronaux.
• Agent de Récupération Adaptatif : Remplacement des méthodes statiques top-k par un agent capable de raisonner dynamiquement sur la complexité de la question et d'ajuster le volume et le type de preuves récupérées.
• Récupération Contextuelle : Capacité à regrouper des éléments dispersés mais structurellement liés (ex: un titre et ses sous-sections sur plusieurs pages) pour fournir un contexte complet au modèle de génération.

4. Résultats Expérimentaux

LAD-RAG a été évalué sur quatre benchmarks difficiles de documents riches visuellement : MMLongBench-Doc, LongDocURL, DUDE et MP-DocVQA.

• Performance de Récupération :
  • LAD-RAG atteint une rappel parfait (Perfect Recall) moyen de plus de 90 % sans aucun réglage de top-k.
  • Il surpasse les récupérateurs de base (BM25, E5, ColPali, RAPTOR) de jusqu'à 20 % en rappel à des niveaux de bruit comparables.
  • Contrairement aux méthodes de base qui nécessitent de récupérer un grand nombre de pages (ex: k=22 à k=27) pour atteindre un rappel similaire, LAD-RAG est beaucoup plus sélectif et précis.
• Performance de Réponse (QA) :
  • L'utilisation de LAD-RAG améliore systématiquement la précision des réponses (QA) sur tous les modèles de base (de Phi-3.5-Vision à GPT-4o).
  • Les gains sont particulièrement marqués pour les questions nécessitant des preuves sur plusieurs pages (jusqu'à +18 points de pourcentage par rapport aux méthodes top-k fixes).
  • Les performances approchent celles obtenues avec des preuves "oracle" (vérité terrain), réduisant l'écart à moins de 5-8 points.
• Efficacité (Latence) :
  • L'approche introduit une latence minimale. La construction du graphe est faite hors ligne. Durant l'inférence, l'agent effectue généralement 2 à 5 appels LLM, générant peu de tokens (97 % < 100 tokens), ce qui est nettement moins coûteux que les méthodes nécessitant un balayage complet du document à chaque requête.

5. Signification et Impact

Ce travail démontre que pour les documents complexes, la simple similarité sémantique est insuffisante. La structure et la mise en page sont des signaux critiques pour la récupération d'informations.

• Paradigme de RAG : LAD-RAG propose un changement de paradigme passant d'une récupération statique et aveugle à une récupération dynamique, guidée par la structure et adaptative à la requête.
• Applications : Cette méthode est particulièrement pertinente pour les domaines exigeant une haute précision et une compréhension contextuelle, tels que le juridique, la finance, la recherche scientifique et l'analyse de rapports techniques.
• Futur : L'étude souligne que même avec des preuves parfaites, les modèles de langage actuels ont des limites de raisonnement, suggérant que l'amélioration de la récupération (comme le fait LAD-RAG) est une étape cruciale et orthogonale à l'amélioration des capacités de génération des modèles.

En résumé, LAD-RAG comble le fossé entre la compréhension humaine des documents (qui intègre naturellement la structure et les liens visuels) et les systèmes d'IA actuels, offrant une solution robuste pour l'extraction d'informations dans des documents visuellement riches et longs.