Résumé Technique : DocTrace – Mémoire d'Hypergraphe sur Demande Sensible à la Structure pour le QA sur Documents Longs

1. Énoncé du Problème

Le Questionnement sur Documents Longs (QA - Question Answering) nécessite que les modèles de langage de grande taille (LLM) raisonnent sur des preuves éparpillées à travers des textes étendus, où les réponses dépendent souvent de l'ordre des événements, du contexte au niveau des sections et des connexions entre les parties. Bien que la Génération Augmentée par Récupération (RAG) atténue les limites de contexte en récupérant des preuves pertinentes, les approches existantes font face à trois limitations critiques :

1. Organisation Agnostique à la Requête Coûteuse : Les méthodes actuelles de RAG structuré (ex: résumés hiérarchiques ou graphes de connaissances) pré-indexent souvent l'intégralité du document avant même qu'une requête ne soit connue. Cela engendre une latence initiale substantielle et un surcoût en tokens, générant un savoir dont l'utilité peut être limitée pour des requêtes spécifiques.
2. Utilisation Insuffisante de la Structure du Document : De nombreuses méthodes aplatissent les documents en segments (chunks), perdant ainsi les indices structurels tels que les limites de sections, l'ordre des paragraphes et les relations de voisinage local. Cela affaiblit la préservation du flux narratif et de la progression des événements, essentiels pour un raisonnement précis.
3. Absence de Réutilisation du Raisonnement Historique : Les systèmes existants traitent généralement chaque question comme une instance isolée. Une fois une question répondue, les trajectoires de raisonnement qui en résultent sont jetées, forçant le système à répéter des schémas d'exploration similaires pour de futures questions structurellement semblables.

2. Méthodologie : Le Framework DocTrace

DocTrace est un framework RAG multi-agents conçu pour répondre à ces limitations grâce à une organisation de la connaissance déclenchée par la requête, une récupération sensible à la structure du document et un raisonnement guidé par l'expérience. Il emploie une architecture Orchestrateur-Investigateur opérant sur trois composants fondamentaux :

A. Architecture Orchestrateur-Investigateur

• Orchestrateur ($\omega$) : Gère le processus de raisonnement global. Il décompose les questions complexes en sous-questions interdépendantes, représentées sous forme de Graphes Orientés Acycliques (DAG). Il coordonne la planification, distribue les tâches aux investigateurs et synthétise les réponses finales.
• Agents Investigateurs ($\alpha_i$) : Exécutent des sous-questions spécifiques. Ils récupèrent des preuves, interagissent avec la mémoire de travail et génèrent des réponses intermédiaires.

B. Composants Fondamentaux

1. Index d'Arbre Structurel du Document ($T$)

Au lieu d'une liste plate de segments, DocTrace représente le document comme un arbre hiérarchique ($T$) avec des nœuds à quatre niveaux : document, chapitre, section et paragraphe.

• Construction : Utilise un LLM pour inférer les modèles de titres et analyser le document, complété par la Reconnaissance d'Entités Nommées (NER).
• Récupération (TreePPR) : Lorsqu'une sous-question survient, le système utilise le PageRank Personnalisé (TreePPR) sur l'arbre. Cela propage les scores de pertinence à partir des nœuds sources tout en respectant les limites structurelles du document et les relations de fratrie, garantissant que les preuves récupérées maintiennent le flux narratif et le contexte structurel.

2. Mémoire de Travail Structurée en Hypergraphe ($M$)

Il s'agit d'une mémoire déclenchée par la requête, partagée entre les agents et construite sur demande pendant le raisonnement. Elle se compose de deux vues complémentaires :

• Vue d'Abstraction ($M_A$) : Organise des résumés hiérarchiques multi-niveaux sur les nœuds d'arbres sélectionnés. Elle permet de répondre à des sous-questions où les preuves sont trop larges pour une lecture directe, permettant aux agents de passer des résumés au texte original par un processus de zoom (drill down).
• Vue de Relation ($M_R$) : Stocke des relations $n$-aires et des entités extraites uniquement des nœuds d'arbres pertinents sélectionnés pour la sous-question actuelle. Cela supporte le raisonnement relationnel multi-sauts sans construire un graphe de connaissances global.
• Mécanisme : $M$ est construit de manière incrémentale selon les besoins de preuve spécifiques de chaque sous-question, évitant ainsi le coût d'un pré-indexage de l'intégralité du document.

3. Mémoire d'Expérience Structurée en Graphe ($D_M$)

Pour permettre l'apprentissage à partir des interactions passées, les plans de raisonnement réussis (DAG) sont stockés dans une mémoire de graphe hétérogène.

• Schéma : Les nœuds incluent des squelettes de questions, des DAG de raisonnement, des signatures (entités thématiques, contraintes) et des motifs de raisonnement (motifs).
• Récupération et Réutilisation : Lorsqu'une nouvelle question arrive, l'orchestrateur récupère des DAG de raisonnement structurellement similaires dans $D_M$. Ces plans récupérés servent d'exemples de "few-shot" pour initialiser de nouveaux chemins de raisonnement, permettant au système de réutiliser des schémas de décomposition réussis plutôt que de repartir de zéro.

3. Contributions Clés

1. Organisation de la Connaissance Déclenchée par la Requête : DocTrace élimine la nécessité d'un pré-indexage coûteux et agnostique à la requête en construisant une Mémoire de Travail structurée en Hypergraphe ($M$) de manière incrémentale, pilotée par les besoins de preuve spécifiques de chaque sous-question.
2. Récupération Sensible à la Structure du Document : En utilisant un Index d'Arbre Structurel du Document ($T$) et le TreePPR, le framework tire parti des indices structurels (hiérarchie, ordre) parallèlement à la similitude sémantique pour récupérer des preuves qui préservent le flux narratif du document.
3. Réutilisation de l'Expérience de Raisonnement : Le système modélise et stocke explicitement les trajectoires de raisonnement réussies sous forme de DAG dans une Mémoire d'Expérience structurée en Graphe ($D_M$), permettant la réutilisation de schémas de raisonnement pour des questions futures structurellement similaires.
4. Efficacité et Efficacité Opérationnelle : Le framework atteint des performances de pointe tout en réduisant considérablement les coûts computationnels par rapport aux bases hybrides structurées.

4. Résultats Expérimentaux

Les expériences ont été menées sur quatre jeux de données de QA sur documents longs : NarrativeQA, EN.QA, EN.MC, et DetectiveQA.

• Performance : DocTrace a obtenu les meilleures performances sur trois des quatre jeux de données.
  • Sur NarrativeQA, il a surpassé la base la plus forte (ComoRAG) de 8,85 % en F1 et de 4,40 % en Exact Match (EM).
  • Sur EN.MC, il s'est classé deuxième, surpassant ComoRAG de 1,82 % en Précision (ACC) dans la variante sans apprentissage en ligne.
• Efficacité : DocTrace a réduit le coût computationnel global de 53,32 % par rapport à ComoRAG. Ce gain d'efficacité est attribué à l'évitement du pré-indexage complet du document et à la construction de la mémoire sur demande.
• Études d'Ablation : La suppression de la capacité de planification de l'orchestrateur ou de la mémoire de travail ($M$) a entraîné des chutes de performance significatives (ex: une baisse de 5,11 % en F1 sur EN.QA sans planification), confirmant la nécessité de la décomposition structurée et de la mémoire sur demande.
• Robustesse du Backbone : DocTrace a systématiquement surpassé le prompting direct par In-Context Learning (IO) à travers divers backbones de LLM (GPT-4o-mini, Qwen3, DeepSeek), avec des gains moyens de 23,59 % en F1 et 35,37 % en ACC.

5. Signification et Revendications

L'article affirme que DocTrace représente un changement de paradigme, passant de structures de connaissances statiques et pré-calculées à des systèmes de raisonnement dynamiques et sur demande. Sa signification réside dans la démonstration que :

• Un QA de haute qualité sur des documents longs ne nécessite pas un pré-indexage coûteux et agnostique à la requête de l'intégralité du document.
• La préservation de la hiérarchie originale du document est critique pour les tâches de raisonnement impliquant l'ordre des événements et le flux narratif.
• La réutilisation des trajectoires de raisonnement historiques peut guider efficacement l'exploration de questions complexes à plusieurs étapes, améliorant à la fois la précision et l'efficacité.

Les auteurs notent que le système est actuellement concentré sur les documents textuels et repose sur des appels LLM pour la planification et la génération. Des travaux futurs sont suggérés pour explorer le raisonnement multimodal et des designs d'agents plus légers afin d'améliorer davantage l'efficacité.