DocSage: An Information Structuring Agent for Multi-Doc Multi-Entity Question Answering

Each language version is independently generated for its own context, not a direct translation.

Imaginez que vous devez répondre à une question très complexe, comme : « Quelle est la relation entre les médicaments A et B, et comment ont-ils affecté les patients dans les 500 rapports médicaux différents que nous avons ? »

C'est là que DocSage entre en jeu. C'est un nouvel outil intelligent conçu pour résoudre ce genre de casse-tête, là où les autres intelligences artificielles actuelles échouent souvent.

Voici comment cela fonctionne, expliqué simplement avec des images du quotidien :

1. Le Problème : Le Chaos des Documents

Imaginez que vous avez une bibliothèque remplie de milliers de livres, de journaux et de notes éparpillés sur le sol. On vous demande de trouver un lien précis entre deux personnages qui apparaissent dans des livres différents.

Les IA classiques (LLMs) sont comme des lecteurs très rapides, mais qui ont une mémoire limitée. Si vous leur donnez trop de livres d'un coup, ils se perdent, oublient les détails importants ou mélangent les histoires. C'est ce qu'on appelle la « dilution de l'attention ».
Les systèmes de recherche actuels (RAG) sont comme des bibliothécaires qui cherchent des mots-clés. Ils vous donnent les pages qui contiennent les mots « médicament » ou « patient », mais ils ne comprennent pas toujours comment ces pages s'assemblent pour raconter une histoire logique. Ils vous donnent des pièces de puzzle, mais pas le puzzle assemblé.

2. La Solution : DocSage, le « Chef de Cuisine » des Données

DocSage ne se contente pas de lire ; il organise. Il transforme ce chaos de documents en une cuisine parfaitement rangée. Il fonctionne en trois étapes clés :

Étape 1 : Le Détective (Découverte de Schéma)

Au lieu de lire tout le bazar au hasard, DocSage agit comme un détective qui pose des questions intelligentes.

L'analogie : Imaginez que vous cherchez une recette de gâteau. Au lieu de fouiller dans tous les placards, DocSage demande : « De quoi ai-je besoin ? De farine ? D'œufs ? ». Il crée instantanément une liste de courses personnalisée (un « schéma ») basée uniquement sur votre question. Il ne garde que les informations utiles et jette le reste.

Étape 2 : Le Chef d'Équipe Rigoureux (Extraction Structurée)

Une fois la liste de courses établie, DocSage commence à préparer les ingrédients. Mais attention, il ne se contente pas de copier-coller le texte.

L'analogie : C'est comme un chef qui transforme des légumes bruts en un plat prêt à être servi. Il nettoie les données, les met dans des boîtes étiquetées (des tableaux) et vérifie deux fois la cohérence.
Le super-pouvoir : Si une information semble bizarre (par exemple, un patient âgé de 180 ans), DocSage a un mécanisme de « correction d'erreur ». Il dit : « Attends, ça ne colle pas », et il retourne chercher la vérité dans les documents originaux avant de valider l'information.

Étape 3 : Le Logicien (Raisonnement Relationnel)

Maintenant que toutes les données sont rangées dans des tableaux bien ordonnés, DocSage peut répondre à la question.

L'analogie : Au lieu de chercher dans une montagne de papiers, DocSage utilise un tableau Excel géant et intelligent. Il peut faire des « jointures » (relier des lignes) entre différents documents instantanément.
Il transforme votre question en une requête de base de données (comme du SQL, le langage des bases de données) pour trouver la réponse exacte. C'est comme passer d'une recherche manuelle dans une bibliothèque à une recherche par ordinateur ultra-rapide.

3. Pourquoi c'est révolutionnaire ?

Les tests montrent que DocSage est bien meilleur que les meilleurs systèmes actuels (plus de 27 % de précision en plus).

Précision chirurgicale : Il ne rate jamais les détails importants car il sait exactement où chercher.
Gestion du chaos : Même si vous lui donnez 100 000 pages de documents, il ne se perd pas, car il a tout rangé dans des cases logiques.
Confiance : Chaque réponse est accompagnée de sa « preuve ». Vous pouvez remonter le fil pour voir exactement dans quel document l'information a été trouvée.

En résumé

Si les autres IA sont comme des étudiants brillants qui lisent trop de livres et finissent par confondre les histoires, DocSage est comme un architecte de données. Il prend le chaos, dessine un plan précis, construit une maison solide avec les briques d'information, et vous donne la réponse exacte, étayée par des preuves solides.

C'est une avancée majeure pour les domaines où la précision est vitale, comme la médecine, la finance ou le droit, où une erreur de détail peut avoir de lourdes conséquences.

Each language version is independently generated for its own context, not a direct translation.

1. Problématique : Les limites du QA Multi-Document Multi-Entité (MDMEQA)

Le Question Answering Multi-Document Multi-Entité (MDMEQA) est une tâche complexe où la réponse à une question nécessite de relier des logiques implicites entre plusieurs entités dispersées dans de nombreux documents non structurés. Les applications critiques incluent la recherche clinique (synthèse de rapports d'essais), l'analyse financière (comparaison d'indicateurs) et la pratique juridique (croisement de clauses).

Les approches actuelles, basées sur les Grands Modèles de Langage (LLM) et les frameworks RAG (Retrieval-Augmented Generation), souffrent de limitations majeures :

RAG Standard : La récupération basée sur la similarité vectorielle est trop grossière. Elle privilégie le chevauchement sémantique au détriment de la pertinence des entités, omettant souvent des faits cruciaux nécessaires au raisonnement inter-documents.
RAG Basé sur les Graphes : Bien qu'ils modélisent les relations, ils peinent à intégrer efficacement des réseaux de relations complexes et fragmentés à travers de nombreux documents, et leur construction devient coûteuse en calcul à grande échelle.
Manque de Schéma (Schema Awareness) : Aucune de ces méthodes ne dispose d'une conscience explicite du schéma de données. Sans une représentation structurée adaptée à la requête, elles échouent à organiser les entités dispersées, conduisant à des chaînes de preuves disjointes et à des déductions d'entités inexactes.
Dilution de l'Attention : Les LLMs à contexte long ont tendance à « oublier » les détails critiques dans de longs textes (phénomène de dilution contextuelle).

2. Méthodologie : Le Framework DocSage

Pour surmonter ces obstacles, les auteurs proposent DocSage, un framework agentique de bout en bout qui transforme des documents non structurés en une représentation relationnelle dynamique et spécifique à la requête. L'approche repose sur trois modules interdépendants :

A. Module de Découverte de Schéma Interactif (Interactive Schema Discovery)

Ce module vise à inférer un schéma relationnel minimal et joignable ( $S_q$ ) sans schéma prédéfini.

Algorithme ASK (Active Schema Discovery via Knowledge-seeking Queries) : Contrairement aux scans passifs, ce processus est interactif.
1. Hypothèse Initiale : Un LLM génère un schéma hypothétique basé sur un échantillon de documents.
2. Analyse d'Incohérence : Le système applique ce schéma à d'autres documents pour détecter des incertitudes (conflits d'alignement d'entités, anomalies de distribution de valeurs, relations manquantes).
3. Itération Active : Le système génère des questions de clarification pour résoudre ces ambiguïtés, récupère les preuves correspondantes et met à jour le schéma itérativement jusqu'à convergence.

B. Module d'Extraction Structurée Consciente de la Logique (Logic-Aware Structured Extraction)

Une fois le schéma défini, ce module extrait les tuples des documents avec une haute fidélité.

Extraction de Base : Utilisation d'un petit modèle de langage (SLM) pour générer des tuples candidats.
Mécanisme de Correction CLEAR (Cross-record Logic Enforcement for Accuracy Reinforcement) :
- Niveau A (Confiance) : Utilisation d'adaptateurs LoRA pour calibrer les scores de confiance des extractions.
- Niveau B (Cohérence Logique) : Vérification de contraintes logiques inter-enregistrements (dépendances fonctionnelles, contraintes temporelles, intégrité référentielle des clés étrangères).
- Correction : Les tuples à faible confiance ou violant la logique sont soumis à un workflow de correction (ré-extraction par des LLMs puissants ou analyse contextuelle profonde).

C. Module de Raisonnement Relationnel Guidé par le Schéma (Schema-Guided Relational Reasoning)

Ce module exécute la requête directement sur la base de données relationnelle structurée ( $DB_q$ ) construite précédemment.

Compilation SQL : Le LLM de raisonnement traduit la question naturelle en une requête SQL optimisée ( $Q_{SQL}$ ), exploitant les clés de jointure explicites du schéma pour des opérations de jointure efficaces.
Génération de Réponse : Exécution de la requête SQL, traçage de la provenance des résultats jusqu'aux documents originaux, et synthèse de la réponse finale avec une chaîne de preuves vérifiable.

3. Contributions Clés

Représentation Dynamique et Orientée Requête : DocSage ne se contente pas de récupérer du texte ; il induit activement un schéma relationnel minimal adapté à la question, éliminant le bruit et se concentrant sur les informations pertinentes.
Contrôle des Erreurs et Cohérence Logique : L'intégration du mécanisme CLEAR permet de quantifier l'incertitude et de corriger les erreurs d'extraction en temps réel, garantissant la cohérence logique des données structurées.
Raisonnement par Jointure SQL : En transformant le problème de raisonnement complexe en opérations de base de données déterministes (jointures SQL), DocSage évite la dilution de l'attention des LLMs et permet un suivi précis des relations multi-sauts (multi-hop).
Architecture Agentique : Le système opère comme un agent autonome capable de planifier, d'interroger, de corriger et de raisonner, offrant une traçabilité complète des réponses.

4. Résultats Expérimentaux

L'évaluation a été menée sur deux benchmarks MDMEQA exigeants : MEBench (focalisé sur les entités multiples) et Loong (focalisé sur la longueur des documents).

Sur MEBench : DocSage atteint une précision globale de 89,2 %, surpassant le meilleur modèle de référence (GPT-4o + RAG) de 27,2 points de pourcentage. Il excelle particulièrement dans les tâches de comparaison, de statistiques et de relations, même lorsque la densité d'entités dépasse 100 (Set3), là où les autres modèles s'effondrent.
Sur Loong : DocSage obtient le meilleur score moyen global (68,29) et un taux de réponses parfaitement exactes (Perfect Rate) de 0,53, soit plus du double de celui du modèle suivant (GPT-4o à 0,26).
Robustesse à la Longueur : Même sur des contextes très longs (200k-250k tokens), DocSage maintient une performance supérieure, démontrant sa capacité à gérer la dispersion de l'information là où les modèles à contexte long échouent.

5. Signification et Impact

Ce travail valide l'hypothèse selon laquelle l'intégration d'une induction de structure dynamique au sein d'un flux de travail agentique est une solution viable et puissante pour le MDMEQA.

Changement de Paradigme : DocSage déplace le fardeau du raisonnement complexe du modèle de langage (qui doit tout retenir et connecter) vers une structure de données intermédiaire optimisée (tables relationnelles), permettant un raisonnement plus précis et vérifiable.
Applications Réelles : La capacité à construire des chaînes de preuves fiables et à gérer des corpus massifs et fragmentés rend cette approche particulièrement pertinente pour des domaines à haut risque comme la médecine, la finance et le droit.
Futur de la Recherche : L'article suggère que l'avenir du QA complexe réside moins dans l'augmentation pure de la taille du contexte des LLMs que dans l'hybridation intelligente entre la génération de langage et la structuration rigoureuse des données.