💬 NLP

Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval

Cet article présente un système qui découvre automatiquement des contrats de schéma exécutables à partir de données brutes multi-sources pour guider la construction de graphes de connaissances et conditionner un agent de recherche multi-outils, améliorant significativement les performances de réponse aux questions par rapport aux méthodes de référence en permettant une intégration de preuves structurée, traçable et sensible au schéma.

Auteurs originaux : Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Publié 2026-06-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un mystère colossal, mais que vos indices sont éparpillés dans une pièce chaotique. Certains indices sont écrits dans des registres soignés (des tableaux), d'autres sont griffonnés sur des post-it (des PDF), certains sont dans des journaux numériques désordonnés (JSON), et d'autres ne sont que des notes aléatoires sur un tableau blanc.

Actuellement, la plupart des systèmes d'IA qui tentent de résoudre ce mystère sont comme un détective qui se contente de prendre une lampe de poche et de lire tout de manière aléatoire. Ils peuvent trouver un indice, mais ils passent souvent à côté de la façon dont les indices se connectent car ils ne comprennent pas la structure de la pièce. Ils ne peuvent pas voir que le nom sur un registre correspond au nom sur un post-it, ou qu'une note est l'« enfant » d'une autre.

Ce document présente un nouveau système qui agit comme un architecte super organisé qui construit d'abord un plan de la pièce avant que le détective ne commence à chercher.

Voici comment cela fonctionne, décomposé en étapes simples :

1. Le « Plan Automatique » (Découverte de Schéma)

Au lieu de demander à un humain de passer des semaines à dessiner une carte de l'endroit où se trouve chaque chose, ce système examine les données brutes et désordonnées et déduit automatiquement les règles.

Le Problème : L'IA « hallucine » souvent (invente des choses). Elle pourrait inventer une colonne appelée « Profit » alors que les données ne contiennent que « Revenu ».
La Solution : Le système crée un « Catalogue en Monde Fermé ». Considérez cela comme un livre de règles strict : « Vous ne pouvez parler que de choses qui existent réellement dans les données. » Si l'IA tente d'inventer un nouveau champ, le système répond : « Non, cela n'est pas dans le catalogue », et la force à s'en tenir au réel.
Le Résultat : Il construit un Contrat de Schéma. C'est un accord partagé qui dit : « Voici à quoi ressemble un "Produit", voici à quoi ressemble une "Transaction", et voici comment ils se connectent. »

2. Construire le « Graphe de Connaissances » (La Bibliothèque Organisée)

Une fois le plan prêt, le système utilise celui-ci pour organiser les données désordonnées en une bibliothèque propre et connectée appelée Graphe de Connaissances.

La Magie : Il ne se contente pas de déverser les données ; il utilise le plan pour comprendre les relations.
- Clés d'Identité : Il sait que « ID : 123 » dans un fichier est la même personne que « ID : 123 » dans un autre.
- Clés Étrangères : Il réalise que la « Commande n°55 » dans le tableau des ventes appartient au « Client n°99 » dans le tableau des clients.
- Provenance : Chaque morceau d'information conserve un « reçu » attaché à lui, montrant exactement de quel document d'origine il provient. Cela signifie que si l'IA vous donne une réponse, elle peut pointer la page et la ligne exactes où elle a trouvé la preuve.

3. Le « Détective Intelligent » (Récupération lors de la Requête)

Lorsque vous posez une question (par exemple : « Quels produits ont généré le plus de profits après la fusion de 2018 ? »), le système ne devine pas. Il utilise le Plan pour décider comment trouver la réponse.

Le Routage : Le système se demande : « Dois-je regarder les chiffres nets dans le tableur ? Dois-je lire le texte long dans le PDF ? Ou dois-je suivre une chaîne de connexions entre différents fichiers ? »
Le Contrat : Parce que l'IA possède le plan, elle sait exactement quel outil utiliser. Elle ne déambule pas sans but ; elle prend le chemin le plus direct, passant du tableur au PDF uniquement lorsque le plan indique qu'ils sont connectés.
Le Filet de Sécurité : Si la question porte sur quelque chose que le plan ne connaît pas (comme un nouveau produit qui n'a pas encore été ajouté), le système peut temporairement « étirer » le plan pour le gérer, ou admettre qu'il ne sait pas, plutôt que d'inventer une fausse réponse.

Pourquoi est-ce meilleur que ce que nous avons actuellement ?

Les auteurs ont testé ce système par rapport à d'autres méthodes (comme la recherche par IA standard ou des systèmes qui tentent de deviner les connexions sans plan).

Le Résultat : Le « Système de Plan » était nettement meilleur pour répondre à des questions complexes nécessitant la combinaison d'informations provenant de différentes sources.
L'Analogie :
- L'Ancienne Méthode (RAG) : Comme demander à un bibliothécaire de trouver un livre en criant des mots-clés. Il pourrait trouver un livre contenant le mot « profit », mais il pourrait s'agir du mauvais livre.
- Cette Méthode : Comme avoir un bibliothécaire qui a déjà construit un système de fiches d'index parfait. Il sait exactement quelle fiche pointe vers les chiffres de profit, quelle fiche pointe vers la date de fusion, et comment les lier ensemble pour vous donner la réponse exacte.

L'Essentiel

Ce document affirme qu'en créant automatiquement une carte stricte et exécutable (schéma) des données désordonnées avant de tenter de répondre aux questions, les systèmes d'IA peuvent devenir beaucoup plus précis, fiables et capables d'expliquer où ils ont trouvé leurs réponses. Cela transforme une pièce chaotique d'indices en une bibliothèque bien organisée, rendant le travail du détective beaucoup plus facile et les résultats beaucoup plus dignes de confiance.

Résumé technique : Contrats de schémas exécutables pour la recherche multi-sources

Énoncé du problème

Les données réelles sont intrinsèquement hétérogènes, s'étendant des tables structurées aux journaux JSON semi-structurés, en passant par les documents non structurés et les wikis internes. Ces sources possèdent souvent des identifiants incohérents et des sémantiques implicites. Bien que les systèmes de génération augmentée par récupération (RAG) excellent dans la recherche sur un document unique, ils échouent fréquemment lors de jointures entre sources, de recherches multi-sauts (multi-hop) et de flux de travail nécessitant une provenance auditable. Le goulot d'étranglement principal n'est pas la capacité des modèles de langage, mais l'absence de structure : les systèmes ne peuvent pas aligner les entités, traverser les relations ou justifier des réponses à travers des sources disparates de manière fiable sans ingénierie de schéma manuelle. Les solutions existantes exigent soit une curation manuelle statique et coûteuse qui ne passe pas à l'échelle avec l'évolution des schémas, soit reposent sur des approches totalement ouvertes qui sacrifient la correction et la latence.

Méthodologie

Les auteurs proposent un système qui découvre automatiquement un schéma exécutable unifié à partir de données multi-sources brutes et l'utilise comme un contrat partagé pour la construction de graphes de connaissances (KG) hors ligne et la récupération lors de la requête en ligne. Le pipeline se compose de trois étapes principales :

1. Induction de schéma (Le contrat)

Le système induit un schéma unifié $\Sigma = (F, T, R, I)$ à partir de sources hétérogènes $S$ sans annotation manuelle.

Catalogue de champs en monde clos : Pour empêcher les hallucinations de l'LLM, le système profile d'abord les sources pour construire un catalogue $F$ de tous les champs observables avec des identifiants stables. L'LLM est strictement contraint de ne référencer que ces champs attestés.
Découverte sémantique en deux passes : L'LLM effectue une passe de « découverte profonde » sur un échantillon représentatif et une passe de « validation » sur des échantillons divers pour extraire les types d'entités, les mappages d'attributs et les relations. Cette stratégie en deux passes permet de récupérer des types d'entités rares manqués par une extraction en une seule passe.
Intelligence structurelle statistique : Plutôt que de compter sur l'LLM pour les motifs structurels, le système utilise l'analyse statistique déterministe pour inférer les clés d'identité (pour la déduplication), les clés étrangères (pour la liaison entre sources) et les hiérarchies de sources basées sur le chevauchement des valeurs et la cardinalité.
Unification inter-sources : En utilisant l'échantillonnage apparié (groupement des enregistrements par valeurs de clés partagées plutôt que par indexation parallèle), le système unifie les schémas par source en un $\Sigma$ global doté de crochets de provenance.

2. Construction guidée par le schéma

Le schéma induit $\Sigma$ agit comme un plan de contrôle pour la construction d'un graphe de connaissances Neo4j conscient de la provenance $G$ .

Extraction : $\Sigma$ dicte la stratégie d'extraction. Les champs structurés sont extraits de manière déterministe ; l'extraction par LLM n'est déclenchée que pour les sources hybrides ou les champs marqués comme tels.
Déduplication : Les clés d'identité définies dans $\Sigma$ permettent une déduplication déterministe en $O(n)$ . Pour les types sans clés, un clustering basé sur les embeddings est utilisé comme solution de repli.
Liaison : Les arêtes inter-sources sont matérialisées via des jointures par index de hachage sur les clés étrangères déclarées, permettant des requêtes multi-sauts à travers les sources.
Provenance : Chaque entité extraite est liée à son nœud SourceRecord d'origine via des arêtes DERIVED_FROM, assurant une traçabilité complète.

3. Récupération et QA guidées par le schéma

Au moment de la requête, le système emploie un agent multi-outils qui utilise le schéma (optionnellement étendu via un protocole monotone) pour router la récupération.

Routage conditionné par le schéma : L'agent inspecte $\Sigma$ pour construire un contexte d'exécution. Il route les requêtes selon un ordre de préférence : SCHEMALOOKUP pour les contraintes de types et de valeurs discrètes ; VECTORRAG pour les preuves non structurées ; et EXTERNALSEARCH pour les requêtes hors distribution (OOD).
Garde de fiabilité : Un mécanisme de garde en deux étapes empêche l'hallucination. Une garde de pré-récupération vérifie si les entités de la requête entrent dans les ensembles de valeurs connus du schéma ; une garde de post-récupération vérifie que les réponses candidates sont ancrées dans les preuves récupérées.
Extension à la requête : Si une requête introduit des types d'entités non résolus, le système peut effectuer une extension de schéma monotone (ajout de nouveaux types sans altérer les définitions existantes) pour gérer les lacunes conceptuelles, soit de manière persistante, soit en mémoire pour la requête spécifique.

Contributions clés

L'article formule la QA hétérogène autour d'un contrat de schéma exécutable partagé. Les contributions spécifiques sont :

Découverte de schéma exécutable : Démontrer que les schémas découverts par LLM peuvent être rendus exécutables sur des sources hétérogènes brutes en les ancrant dans un catalogue de champs en monde clos et en utilisant des méthodes statistiques pour l'inférence structurelle.
Construction guidée par le schéma : Montrer que l'exécution du schéma induit lors de l'ingestion (spécifiant les chemins d'extraction, les clés et les liens) améliore significativement les performances de QA en aval par rapport à une suppression de l'intelligence structurelle.
Récupération guidée par le schéma : Prouver que l'exposition du schéma induit à l'agent de QA pour les décisions de routage produit des gains substantiels par rapport aux agents d'utilisation d'outils génériques (ex: ReAct, PlanAct) et aux bases de référence RAG standards.
Extension monotone : Introduire un mécanisme pour faire évoluer les schémas au moment de la requête tout en maintenant l'intégrité des définitions antérieures.

Résultats

Le système a été évalué sur quatre benchmarks : BlendQA (découverte inter-sources), HybridQA (pont texte-tableau), TAT-QA (raisonnement financier) et ComplexTR (raisonnement temporel multi-saut).

Performance : Dans des comparaisons zero-shot contrôlées utilisant le même LLM (GPT-4.1) et un harnais d'évaluation, le système guidé par le schéma a obtenu les scores Exact Match (EM) et F1 les plus élevés sur les quatre benchmarks.
- Sur BlendQA, il a amélioré l'EM de +2,6 par rapport à la meilleure base de référence contrôlée (AtomR) et de +10,2 par rapport à RAG.
- Sur HybridQA, il a atteint +19,8 EM par rapport à AtomR et +51,3 EM par rapport à RAG.
- Sur TAT-QA et ComplexTR, il a de même surpassé toutes les bases de référence, avec des gains de +5,7 et +10,5 EM respectivement par rapport aux meilleures méthodes.
Études d'ablation : La suppression de composants spécifiques a confirmé leurs contributions indépendantes :
- La suppression du guidage par schéma (retour à un routage de type ReAct) a fait chuter l'EM de 9,3 sur BlendQA.
- La suppression de l'ingestion KG a considérablement nui à la performance multi-saut (ex: -8,0 EM sur BlendQA).
- La suppression de l'intelligence structurelle a dégradé l'EM de 2,1 à 6,8 à travers les jeux de données.
- La suppression de l'extension à la requête a réduit la performance sur les jeux de données nécessitant une évolution de schéma (HybridQA, TAT-QA), bien que le système soit resté robuste sans elle.
Évaluation multi-modèles : Les gains sont cohérents sur trois familles de LLM différentes (GPT-4.1, Claude Haiku, Llama 3.3 70B), indiquant que l'approche n'est pas spécifique à une architecture de modèle particulière.

Signification et affirmations

Les auteurs affirment que leurs résultats établissent trois principes pour la QA hétérogène :

L'induction de schéma en monde clos est nécessaire pour rendre la structure découverte par l'LLM exécutable et pour empêcher les références de champs hallucinées.
L'analyse structurelle statistique doit précéder l'extraction sémantique pour inférer de manière fiable les clés et les relations que les LLM peinent à détecter.
Les agents de récupération bénéficient du fait que le schéma utilisé pour la construction conditionne également le routage ; cette approche surpasse substantiellement l'utilisation d'outils par des agents génériques.

L'article positionne ce travail comme une étape vers des systèmes de QA auto-configurables et auto-extensibles capables d'opérer sur des sources de données non stationnaires sans conception de schéma manuelle, tout en maintenant une faible latence, une contrôlabilité et une provenance auditable. Les auteurs notent des limites concernant l'étendue de l'évaluation multi-modèles (limitée à BlendQA pour certains modèles) et le coût de latence de l'extension de schéma à la requête, qui peut être prohibitif pour les applications à temps réel strict.