💬 NLP

Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval

Dit artikel presenteert een systeem dat automatisch uitvoerbare schema-contracten ontdekt uit ruwe multi-source data om de constructie van kennisgrafen te begeleiden en een multi-tool retrieval agent te conditioneren, waarbij de prestaties van vraagbeantwoording aanzienlijk wordt verbeterd ten opzichte van baseline-methoden door gestructureerde, traceerbare en schema-bewuste bewijsintegratie mogelijk te maken.

Oorspronkelijke auteurs: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme mysterie probeert op te lossen, maar je aanwijzingen verspreid liggen over een chaotische kamer. Sommige aanwijzingen staan in nette grootboeken (tabellen), andere zijn gekrabbeld op plaknotities (PDF's), sommige zijn rommelige digitale logs (JSON) en andere zijn gewoon willekeurige aantekeningen op een whiteboard.

Op dit moment zijn de meeste AI-systemen die dit mysterie proberen op te lossen als een detective die gewoon een zaklamp pakt en alles willekeurig begint te lezen. Ze vinden misschien een aanwijzing, maar ze missen vaak hoe de aanwijzingen met elkaar verbonden zijn omdat ze de structuur van de kamer niet begrijpen. Ze kunnen niet zien dat de naam in een grootboek overeenkomt met de naam op een plaknotitie, of dat de ene notitie een "kind" is van de andere.

Dit artikel introduceert een nieuw systeem dat werkt als een supergeorganiseerde architect die eerst een blauwdruk van de kamer maakt voordat de detective begint te zoeken.

Zo werkt het, onderverdeeld in eenvoudige stappen:

1. De "Automatische Blauwdruk" (Schema Discovery)

In plaats van een mens te vragen om wekenlang een kaart te tekenen van waar alles zich bevindt, kijkt dit systeem naar de ruwe, rommelige data en bepaalt het automatisch de regels.

Het Probleem: AI "hallucineert" vaak (verzint dingen). Het kan een kolom genaamd "Winst" verzinnen terwijl de data alleen "Omzet" bevat.
De Oplossing: Het systeem creëert een "Closed-World Catalog." Denk aan dit als een strikt regelboek: "Je mag alleen praten over zaken die daadwerkelijk in de data voorkomen." Als de AI probeert een nieuw veld te verzinnen, zegt het systeem: "Nee, dat staat niet in de catalogus," en dwingt het de AI om zich aan de realiteit te houden.
Het Resultaat: Het bouwt een Schema Contract. Dit is een gezamenlijke overeenkomst die zegt: "Dit is hoe een 'Product' eruitziet, dit is hoe een 'Transactie' eruitziet, en dit is hoe ze met elkaar verbonden zijn."

2. Het Bouwen van de "Knowledge Graph" (De Georganiseerde Bibliotheek)

Zodra de blauwdruk klaar is, gebruikt het systeem deze om de rommelige data te organiseren in een schone, verbonden bibliotheek die een Knowledge Graph wordt genoemd.

De Magie: Het dumpt de data niet zomaar; het gebruikt de blauwdruk om de relaties te begrijpen.
- Identity Keys: Het weet dat "ID: 123" in het ene bestand dezelfde persoon is als "ID: 123" in een ander bestand.
- Foreign Keys: Het realiseert zich dat "Bestelling #55" in de verkooptabel hoort bij "Klant #99" in de klantentabel.
- Provenance: Elk stukje informatie houdt een "bon" bij zich die laat zien uit welk origineel document het precies afkomstig is. Dit betekent dat als de AI een antwoord geeft, het kan aanwijzen op welke exacte pagina en regel het het bewijs heeft gevonden.

3. De "Slimme Detective" (Query-Time Retrieval)

Wanneer je een vraag stelt (bijv. "Welke producten maakten de meeste winst na de fusie in 2018?"), gokt het systeem niet. Het gebruikt de Blauwdruk om te beslissen hoe het het antwoord moet vinden.

De Routing: Het systeem vraagt zichzelf af: "Moet ik naar de nette cijfers in het spreadsheet kijken? Moet ik de lange tekst in de PDF lezen? Of moet ik een keten van verbindingen tussen verschillende bestanden volgen?"
Het Contract: Omdat de AI de blauwdruk heeft, weet het precies welk hulpmiddel het moet gebruiken. Het dwaalt niet doelloos rond; het neemt de meest directe route en springt alleen van het spreadsheet naar de PDF wanneer de blauwdruk aangeeft dat ze verbonden zijn.
Het Veiligheidsnet: Als de vraag gaat over iets wat de blauwdruk niet kent (zoals een gloednieuw product dat nog niet is toegevoegd), kan het systeem de blauwdruk tijdelijk "oprekken" om het te verwerken, of toegeven dat het het niet weet, in plaats van een nepantwoord te verzinnen.

Waarom is dit beter dan wat we nu hebben?

De auteurs hebben dit getest tegenover andere methoden (zoals standaard AI-zoekopdrachten of systemen die de verbindingen proberen te raden zonder een blauwdruk).

Het Resultaat: Het "Blauwdruk Systeem" was aanzienlijk beter in het beantwoorden van complexe vragen die vereisten dat informatie uit verschillende bronnen werd gecombineerd.
De Analogie:
- De Oude Manier (RAG): Als een bibliothecaris vragen om een boek te vinden door trefwoorden te schreeuwen. Ze vinden misschien een boek waarin het woord "winst" voorkomt, maar het kan het verkeerde boek zijn.
- Deze Manier: Als een bibliothecaris die al een perfect indexkaartensysteem heeft gebouwd. Die weet precies welke kaart naar de winstcijfers wijst, welke kaart naar de fusiedatum wijst, en hoe ze die aan elkaar kunnen koppelen om je het exacte antwoord te geven.

De Kernboodschap

Dit artikel beweert dat door automatisch een strikte, uitvoerbare kaart (schema) van rommelige data te maken voordat er vragen worden beantwoord, AI-systemen veel nauwkeuriger, betrouwbaarder en beter in staat kunnen zijn om uit te leggen waar ze hun antwoorden vandaan hebben. Het verandert een chaotische kamer vol aanwijzingen in een goed georganiseerde bibliotheek, waardoor de taak van de detective veel eenvoudiger wordt en de resultaten veel betrouwbaarder zijn.

Technische Samenvatting: Uitvoerbare Schema-contracten voor Multi-Source Retrieval

Probleemstelling

Real-world data is inherent heterogeen en strekt zich uit over gestructureerde tabellen, semi-gestructureerde JSON-logs, ongestructureerde documenten en interne wiki's. Deze bronnen bezitten vaak inconsistente identifiers en impliciete semantiek. Terwijl Retrieval-Augmented Generation (RAG) systemen uitblinken in single-document lookup, falen ze vaak bij cross-source joins, multi-hop retrieval en workflows die een auditeerbare herkomst (provenance) vereisen. De primaire bottleneck is niet de taalmodellering-capaciteit, maar het gebrek aan structuur: systemen kunnen niet betrouwbaar entiteiten uitlijnen, relaties doorlopen of antwoorden rechtvaardigen over uiteenlopende bronnen zonder handmatige schema-engineering. Bestaande oplossingen vereisen ofwel kostbare, statische handmatige curatie die niet schaalt met schema-evolutie, of vertrouwen op volledig open-ended benaderingen die ten koste gaan van correctheid en latentie.

Methodologie

De auteurs stellen een systeem voor dat automatisch een verenigd, uitvoerbaar schema induceert uit ruwe multi-source data en dit gebruikt als een gedeeld contract voor zowel offline kennisgraaf (KG) constructie als online query-time retrieval. De pipeline bestaat uit drie kernfasen:

1. Schema-inductie (Het Contract)

Het systeem induceert een verenigd schema $\Sigma = (F, T, R, I)$ uit heterogene bronnen $S$ zonder handmatige annotatie.

Closed-World Field Catalog: Om hallucinaties door LLM's te voorkomen, profileert het systeem eerst de bronnen om een catalogus $F$ op te bouwen van alle observeerbare velden met stabiele identifiers. De LLM wordt strikt beperkt tot het refereren aan enkel deze geattesteerde velden.
Two-Pass Semantic Discovery: De LLM voert een "deep discovery" pass uit op een representatieve steekproef en een "validation" pass op diverse steekproeven om entiteitstypen, attribuut-mappings en relaties te extraheren. Deze two-pass strategie herstelt zeldzame entiteitstypen die bij single-pass extractie gemist worden.
Statistische Structurele Intelligentie: In plaats van te vertrouwen op de LLM voor structurele patronen, gebruikt het systeem deterministische statistische analyse om identity keys (voor deduplicatie), foreign keys (voor cross-source linking) en bronhiërarchieën af te leiden op basis van waarde-overlap en cardinaliteit.
Cross-Source Unificatie: Door middel van matched sampling (het groeperen van records op basis van gedeelde sleutelwaarden in plaats van parallelle indexering) verenigt het systeem per-bron schema's tot een globale $\Sigma$ met provenance-hooks.

2. Schema-gestuurde Constructie

Het geïnduceerde schema $\Sigma$ fungeert als een control plane voor het bouwen van een provenance-bewuste Neo4j kennisgraaf $G$ .

Extractie: $\Sigma$ dicteert de extractiestrategie. Gestructureerde velden worden deterministisch geëxtraheerd; LLM-extractie wordt alleen getriggerd voor hybride bronnen of velden die als zodanig zijn gemarkeerd.
Deduplicatie: Identity keys gedefinieerd in $\Sigma$ maken $O(n)$ deterministische deduplicatie mogelijk. Voor typen zonder keys wordt embedding-gebaseerde clustering gebruikt als fallback.
Linking: Cross-source edges worden gematerialiseerd via hash-index joins op gedeklareerde foreign keys, wat multi-hop queries over bronnen mogelijk maakt.
Provenance: Elke geëxtraheerde entiteit wordt gelinkt aan zijn oorspronkelijke SourceRecord node via DERIVED_FROM edges, wat volledige traceerbaarheid garandeert.

3. Schema-gestuurde Retrieval en QA

Op query-tijd gebruikt het systeem een multi-tool agent die het schema (optioneel uitgebreid via een monotoon protocol) gebruikt voor routing.

Schema-Conditioned Routing: De agent inspecteert $\Sigma$ om een runtime context op te bouwen. Het routeert queries op basis van een voorkeursvolgorde: SCHEMALOOKUP voor getypeerde, discrete-waarde restricties; VECTORRAG voor ongestructureerde bewijslast; en EXTERNALSEARCH voor out-of-distribution (OOD) queries.
Reliability Gating: Een twee-fasen gating mechanisme voorkomt hallucinaties. Een pre-retrieval gate controleert of query-entiteiten binnen de bekende waarde-sets van het schema vallen; een post-retrieval gate verifieert of kandidaat-antwoorden gegrond zijn in de opgehaalde bewijslast.
Query-Time Extensie: Als een query nieuwe, onopgeloste entiteitstypen introduceert, kan het systeem een monotone schema-extensie uitvoeren (het toevoegen van nieuwe typen zonder bestaande definities te wijzigen) om conceptuele hiaten op te vullen, hetzij persistent, hetzij in-memory voor de specifieke query.

Belangrijkste Bijdragen

Het artikel formuleert heterogene QA rondom een gedeeld uitvoerbaar schema-contract. De specifieke bijdragen zijn:

Executable Schema Discovery: Het aantonen dat LLM-geïnduceerde schema's uitvoerbaar kunnen worden gemaakt over ruwe heterogene bronnen door ze te funderen in een closed-world field catalog en statistische methoden te gebruiken voor structurele inferentie.
Schema-Guided Construction: Het aantonen dat het uitvoeren van het geïnduceerde schema tijdens ingestie (het specificeren van extractiepaden, keys en links) de downstream QA-prestaties significant verbetert vergeleken met het verwijderen van structurele intelligentie.
Schema-Guided Retrieval: Het bewijzen dat het blootstellen van het geïnduceerde schema aan de QA-agent voor routingbeslissingen substantiële winsten oplevert ten opzichte van generieke tool-use agents (bijv. ReAct, PlanAct) en standaard RAG-baselines.
Monotonic Extension: Het introduceren van een mechanisme om schema's op query-tijd te evolueren terwijl de integriteit van eerdere definities behouden blijft.

Resultaten

Het systeem werd geëvalueerd op vier benchmarks: BlendQA (cross-source discovery), HybridQA (table-text bridging), TAT-QA (financiële redenering) en ComplexTR (temporele multi-hop redenering).

Prestaties: In gecontroleerde zero-shot vergelijkingen met dezelfde LLM (GPT-4.1) en evaluatie-harness, behaalde het Schema-Guided systeem de hoogste Exact Match (EM) en F1-scores over alle vier de benchmarks.
- Op BlendQA verbeterde het de EM met +2.6 ten opzichte van de op één na beste gecontroleerde baseline (AtomR) en met +10.2 ten opzichte van RAG.
- Op HybridQA behaalde het +19.8 EM boven AtomR en +51.3 EM boven RAG.
- Op TAT-QA en ComplexTR presteerde het eveneens beter dan alle baselines, met winsten van respectievelijk +5.7 en +10.5 EM boven de op één na beste methoden.
Ablatie-studies: Het verwijderen van specifieke componenten bevestigde hun onafhankelijke bijdragen:
- Het verwijderen van schema-guidance (terugkeren naar ReAct-stijl routing) verlaagde de EM met 9.3 op BlendQA.
- Het verwijderen van KG-ingestie schaadde de multi-hop prestaties aanzienlijk (bijv. -8.0 EM op BlendQA).
- Het verwijderen van structurele intelligentie degradeerde de EM met 2.1–6.8 over de datasets.
- Het verwijderen van query-time extensie verminderde de prestaties op datasets die schema-evolutie vereisten (HybridQA, TAT-QA), hoewel het systeem robuust bleef zonder deze functie.
Cross-Model Evaluatie: De winsten waren consistent over drie verschillende LLM-families (GPT-4.1, Claude Haiku, Llama 3.3 70B), wat aangeeft dat de aanpak niet specifiek is voor één modelarchitectuur.

Betekenis en Claims

De auteurs beweren dat hun resultaten drie principes vaststellen voor heterogene QA:

Closed-world schema-inductie is noodzakelijk om LLM-geïnduceerde structuur uitvoerbaar te maken en gehallucineerde veldverwijzingen te voorkomen.
Statistische structurele analyse moet voorafgaan aan semantische extractie om betrouwbaar keys en relaties te infereren waar LLM's moeite mee hebben.
Retrieval agents profiteren wanneer het schema dat voor constructie wordt gebruikt ook de routing conditioneert; deze aanpak presteert substantieel beter dan generieke agentic tool-use.

Het artikel positioneert dit werk als een stap richting zelf-configurerende, zelf-extenderende QA-systemen die kunnen opereren over niet-stationaire databronnen zonder handmatig schema-ontwerp, terwijl ze lage latentie, controleerbaarheid en auditeerbare provenance behouden. De auteurs merken beperkingen op met betrekking tot de reikwijdte van de cross-model evaluatie (beperkt tot BlendQA voor sommige modellen) en de latentiekosten van query-time schema-extensie, wat problematisch kan zijn voor strikt real-time toepassingen.