💬 NLP

Executable Schema Contracts: From Automatic Ingestion to Multi-Source Retrieval

Dieses Paper präsentiert ein System, das automatisch ausführbare Schema-Kontrakte aus Rohdaten aus multiplen Quellen entdeckt, um die Konstruktion von Wissensgraphen zu leiten und einen Multi-Tool-Retrieval-Agenten zu konditionieren, wodurch die Leistungsfähigkeit bei der Beantwortung von Fragen gegenüber Baseline-Methoden durch die Ermöglichung einer strukturierten, nachvollziehbaren und Schema-bewussten Integration von Evidenzen signifikant verbessert wird.

Ursprüngliche Autoren: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Padmaja Jonnalagedda, Yuguang Yao, Xiang Gao, Hilaf Hasson, Kamalika Das

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges Rätsel zu lösen, aber Ihre Hinweise sind in einem chaotischen Raum verstreut. Einige Hinweise stehen in ordentlichen Hauptbüchern (Tabellen), einige sind auf Klebezetteln gekritzelt (PDFs), einige sind in unordentlichen digitalen Protokollen (JSON) und einige sind einfach nur willkürliche Notizen auf einem Whiteboard.

Im Moment sind die meisten KI-Systeme, die versuchen, dieses Rätsel zu lösen, wie ein Detektiv, der einfach eine Taschenlampe schnappt und anfängt, alles wahllos zu lesen. Er findet vielleicht einen Hinweis, aber er übersieht oft, wie die Hinweise zusammenhängen, weil er die Struktur des Raumes nicht versteht. Er kann nicht erkennen, dass der Name in einem Hauptbuch mit dem Namen auf einem Klebezettel übereinstimmt oder dass eine Notiz ein „Kind“ einer anderen ist.

Dieses Paper stellt ein neues System vor, das wie ein super-organisierter Architekt agiert, der zuerst einen Bauplan des Raumes erstellt, bevor der Detektiv mit der Suche beginnt.

So funktioniert es, unterteilt in einfache Schritte:

1. Der „Automatische Bauplan“ (Schema Discovery)

Anstatt einen Menschen Wochen damit verbringen zu lassen, eine Karte zu zeichnen, wo alles zu finden ist, analysiert dieses System die rohen, unordentlichen Daten und findet automatisch die Regeln heraus.

Das Problem: KI „halluziniert“ oft (erfindet Dinge). Sie könnte eine Spalte namens „Gewinn“ erfinden, obwohl die Daten nur „Umsatz“ enthalten.
Die Lösung: Das System erstellt einen „Closed-World Catalog“ (Katalog einer geschlossenen Welt). Denken Sie an dies als ein strenges Regelwerk: „Du darfst nur über Dinge sprechen, die tatsächlich in den Daten existieren.“ Wenn die KI versucht, ein neues Feld zu erfinden, sagt das System: „Nein, das steht nicht im Katalog“, und zwingt sie dazu, sich an das Reale zu halten.
Das Ergebnis: Es erstellt einen „Schema Contract“ (Schema-Vertrag). Dies ist eine gemeinsame Vereinbarung, die besagt: „Hier ist, wie ein ‚Produkt‘ aussieht, hier ist, wie eine ‚Transaktion‘ aussieht, und so sind sie miteinander verbunden.“

2. Aufbau des „Knowledge Graph“ (Die organisierte Bibliothek)

Sob sobald der Bauplan bereit ist, nutzt das System diesen, um die unordentlichen Daten in eine saubere, verbundene Bibliothek namens Knowledge Graph zu organisieren.

Die Magie: Es schüttet die Daten nicht einfach nur hinein; es nutzt den Bauplan, um die Beziehungen zu verstehen.
- Identitäts-Schlüssel (Identity Keys): Es weiß, dass „ID: 123“ in einer Datei dieselbe Person ist wie „ID: 123“ in einer anderen.
- Fremdschlüssel (Foreign Keys): Es erkennt, dass „Bestellung #55“ in der Verkaufstabelle zu „Kunde #99“ in der Kundentabelle gehört.
- Provenienz (Herkunft): Jedes einzelne Stück Information behält einen angehängten „Beleg“, der zeigt, aus welchem ursprünglichen Dokument es stammt. Das bedeutet: Wenn die KI Ihnen eine Antwort gibt, kann sie auf die exakte Seite und Zeile hinweisen, in der sie den Beweis gefunden hat.

3. Der „Schlaue Detektiv“ (Query-Time Retrieval)

Wenn Sie eine Frage stellen (z. B. „Welche Produkte erzielten nach der Fusion im Jahr 2018 den höchsten Gewinn?“), rät das System nicht einfach. Es nutzt den Bauplan, um zu entscheiden, wie es die Antwort findet.

Das Routing: Das System fragt sich selbst: „Muss ich nach den ordentlichen Zahlen in der Tabellenkalkulation suchen? Muss ich den langen Text im PDF lesen? Oder muss ich einer Kette von Verbindungen zwischen verschiedenen Dateien folgen?“
Der Vertrag: Da die KI den Bauplan besitzt, weiß sie genau, welches Werkzeug sie benutzen muss. Sie wandert nicht ziellos umher; sie nimmt den direeltesten Weg und springt nur dann von der Tabelle zum PDF, wenn der Bauplan dies als Verbindung ausweist.
Das Sicherheitsnetz: Wenn die Frage etwas behandelt, das der Bauplan nicht kennt (wie ein ganz neues Produkt, das noch nicht hinzugefügt wurde), kann das System den Bauplan vorübergehend „dehnen“, um es zu handhaben, oder zugeben, dass es es nicht weiß, anstatt eine gefälschte Antwort zu erfinden.

Warum ist das besser als das, was wir jetzt haben?

Die Autoren haben dies gegen andere Methoden getestet (wie die Standard-KI-Suche oder Systeme, die versuchen, die Verbindungen ohne Bauplan zu erraten).

Das Ergebnis: Das „Blueprint-System“ war signifikant besser darin, komplexe Fragen zu beantworten, die eine Kombination von Informationen aus verschiedenen Quellen erforderten.
Die Analogie:
- Der alte Weg (RAG): Wie ein Bibliothekar, den man bittet, ein Buch zu finden, indem man Schlagwörter schreit. Er findet vielleicht ein Buch, in dem das Wort „Gewinn“ vorkommt, aber es könnte das falsche Buch sein.
- Dieser Weg: Wie ein Bibliothekar, der bereits ein perfektes Karteikartensystem erstellt hat. Er weiß genau, welche Karte auf die Gewinnzahlen verweist, welche Karte auf das Fusionsdatum verweist und wie er sie miteinander verknüpfen muss, um Ihnen die exakte Antwort zu geben.

Das Fazente (The Bottom Line)

Dieses Paper behauptet, dass KI-Systeme viel genauer, zuverlässiger und besser darin werden, zu erklären, woher sie ihre Antworten haben, wenn sie automatisch eine strikte, ausführbare Karte (Schema) der unordentlichen Daten erstellen, bevor sie versuchen, Fragen zu beantworten. Es verwandelt einen chaotischen Raum voller Hinweise in eine gut organisierte Bibliothek und macht die Arbeit des Detektivs wesentlich einfacher und die Ergebnisse weitaus vertrauenswürdiger.

Technisches Resümee: Ausführbare Schema-Kontrakte für die Multi-Quellen-Abfrage

Problemstellung

Reale Daten sind von Natur aus heterogen und erstrecken sich über strukturierte Tabellen, semi-strukturierte JSON-Logs, unstrukturierte Dokumente und interne Wikis. Diese Quellen besitzen oft inkonsistente Identifikatoren und implizite Semantiken. Während Retrieval-Augmented Generation (RAG)-Systeme bei der Suche in einzelnen Dokumenten exzellieren, scheitern sie häufig an quellenübergreifenden Joins, Multi-Hop-Retrieval und Workflows, die eine prüfbare Provenienz erfordern. Der primäre Flaschenhals ist nicht die Sprachmodellierungsfähigkeit, sondern der Mangel an Struktur: Systeme können Entitäten nicht zuverlässig abgleichen, Beziehungen nicht durchlaufen oder Antworten über disparate Quellen hinweg rechtfertigen, ohne dass manuelles Schema-Engineering erforderlich ist. Bestehende Lösungen erfordern entweder eine kostspielige, statische manuelle Kuratierung, die mit der Schema-Evolution nicht skaliert, oder verlassen sich auf vollkommen offenstehende Ansätze, die Korrektheit und Latenz opfern.

Methodik

Die Autoren schlagen ein System vor, das automatisch ein vereinheitlichtes, ausführbares Schema aus heterogenen Rohdaten induziert und dieses als gemeinsamen Kontrakt sowohl für die Offline-Konstruktion von Wissensgraphen (KG) als sie für die Online-Abfrage zur Laufzeit nutzt. Die Pipeline besteht aus drei Kernphasen:

1. Schema-Induktion (Der Kontrakt)

Das System induziert ein vereinheitlichtes Schema $\Sigma = (F, T, R, I)$ aus heterogenen Quellen $S$ , ohne manuelle Annotation.

Closed-World Field Catalog: Um Halluzinationen des LLM zu verhindern, profiliert das System zuerst die Quellen, um einen Katalog $F$ aller beobachtbaren Felder mit stabilen Identifikatoren aufzubauen. Das LLM ist strikt darauf beschränkt, nur diese verifizierten Felder zu referenzieren.
Zweistufige semantische Entdeckung: Das LLM führt einen „Deep Discovery“-Durchgang auf einer repräsentativen Stichprobe und einen „Validierungs“-Durchgang auf diversen Stichproben durch, um Entitätstypen, Attributmappings und Beziehungen zu extrahieren. Diese zweistufige Strategie stellt sicher, dass seltene Entitätstypen, die bei einer einmaligen Extraktion übersehen wurden, erfasst werden.
Statistische strukturelle Intelligenz: Anstatt sich für strukturelle Muster auf das LLM zu verlassen, nutzt das System deterministische statistische Analysen, um Identitätsschlüssel (für die Deduplizierung), Fremdschlüssel (für die quellenübergreifende Verknüpfung) und Quellhierarchien basierend auf Wertüberschneidungen und Kardinalität abzuleiten.
Quellenübergreifende Vereinheitlichung: Durch Matched Sampling (Gruppierung von Datensätzen nach geteilten Schlüsselwerten statt paralleler Indizierung) vereinheitlicht das System pro-Quellen-Schemata zu einem globalen $\Sigma$ mit Provenienz-Hooks.

2. Schema-gestützte Konstruktion

Das induzierte Schema $\Sigma$ fungiert als Control Plane für den Aufbau eines Provenienz-bewussten Neo4j-Wissensgraphen $G$ .

Extraktion: $\Sigma$ diktiert die Extraktionsstrategie. Strukturierte Felder werden deterministisch extrahiert; die LLM-Extraktion wird nur für hybride Quellen oder Felder ausgelöst, die als solche markiert sind.
Deduplizierung: In $\Sigma$ definierte Identitätsschlüssel ermöglichen eine deterministische $O(n)$ Deduplizierung. Für Typen ohne Schlüssel wird Embedding-basiertes Clustering als Fallback verwendet.
Verknüpfung: Quellenübergreifende Kanten werden via Hash-Index-Joins über deklarierte Fremdschlüssel materialisiert, was Multi-Hop-Abfragen über Quellen hinweg ermöglicht.
Provenienz: Jede extrahierte Entität wird über DERIVED_FROM-Kanten mit ihrem ursprünglichen SourceRecord-Knoten verknüpft, was eine vollständige Rückverfolgbarkeit gewährleistet.

3. Schema-gestützte Abfrage und QA

Zur Laufzeit verwendet das System einen Multi-Tool-Agenten, der das Schema (optional erweitert via eines monotonen Protokolls) zur Steuerung des Retrievals nutzt.

Schema-konditioniertes Routing: Der Agent inspiziert $\Sigma$ , um einen Laufzeitkontext aufzubauen. Er routet Abfragen basierend auf einer Präferenzordnung: SCHEMALOOKUP für typisierte, diskrete Wertebeschränkungen; VECTORRAG für unstrukturierte Evidenz; und EXTERNALSEARCH für Out-of-Distribution (OOD) Abfragen.
Reliability Gating: Ein zweistufiger Gating-Mechanismus verhindert Halluzinationen. Ein Pre-Retrieval-Gate prüft, ob die Abfrage-Entitäten innerhalb der bekannten Wertmengen des Schemas liegen; ein Post-Retrieval-Gate verifiziert, ob die Kandidaten-Antworten in den abgerufenen Evidenzen fundiert sind.
Abfrage-seitige Erweiterung: Wenn eine Abfrage neue, ungelöste Entitätstypen einführt, kann das System eine monotone Schema-Erweiterung durchführen (Hinzufügen neuer Typen ohne Änderung bestehender Definitionen), um Konzeptlücken zu schließen, entweder persistent oder im Arbeitsspeicher für die spezifische Abfrage.

Zentrale Beiträge

Das Paper formuliert heterogene QA um einen gemeinsamen ausführbaren Schema-Kontrakt. Die spezifischen Beiträge sind:

Ausführbare Schema-Entdeckung: Der Nachweis, dass LLM-induzierte Schemata über Rohdaten hinweg ausführbar gemacht werden können, indem sie in einen Closed-World Field Catalog eingebettet und durch statistische Methoden zur strukturellen Inferenz ergänzt werden.
Schema-gestützte Konstruktion: Der Nachweis, dass die Ausführung des induzierten Schemas während der Ingestion (Spezifikation von Extraktionspfaden, Schlüsseln und Links) die nachgeschaltete QA-Performance im Vergleich zum Verzicht auf strukturelle Intelligenz signifikant verbessert.
Schema-gestützte Abfrage: Der Beweis, dass die Offenlegung des induzierten Schemas für den QA-Agenten zur Entscheidungsfindung beim Routing erhebliche Gewinne gegenüber generischen Tool-Use-Agenten (z. B. ReAct, PlanAct) und Standard-RAG-Baselines liefert.
Monotone Erweiterung: Einführung eines Mechanismus zur Evolution von Schemata zur Laufzeit unter Wahrung der Integrität vorangegangener Definitionen.

Ergebnisse

Das System wurde auf vier Benchmarks evaluiert: BlendQA (quellenübergreifende Entdeckung), HybridQA (Brücke zwischen Tabelle und Text), TAT-QA (finanzielle Argumentation) und ComplexTR (temporale Multi-Hop-Argumentation).

Performance: In kontrollierten Zero-Shot-Vergleichen unter Verwendung desselben LLM (GPT-4.1) und desselben Evaluierungs-Harness erreichte das Schema-gestützte System die höchsten Exact Match (EM) und F1-Scores über alle vier Benchmarks hinweg.
- Auf BlendQA verbesserte es den EM um +2,6 gegenüber dem nächstbesten kontrollierten Baseline-Modell (AtomR) und um +10,2 gegenüber RAG.
- Auf HybridQA erreichte es +19,8 EM gegenüber AtomR und +51,3 EM gegenüber RAG.
- Auf TAT-QA und ComplexTR übertraf es ebenfalls alle Baselines mit Gewinnen von +5,7 bzw. +10,5 EM gegenüber den nächstbesten Methoden.
Ablationsstudien: Die Entfernung spezifischer Komponenten bestätigte deren unabhängige Beiträge:
- Das Entfernen der Schema-Steuerung (Rückfall auf ReAct-Style Routing) senkte den EM auf BlendQA um 9,3.
- Das Entfernen der KG-Ingestion beeinträchtigte die Multi-Hop-Performance erheblich (z. B. -8,0 EM auf BlendQA).
- Das Entfernen der strukturellen Intelligenz verschlechterte den EM um 2,1–6,8 über verschiedene Datensätze hinweg.
- Das Entfernen der Abfrage-seitigen Erweiterung reduzierte die Performance bei Datensätzen, die eine Schema-Evolution erforderten (HybridQA, TAT-QA), obwohl das System ohne diese weiterhin robust blieb.
Modellübergreifende Evaluierung: Die Gewinne waren konsistent über drei verschiedene LLM-Familien hinweg (GPT-4.1, Claude Haiku, Llama 3.3 70B) nachweisbar, was zeigt, dass der Ansatz nicht spezifisch für eine bestimmte Modellarchitektur ist.

Bedeutung und Ansprüche

Die Autoren behaupten, dass ihre Ergebnisse drei Prinzipien für heterogene QA etablieren:

Closed-World Schema-Induktion ist notwendig, um LLM-entdeckte Strukturen ausführbar zu machen und Halluzinationen bei Feldreferenzen zu verhindern.
Statistische strukturelle Analyse sollte der semantischen Extraktion vorausgehen, um zuverlässig Schlüssel und Beziehungen abzuleiten, bei denen LLMs Schwierigkeiten haben.
Retrieval-Agenten profitieren, wenn das für die Konstruktion verwendete Schema auch das Routing bedingt; dieser Ansatz übertrifft generischen agentischen Tool-Use substanziell.

Das Paper positioniert diese Arbeit als Schritt hin zu selbstkonfigurierenden, selbst-erweiternden QA-Systemen, die ohne manuelles Schema-Design über nicht-stationäre Datenquellen operieren können, während sie gleichzeitig niedrige Latenz, Kontrollierbarkeit und prüfbare Provenienz beibehalten. Die Autoren weisen auf Limitationen bezüglich des Umfangs der modellübergreifenden Evaluierung (für einige Modelle auf BlendQA beschränkt) und der Latenzkosten der Schema-Erweiterung zur Laufzeit hin, was für strikte Echtzeitanwendungen prohibitiv sein kann.