Schema-First Retrieval: Embedding Catalogs for Natural Language Analytics
Dieses Paper führt Schema-First Retrieval ein, eine neuartige Retrieval-Schicht, die diverse Katalog-Metadaten (Tabellen, Spalten, Metriken, Beziehungen und Abfrageverläufe) einbettet und indiziert, um die Genauigkeit der Schema-Selektion signifikant zu verbessern und SQL-Ausführungsfehler in Enterprise Text-to-SQL-Systemen zu reduzieren, indem sie den Katalog-Kontext als ein primäres Retrieval-Problem behandelt, anstatt als ein bloßes Detail der Prompt-Formatierung.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einen sehr klugen, aber leicht verwirrten Bibliothekar nach einem bestimmten Buch zu fragen.
Das Problem: Das falsche Bücherregal
Auf die alte Art des Vorgehens (wie das Papier „Raw Schema Prompting“ nennt) gehen Sie zum Bibliothekar und sagen: „Ich möchte etwas über den Umsatz wissen.“ Aber der Bibliothekar hat kein Bücherregal mit der Aufschrift „Umsatz“. Stattdessen hat er tausende von Regalen mit verwirrenden Namen wie tbl_fin_2024_q3 oder amt_net_rev_lcl.
Weil der Bibliothekar nicht weiß, welches Regal Sie meinen, greift er vielleicht ein Buch aus dem falschen Regal. Er schreibt dann vielleicht einen perfekten Satz (SQL-Code) basierend auf dem falschen Buch, aber die Antwort wird nutzlos sein. In großen Unternehmen ist die „Bibliothek“ (die Datenbank) so riesig und chaotisch, dass der Bibliothekar oft schon das falsche Kontextmaterial heraussucht, bevor er überhaupt anfängt, die Antwort zu formulieren.
Die Lösung: Schema-First Retrieval
Dieses Papier stellt ein neues System namens Schema-First Retrieval vor. Anstatt den Bibliothekar zu bitten, aus der gesamten Bibliothek zu raten, fungiert dieses System wie ein superkluges Karteikartensystem, das die exakt richtigen Informationen findet, noch bevor der Bibliothekar die Frage überhaupt sieht.
So funktioniert es, unter Verwendung einfacher Analogien:
1. Die fünf Arten von „Karteikarten“
Anstatt nur nach Buchtiteln zu suchen, erstellt dieses System für jede Information in der Bibliothek fünf spezifische Arten von „Karten“:
- Tabellen-Karten (Table Cards): Diese sind wie die „Abschnitts“-Schilder (z. B. „Dieser Abschnitt handelt von Schulen“).
- Spalten-Karten (Column Cards): Diese sind wie die spezifischen „Kapitel“ oder „Zeilen“ innerhalb des Buches (z. B. „Diese Spalte listet die Klassenstufen auf“).
- Metrik-Karten (Metric Cards): Diese sind wie das „Glossar“ oder das „Unternehmenswörterbuch“. Wenn Sie nach „Churn“ fragen, erklärt diese Karte, dass dies eigentlich „Menschen, die den Service beendet haben“ bedeutet, selbst wenn die Datenbank es anders nennt.
- Beziehungs-Karten (Relationship Cards): Diese sind wie die „Querverweise“, die Ihnen sagen, wie zwei verschiedene Bücher miteinander verbunden sind (z. B. „Um den Gesamtumsatz zu finden, müssen Sie das Buch ‚Bestellungen‘ mit dem Buch ‚Kunden‘ verknüpfen“).
- Historie-Karten (History Cards): Dies sind wie ein „Protokoll vergangener Fragen“. Wenn jemand letzte Woche eine ähnliche Frage gestellt hat, erinnert diese Karte das System: „Hey, wir haben die Antwort darauf letztes Mal mit diesen spezifischen Seiten gefunden.“
2. Der Suchprozess (Die „Retrieval-Schicht“)
Wenn Sie eine Frage stellen, schüttet das System nicht einfach die ganze Bibliothek auf den Schreibtisch des Bibliothekars. Es führt eine dreistufige Suche durch:
- Das breite Netz: Es verwendet ein „semantisches Netz“ (KI-Embeddings), um alles einzufangen, was nach Ihrer Frage klingt, selbst wenn die Wörter unterschiedlich sind.
- Die Expertenprüfung (Reranking): Eine zweite, sorgfältigere KI schaut sich die gefangenen Elemente an. Sie erkennt: „Warte, ‚Umsatz‘ wohnt normalerweise in dieser speziellen Tabelle, nicht in jener“, und ordnet die Liste neu, um die besten Treffer nach oben zu bringen.
- Der Gedächtnis-Check: Es prüft die „Historie-Karten“. Wenn das Unternehmen normalerweise in einer bestimmten Weise nach „Umsatz“ fragt, priorisiert es diesen Pfad.
3. Der „Sicherheitsdienst“ (Zugriffskontrolle)
Das Papier betont, dass man dem Bibliothekar (der KI) nicht zutrauen sollte, Sicherheitsregeln zu behalten. Stattdessen steht ein Sicherheitsdienst an der Tür.
- Bevor der Bibliothekar die Bücher sieht, prüft der Sicherheitsdienst: „Hat dieser Nutzer die Erlaubnis, den Bereich ‚Gehalt‘ einzusehen?“
- Wenn nicht, entfernt der Sicherheitsdienst physisch diese Seiten.
- Wenn der Bibliothekar versucht, einen Satz unter Verwendung einer verbotenen Seite zu schreiben, stoppt der Sicherheitsdienst den Satz, bevor er gesendet wird. Dies geschieht durch strikte Regeln, nicht indem man die KI bittet, „bitte vorsichtig zu sein“.
4. Die Ergebnisse: Weniger Fehler
Das Papier testete dieses System auf drei verschiedenen „Bibliotheken“ (Datensätzen):
- Die richtigen Seiten finden: Das System fand die korrekten Tabellen und Spalten viel häufiger als die alten Methoden. In einem Test fand es beispielsweise die richtige Tabelle in 96 % der Fälle, verglichen mit deutlich niedrigeren Raten bei älteren Methoden.
- Weniger fehlerhafte Sätze: Wenn das System diesen „Katalog-zuerst“-Ansatz verwendete, sank die Anzahl der Fehler im fertigen Code um den Faktor 2,5.
- Warum? Oft scheiterte das alte System, weil es nicht wusste, wie man einen Spaltennamen korrekt schreibt (wie zum Beispiel das Vergessen von Anführungszeichen bei einem Namen mit einem Leerzeichen). Da das neue System die „Spalten-Karte“ abruft, die bereits die korrekte Formatierung enthält, kopiert der Bibliothekar sie einfach perfekt.
Das Wichtigste in Kürze
Das Papier argumentiert, dass Natural Language Analytics (Fragen in natürlicher Sprache zu stellen) nicht als ein „Schreibproblem“ behandelt werden sollte. Es ist eigentlich ein Suchproblem.
Wenn Sie einer klugen KI eine falsche Karte geben, wird sie einen perfekten Satz schreiben, der zu einem falschen Ort führt. Indem man eine bessere Karte (den Katalog) erstellt und den richtigen Pfad findet, bevor die KI anfängt zu schreiben, erhält man zuverlässige, sichere und genaue Antworten. Die KI ist nicht diejenige, die das Lagerhaus entdeckt; sie schreibt lediglich den Bericht basierend auf den kuratierten, sicheren und korrekten Dokumenten, die das System für sie gefunden hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.