Schema-First Retrieval: Embedding Catalogs for Natural Language Analytics
Dit artikel introduceert Schema-First Retrieval, een nieuwe retrieval-laag die diverse catalogusmetadata (tabellen, kolommen, metrieken, relaties en querygeschiedenis) embedt en indexeert om de nauwkeurigheid van schema-selectie aanzienlijk te verbeteren en SQL-uitvoerfouten in enterprise text-to-SQL-systemen te verminderen door cataloguscontext te behandelen als een fundamenteel retrieval-probleem in plaats van een detail van prompt-formattering.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een specifieke vraag wilt stellen aan een zeer slimme, maar lichtelijk verwarde bibliothecaris.
Het Probleem: De Verkeerde Boekenplank
In de oude manier van werken (wat het papier "raw schema prompting" noemt) loop je naar de bibliothecaris en zeg je: "Ik wil iets weten over omzet." Maar de bibliothecaris heeft geen boekenplank met het label "Omzet". In plaats daarvan heeft de bibliothecaris duizenden planken met verwarrende namen zoals tbl_fin_2024_q3 of amt_net_rev_lcl.
Omdat de bibliothecaris niet weet welke plank je bedoelt, kan hij een boek uit de verkeerde plank pakken. Hij kan dan een perfecte zin (SQL-code) schrijven op basis van dat verkeerde boek, maar het antwoord zal nutteloos zijn. In grote bedrijven is de "bibliotheek" (de database) zo enorm en rommelig dat de bibliothecaris vaak al de verkeerde context pakt voordat hij überhaupt begint met het formuleren van het antwoord.
De Oplossing: Schema-First Retrieval
Dit papier introduceert een nieuw systeem genaamd Schema-First Retrieval. In plaats van de bibliothecaris te laten raden vanuit de hele bibliotheek, fungeert dit systeem als een super-slim cataloguskaart-systeem dat de exacte juiste stukjes informatie vindt voordat de bibliothecaris de vraag zelfs maar ziet.
Zo werkt het, met behulp van eenvoudige analogieën:
1. De Vijf Soorten "Cataloguskaarten"
In plaats van alleen naar boektitels te kijken, maakt dit systeem vijf specifieke soorten "kaarten" voor elk stukje informatie in de bibliotheek:
- Tabelkaarten: Deze zijn als de "Sectie"-borden (bijv. "Deze sectie gaat over Scholen").
- Kolomkaarten: Deze zijn als de specifieke "Hoofdstukken" of "Rijen" binnen het boek (bijv. "Deze kolom bevat de leerjaren").
- Metriekkaarten: Deze zijn als de "Glossarium" of het "Bedrijfswoordenboek". Als je vraagt naar "Churn", legt deze kaart uit dat dit eigenlijk betekent "mensen die de dienst zijn gestopt met gebruiken", zelfs als de database het anders noemt.
- Relatiekaarten: Deze zijn als de "Kruisverwijzingen" die vertellen hoe twee verschillende boeken met elkaar verbonden zijn (bijv. "Om de totale verkopen te vinden, moet je het boek 'Orders' koppelen aan het boek 'Klanten'").
- Historiekkaarten: Deze zijn als een "Logboek van eerdere vragen". Als iemand vorige week een soortgelijke vraag stelde, herinnert deze kaart het systeem eraan: "Hé, we vonden de vorige keer het antwoord op deze manier met behulp van deze specieveke pagina's."
2. Het Zoekproces (De "Retrieval Layer")
Wanneer je een vraag stelt, gooit het systeem niet zomaar de hele bibliotheek op het bureau van de bibliothecaris. Het voert een zoektocht uit in drie stappen:
- Het Brede Net: Het gebruikt een "semantisch net" (AI-embeddings) om alles te vangen dat klinkt als jouw vraag, zelfs als de woorden anders zijn.
- De Deskundige Review (Reranking): Een tweede, meer zorgvuldige AI kijkt naar de gevangen items. Deze realiseert zich: "Wacht, 'Omzet' bevindt zich meestal in deze specifieke tabel, niet in die andere," en herordent de lijst om de beste overeenkomsten bovenaan te zetten.
- De Geheugencontrole: Het controleert de "Historiekkaarten". Als een bedrijf meestal op een specifieke manier over "Omzet" vraagt, geeft dit systeem prioriteit aan dat pad.
3. De "Beveiliger" (Toegangscontrole)
Het papier benadrukt dat de bibliothecaris (de AI) niet moet worden vertrouwd om beveiligingsregels te onthouden. In plaats daarvan staat er een Beveiliger bij de deur.
- Voordat de bibliothecaris de boeken te zien krijgt, controleert de beveiliger: "Heeft deze gebruiker toestemming om de 'Salaris'-sectie te zien?"
- Als dat niet het geval is, verwijdert de beveiliger fysiek die pagina's.
- Als de bibliothecaris probeert een zin te schrijven met behulp van een verboden pagina, stopt de beveiliger de zin voordat deze wordt verzonden. Dit gebeurt via strikte regels, niet door de bibliothecaris te vragen om "alsjeblieft voorzichtig te zijn."
4. De Resultaten: Minder Fouten
Het papier testte dit systeem op drie verschillende "bibliotheken" (datasets):
- De Juiste Pagina's Vinden: Het systeem vond de juiste tabellen en kolommen veel vaker dan de oude methoden. Bijvoorbeeld, in één test vond het de juiste tabel 96% van de tijd, vergeleken met veel lagere percentages voor oudere methoden.
- Minder Gebroken Zinnen: Wanneer het systeem deze "catalogus-eerst" aanpak gebruikte, daalde het aantal fouten in de uiteindelijke code met een factor 2,5.
- Waarom? Vaak faalde het oude systeem omdat het niet wist hoe het een kolomnaam correct moest schrijven (zoals het vergeten van aanhalingstekens rond een naam met een spatie). Omdat het nieuwe systeem de "Kolomkaart" ophaalt die al de juiste opmaak heeft, kopieert de bibliothecaris het simpelweg perfect.
De Belangrijkste Conclusie
Het papier betoogt dat Natural Language Analytics (vragen in gewone mensentaal) niet behandeld moet worden als een "schrijfprobleem". Het is eigenlijk een zoekprobleem.
Als je een slimme AI de verkeerde kaart geeft, zal hij een perfecte zin schrijven die naar de verkeerde plek leidt. Door een betere kaart (de catalogus) te bou�els en het juiste pad te vinden voordat de AI begint met schrijven, krijg je betrouwbare, veilige en nauwkeurige antwoorden. De AI is niet degene die het magazijn ontdekt; hij schrijt slechts het rapport op basis van de gecureerde, veilige en correcte documenten die het systeem voor hem heeft gevonden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.