A Cost-Aware Agentic Architecture for NL-to-SQL over Nested Enterprise Schemas, with a New Benchmark
Dit artikel introduceert de DevRev NL2SQL-benchmark, die 900 uitvoering-geverifieerde queries met geneste structuren en een nieuwe Semantic Depth Score bevat, naast een kostenbewuste agentische architectuur die een significante antwoordcorrectheid van 91,7% op deze benchmark bereikt en competitief blijft op Spider 2.0.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je een wereld voor waarin je een computer complexe vragen over je bedrijf kunt stellen en precieze antwoorden in gewone mensentaal ontvangt, zonder dat je de geheime taal van databases hoeft te kennen. Jarenlang hebben onderzoekers computers geleerd om menselijke vragen te vertalen naar databasecommando's, een veld dat bekend staat als natural-language-to-SQL. De vroege successen waren indrukwekkend, maar ze vertrouwden op het testen van computers met eenvoudige, platte lijsten met gegevens, zoals een spreadsheet met rijen en kolommen. In de echte wereld is bedrijfsdata echter zelden zo netjes. Moderne enterprise-systemen zijn gebouwd rond complexe workflows, waarbij één item, zoals een klantenservice-ticket, verbonden is met een web van andere items, genest in lijsten, en begraven ligt onder lagen van informatie. Deze structuren worden vaak beschreven als graaf-achtig, wat betekent dat ze meer lijken op een kaart van verbindingen dan op een eenvoudige tabel. Wanneer onderzoekers probeerden hun beste tools toe te passen op deze rommelige, echte data, faalden de systemen vaak, omdat ze niet in staat waren om door de diepe, verwarrende paden van informatie te navigeren.
Een team van onderzoekers heeft nu deze specifieke uitdaging aangepakt door een nieuwe testomgeving en een slimmer computersysteem te bouwen die hierop zijn ontworpen. Ze creëerden een benchmark genaamd DevRev, die 900 vragen uit de echte wereld bevat op basis van een live bedrijfsdatabase. In tegenstelling tot eerdere tests, is deze database gevuld met diep geneste structuren, waar informatie wordt opgeslagen in lijsten die andere lijsten bevatten, en waar items op complexe manieren aan elkaar gelinkt zijn die veranderen afhankelijk van de context. Om te meten hoe goed een systeem deze vragen begrijpt, introduceerde het team een nieuwe scoringsmethode genaamd de Semantic Depth Score. Deze score telt niet alleen hoe lang een vraag is; in plaats daarvan meet het hoeveel lagen van redenering nodig zijn om het antwoord te vinden, zoals het moeten vergelijken van verschillende perioden, het berekenen van nieuwe waarden uit oude waarden, of het volgen van een keten van verbindingen tussen verschillende soorten zakelijke objecten.
De onderzoekers ontdekten dat de meest geavanceerde systemen die op dat moment beschikbaar waren, die goed presteerden op eenvoudigere tests, aanzienlijk moeite hadden met deze nieuwe, complexe data. Deze systemen, die vaak veel verschillende mogelijke antwoorden genereren en dan het beste kiezen, konden de geneste lijsten niet correct navigeren of de specifieke regels voor het koppelen van verschillende soorten bedrijfsrecords begrijpen. Hun succespercentage op de nieuwe benchmark schommelde rond de een derde, wat betekent dat ze het antwoord op de meeste vragen fout hadden. De onderzoekers voerden aan dat het probleem niet alleen een gebrek aan oefening was, maar een fundamentele mismatch tussen hoe deze systemen waren gebouwd en hoe de data gestructureerd was. De systemen probeerden een platte, eenvoudige aanpak af te dwingen op een diep gelaagde realiteit.
Om dit op te lossen, ontwierp het team een nieuwe computerarchitectuur die meer werkt als een zorgvuldige rechercheur dan als een gokker. In plaats van tientallen mogelijke antwoorden te genereren en te hopen dat er één goed is, volgt dit systeem één enkel, gefocust pad. Het begint door een centrale coördinator te vragen om naar de database te kijken en uit te zoeken welke specifieke stukken informatie nodig zijn. Als het systeem vastloopt omdat het een tabel of kolom niet kan vinden, gokt het niet zomaar; het gaat terug, vraagt om meer details over de structuur en probeert het opnieuw met de nieuwe informatie. Dit proces wordt geleid door een gedetailleerde kaart van de database die niet alleen de namen van de kolommen bevat, maar ook beschrijvingen van wat de data in die kolommen daadwerkelijk betekent. Het systeem houdt ook een voortgangslogboek bij van elke fout die het maakt, waarbij het leert van elke mislukking om dezelfde fout niet te herhalen. Het controleert zijn eigen werk voordat het naar de database wordt gestuurd, om er zeker van te zijn dat de logica klopt en dat het niet per ongelof een enorme, verwarrende bende aan data creëert.
Toen dit nieuwe systeem werd getest op de 900 complexe vragen, behaalde het een succespercentage van 91,7 procent, een enorme verbetering ten opzichte van de vorige beste pogingen. Het was in staat om vragen correct te beantwoorden die vereisten dat er meerdere stappen werden gevolgd, afgeleide waarden werden berekend en door geneste lijsten met data werd genavigeerd. De onderzoekers toonden ook aan dat deze aanpak veel efficiënter was en aanzienlijk minder kostte om te draaien, omdat het geen middelen verspilde aan het genereren en testen van tientallen onjuiste antwoorden. In een aparte, grootschalige test met eenvoudigere data presteerde het systeem net zo goed als de leidende concurrenten, wat bewees dat de gespecialiseerde ontwerp voor complexe data niet ten koste ging van het afhandelen van standaard data.
De studie suggereert dat de toekomst van het stellen van vragen aan computers niet ligt in het laten harder werken van computers of het genereren van meer opties, maar in het geven van betere hulpmiddelen om de structuur van de data waarmee ze werken te begrijpen. Door systemen te bouwen die iteratief een database kunnen verkennen, kunnen leren van hun fouten en de diepe verbindingen tussen verschillende stukken informatie kunnen begrijpen, hebben onderzoekers een pad gecreëerd naar betrouwbare, intelligente interfaces voor de complexe, geneste data die moderne bedrijven aandrijft. Het werk benadrukt dat voor computers om onze vragen echt te begrijpen, ze eerst de ingewikkelde, gelaagde wereld moeten begrijpen waarin onze data leeft.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.