Bounded Semantic Planning and Deterministic Compilation for Reliable Enterprise Text-to-SQL

In de wereld van het moderne bedrijfsleven is data vaak opgesloten in enorme, complexe digitale magazijnen. Om een eenvoudige vraag te stellen als: "Hoeveel polissen heeft agent twee vorig jaar verkocht?", moet men door een doolhof van tabellen, relaties en regels navigeren die bepalen hoe het bedrijf functioneert. Jarenlang hebben onderzoekers geprobeerd computers te leren om natuurlijke taalvragen direct te vertalen naar de specifieke code die nodig is om de antwoorden op te halen. Dit is de belofte van text-to-SQL: een machine die menselijke intentie begrijpt en de juiste instructies schrijft om de gegevens op te halen. Er blijft echter een aanzienlijk probleem bestaan. Wanneer een computer deze instructies zelfstandig schrijft, produceert deze vaak code die perfect draait, maar het verkeerde antwoord geeft. De computer koppelt mogelijk de verkeerde stukken informatie aan elkaar of telt zaken op de verkeerde manier op, wat resulteert in een resultaat dat plausibel lijkt, maar fundamenteel onjuist is. Dit is gevaarlijk in een zakelijke omgeving, waar een foutief getal kan leiden tot slechte zakelijke beslissingen.

Een nieuwe studie onderzoekt een andere aanpak om dit betrouwbaarheidsprobleem op te lossen. In plaats van een kunstmatige intelligentie te vragen om de volledige code vanaf nul te schrijven, hebben de onderzoekers een systeem gebouwd waarbij de AI fungeert als een gids in plaats van een bouwer. De taak van de AI is beperkt tot het begrijpen van de vraag en het selecteren uit een vooraf goedgekeurde lijst van geldige paden en relaties. Zodra de AI deze selectie heeft gemaakt, neemt een apart, rigide computerprogramma het over. Dit programma vertaalt de selectie naar de uiteindelijke code, waardoor wordt gegarandeerd dat de verbindingen correct worden gelegd en de telregels exact worden gevolgd. De onderzoekers testten deze methode tegen de traditionele "alles-zelf-schrijven"-aanpak met behulp van een complexe verzekeringsdataset. Ze ontdekten dat het geleide systeem veel betrouwbaarder was en bijna altijd de juiste antwoorden produceerde, terwijl het traditionele systeem regelmatig code genereerde die weliswaar draaide, maar de verkeerde resultaten gaf.

De kern van dit onderzoek ligt in het veranderen van de plek waar de onzekerheid zich bevindt. In een standaard systeem moet het kunstmatige intelligentiemodel alles beslissen: welke tabellen te koppelen, hoe ze te verbinden en hoe de getallen te aggregeren. Omdat deze modellen tekst genereren op basis van waarschijnlijkheid, kunnen ze soms een pad kiezen dat technisch gezien mogelijk is, maar semantisch onjuist. Het nieuwe systeem, dat de auteur "Semantic Path Compilation" noemt, trekt een strikte lijn in het zand. De kunstmatige intelligentie mag de woorden in de vraag koppelen aan specifieke zakelijke concepten en kiezen uit een eindige set opties die door een mens gecureerde kaart van de data wordt aangeboden. De AI kan geen nieuwe verbindingen verzinnen of codefragmenten schrijven. Zodra de AI de keuze heeft gemaakt, neemt een deterministische engine het stuur over. Deze engine is een stuk software dat vaste regels volgt om de selectie van de AI om te zetten in de uiteindelijke databasequery. Het controleert op fouten, zorgt ervoor dat de logica klopt en geeft de code pas vrij als deze aan elke controle voldoet. Als de keuze van de AI onduidelijk is of een regel overtreedt, weigert het systeem een antwoord te geven in plaats van te gokken.

Om dit te testen, gebruikten de onderzoekers een benchmark gebaseerd op de gegevens van een verzekeringsmaatschappij, die veel complexe relaties bevat, zoals de verschillende rollen die een persoon kan vervullen (zoals een polishouder, een agent of een verzekeringstechnicus) en hoe die rollen verbonden zijn met polissen en claims. Ze draalden twee verschillende systemen op dezelfde set van achttig vragen. Het eerste systeem was de traditionele aanpak, waarbij de AI de code rechtstreeks vanuit de databasestructuur genereert. Het tweede systeem was de nieuwe geleide aanpak. Ze voerden elke vraag drie keer uit om te zien hoe consistent de resultaten waren. Het traditionele systeem slaagde erin om voor alle drie de runs het juiste antwoord te krijgen bij slechts eenentwintig van de achtendertig vragen. In tegen tegenstelling hiermee slaagde het geleide systeem bij zevenendertig van de achtendertig vragen. Belangrijker nog, het traditionele systeem produceerde eenentwintig instanties waarbij de code succesvol draaide, maar het antwoord fout was. Het geleide systeem produceerde nul dergelijke fouten. Wanneer het faalde, weigerde het simpelweg een antwoord te geven, in plaats van een misleidend getal te verstrekken.

De studie keek ook naar wat er gebeurt als de data licht wordt gewijzigd om verborgen fouten bloot te leggen. In de verzekeringsdataset vereisen sommige vragen het tellen van items op een specifiek detailniveau. Als de computer tabellen onjuist koppelt, kan het de getallen per ongeluk vermenigvuldigen, wat een te hoog resultaat oplevert. De onderzoekers creëerden "counterfactual" versies van de database waarin deze vermenigvuldigingsfouten duidelijk zouden worden. Ze ontdekten dat het traditionele systeem vaak niet in staat was deze fouten te detecteren, waardoor het opgeblazen getallen teruggaf die op de originele data correct leken, maar op de gewijzigde data onjuist waren. Het geleide systeem, omdat het gedwongen werd de strikte regels van de semantische kaart te volgen, vermeed deze vallen. Het produceerde consequent de juiste telling, zelfs wanneer de data werd aangepast om een minder zorgvuldig systeem te misleiden.

De onderzoekers merkten er zorgvuldig bij op dat hun succes voortkwam uit het feit dat het hele systeem samenwerkte, en niet alleen uit de nieuwe software-engine. Het geleide systeem had toegang tot een gedetailleerde, door mensen geschreven kaart van de zakelijke regels, die het traditionele systeem niet had. Dit betekent dat de verbetering het resultaat is van het combineren van betere kennis met een zorgvuldiger proces. De studie beweert niet dat de nieuwe methode voor elke mogelijke vraag zal werken of dat het alle onzekerheid wegneemt. De kunstmatige intelligentie moet nog steeds de initiële keuze maken, en als de zakelijke regels niet correct in de kaart zijn gedefinieerd, zal het systeem weigeren te antwoorden. Echter, voor het specifieke type complexe, op regels gebaseerde vragen in dit verzekeringsdomein, bleek de combinatie van een geleide AI en een rigide compiler een krachtige manier om betrouwbaarheid te garanderen.

De bevindingen suggereren een verschuiving in hoe we deze tools in de toekomst kunnen bouwen. In plaats van te hopen dat een groot taalmodel de complexe logica elke keer goed krijgt, kunnen we systemen bouwen die het model dwingen om veilige keuzes te maken en vervolgens deterministische software gebruiken om deze uit te voeren. Deze aanpak ruilt een deel van de flexibiliteit in voor een veel hogere mate van vertrouwen. In een wereld waar data cruciale zakelijke beslissingen stuurt, is het vermogen om "ik weet het niet" te zeggen in plaats van "hier is een foutief antwoord", een aanzienlijk voordeel. De studie laat zien dat door het zware werk van de logica en de verbinding te verplaatsen van het probabilistische model naar een op regels gebaseerde engine, we een niveau van consistentie kunnen bereiken dat voorheen moeilijk te bereiken was. Het resultaat is een systeem dat niet alleen slim is, maar ook betrouwbaar.