AmbiSQL: Interactive Ambiguity Detection and Resolution for Text-to-SQL

Probleemstelling

Text-to-SQL-systemen, die natuurlijke taalvragen vertalen naar SQL-query's, hebben aanzienlijke vooruitgang geboekt dankzij Large Language Models (LLM's). Echter, query-ambiguïteit (onduidelijkheid in de vraag) blijft een kritieke foutbron. Zelfs geavanceerde systemen genereren vaak syntactisch correcte, maar semantisch onjuiste SQL-query's omdat ze de intentie van de gebruiker verkeerd interpreteren.

Deze ambiguïteiten zijn veelvoorkomend in real-world scenario's en manifesteren zich op twee manieren:

1. Onvolledige specificatie: Gebruikers geven niet genoeg context (bijv. "oudste gebruiker" kan verwijzen naar leeftijd of registratiedatum).
2. Externe kennis en redenering: Vragen vereisen kennis buiten de database om (bijv. "na het einde van de Vietnamoorlog", waarbij de exacte datum onduidelijk is).

Zonder expliciete clarificatie leiden deze systemen tot misalignement tussen de gebruikersintentie en de gegenereerde SQL, wat de betrouwbaarheid en bruikbaarheid in de praktijk beperkt.

Methodologie: AmbiSQL

AmbiSQL is een interactief systeem dat ambiguïteiten automatisch detecteert en gebruikers begeleidt via intuïtieve meerkeuzevragen om hun intentie te verduidelijken. Het systeem is geïntegreerd met XiYan-SQL, een commercieel Text-to-SQL-backend.

Het systeem werkt volgens een twee-fasen pipeline:

1. Ambiguïteit Taxonomie

Het kernpunt van de methodologie is een fijnmazige taxonomie van ambiguïteitssoorten, onderverdeeld in twee dimensies:

• Database-sourced ambiguïteit:
  • AmbiSchema: Onduidelijkheid over welke tabel of kolom gebruikt moet worden (bijv. filteren vs. groeperen).
  • AmbiValue: Verwijzingen naar waarden die niet exact overeenkomen met de opgeslagen data (bijv. "NYC" vs. "New York City").
  • AmbiIntent: Ontbrekende termen die de SQL-operatie specificeren (bijv. sorteren vs. filteren).
• LLM-sourced ambiguïteit:
  • AmbiSource: Onduidelijkheid of data uit de database moet komen of via LLM-redenering (externe kennis) moet worden afgeleid.
  • AmbiContext: Gebrek aan context voor redenering (bijv. wisselkoersen zonder valuta of datum).
  • AmbiFallacy: Aannames in de vraag die in strijd zijn met feiten of database-inhoud.
  • AmbiRef: Onduidelijke ruimtelijke of temporele constraints (bijv. "na de WK 2018" kan de finale of het hele jaar betekenen).

2. Werkingsproces

• Fase 1: Detectie en Generatie van Verduidelijkingsvragen (Clarification Questions - CQs)
  • Het systeem gebruikt een vooraf getrainde LLM met in-context learning om ambiguïteiten in de oorspronkelijke vraag te detecteren en te classificeren volgens de taxonomie.
  • Voor elke geïdentificeerde ambiguïteit genereert het systeem een gerichte meerkeuzevraag. Deze vragen worden ondersteund door relevante database-snippets of contextuele kennis.
  • Opties omvatten standaard keuzes, maar ook "Afzien" (Abstain) en "Anders" (Others) voor vrij invoer.
• Fase 2: Iteratieve Verfijning
  • De antwoorden van de gebruiker worden verwerkt door een preference update module. Deze slaat voorkeuren op in een boomstructuur gebaseerd op de taxonomie.
  • Een query refinement module herschrijft de oorspronkelijke vraag door de nieuwe constraints en voorkeuren te integreren.
  • Het proces is iteratief: de herschreven vraag wordt opnieuw gecontroleerd op ambiguïteiten totdat deze volledig opgelost zijn.
  • De definitieve, verduidelijkte vraag wordt vervolgens naar de Text-to-SQL-engine (XiYan-SQL) gestuurd voor SQL-generatie.

Belangrijkste Bijdragen

1. Uitgebreide Taxonomie: Een systematische indeling van ambiguïteiten die zowel database-specifieke problemen als LLM-redeneringsfouten omvat, wat vaak over het hoofd wordt gezien in eerdere werken.
2. Interactieve Human-in-the-Loop Benadering: In plaats van volledig geautomatiseerde (en vaak foutieve) interpretatie, betrekt AmbiSQL de gebruiker via intuïtieve meerkeuzevragen om de intentie te bevestigen.
3. Dynamische Query-herformulering: Het systeem herschrijft de natuurlijke taalvraag op basis van gebruikersfeedback, wat leidt tot een betere input voor de downstream Text-to-SQL-modellen.
4. Demo en Evaluatie: Integratie met XiYan-SQL en een openbare demo met 40 zorgvuldig geselecteerde, ambiguïteitsrijke queries uit real-world benchmarks (BIRD en TAG).

Resultaten en Evaluatie

Hoewel het paper voornamelijk een demonstratie is, worden de resultaten als volgt gepresenteerd:

• Dataset: Het systeem is getest op 40 ambigue queries afkomstig uit de BIRD en TAG benchmarks.
• Verbetering in Kwaliteit: De demonstratie toont aan dat het oplossen van ambiguïteiten leidt tot SQL-query's die de gebruikersintentie veel nauwkeuriger weerspiegelen.
• Vergelijking: In de demo wordt een side-by-side vergelijking getoond tussen SQL gegenereerd zonder AmbiSQL (vaak foutief door verkeerde mapping van kolommen of data) en SQL gegenereerd na interactie met AmbiSQL (correcte mapping en filters).
• Traceerbaarheid: Het systeem biedt een interactielog waarin elke stap van de ambiguïteitsoplossing zichtbaar is, wat inzicht geeft in hoe de query is verfijnd.

Betekenis en Impact

AmbiSQL adresseert een fundamentele beperking van huidige Text-to-SQL-systemen: de aanname dat natuurlijke taalvragen altijd eenduidig zijn.

• Betrouwbaarheid: Door proactief ambiguïteiten op te lossen, verhoogt het de betrouwbaarheid van SQL-generatie in zakelijke omgevingen waar fouten kostbaar kunnen zijn.
• Gebruiksgemak: Het stelt niet-technische gebruikers in staat om complexe vragen te stellen zonder SQL-kennis, omdat het systeem hen helpt hun eigen vraag te specificeren.
• Toekomst van Evaluatie: Het paper suggereert dat toekomstige benchmarks en evaluaties van Text-to-SQL-systemen rekening moeten houden met ambiguïteit en interactieve clarificatie, in plaats van alleen te kijken naar eindresultaten op statische datasets.

Kortom, AmbiSQL biedt een robuust raamwerk om de kloof tussen menselijke intentie en machine-interpretatie te overbruggen, wat essentieel is voor de volgende generatie database-interactiesystemen.