Reliable Answers for Recurring Questions: Boosting Text-to-SQL Accuracy with Template Constrained Decoding

1. Probleemstelling

Hoewel Large Language Models (LLM's) de generatie van Text-to-SQL hebben verbeterd, staan hun implementatie in enterprise-omgevingen voor twee kritieke uitdagingen:

• Inconsistente Nauwkeurigheid: De prestaties variëren aanzienlijk tussen verschillende databaseschema's en falen vaak bij complexe of onbekende schema's. Standaard benchmarks (zoals Spider of BIRD) evalueren vaak zero-shot of few-shot prestaties op onbekende schema's, wat niet de realiteit van enterprise-werklasten weerspiegelt, waarbij specifieke schema's herhaaldelijk worden opgevraagd.
• Ongeldige SQL-Generatie: LLM's genereren regelmatig syntactisch ongeldige SQL of SQL die wel wordt uitgevoerd maar onjuiste resultaten oplevert door hallucinaties in constanten of logica.
• Beperkingen van Huidige Aanpassing:
  • Fine-tuning: Vereist grote gelabelde datasets, is duur en loopt het risico op catastrofaal vergeten.
  • In-Context Learning (ICL): Hoewel effectief, is het inconsistent. Het paper toont aan dat zelfs met relevante voorbeelden in de prompt, LLM's vaak falen om de juiste SQL-structuur te repliceren als de query licht afwijkt in constanten (bijvoorbeeld het wijzigen van een stadnaam of een getal), wat leidt tot structurele fouten.

Kernpremiss: Enterprise-werklasten bevatten een hoge frequentie van terugkerende querypatronen. Hoewel de formulering in natuurlijke taal varieert, is de onderliggende SQL-structuur voor veelvoorkomende bedrijfsvragen vaak identiek en verschilt alleen in specifieke literalen (constanten).

2. Methodologie: TeCoD-systeem

De auteurs stellen TeCoD (Template Constrained Decoding) voor, een systeem dat gebruikmaakt van historische gelabelde werklasten om nauwkeurigheid en latentie te verbeteren. Het systeem werkt in twee fasen:

A. Voorbereidingsfase (Offline)

1. Template-extractie: Historische paren (Natuurlijke Taal Query, SQL) worden omgezet in templates. Constanten en literalen in de SQL worden gemaskeerd (bijvoorbeeld vervangen door [string] of [number]), waardoor een geparametriseerde SQL-structuur ontstaat.
2. Synthetische Augmentatie: Om robuuste zoektoetsen te creëren, gebruikt het systeem een LLM om meerdere synthetische parafrases van de originele Natuurlijke Taal Query (NLQ) te genereren die naar dezelfde template verwijzen.
3. Maskering & Indexering: De synthetische NLQ's worden "gemaskeerd" (specifieke vermeldingen van literalen worden verwijderd) om een generieke zoektoets te creëren. Deze gemaskeerde NLQ's worden ingebed en geïndexeerd naast hun overeenkomstige gecompileerde grammatica's.
4. Grammatica-compilatie: De SQL-template wordt omgezet in een flexibele Context-Free Grammar (CFG) of Reguliere Expressie. In tegenstelling tot vaste strings, staat deze grammatica variaties toe in hoofdlettergebruik van trefwoorden, witruimte en opmaak om aan te sluiten bij de tokenisatievoorkeuren van de specifieke LLM.

B. Inference-fase (Online)

1. Template-matching:
   • Wanneer een gebruikersquery binnenkomt, haalt het systeem eerst de top-$k$ kandidaat-templates op via cosinus-ähnelijkheid op embeddings.
   • NLI-validatie: Een fijngetuned Natural Language Inference (NLI)-model (bijvoorbeeld DistilBERT of Qwen) valideert de kandidaten. Het bepaalt of de gebruikersquery de gemaskeerde template impliceert (wat betekent dat de SQL-structuur overeenkomt), neutraal is, of er tegenin gaat. Deze stap filtert valse positieven die een eenvoudige zoekopdracht op overeenkomstigheid zou kunnen oppikken.
2. Conditionele Generatie:
   • Als er een match wordt gevonden: Het systeem activeert Template Constrained Decoding.
   • Als er geen match wordt gevonden: Het systeem valt terug op standaard In-Context Learning (ICL) of Zero-Shot-generatie.
3. Gesplitste Decoding (Efficiëntie-optimalisatie):
   • In plaats van de volledige SQL token voor token te decoderen onder strikte grammaticale beperkingen (wat rekenkundig duur is), gebruikt TeCoD een tweefasenbenadering:
     • Fase 1 (Statisch): De statische delen van de template (trefwoorden, structuur) worden vooraf berekend en hun token-ID's worden in cache opgeslagen. De KV-cache van de LLM wordt geïnitieerd met deze tokens.
     • Fase 2 (Dynamisch): De LLM genereert alleen de specifieke gemaskeerde literalen (strings/getallen) met behulp van beperkte decoding met een eenvoudige regex, geleid door de vooraf berekende context.
   • Dit vermindert de latentie aanzienlijk door redundante berekening voor de statische delen van de query te vermijden.

3. Belangrijkste Bijdragen

1. Paradigma van Template Constrained Decoding: Introductie van een nieuwe aanpak voor Text-to-SQL die historische werklastpatronen combineert met grammatica-beperkte decoding om syntactische geldigheid en structurele consistentie te waarborgen.
2. Robuuste Template-matcher: Ontwerp van een module voor matching met hoge precisie, gebruikmakend van een NLI-model en synthetische data-augmentatie. Dit bereikt een selectie-/afwijzingsnauwkeurigheid van ongeveer 91%, wat aanzienlijk beter is dan eenvoudige baselines op cosinus-ähnelijkheid (~73%).
3. Efficiënte Gesplitste Decoding: Ontwikkeling van een twee-fasen decoding-algoritme dat statische template-tokens scheidt van dynamische literalen. Dit vermindert de inference-latentie met 2,2× in vergelijking met standaard bibliotheken voor constrained decoding, terwijl de nauwkeurigheid behouden blijft.
4. Flexibele Grammatica-Representatie: Voorstel om SQL-templates om te zetten in flexibele grammatica's (die hoofdlettergebruik, witruimte en variaties in opmaak verwerken) in plaats van vaste strings, zodat de LLM geldige SQL kan genereren ongeacht zijn specifieke opmaakvoorkeuren.

4. Resultaten en Evaluatie

Het systeem werd geëvalueerd op de BIRD- en Spider-benchmarks met verschillende LLM's (waaronder CodeS, Llama-3, Granite en XiYanSQL).

• Nauwkeurigheidsverbeteringen:
  • Voor gematchte queries (queries die passen bij een opgeslagen template) bereikte TeCoD een Execution Match (ExM)-nauwkeurigheid van ~90%, vergeleken met ~60% voor standaard In-Context Learning (ICL).
  • Dit vertegenwoordigt een stijging in nauwkeurigheid van maximaal 36% ten opzichte van ICL-baselines.
  • TeCoD stelde kleinere modellen (bijvoorbeeld Granite-8B) in staat om de prestaties van grotere, gespecialiseerde modellen (bijvoorbeeld QwenCoder-14B) te evenaren of te overtreffen.
• Latentieverbeteringen:
  • TeCoD verlaagde de inference-latentie met 1,5× tot 2,2× in vergelijking met standaard methoden voor constrained decoding.
  • Voor redenerende modellen (zoals Arctic-R1) daalde de latentie van ongeveer 20 seconden naar ongeveer 6 seconden per query.
• Robuustheid:
  • Het systeem behield een hoge nauwkeurigheid zelfs wanneer SQL-templates variaties in opmaak hadden (hoofdletters, spaties), terwijl benaderingen met "Vaste Templates" aanzienlijk faalden onder opmaakverstoringen.
• Relevantie voor de Wereld: Analyse van de werklast van een grote bank toonde aan dat >50% van de queries kon worden gematcht met een terugkerende template, wat de toepasbaarheid van het systeem in enterprise-omgevingen bevestigt.

5. Betekenis

• Enterprise-viabiliteit: TeCoD biedt een praktische oplossing voor ondernemingen met private schema's en beperkte gelabelde data. Het verbetert de nauwkeurigheid zonder dure fine-tuning, waardoor het geschikt is voor multi-tenant-omgevingen.
• Betrouwbaarheid: Door structurele beperkingen af te dwingen via grammatica, elimineert TeCoD het risico op het genereren van syntactisch ongeldige SQL, een grote hindernis bij implementatie in productie.
• Schaalbaarheid: Het systeem is ontworpen voor incrementeel leren; naarmate nieuwe, door experts geverifieerde queries binnenkomen, kunnen deze worden omgezet in templates en aan de pool worden toegevoegd, waardoor de dekking en nauwkeurigheid in de loop van de tijd continu verbeteren.
• Kosteneffectiviteit: Door het mogelijk te maken dat kleinere, snellere LLM's via constrained decoding hoge nauwkeurigheid bereiken, verlaagt TeCoD de rekenkosten en latentie die gepaard gaan met het gebruik van enorme, gespecialiseerde modellen voor Text-to-SQL-taken.

Kortom, TeCoD overbrugt de kloof tussen de flexibiliteit van LLM's en de rigiditeit die nodig is voor betrouwbare database-interacties, en bewijst dat het benutten van terugkerende patronen in enterprise-werklasten een zeer effectieve strategie is om de Text-to-SQL-prestaties te verhogen.