🤖 machine learning

SQLConductor: Search-to-Policy Learning for Step-wise Text-to-SQL Orchestration

Het artikel introduceert SQLConductor, een stapsgewijs orchestratieframework dat Search-to-Policy Learning gebruikt om een beleidsmodel te trainen voor het dynamisch selecteren van SQL-subtaken op basis van tussentijdse feedback, waardoor het een superieure executienauwkeurigheid en generalisatie bereikt op complexe Text-to-SQL benchmarks vergeleken met vaste pipelines en directe backbone-training.

Oorspronkelijke auteurs: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een heel specifiek antwoord te krijgen uit een enorme, rommelige bibliotheek met informatie (een database) door een vraag te stellen in gewone mensentaal. Dit is het "Text-to-SQL"-probleem: het omzetten van een menselijke vraag in een computercode (SQL) die de bibliotheek kan begrijpen.

Lange tijd probeerden computers dit op te lossen door een strak, vooraf geschreven recept te volgen. Ongeacht wat je vroeg, moest de computer altijd dezelfde stappen volgen: Stap 1, Stap 2, Stap 3, Stap 4. Als je een simpele vraag stelde zoals "Wat is de hoofdstad van Frankrijk?", moest de computer nog steeds door alle vier de stappen gaan, wat tijd verspilde en soms voor verwarring zorgde. Als je een moeilijke vraag stelde en de computer een fout maakte in Stap 2, zou hij met die fout doorgaan, wat leidde tot een foutief antwoord.

SQLConductor is een nieuw systeem dat het spel verandert. In plaats van een rigide recept te volgen, werkt het als een slim projectmanager of een dirigent die beslist wat de volgende zet is op basis van wat er op dit moment gebeurt.

Hier is hoe het werkt, met behulp van eenvoudige analogieën:

1. De Gereedschapskist (De Actieruimte)

Stel je voor dat de computer een gereedschapskist heeft met verschillende gespecialiseerde gereedschappen:

De Breker (The Breaker): Breekt een grote vraag op in kleinere delen.
De Vinder (The Finder): Zoekt naar specifieks nummers of namen in de database.
De Filter (The Filter): Snijdt irrelevante informatie weg.
De Schrijver (The Writer): Schrijft de eigenlijke computercode.
De Editor (The Editor): Herstelt fouten in de code.
De Afmaker (The Finisher): Zegt: "We zijn klaar, hier is het antwoord."

Oude systemen dwongen de computer om gereedschappen in een specifieke volgorde te kiezen (bijv. Breker $\to$ Vinder $\to$ Schrijver $\to$ Afmaker). SQLConductor laat de "Dirigent" de tool kiezen die op dit moment nodig is. Als de Vinder merkt dat er meer informatie nodig is, kan de Dirigent de Breker opnieuw aanroepen. Als de Schrijver een fout maakt, kan de Dirigent direct de Editor aanroepen.

2. Het Trainingskamp (Search-to-Policy Learning)

Hoe leert de Dirigent om deze slimme beslissingen te nemen? Het leest niet zomaar een handleiding; het gaat door een intensief trainingskamp genaamd Search-to-Policy Learning.

De Simulatie (MCTS): Stel je een schaker voor die oefent tegen een computer. De computer probeert duizenden verschillende spelpaden (workflows) om te zien welke leiden tot winst. SQLConductor doet dit ook: het simuleert miljoenen verschillende manieren om een vraag op te lossen, door verschillende combinaties van tools uit te proberen.
De Stabiliteitscontrole: Alleen omdat een pad één keer werkte, betekent niet dat het een goede strategie is; het kan geluk zijn geweest. Het systeem kijkt naar welke paden consistent werken. Het is als een coach die zegt: "Kopieer niet alleen de ene keer dat je door geluk won; kopieer de strategie die 9 van de 10 keer wint."
Het "Curriculum" (Moeilijkere Problemen): Zodra de Dirigent goed wordt in eenvoudige problemen, gooit het trainingskamp er moeilijkere, lastigere vragen tegenaan. Het systeem leert specifiek hoe het de moeilijke gevallen moet afhandelen waar het normaal gesproken op faalt.

3. Het Resultaat: Een Flexibele, Efficiënte Werker

Eenmaal getraind, wordt de SQLConductor ingezet om echte vragen op te lossen.

Aanpassingsvermogen: Als je een simpele vraag stelt, kan de Dirigent zeggen: "Ik heb de Editor en de Breker niet nodig; ik gebruik gewoon de Schrijver en de Afmaker." Dat bespaart tijd. Als je een complexe vraag stelt, weet het systeem dat het moet terugkeren naar eerdere stappen, meer bewijs moet verzamelen en het antwoord moet verfijnen.
Efficiëntie: Omdat het alleen de tools gebruikt die het daadwerkelijk nodig heeft, verbruikt het minder rekenkracht en kost het minder geld dan systemen die elke vraag door een lange, vaste pijplijn dwingen.
Nauwkeurigheid: In tests behaalde dit systeem vaker het juiste antwoord dan eerdere methoden, zelfs wanneer de vragen zeer moeilijk waren of de databases rommelig waren.

Het Grotere Plaatje

Beschouw oude Text-to-SQL-systemen als een lopende band in een fabriek: elk object gaat door dezelfde machines, of ze nu nodig zijn of niet. Als een onderdeel op de band breekt, blijft de hele lijn doorgaan, waardoor slechte producten worden geproduceerd.

SQLConductor is als een vaardige ambachtsman in een werkplaats. Hij bekijkt het object (de vraag), besluit welke gereedschappen hij moet pakken, probeert een stap, controleert het resultaat en beslist dan wat hij daarna gaat doen. Als hij een fout maakt, herstelt hij die direct. Als de klus simpel is, maakt hij hem snel af. Als de klus complex is, neemt hij de tijd om het goed te doen.

Het artikel beweert dat door een computer te leren om te handelen als deze vaardige ambachtsman — in plaats van als een starre machine — het in staat is om databasevragen nauwkeuriger, efficiënter en met een beter aanpassingsvermogen aan verschillende soorten problemen op te lossen.

Technische Samenvatting: SQLConductor

1. Probleemstelling

Real-world Text-to-SQL blijft uitdagend vanwege de noodzaak voor gecoördineerde redenering over complexe, heterogene databaseomgevingen. Bestaande systemen vallen over het algemeen uiteen in twee categorieën, die beide beperkingen vertonen in adaptiviteit:

Vaste Pipelines: Deze vertrouwen op vooraf gedefinieerde, rigide fasenvolgordes (bijv. schema linking $\to$ waarde-extractie $\to$ generatie $\to$ revisie). Hoewel gestructureerd, kunnen ze geen eerdere beslissingen heroverwegen op basis van tussenliggende feedback of uitvoeringsfouten, wat leidt tot foutpropagatie.
Plan-then-Execute Orchestratie: Deze methoden genereren een volledige workflow-planning voordat de uitvoering begint. Hoewel flexibeler dan vaste pipelines, committeren ze zich nog steeds aan een statische sequentie zodra de uitvoering start, waardoor het systeem niet kan adapteren aan tussenliggende artefacten of uitvoeringsfeedback tijdens het opljingsproces.

De kernuitdaging is het leren van een stapgewijze orchestratiebeleid dat dynamisch de volgende actie kan selecteren op basis van de huidige oplossingscontext en tussenliggend bewijs, zonder te vertrouven op door mensen handmatig vervaardigde workflow-data of prohibitieve online zoekkosten tijdens de inferentie.

2. Methodologie: SQLConductor

SQLConductor is een stapgewijs orchestratie-leersysteem dat procesorganisatie (orchestratie) scheidt van subtaakuitvoering (redenering). Het hanteert een Search-to-Policy Learning paradigma, waarbij brede offline workflow-zoektochten wordt getransformeerd naar een inzetbaar beleid voor efficiënte inferentie.

2.1 Actieruimte

Het systeem definieert een modulaire actieruimte $\mathcal{A}$ bestaande uit zeven gespecialiseerde modules, aangeroepen door bevroren Large Language Models (LLMs):

Vraagdecompositie ( $a_{dec}$ ): Herschrijft complexe vragen naar fijnmazige vereisten.
Relevante Waarde-extractie ( $a_{val}$ ): Identificeert conditiewaarden voor SQL-predicaten.
Operatie-identificatie ( $a_{op}$ ): Registreert vereiste SQL-operaties (bijv. aggregatie, sortering).
Schema Pruning ( $a_{sch}$ ): Selecteert relevante tabellen en kolommen.
SQL Query Generatie ( $a_{gen}$ ): Synthetiseert een SQL-kandidaat.
SQL Query Verfijning ( $a_{ref}$ ): Corrigeert syntaxis- of uitvoeringsfouten.
Termineren en Output ( $a_{term}$ ): Beëindigt de workflow en geeft de definitieve SQL terug.

2.2 Search-to-Policy Learning

Het trainingsproces bestaat uit een offline fase en een online implementatiefase.

Fase 1: Offline Search-to-Policy Training

MCTS-gebaseerde Workflow Exploratie:
- Voor elke trainingsinstantie voert SQLConductor een Monte Carlo Tree Search (MCTS) uit over de actieruimte.
- Knopen vertegenwoordigen orchestratiestaten; randen vertegenwoordigen actieselecties.
- De zoektocht verkent diverse actiecomposities en dieptes, geleid door execution-consistency rewards (meten of gegenereerde SQL consistente resultaten produceert over meerdere samples).
- Dit genereert een diverse set kandidaat-trajecten $\mathcal{X}(q, D)$ .
Workflow Supervisie Curatie:
- Skeleton Extractie: Trajecten worden gegroepeerd op basis van hun actiesequenties (workflow-skeletten).
- Stabiliteitsschatting: Omdat de zoekruimte combinatorisch en ruisgevoelig is, schat SQLConductor de stabiliteit van elke workflow in met behulp van de Laplace-regel van successie: $\hat{p}_\tau = \frac{s_\tau + 1}{n_\tau + 2}$ , waarbij $s_\tau$ de telling van succesvolle executies is en $n_\tau$ de totale telling.
- Selectie: De top- $k$ workflows met de hoogste stabiliteitsscores worden geselecteerd. Uit elke groep wordt één succesvol traject gesampled als een representatieve waarde.
- Redeneringsaugmentatie: Een ingezet LLM genereert stap-niveau redenering ( $e_t$ ) die uitlegt waarom een specifieke actie werd gekozen gegeven de huidige context, wat resulteert in een geaugmenteerd traject $\bar{\xi}$ .
Stabiliteit-gewogen Supervised Fine-tuning (SFT):
- Het beleidsmodel wordt getraind op de gecureerde geaugmenteerde trajecten.
- Masking: De loss-functie maskeert <results> tokens (actie-outputs) om te voorkomen dat het beleid leert actie-outputs te voorspellen, met de focus op orchestratiebeslissingen.
- Weging: Trajecten worden gewogen door hun stabiliteitsscores ( $\hat{p}_\tau$ ) om robuuste orchestratiepatronen te prioriteren terwijl diversiteit behouden blijft.
Curriculum Reinforcement Learning (RL):
- Om moeilijke queries te behandelen waarbij succesvolle trajecten schaars zijn, construeert het systeem een curriculum van uitdagende instanties (lage MCTS succesratio).
- Met behulp van Group Relative Policy Optimization (GRPO) voert het beleid zelf-rollouts uit op deze lastige gevallen.
- Rewards: De beloningsfunctie combineert Executabiliteit (geldige SQL) en Outcome Quality (Execution F1-score tegen de grondwaarheid), wat het beleid aanmoedigt om herstelstrategieën te leren voor complexe gevallen.

Fase 2: Online Implementatie

Het getrainde beleidsmodel coördineert de bevroren actiemodules stap voor stap.
Bij elke stap genereert het beleid redenering en selecteert het de volgende actie op basis van de huidige staat (geaccumuleerd bewijs en feedback).
De workflow wordt dynamisch geconstrueerd tijdens de uitvoering, aangepast aan de specifieke eisen van de query.

3. Belangrijkste Bijdragen

Stapgewijs Orchestratieframework: SQLConductor introduceert een framework dat procesorganisatie ontkoppelt van subtaakuitvoering, wat query-specifieke workflows mogelijk maakt met adaptieve dieptes en modulecomposities, in tegenstelling tot vaste pipelines of plan-then-execute benaderingen.
Search-to-Policy Learning: Het artikel stelt een mechanisme voor om een adaptief orchestratiebeleid te trainen zonder menselijk vervaardigde workflow-data. Het gebruikt MCTS voor exploratie, stabiliteitsschatting voor curatie, en een combinatie van Stabiliteit-gewogen SFT en Curriculum RL voor training.
Empirische Prestaties en Generalisatie:
- BIRD-Dev: SQLConductor bereikt 73,2% Execution Accuracy (EX) op de BIRD-Dev benchmark, waarmee het eerdere methoden overtreft die direct vergelijkbare of grotere Text-to-SQL backbones trainen.
- Parameterefficiëntie: Het behaalt deze resultaten door alleen een compact orchestratiebeleid (bijv. 8B parameters) te trainen om bevroren grotere actiemodellen (bijv. 32B) te coördineren, wat een superieure nauwkeurigheid-per-getrainde-parameter efficiëntie aantoont.
- Generalisatie: Het model vertoont sterke generalisatie op out-of-distribution (OOD) datasets (Spider-Test, KaggleDBQA, ScienceBenchmark) zonder dataset-specifieke hertraining.
- Efficiëntie: Het vermindert het tokenverbruik tijdens inferentie en de API-kosten aanzienlijk (ongeveer 8x goedkoper dan baselines zoals CHESS) terwijl het een hogere nauwkeurigheid behoudt.

4. Betekenis en Claims

Het artikel claimt dat geleerde orchestratie meer parameterefficiënt en effectiever is dan het verder trainen van een monolithisch Text-to-SQL model.

Adaptiviteit vs. Brute Force: De resultaten laten zien dat de prestatiewinst niet voortkomt uit het simpelweg vergroten van de workflowlengte of modelgrootte, maar uit het vermogen van het beleid om de orchestratie-inspanning adaptief toe te wijzen. Het getrainde beleid wijst meer stappen toe aan uitdagende queries terwijl het eenvoudige queries efficiënt houdt.
Robuustheid: De stabiliteit-gewogen curatie zorgt ervoor dat het beleid robuuste patronen leert in plaats van toevallige successen, waardoor het complexe, ruisgevoelige en domeinspecifieke queries effectief kan afhandelen.
Schaalbaarheid: Door het orchestratiebeleid te scheiden van de actiemodules, maakt het framework de integratie van grotere of gespecialiseerde actiemodellen mogelijk zonder het gehele systeem opnieuw te trainen, wat een schaalbaar pad biedt voor complexe Text-to-SQL taken.

Samenvattend adresseert SQLConductor de rigiditeit van bestaande Text-to-SQL systemen door een dynamisch, stapgewijs orchestratiebeleid te leren dat adapteert aan tussenliggend bewijs, waarbij een state-of-the-art prestatie wordt geleverd met aanzienlijk lagere computationele kosten.