🤖 machine learning

SQLConductor: Search-to-Policy Learning for Step-wise Text-to-SQL Orchestration

Il documento introduce SQLConductor, un framework di orchestrazione a stadi che impiega lo Search-to-Policy Learning per addestrare un modello di policy per la selezione dinamica di sottotask SQL basata sul feedback intermedio, ottenendo così una precisione di esecuzione e una capacità di generalizzazione superiori sui benchmark complessi di Text-to-SQL rispetto alle pipeline fisse e all'addestramento diretto del backbone.

Autori originali: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Pubblicato 2026-06-23

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Yizhang Zhu, Zhangyang Peng, Boyan Li, Yuyu Luo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di ottenere una risposta molto specifica da una biblioteca di informazioni enorme e disordinata (un database) ponendo una domanda in linguaggio naturale. Questo è il problema "Text-to-SQL": trasformare una domanda umana in un comando per il computer (SQL) che la biblioteca possa comprendere.

Per molto tempo, i computer hanno cercato di risolvere questo problema seguendo una ricetta rigida e pre-scritta. Indipendentemente da ciò che chiedevi, il computer doveva seguire gli stessi passaggi: Passaggio 1, Passaggio 2, Passaggio 3, Passaggio 4. Se ponevi una domanda semplice come "Qual è la capitale della Francia?", il computer doveva comunque affrontare tutti e quattro i passaggi, sprecando tempo e talvolta confondendosi. Se ponevi una domanda difficile e il computer commetteva un errore nel Passaggio 2, avrebbe continuato a procedere con quell'errore, portando a una risposta errata.

SQLConductor è un nuovo sistema che cambia le regole del gioco. Invece di seguire una ricetta rigida, agisce come un project manager intelligente o un direttore d'orchestra che decide la mossa successiva in base a ciò che sta accadendo in quel momento.

Ecco come funziona, usando semplici analogie:

1. La Cassetta degli Attrezzi (Lo Spazio delle Azioni)

Immagina che il computer abbia una cassetta degli attrezzi con diversi strumenti specializzati:

Il Distruttore (The Breaker): Scompone una domanda grande in parti più piccole.
Il Cercatore (The Finder): Cerca numeri o nomi specifici nel database.
Il Filtro (The Filter): Elimina le informazioni irrilevanti.
Lo Scrittore (The Writer): Scrive il vero comando per il computer.
L'Editor (The Editor): Corregge gli errori nel comando.
Il Finalizzatore (The Finisher): Dice: "Abbiamo finito, ecco la risposta".

I vecchi sistemi costringevano il computer a scegliere gli strumenti in un ordine specifico (ad esempio, Distruttore $\to$ Cercatore $\to$ Scrittore $\to$ Finalizzatore). SQLConductor permette al "Direttore" di scegliere lo strumento necessario proprio in quel momento. Se il Cercatore si rende conto di aver bisogno di ulteriori informazioni, il Direttore può richiamare il Distruttore. Se lo Scrittore commette un errore, il Direttore può chiamare immediatamente l'Editor.

2. Il Campo di Addestramento (Apprendimento Search-to-Policy)

Come impara a prendere queste decisioni intelligenti il Direttore? Non si limita a leggere un manuale; affronta un rigoroso campo di addestramento chiamato Search-to-Policy Learning.

La Simulazione (MCTS): Immagina un giocatore di scacchi che si esercita contro un computer. Il computer prova migliaia di diversi percorsi di gioco (workflow) per vedere quali portano alla vittoria. Anche SQLConductor fa questo: simula milioni di modi diversi per risolvere una domanda, provando diverse combinazioni di strumenti.
Il Controllo di Stabilità: Il fatto che un percorso abbia funzionato una volta non significa che sia una buona strategia; potrebbe essere stato solo fortuna. Il sistema osserva quali percorsi funzionano con costanza. È come un allenatore che dice: "Non limitarti a copiare l'unica volta in cui hai vinto per fortuna; copia la strategia che vince 9 volte su 10".
Il "Curriculum" (Problemi più difficili): Una volta che il Direttore diventa bravo con i problemi facili, il campo di addestramento gli lancia domande più difficili e insidiose. Il sistema impara specificamente come gestire i casi complicati in cui di solito fallisce.

3. Il Risultato: Un Lavoratore Flessibile ed Efficiente

Una volta addestrato, lo SQLConductor viene impiegato per risolvere domande reali.

Adattabilità: Se poni una domanda semplice, il Direttore potrebbe dire: "Non ho bisogno dell'Editor o del Distruttore; userò solo lo Scrittore e il Finalizzatore". Risparmia tempo. Se poni una domanda complessa, sa che deve tornare indietro, raccogliere più prove e perfezionare la risposta.
Efficienza: Poiché utilizza solo gli strumenti di cui ha effettivamente bisogno, consuma meno potenza di calcolo e costa meno rispetto ai sistemi che costringono ogni domanda attraverso una lunga pipeline fissa.
Accuratezza: Nei test, questo sistema ha ottenuto la risposta corretta più spesso rispetto ai metodi precedenti, anche quando le domande erano molto difficili o i database disordinati.

Il Quadro Generale

Pensa ai vecchi sistemi Text-to-SQL come a un nastro trasportatore in una fabbrica: ogni articolo passa attraverso le stesse macchine, anche se non ne ha bisogno. Se un componente si rompe sul nastro, l'intera linea continua a muoversi, producendo prodotti difettosi.

SQLConductor è come un artigiano esperto in una bottega. Guarda l'oggetto (la domanda), decide quali strumenti prendere, prova un passaggio, controlla il risultato e poi decide cosa fare dopo. Se commette un errore, lo corregge immediatamente. Se il lavoro è semplice, lo finisce velocemente. Se è complesso, si prende il tempo necessario per farlo bene.

Il documento afferma che insegnando a un computer di agire come questo artigiano esperto — piuttosto che come una macchina rigida — può risolvere le domande del database in modo più accurato, più efficiente e con una migliore adattabilità ai diversi tipi di problemi.

Riepilogo Tecnico: SQLConductor

1. Definizione del Problema

Il Text-to-SQL nel mondo reale rimane una sfida a causa della necessità di un ragionamento coordinato su ambienti di database complessi ed eterogenei. I sistemi esistenti si dividono generalmente in due categorie, entrambe le quali presentano limitazioni in termini di adattabilità:

Pipeline Fisse: Queste si affidano a ordini di stadi predefiniti e rigidi (ad esempio, schema linking $\to$ recupero dei valori $\to$ generazione $\to$ revisione). Sebbene strutturate, non possono riconsiderare le decisioni precedenti sulla base di feedback intermedi o errori di esecuzione, portando alla propagazione dell'errore.
Orchestrazione Plan-then-Execute (Pianifica e poi Esegui): Questi metodi generano un piano di workflow completo prima dell'esecuzione. Sebbene più flessibili rispetto alle pipeline fisse, rimangono vincolati a una sequenza statica una volta iniziata l'esecuzione, impedendo al sistema di adattarsi agli artefatti intermedi o al feedback di esecuzione durante il processo di risoluzione.

La sfida centrale è apprendere una policy di orchestrazione passo-passo (step-wise) che possa selezionare dinamicamente l'azione successiva in base al contesto di risoluzione corrente e alle evidenze intermedie, senza fare affidamento su dati di workflow creati dall'uomo o incorrendo in costi di ricerca online proibitivi al momento dell'inferenza.

2. Metodologia: SQLConductor

SQLConductor è un framework di apprendimento dell'orchestrazione passo-passo che separa l'organizzazione del processo (orchestrazione) dall'esecuzione del sottotask (ragionamento). Utilizza un paradigma di Search-to-Policy Learning (Apprendimento da Ricerca a Policy), trasformando una ricerca offline di workflow estesa in una policy implementabile per un'inferenza efficiente.

2.1 Spazio delle Azioni

Il sistema definisce uno spazio di azioni modulare $\mathcal{A}$ composto da sette moduli specializzati, invocati da Large Language Models (LLM) congelati:

Decomposizione della Domanda ( $a_{dec}$ ): Riscrive domande complesse in requisiti granulari.
Estrazione dei Valori Rilevanti ( $a_{val}$ ): Identifica i valori di condizione per i predicati SQL.
Identificazione delle Operazioni ( $a_{op}$ ): Registra le operazioni SQL richieste (es. aggregazione, ordinamento).
Pruning dello Schema ( $a_{sch}$ ): Seleziona tabelle e colonne rilevanti.
Generazione della Query SQL ( $a_{gen}$ ): Sintetizza un candidato SQL.
Raffinamento della Query SQL ( $a_{ref}$ ): Corregge errori di sintassi o di esecuzione.
Terminazione e Output ( $a_{term}$ ): Termina il workflow e restituisce l'SQL finale.

2.2 Search-to-Policy Learning

Il processo di addestramento consiste in una fase offline e una fase di deployment online.

Fase 1: Addestramento Offline Search-to-Policy

Esplorazione del Workflow tramite MCTS:
- Per ogni istanza di addestramento, SQLConductor esegue una ricerca Monte Carlo Tree Search (MCTS) sullo spazio delle azioni.
- I nodi rappresentano gli stati di orchestrazione; gli archi rappresentano le selezioni delle azioni.
- La ricerca esplora diverse composizioni e profondità di azione, guidata da reward di coerenza di esecuzione (che misurano se la query SQL generata produce risultati coerenti attraverso molteplici campionamenti).
- Ciò genera un insieme diversificato di traiettorie candidate $\mathcal{X}(q, D)$ .
Curatela della Supervisione del Workflow:
- Estrazione dello Skeleton: Le traiettorie vengono raggruppate in base alle loro sequenze di azioni (skeleton di workflow).
- Stima della Stabilità: Poiché lo spazio di ricerca è combinatorio e rumoroso, SQLConductor stima la stabilità di ogni workflow utilizzando la regola di successione di Laplace: $\hat{p}_\tau = \frac{s_\tau + 1}{n_\tau + 2}$ , dove $s_\tau$ è il conteggio delle esecuzioni di successo e $n_\tau$ è il conteggio totale.
- Selezione: Vengono selezionati i top- $k$ workflow con i punteggi di stabilità più elevati. Da ogni gruppo viene campionata una traiettoria di successo come rappresentante.
- Augmentation del Ragionamento: Un LLM distribuito genera un ragionamento a livello di step ( $e_t$ ) spiegando perché una specifica azione è stata scelta dato il contesto attuale, creando una traiettoria aumentata $\bar{\xi}$ .
Supervised Fine-tuning (SFT) pesato sulla Stabilità:
- Il modello di policy viene addestrato sulle traiettorie aumentate curate.
- Mascheramento: La funzione di perdita maschera i token <results> (output delle azioni) per evitare che la policy impari a predire gli output delle azioni, concentrandosi invece sulle decisioni di orchestrazione.
- Pesatura: Le traiettorie sono pesate in base ai loro punteggi di stabilità ( $\hat{p}_\tau$ ) per dare priorità a pattern di orchestrazione robusti preservando al contempo la diversità.
Reinforcement Learning (RL) a Curriculum:
- Per gestire query difficili dove le traiettorie di successo sono scarse, il sistema costruisce un set di curriculum di istanze impegnative (basso rapporto di successo MCTS).
- Utilizzando il Group Relative Policy Optimization (GRPO), la policy esegue auto-rollout su questi casi difficili.
- Reward: La funzione di reward combina l'Eseguibilità (SQL valido) e la Qualità dell'Esito (F1 score di esecuzione rispetto alla ground truth), incoraggiando la policy a imparare strategie di recupero per casi complessi.

Fase 2: Deployment Online

Il modello di policy addestrato coordina i moduli di azione congelati passo dopo passo.
Ad ogni step, la policy genera un ragionamento e seleziona l'azione successiva basandosi sullo stato corrente (evidenza accumulata e feedback).
Il workflow viene costruito dinamicamente durante l'esecuzione, adattandosi alle specifiche richieste della query.

3. Contributi Chiave

Framework di Orchestrazione Passo-Passo: SQLConductor introduce un framework che scinde l'organizzazione del processo dall'esecuzione del sottotask, consentendo workflow specifici per query con profondità e composizioni di moduli adattive, a differenza delle pipeline fisse o degli approcci plan-then-execute.
Search-to-Policy Learning: Il paper propone un meccanismo per addestrare una policy di orchestrazione adattiva senza dati di workflow creati dall'uomo. Utilizza MCTS per l'esplorazione, la stima della stabilità per la curatela e una combinazione di SFT pesato sulla stabilità e Curriculum RL per l'addestramento.
Performance Empirica e Generalizzazione:
- BIRD-Dev: SQLConductor raggiunge il 73.2% di Execution Accuracy (EX) sul benchmark BIRD-Dev, superando i metodi precedenti che addestrano direttamente backbone Text-to-SQL comparabili o più grandi.
- Efficienza dei Parametri: Ottiene questi risultati addestrando solo una compatta policy di orchestrazione (ad esempio, 8B parametri) per coordinare modelli di azione più grandi e congelati (ad esempio, 32B), dimostrando una superiore efficienza di accuratezza-per-parametro-addestrato.
- Generalizzazione: Il modello mostra una forte generalizzazione su dataset out-of-distribution (OOD) (Spider-Test, KaggleDBQA, ScienceBenchmark) senza ri-addestramento specifico per il dataset.
- Efficienza: Riduce significativamente l'uso di token e i costi delle API durante l'inferenza (circa 8 volte più economico rispetto a baseline come CHESS) mantenendo un'accuratezza superiore.

4. Significato e Rivendicazioni

Il paper sostiene che l'orchestrazione appresa sia più efficiente in termini di parametri ed efficace rispetto all'ulteriore addestramento di un modello Text-to-SQL monolitico.

Adattività vs Forza Bruta: I risultati dimostrano che i guadagni di performance non derivano semplicemente dall'aumento della lunghezza del workflow o della dimensione del modello, ma dalla capacità della policy di allocare l'effort di orchestrazione in modo adattivo. La policy addestrata assegna più step alle query difficili pur mantenendo efficienti le query semplici.
Robustezza: La curatela pesata sulla stabilità assicura che la policy apprenda pattern robusti piuttosto che successi accidentali, permettendole di gestire efficacemente query complesse, rumorose e specializzate nel dominio.
Scalabilità: Separando la policy di orchestrazione dai moduli di azione, il framework consente l'integrazione di modelli di azione più grandi o specializzati senza riaddestrare l'intero sistema, offrendo un percorso scalabile per compiti complessi di Text-to-SQL.

In sintesi, SQLConductor affronta la rigidità degli esistenti sistemi Text-to-SQL apprendendo una policy di orchestrazione passo-passo dinamica che si adatta alle evidenze intermedie, raggiungendo prestazioni allo stato dell'arte con costi computazionali significativamente inferiori.