Riepilogo Tecnico: Cosa Predice la Correttezza nel Text-to-SQL? Uno Studio sulla Predizione Selettiva

Definizione del Problema

Il documento affronta il problema della predizione selettiva nei sistemi text-to-SQL: determinare quando una query SQL generata è abbastanza corretta da essere eseguita e quando il sistema dovrebbe astenersi. La correttezza è definita secondo lo standard dei benchmark: la query generata deve restituire lo stesso insieme di risultati di una query di riferimento scritta da un essere umano quando eseguita contro il database. L'obiettivo è stimare la probabilità di correttezza ($P(\text{correct})$) per consentire a un sistema di scegliere tra rispondere o declinare, piuttosto che migliorare iterativamente la query (auto-correzione).

Metodologia

Lo studio valuta vari segnali per predire la correttezza su compiti text-to-SQL multi-tabella "difficili" utilizzando due benchmark: BIRD (800 domande, 8 database) e Spider (490 domande, 20 database).

Segnali Valutati

Gli autori categorizzano i segnali in due gruppi:

1. Segnali Statistici Black-box: Si basano sulle statistiche dell'output del generatore senza ragionamento esterno.
   • Auto-coerenza (Self-consistency): Clustering per stringa (query identiche), strutturale (struttura canonica) ed esecuzione (set di risultati).
   • Rilevanza dello Schema: Similitudine di embedding tra la domanda e le tabelle/colonne utilizzate.
   • Eseguibilità: Se la query viene eseguita e restituisce righe.
   • Log-Probabilità White-box: La media della log-probabilità della sequenza della query generata.
2. Segnali Basati sulla Verifica: Coinvolgono un modello separato (LLM judge) che ispeziona la domanda, lo schema, l'evidenza e la query candidata per giudicare la correttezza.
   • Giudici: GPT-4o-mini, GPT-4o e Claude-Sonnet-4.6.
   • Ensemble: Una combinazione dei punteggi di GPT-4o e Claude.
   • Verificatori Addestrati: Modelli encoder e generativi (Qwen2.5-1.5B/7B) sottoposti a fine-tuning su coppie etichettate per esecuzione.

Metriche di Valutazione

• AUROC: Area sotto la curva delle caratteristiche di ripresa del ricevitore, che misura la capacità di classificare le query corrette sopra quelle errate.
• Calibrazione: Errore di Calibrazione Attesa (ECE).
• Predizione Selettiva: Frontiere rischio-copertura (tasso di errore tra le domande risposte vs frazione di domande risposte).
• Significatività Statistica: Intervalli di confidenza bootstrap accoppiati (2.000 campioni) per determinare se le differenze tra i segnali siano significative.

Risultati Chiave

1. Il Limite (Ceiling) del Black-Box

I segnali statistici black-box e la log-probabilità white-box si assestano in una stretta banda di prestazioni, fallendo nel distinguere in modo affidabile le query corrette da quelle errate nei compiti multi-tabella difficili.

• Range di Prestazioni: AUROC tra 0,61 e 0,68.
• Segnale Black-Box più Forte: Auto-coerenza della stringa (AUROC 0,675).
• Log-Probabilità: Simile all'auto-coerenza (0,669), senza differenze significative.
• Eseguibilità: Essenzialmente il caso casuale (0,500), poiché le query errate spesso vengono eseguite con successo.
• Conclusione: Questi segnali misurano la coerenza interna o l'allineamento dello schema ma non riescono a rilevare errori logici di computazione o composizione.

2. La Verifica Rompe il Limite

I segnali basati sulla verifica superano significativamente i baseline black-box perché ragionano sul fatto che la logica SQL corrisponda alla domanda.

• Giudici Singoli:
  • GPT-4o-mini: 0,724 AUROC.
  • GPT-4o: 0,770 AUROC.
  • Claude-Sonnet-4.6: 0,776 AUROC.
• Ensemble: Combinare GPT-4o e Claude (che commettono errori differenti, correlazione $r=0,43$) produce il miglior segnale: 0,822 AUROC con un'eccellente calibrazione (ECE 0,031).
• Robustezza: Questo schema si mantiene attraverso diversi generatori (GPT-4o-mini vs GPT-4.1-mini) e benchmark (BIRD e Spider).

3. Verificatori Addestrati: In-Distribution vs Transfer

Lo studio indaga se un verificatore più economico e sottoposto a fine-tuning possa sostituire il giudice LLM congelato.

• In-Distribution: I modelli sottoposti a fine-tuning (encoder e giudici generativi) performano bene sugli schemi visti, raggiungendo 0,77–0,80 AUROC.
• Transfer Cross-Schema: Quando testati su database non visti (Leave-One-Database-Out), le prestazioni scendono significativamente a ~0,66 AUROC.
• Scaling & Distillazione: L'aumento della dimensione del modello (da 1.5B a 7B), l'aggiunta di diversità di schema, la distillazione dei razionali o il training cross-benchmark non sono riusciti a colmare il divario di transfer.
• Conclusione: I verificatori addestrati catturano regolarità superficiali specifiche dello schema piuttosto che un ragionamento robusto cross-schema. Per contesti aperti/cross-schema, un grande modello di ragionamento congelato rimane superiore.

4. Predizione Selettiva e Astensione

• Auto-coerenza: Non può formare un sottoinsieme valido a basso rischio; anche le sue predizioni più sicure sono troppo soggette a errori per un'astensione sicura.
• Ensemble di Verifica: Permette un'astensione utile. Ad esempio, a un target di rischio di 0,30, l'ensemble risponde al 27% delle domande con un rischio selettivo tenuto in esame di 0,24.
• Baseline di Auto-correzione: Un singolo round di auto-correzione migliora appena l'accuratezza (da 0,451 a 0,468) e produce una fiducia severamente mal calibrata (media 0,97, ECE 0,501), confermando che la rigenerazione non sostituisce la necessità di un verificatore calibrato.

5. Analisi degli Errori

Il documento identifica che i principali pattern di fallimento nei compiti text-to-SQL difficili sono la computazione e la composizione (rapporti, percentuali, logica condizionale, raggruppamento, annidamento), non lo schema linking o il numero di join.

• I punteggi di rilevanza dello schema sono deboli perché i generatori spesso identificano le tabelle corrette ma falliscono sulla logica.
• I verificatori eccellono perché valutano la computazione espressa dalla SQL rispetto alla domanda.
• Il vantaggio del verificatore è più pronunciato sulle domande aritmetiche (AUROC 0,813) e sulle query semplici dove l'auto-coerenza è spesso erroneamente sicura.

Significato e Rivendicazioni

Il documento afferma che per i compiti text-to-SQL difficili:

1. L'incertezza della correttezza è reale ma non è catturata da segnali economici. L'accordo di campionamento, la coerenza strutturale e la log-probabilità sono insufficienti per un deployment ad alto rischio.
2. Il ragionamento è richiesto. Gli unici segnali che rompono il limite di prestazione sono quelli che ragionano esplicitamente sulla logica della query (verifica).
3. I regimi di deployment differiscono.
   • Fisso/In-Domain: Un verificatore sottoposto a fine-tuning è uno strumento efficace in termini di costi e accurato per l'astensione.
   • Aperto/Cross-Schema: Un grande modello di ragionamento congelato (LLM judge) è attualmente necessario per una generalizzazione affidabile.
4. Gli ensemble migliorano l'affidabilità. Combinare giudici indipendenti (diversi provider) produce il segnale più calibrato e discriminante, suggerendo che l'incertezza della verifica non è un artefatto di una singola famiglia di modelli.
5. L'auto-correzione non è un sostituto. Anche i sistemi che rigenerano le query necessitano di un verificatore calibrato alla fine della pipeline per decidere se fidarsi dell'output finale.

Lo studio conclude che se un sistema deve decidere se fidarsi di una SQL generata, deve investire in un verificatore consapevole della logica e calibrarlo per la predizione selettiva, piuttosto che fare affidamento sulla fiducia del campionamento.