SQLyzr: A Comprehensive Benchmark and Evaluation Platform for Text-to-SQL

1. Il Problema

Nonostante i significativi progressi dei modelli Text-to-SQL guidati dai Large Language Models (LLM), gli attuali strumenti di valutazione (benchmark) presentano limitazioni critiche che ne ostacolano l'adozione in scenari reali:

• Metriche Aggregate Insufficienti: La maggior parte dei benchmark si basa su un singolo punteggio di correttezza aggregato, che non rivela quali tipi di query siano più difficili per un modello specifico.
• Mancanza di Realismo: I benchmark esistenti utilizzano database statici, di piccole dimensioni e con carichi di lavoro (workload) che non riflettono i pattern di utilizzo SQL del mondo reale, ignorando fattori critici come l'efficienza di esecuzione e la complessità strutturale.
• Staticità: Una volta raggiunto un punteggio elevato, i benchmark tradizionali offrono scarso valore diagnostico. Non supportano un ciclo di sviluppo iterativo, costringendo gli sviluppatori a creare nuovi test manuali per identificare le debolezze residue.
• Assenza di Analisi Granulare: Manca la capacità di analizzare errori specifici, suggerire correzioni o adattare il carico di lavoro alle carenze del modello.

2. Metodologia e Architettura

SQLyzr è presentato come una piattaforma completa e configurabile composta da due elementi principali: una specificazione del benchmark e una piattaforma di valutazione.

A. Specificazione del Benchmark

Il benchmark è definito da tre componenti fondamentali:

1. Workload (Carico di Lavoro): Una collezione di 20.979 punti dati (domande in linguaggio naturale e relative query SQL).
   • Include una tassonomia SQL dettagliata che classifica le query in 6 categorie e 36 sottocategorie, ordinate per complessità crescente (basata su concetti standard dei libri di testo).
   • Deriva da benchmark esistenti (Spider, BIRD, BEAVER) ma include un sottoinsieme allineato alla distribuzione empirica delle query di SQLShare per simulare l'uso reale.
2. Dataset: 286 database popolati (SQLite e MySQL) derivati dalle fonti sopra citate. Supporta la scalabilità dei dati.
3. Metriche di Valutazione: Oltre alla correttezza, SQLyzr introduce metriche multidimensionali:
   • Execution Accuracy (EA): Correttezza basata sui risultati di esecuzione.
   • Exact Match (EM): Confronto strutturale basato su AST (Abstract Syntax Tree), più robusto del confronto stringa usato in Spider.
   • Complexity Consistency (CC): Verifica se la query generata introduce complessità strutturale non necessaria rispetto alla ground truth.
   • Execution Time Consistency (ETC): Valuta l'efficienza temporale rispetto alla query di riferimento.
   • Token Usage (TU): Stima del costo di generazione (numero di token LLM).

B. Piattaforma di Valutazione e Pipeline

La piattaforma esegue una pipeline multi-stadio configurabile:

1. Scalabilità del Dataset (Dataset Scaling): Opzione di pre-processing che utilizza il framework SDV per generare dati sintetici, permettendo di valutare i modelli su database di grandi dimensioni mantenendo le proprietà statistiche originali.
2. Allineamento del Workload: Adatta la distribuzione delle query a target specifici (es. SQLShare) o distribuzioni personalizzate dall'utente.
3. Generazione SQL: Invoca il modello Text-to-SQL come componente "black-box" fornendo domanda e schema del database.
4. Valutazione e Analisi:
   • Analisi degli Errori: Identifica query errate ma correggibili applicando trasformazioni per verificare se producono lo stesso risultato della ground truth, suggerendo riparazioni specifiche.
   • Augmentation del Workload: Dopo una valutazione iniziale, il sistema identifica le sottocategorie con prestazioni scarse (sotto una soglia definita) e genera automaticamente nuovi dati per colmare queste lacune, trasformando il benchmark in una suite di test adattiva.
5. Interfaccia: Supporta sia GUI (grafica) che CLI, con modalità batch asincrone per ridurre i costi e accelerare i test.

3. Contributi Chiave

• Piattaforma Adattiva e Iterativa: SQLyzr supera la natura statica dei benchmark tradizionali, permettendo un ciclo di sviluppo continuo dove il carico di lavoro evolve in base alle debolezze del modello.
• Valutazione Granulare: La tassonomia a 36 sottocategorie permette di diagnosticare esattamente dove un modello fallisce (es. query annidate, join complessi), non solo se fallisce.
• Simulazione di Scenari Reali: L'integrazione di dati sintetici su larga scala e l'allineamento ai pattern di utilizzo reali (SQLShare) forniscono una stima più accurata delle prestazioni in produzione.
• Analisi Diagnostica Avanzata: Il modulo di "Error Analysis" offre suggerimenti di riparazione concreti, aiutando gli sviluppatori a comprendere le cause radice degli errori (es. ambiguità nel linguaggio naturale).
• Flessibilità Tecnica: Supporto per diversi motori DB (SQLite, MySQL), modelli LLM personalizzabili e ottimizzazioni per l'esecuzione parallela e batch.

4. Risultati e Dimostrazione

Il paper presenta una dimostrazione interattiva che valida le capacità della piattaforma attraverso tre scenari:

1. Confronto e Diagnosi dei Modelli: Confronto tra modelli SOTA (DIN-SQL, DAIL-SQL) e un baseline (Direct-LLM). I risultati mostrano come le metriche granulari rivelino differenze comportamentali invisibili ai punteggi aggregati.
2. Augmentation Iterativa del Workload: Dimostrazione di come il sistema identifichi le sottocategorie deboli e generi nuovi dati per migliorare il modello in modo mirato, mostrando il miglioramento delle prestazioni attraverso versioni successive del workload.
3. Valutazione con Scalabilità dei Dati: Mostra come le prestazioni (in termini di tempo di esecuzione e correttezza) cambino man mano che il database viene scalato con dati sintetici, evidenziando la capacità di SQLyzr di testare l'efficienza in condizioni realistiche.

5. Significato e Impatto

SQLyzr rappresenta un cambio di paradigma nel campo della valutazione Text-to-SQL. Spostando il focus da una valutazione statica e monodimensionale a un framework adattivo, multidimensionale e orientato allo sviluppo, la piattaforma:

• Facilita l'identificazione precisa delle debolezze dei modelli LLM.
• Promuove lo sviluppo di modelli più robusti, efficienti e pronti per la produzione.
• Offre agli sviluppatori strumenti diagnostici (analisi degli errori, suggerimenti di fix) che accelerano il ciclo di ottimizzazione.
• Colma il divario tra la ricerca accademica (benchmark piccoli e statici) e le esigenze industriali (scalabilità, efficienza, pattern reali).

Il codice sorgente è disponibile pubblicamente su GitHub, rendendo SQLyzr uno strumento accessibile per la comunità di ricerca e sviluppo.