Agent-Agnostic Evaluation of SQL Accuracy in Production Text-to-SQL Systems

1. Enunciato del Problema

Il paper affronta una lacuna critica nella distribuzione dei sistemi Text-to-SQL (T2SQL) in ambienti di produzione. Mentre i benchmark accademici (ad es. Spider, BIRD) si basano su query SQL di verità fondamentale (ground-truth) e schemi di database fissi per la valutazione, i sistemi di produzione reali affrontano vincoli diversi:

• Nessuna Verità Fondamentale: Le query degli utenti arrivano dinamicamente senza query SQL "gold standard" pre-annotate.
• Dipendenza dallo Schema: I database di produzione sono spesso proprietari, multi-tenant o soggetti a frequenti evoluzioni dello schema, rendendo l'accesso statico allo schema un rischio.
• Vuoto Valutativo: Senza query di riferimento o accesso allo schema, gli sviluppatori non possono monitorare sistematicamente l'accuratezza, rilevare il degrado della qualità o confrontare le versioni degli agenti dopo la distribuzione. Ciò porta a un'"erosione silenziosa della qualità" in cui gli errori passano inosservati.

I metodi esistenti (corrispondenza di stringhe o accuratezza basata sull'esecuzione) falliscono in questo contesto perché richiedono query di riferimento o un'istantanea di database live interrogabile, che spesso non sono disponibili o pratici in ambienti aziendali.

2. Metodologia: Il Framework STEF

Gli autori propongono STEF (Schema-agnostic Text-to-SQL Evaluation Framework), un sistema nativo per la produzione che valuta gli agenti T2SQL utilizzando solo input in linguaggio naturale e la SQL generata, senza bisogno di schemi di database o query di riferimento.

Il framework opera attraverso una pipeline a cinque stadi:

A. Specifica dell'Input

STEF accetta quattro input per ogni istanza di query:

1. $Q_u$: La domanda originale dell'utente.
2. $Q_e$: La domanda arricchita/ristrutturata dell'agente (output del pre-processing).
3. $S$: La query SQL generata.
4. $R_{app}$: Una configurazione JSON per regole specifiche dell'applicazione (ad es. mappature di colonne, filtri benigni).

B. Estrazione e Normalizzazione delle Caratteristiche Semantiche

Il sistema estrae specifiche semantiche strutturate sia dal linguaggio naturale ($Q_u, Q_e$) che dalla SQL ($S$) in modo indipendente.

• Dimensioni: Decompone le query in Proiezioni (colonne), Aggregazioni (SUM, AVG), Filtri (clausole WHERE) e Raggruppamento (GROUP BY).
• Normalizzazione: Per gestire le variazioni di forma superficiale, STEF normalizza i dati durante l'estrazione:
  • Risolve gli alias SQL nei significati semantici.
  • Normalizza i valori dei filtri (casi, spazi bianchi).
  • Mappa i termini del linguaggio naturale (ad es. "totale") alle funzioni SQL (ad es. SUM).
  • Applica mappature di colonne specifiche dell'applicazione da $R_{app}$.

C. Allineamento delle Specifiche e Classificazione dei Filtri

Le caratteristiche estratte vengono allineate per determinare lo Stato di Allineamento dei Filtri. Il sistema classifica l'allineamento in quattro categorie:

1. Completamente Applicato: Tutti i filtri richiesti presenti, nessun extra.
2. Completamente Applicato con Extra: Filtri richiesti presenti, ma esistono filtri aggiuntivi (controllati contro regole "benigne").
3. Parzialmente Applicato: Alcuni filtri mancanti o errati.
4. Non Applicato: Filtri critici mancanti.

D. Verdetto Semantico Basato su LLM

Un valutatore LLM agisce come "giudice" per valutare l'allineamento semantico olistico che la logica basata su regole non può catturare (ad es. aritmetica complessa sulle date, equivalenze implicite di metriche).

• Scala del Verdetto: L'LLM produce un punteggio ordinale a 4 punti: Corretto, Probabilmente Corretto, Potenzialmente Errato, Errato.
• Punteggio di Confidenza: L'LLM fornisce un punteggio di confidenza ($\gamma \in [0, 1]$) per quantificare la sua certezza, cruciale per gestire la varianza del valutatore.

E. Regole di Normalizzazione per la Produzione

Per prevenire falsi negativi su SQL strutturalmente corretti ma idiomaticamente diversi, STEF applica quattro regole di normalizzazione universali:

1. Inferenza di GROUP BY Richiesta: Se una SELECT mescola aggregati e non-aggregati, il necessario GROUP BY è assunto corretto anche se non esplicitamente richiesto.
2. GROUP BY Benigno: Il raggruppamento su una colonna già vincolata a un singolo valore da una clausola WHERE viene ignorato.
3. Tolleranza ORDER BY: L'ordinamento predefinito (ad es. per metrica aggregata decrescente) è accettato se l'utente non ha richiesto esplicitamente un ordine di ordinamento.
4. Tolleranza LIMIT: Limiti ad alta cardinalità (ad es. LIMIT 10000) usati come protezioni di sicurezza non sono penalizzati come vincoli top-k a meno che non siano esplicitamente richiesti.

3. Meccanismo di Punteggio Composto

STEF produce un singolo punteggio interpretabile ($\Phi$) su una scala 0–100. Il punteggio è calcolato come:
$$\Phi = \frac{B}{10} \times 100 \times \Gamma$$
Dove:

• $B$ (Punteggio Base): Somma del Punteggio di Allineamento dei Filtri (0–5) e del Punteggio del Verdetto Semantico (0–5), più un Bonus di Lenienza (+1) se i filtri extra sono confermati benigni.
• $\Gamma$ (Moltiplicatore di Confidenza): Un fattore di penalità basato sulla confidenza dell'LLM ($\gamma$).
  • $\gamma \ge 0.85 \rightarrow \Gamma = 1.0$
  • $0.65 \le \gamma < 0.85 \rightarrow \Gamma = 0.8$
  • $\gamma < 0.65 \rightarrow \Gamma = 0.5$
  • Significato: Questo trasforma l'incertezza del valutatore in un segnale di punteggio, penalizzando le valutazioni a bassa confidenza per prevenire falsi positivi.

4. Contributi Chiave

1. Valutazione Agnostica allo Schema: Il primo framework per valutare l'accuratezza T2SQL in produzione senza richiedere schemi di database, query di riferimento o infrastruttura di esecuzione.
2. Validazione della Domanda Arricchita: Tratta la riformulazione interna dell'agente della domanda dell'utente come un segnale di primo livello per la valutazione.
3. Iniezione di Regole Configurabili: Permette alle aziende di iniettare logica specifica per la distribuzione (mappature di colonne, filtri benigni) tramite templating dei prompt senza modifiche al codice o riaddestramento del modello.
4. Normalizzazione Robusta per la Produzione: Gestisce esplicitamente idiomi SQL comuni in produzione (inferenza GROUP BY, ORDER BY predefinito, LIMIT di sicurezza) per ridurre i falsi negativi.
5. Punteggio Calibrato sulla Confidenza: Integra l'incertezza dell'LLM direttamente nel punteggio finale di accuratezza, fornendo una metrica più affidabile per il monitoraggio continuo.

5. Risultati

I risultati empirici (Sezione 7) dimostrano la fattibilità del framework su tre agenti di produzione:

• Agente-A: Punteggio Medio 87.4, Punteggio P90 96.2, Copertura 98.7%.
• Agente-B: Punteggio Medio 82.1, Punteggio P90 93.5, Copertura 97.2%.
• Agente-C: Punteggio Medio 91.3, Punteggio P90 98.1, Copertura 99.1%.
  L'alta copertura e i punteggi indicano che STEF può monitorare efficacemente e differenziare le prestazioni degli agenti in un ambiente live.

6. Significato

Questo lavoro colma il divario tra la ricerca accademica T2SQL e la realtà industriale. Rimuovendo la dipendenza dai dati di verità fondamentale e dagli schemi statici, STEF abilita:

• Miglioramento Continuo: Le organizzazioni possono ora monitorare la qualità degli agenti in tempo reale e identificare regressioni.
• Confronto tra Agenti: Diverse versioni di modelli o agenti possono essere confrontate oggettivamente basandosi esclusivamente sulla qualità della loro output.
• Scalabilità: Il framework è distribuibile su tecnologie di database eterogenee e ambienti multi-tenant senza modifiche.

Limitazioni: Gli autori notano che la varianza residua del valutatore LLM persiste sui casi borderline e che le sottoquery profondamente annidate o le funzioni finestra complesse rimangono impegnative, suggerendo una direzione futura verso il parsing ibrido simbolico-neurale.