Text2SQL-Flow: A Robust SQL-Aware Data Augmentation Framework for Text-to-SQL

Riassunto Tecnico: TEXT2SQL-FLOW

1. Il Problema (Problem Statement)

Il compito del Text-to-SQL (tradurre linguaggio naturale in query SQL eseguibili) è fondamentale per democratizzare l'accesso ai database. Tuttavia, lo sviluppo di modelli linguistici (LLM) performanti per questo compito è ostacolato dalla scarsità di dati di alta qualità. I dataset esistenti (come Spider o BIRD) presentano tre limiti principali:

• Scarsità e dimensione limitata: La raccolta manuale è costosa e difficile da scalare.
• Bassa diversità strutturale: Le query presenti nei dataset spesso mancano di complessità (es. JOIN complessi, subquery, funzioni finestra).
• Semplice copertura semantica: Spesso i dataset non coprono una vasta gamma di domini o stili linguistici diversi.

2. Metodologia (Methodology)

Gli autori propongono TEXT2SQL-FLOW, un framework di data augmentation che non si limita a generare dati casuali, ma utilizza coppie SQL-NL (Natural Language) esistenti come "semi" per espandere sistematicamente il dataset lungo due dimensioni di diversità:

A. Diversità a livello di distribuzione (Distribution-level):
Per evitare che il modello si adatti solo a uno schema specifico, il framework introduce database ausiliari. Viene utilizzato un algoritmo di selezione basato sulla complessità dello schema (numero di tabelle, colonne e densità delle chiavi esterne) per selezionare database che coprano un ampio spettro di complessità strutturale.

B. Diversità a livello di query (Query-level):
Il cuore del framework è un processo di generazione che opera su sei dimensioni di aumento delle query SQL:

1. Data Value Transformations (DVT): Modifica dei parametri (date, soglie numeriche).
2. Query Structure Modifications (QSM): Riscrittura di query (es. da JOIN a subquery).
3. Business Logic Changes (BLC): Cambiamento degli obiettivi analitici (es. da profitto a costo).
4. Complexity Enhancements (CE): Aggiunta di filtri o JOIN extra.
5. Advanced SQL Features (ASF): Uso di funzioni avanzate (es. UNION, funzioni finestra).
6. Performance and Optimization (PO): Ottimizzazione della struttura della query.

C. Pipeline di Validazione e Raffinamento:
Per garantire l'alta fedeltà dei dati, il framework integra un processo end-to-end:

• Filtro di eseguibilità: Verifica che la query generata sia sintatticamente corretta tramite EXPLAIN.
• Generazione di domande NL: Utilizzo di LLM per creare domande in vari stili (formale, colloquiale, interrogativo, ecc.).
• Filtro di corrispondenza NL-SQL: Un LLM verifica che la domanda e la query abbiano lo stesso intento semantico.
• Generazione di Chain-of-Thought (CoT): Generazione di percorsi di ragionamento passo-passo per supportare l'apprendimento dei modelli.

3. Contributi Chiave (Key Contributions)

1. Framework TEXT2SQL-FLOW: Un sistema robusto e scalabile per l'augmentation di dati SQL-aware.
2. Dataset SQLFLOW: La creazione di un nuovo dataset di alta qualità composto da 75.386 esempi annotati.
3. Metodo di Retrieval "Masked Alignment": Per i modelli closed-source (dove non è possibile il fine-tuning), propongono un metodo di recupero di esempi (few-shot) che maschera gli elementi dipendenti dallo schema (nomi di tabelle/colonne) per concentrarsi sulla similitudine strutturale tra domanda e query.

4. Risultati (Results)

I risultati dimostrano la superiorità di SQLFLOW rispetto ai dataset sintetici esistenti (come SynSQL):

• Modelli Open-Source (Fine-tuning): Il fine-tuning con SQLFLOW migliora drasticamente le prestazioni. Ad esempio, su EHRSQL, il modello Qwen2.5-Coder è passato dal 34.6% al 53.7% di accuratezza. Il modello addestrato con SQLFLOW raggiunge prestazioni paragonabili a modelli addestrati su milioni di esempi sintetici (SynSQL-2.5M), pur usando una frazione dei dati.
• Modelli Closed-Source (Prompting): Il metodo di retrieval proposto supera i metodi basati sulla semplice similitudine semantica, ottenendo risultati competitivi (es. 61.0% su BIRD-dev) grazie alla capacità di trovare esempi con strutture logiche simili.

5. Significato (Significance)

Il lavoro sposta il focus dal paradigma "algorithm-centric" a quello "data-centric" nel campo del Text-to-SQL. Dimostra che la qualità, la diversità strutturale e la validazione rigorosa dei dati sono più importanti della semplice quantità. Il framework fornisce una base scalabile per addestrare sistemi di analisi dati intelligenti che siano robusti, capaci di ragionamento complesso e pronti per l'uso in scenari aziendali reali.