SemanticAgent: A Semantics-Aware Framework for Text-to-SQL Data Synthesis

1. Il Problema: Validità Semantica vs. Esecuibilità

Il lavoro identifica una limitazione fondamentale nelle pipeline esistenti per la sintesi di dati Text-to-SQL: la confusione tra eseguibilità e validità semantica.

• Il Dilemma: Le metodologie attuali si basano spesso su controlli sintattici e validazione basata sull'esecuzione (execution-based validation). Tuttavia, una query SQL può essere eseguita con successo senza violare errori di sintassi o vincoli di tipo, ma essere comunque semanticamente errata rispetto all'intento dell'utente o alle regole del dominio.
• Esempio Critico: Una query che calcola la media (AVG) di un identificatore categorico (es. CDSCode di una scuola) può essere eseguita tecnicamente, ma è priva di senso nel contesto del dominio (un ID non è un valore numerico aggregabile).
• Conseguenza: I dati sintetici generati da pipeline tradizionali contengono "rumore" semantico che, se utilizzati per il fine-tuning, limitano le prestazioni dei modelli downstream, specialmente in scenari complessi e specifici per dominio.

2. Metodologia: SemanticAgent

Per risolvere questo problema, gli autori propongono SemanticAgent, un framework di sintesi guidato dalla conoscenza che introduce una supervisione semantica esplicita al posto di quella implicita. Il sistema è strutturato attorno a tre moduli specializzati e un processo in tre fasi:

A. Architettura e Strumenti

Il framework utilizza tre agenti/tool interagenti:

1. Data Analysis Tool (DA): Agisce come analista di dominio. Estrae regole aziendali, vincoli semantici e relazioni tra entità direttamente dallo schema del database e dai dati di istanza, costruendo una Base di Conoscenza Strutturata (K).
2. Data Synthesis Tool (DS): Agisce come autore di dati. Genera coppie domanda-SQL e le relative giustificazioni (rationale) seguendo la supervisione della base di conoscenza $K$.
3. Diagnosis Tool (DT): Agisce come revisore semantico. Verifica le uscite contro i vincoli del dominio, identifica incoerenze e corregge i campioni invalidi.

B. Le Tre Fasi del Processo

1. Analisi Semantica (Inferenza della Conoscenza):
   • Viene costruito un database di conoscenza $K$ attraverso un processo gerarchico a sei stadi.
   • Si parte dai metadati dello schema, si passa all'analisi dei tipi di campo e delle semantica delle colonne, fino all'identificazione di vincoli di dominio e relazioni cross-tabella (es. chiavi esterne, regole di business come "se il tasso di pasti gratuiti > 50%, allora...").
2. Autorazione Controllata (Generazione):
   • Il modulo di sintesi genera triple $(q, s, r)$: domanda ($q$), query SQL ($s$) e traccia di ragionamento ($r$).
   • La generazione è controllata da parametri di contesto, tipo di compito analitico e livello di complessità SQL. La traccia di ragionamento è fondamentale per rendere esplicito il processo decisionale.
3. Diagnosi e Rifinitura (Verifica):
   • Un ciclo iterativo valida le triple generate. Il modulo di diagnosi controlla se la query viola i vincoli estratti in $K$ (es. join errati, aggregazioni su colonne non numeriche).
   • Se vengono rilevati errori, il sistema recupera evidenze correttive dalla base di conoscenza e rigenera la query o la domanda, aggiornando la traccia di ragionamento con la storia delle correzioni.

3. Contributi Chiave

• Framework Guidato dalla Conoscenza: Introduzione di SemanticAgent, che sostituisce le assunzioni semantiche implicite con una supervisione esplicita basata su una base di conoscenza strutturata derivata dal database.
• Allineamento Semantico End-to-End: Il processo integra l'estrazione di conoscenza, la sintesi delle istruzioni e la verifica, garantendo coerenza semantica in ogni fase e rendendo le fonti di errore tracciabili.
• Validazione Empirica: Dimostrazione che i dati sintetici generati da SemanticAgent possiedono maggiore affidabilità, diversità e complessità strutturale rispetto ai metodi baselines, portando a miglioramenti significativi nelle prestazioni dei modelli downstream.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su benchmark diversificati (Spider, BIRD, Spider2.0, EHRSQL, ScienceBenchmark) confrontando SemanticAgent con metodi baselines come CodeS, SynQL e OmniSQL.

• Prestazioni Downstream (RQ1):
  • I modelli fine-tuned su dati generati da SemanticAgent hanno superato sistematicamente quelli addestrati su dati sintetici baselines.
  • Miglioramenti Significativi: Su BIRD (che richiede ragionamento basato su conoscenze di dominio), SemanticAgent ha ottenuto un miglioramento di 2.6 punti nell'accuratezza di esecuzione (EX) rispetto a OmniSQL con il modello Qwen2.5-Coder-7B.
  • Su Spider2.0-SQLite (complessità aziendale), i guadagni sono stati fino a 3.4 punti.
  • I benefici sono particolarmente evidenti in scenari che richiedono una forte comprensione dello schema e ragionamento specifico per dominio.
• Qualità dei Dati Sintetici (RQ2):
  • Esecuibilità: SemanticAgent mostra un tasso di esecuzione di successo (SER) superiore, specialmente su benchmark difficili come Spider 2.0.
  • Complessità e Diversità: Il framework genera una proporzione maggiore di query complesse (join multipli, finestre, CTE) e mostra una maggiore diversità semantica (misurata tramite distanze negli embedding), riducendo la ridondanza.
• Scalabilità (RQ3):
  • L'analisi della scalabilità mostra che SemanticAgent offre un'efficienza dei dati superiore: le prestazioni migliorano costantemente all'aumentare del budget di dati sintetici, mantenendo un vantaggio anche in regimi a bassa risorsa.

5. Significato e Implicazioni

Il lavoro di SemanticAgent segna un cambio di paradigma nella generazione di dati sintetici per Text-to-SQL:

1. Oltre l'Esecuibilità: Dimostra che l'esecuzione corretta non è sufficiente per la qualità dei dati; la coerenza semantica con le regole del dominio è il fattore critico per il successo del fine-tuning.
2. Riduzione dei Costi di Annotazione: Offre una soluzione scalabile per generare dati di alta qualità in domini specifici (es. sanitario, scientifico) dove l'annotazione manuale è costosa e richiede esperti.
3. Tracciabilità: La capacità di tracciare le correzioni semantiche attraverso le "rationale" rende il processo di sintesi trasparente e correggibile, a differenza delle "scatole nere" delle pipeline precedenti.

In sintesi, SemanticAgent risolve il problema del "rumore semantico" nei dati sintetici, fornendo un framework robusto per addestrare modelli Text-to-SQL più capaci, affidabili e pronti per l'uso in scenari reali complessi.