SPENCE: A Syntactic Probe for Detecting Contamination in NL2SQL Benchmarks

1. Il Problema

I modelli linguistici su larga scala (LLM) hanno raggiunto prestazioni elevate nei benchmark di traduzione da linguaggio naturale a SQL (NL2SQL), come Spider, SParC, CoSQL e BIRD. Tuttavia, esiste il sospetto che queste accuratezze riportate siano artificialmente gonfiate a causa della contaminazione dei dati. Questo fenomeno si verifica quando i modelli hanno visto le query di test (o pattern strutturalmente simili) durante la fase di pre-addestramento, portando a una memorizzazione superficiale piuttosto che a una vera generalizzazione composizionale.

La sfida principale è distinguere tra un modello che ha imparato a generalizzare la logica SQL e uno che ha semplicemente memorizzato le formulazioni specifiche delle domande presenti nei benchmark. I metodi esistenti si basano spesso sul confronto di stringhe (overlap) o su quiz di contaminazione, ma potrebbero non catturare la sensibilità del modello a variazioni sintattiche sottili.

2. Metodologia: Il Framework SPENCE

Gli autori introducono SPENCE (Syntactic Probing and Evaluation of NL2SQL Contamination Effects), un framework controllato per rilevare e quantificare la contaminazione attraverso il probing sintattico.

Il processo si articola in quattro fasi principali:

1. Generazione di Varianti Sintattiche:

   • Per ogni query di test (linguaggio naturale) nei dataset selezionati (Spider, SParC, CoSQL, BIRD), il sistema genera 10 parafrasi utilizzando un LLM (GPT-5).
   • Le parafrasi vengono generate fornendo al modello lo schema del database e la query SQL "gold" (corretta) come contesto, per garantire che il significato semantico rimanga invariato mentre cambia la struttura sintattica.

2. Ordinamento e Filtraggio:

   • Le parafrasi generate vengono analizzate per costruire alberi di dipendenza sintattica (usando spaCy).
   • Viene calcolato il Tree Edit Distance (TED) tra la query originale e ogni parafrasi. Il TED misura il numero minimo di operazioni (inserimenti, cancellazioni, sostituzioni di nodi) necessarie per trasformare un albero nell'altro.
   • Le parafrasi vengono classificate in base al TED (Rank 1 = più simile sintatticamente, Rank 10 = più distante).
   • Un filtro basato sulla similarità dei vettori di embedding (cosine similarity) rimuove le parafrasi semanticamente errate o irrilevanti.

3. Valutazione Accoppiata:

   • Vengono testati diversi LLM (inclusi GPT-4o-mini, O3-mini, LLaMA-3.3-70B, ecc.) sia sulle query originali che sulle parafrasi filtrate.
   • La metrica principale è la precisione di esecuzione (Execution Accuracy): se la query SQL generata esegue correttamente sul database.
   • Si calcola la differenza di accuratezza ($\Delta$Accuracy) tra la parafrasi e la query originale per ogni "rank" di distanza sintattica.

4. Analisi Statistica:

   • Viene calcolato il coefficiente di correlazione di Kendall's $\tau$ tra il "rank" della parafrasi (distanza sintattica) e la variazione di accuratezza.
   • Un $\tau$ fortemente negativo indica che l'accuratezza crolla man mano che la struttura sintattica si allontana dall'originale, suggerendo memorizzazione/contaminazione.
   • Vengono utilizzati metodi di bootstrap per calcolare intervalli di confidenza.

3. Contributi Chiave

• Framework SPENCE: Un metodo sistematico e riproducibile per valutare la robustezza sintattica dei modelli NL2SQL, andando oltre il semplice confronto di stringhe.
• Distinzione tra Generalizzazione e Memorizzazione: Dimostra che un calo di prestazioni su parafrasi sintatticamente distanti è un segnale forte di contaminazione, mentre una stabilità delle prestazioni indica vera generalizzazione.
• Analisi Temporale: Collega i risultati ai dati di rilascio dei benchmark, fornendo una correlazione temporale tra l'età del dataset e il rischio di contaminazione.
• Validazione delle Ipotesi Alternative: Il paper esclude sistematicamente altre cause del calo di prestazioni, come la lunghezza della query, la sovrapposizione lessicale (Jaccard similarity) o problemi di linking allo schema (schema linking), confermando che il fenomeno è puramente sintattico.

4. Risultati Principali

L'esperimento è stato condotto su quattro benchmark rilasciati in momenti diversi:

• Spider (Settembre 2018): Mostra il calo di prestazioni più drastico. Tutti i modelli subiscono una perdita di accuratezza significativa (fino a 15 punti percentuali) man mano che la distanza sintattica aumenta. Il valore di Kendall's $\tau$ è fortemente negativo (circa -0.89), indicando una forte sensibilità alla contaminazione.
• SParC (Giugno 2019) e CoSQL (Ottobre 2019): Mostrano un andamento intermedio. L'accuratezza è stabile per le parafrasi molto simili (Rank 1-3), ma inizia a degradare significativamente per le distanze maggiori. I valori di $\tau$ sono negativi ma meno estremi rispetto a Spider.
• BIRD (Maggio 2023): Mostra una robustezza eccezionale. L'accuratezza rimane stabile o addirittura migliora leggermente per le parafrasi più distanti. I valori di $\tau$ sono vicini a zero e gli intervalli di confidenza spesso includono lo zero, suggerendo che i modelli non hanno memorizzato questo dataset recente e generalizzano bene.

Conclusione dei risultati: Esiste un "gradiente temporale" chiaro. I benchmark più vecchi (Spider) sono i più vulnerabili alla contaminazione, mentre i benchmark più recenti (BIRD) sembrano essere meno influenzati, fornendo una misura più affidabile della generalizzazione.

5. Significato e Implicazioni

Il lavoro di SPENCE ha diverse implicazioni cruciali per la ricerca e l'industria:

• Ridefinizione delle Valutazioni: Suggerisce che le classifiche (leaderboard) basate solo sull'accuratezza su dataset statici sono insufficienti. È necessario integrare test di robustezza sintattica per verificare se un modello sta davvero "capendo" il linguaggio o solo "ricordando" le domande.
• Scelta dei Benchmark: Avvisa i ricercatori che l'uso di benchmark datati come Spider per valutare modelli moderni potrebbe portare a stime sovrastimate delle capacità. Benchmark più recenti e diversificati (come BIRD) sono preferibili.
• Metodologia per il Futuro: Fornisce un protocollo standardizzato per rilevare la contaminazione che può essere applicato ad altri domini oltre al NL2SQL (es. Text-to-Code, QA).
• Trasparenza: Sottolinea la necessità di pratiche di trasparenza nei benchmark ("Benchmark Transparency Cards") per monitorare la potenziale esposizione dei modelli ai dati di test durante il pre-addestramento.

In sintesi, SPENCE dimostra che la capacità di un modello di mantenere prestazioni elevate di fronte a variazioni sintattiche controllate è un indicatore fondamentale della sua genuina capacità di generalizzazione, rivelando che molti risultati attuali su benchmark storici potrebbero essere inflazionati da memorizzazione.