Riepilogo Tecnico: EntSQL – Un Benchmark per il Grounding del Text-to-SQL in Conoscenze Aziendali a Lungo Contesto

1. Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano fatto progressi nelle capacità di Text-to-SQL, i benchmark esistenti (ad es., Spider, BIRD, Spider 2.0) valutano principalmente la generalizzazione dello schema, la gestione di database su larga scala e workflow basati su documentazione pubblica. Questi benchmark trascurano ampiamente gli scenari aziendali specifici in cui la generazione di SQL dipende da conoscenze aziendali private.

In contesti realistici di Business Intelligence (BI) aziendale, rispondere a una query richiede spesso l'interpretazione di definizioni di metriche interne, convenzioni di reporting, regole dell'anno fiscale e mappature organizzative che non sono recuperabili dalla sola documentazione pubblica o dallo schema del database. La sfida principale non è semplicemente generare uno SQL sintatticamente valido, ma ancorare (grounding) la costruzione dello SQL in documenti aziendali proprietari a lungo contesto.

2. Metodologia: Il Benchmark EntSQL

Per affrontare questa lacuna, gli autori introducono EntSQL, un benchmark orientato all'impresa progettato per valutare se i modelli siano in grado di ancorare la generazione di SQL alla conoscenza aziendale privata a lungo formato.

Costruzione dei Dati

Il benchmark è stato costruito partendo da dati operativi aziendali reali attraverso una pipeline in quattro fasi:

1. Raccolta Dati: Sono stati raccolti log reali di Q&A degli utenti da cinque domini aziendali core: Tesoreria, Finanza, Gestione Aziendale, Partito/Sindacato (Party Building) e Risorse Umane.
2. Sintesi del Contesto e Annotazione degli Esperti: Gli esperti di dominio hanno annotato ogni istanza con:
   • Gold SQL: Riflettente la logica di business prevista.
   • Snippet di Evidenza: Identificazione concisa delle regole di business chiave.
   • Documenti di Dominio: Documenti sintetizzati a lungo formato che descrivono il contesto aziendale rilevante.
3. Anonimizzazione e Traduzione: Entità sensibili (date, valori monetari, unità organizzative) sono state sostituite con mappature curate per preservare la struttura proteggendo al contempo la privacy. I materiali originali in cinese sono stati tradotti e validati in inglese, creando input bilingui allineati.
4. Assicurazione della Qualità: Una revisione manuale multi-stadio da parte di esperti e specialisti ha garantito la coerenza tra domande, SQL, evidenze e documenti.

Composizione del Benchmark

• Scala: 1.066 esempi semantici allineati Cinese-Inglese.
• Complessità: Il 96,0% degli esempi richiede conoscenze di dominio esterne oltre alla domanda e allo schema. Le query Gold SQL hanno una media di 388,7 token, utilizzando frequentemente Common Table Expressions (CTE), join e subquery annidate.
• Livelli di Difficoltà: Categorizzati per lunghezza dei token SQL: Facile (<200), Medio (200–400) e Difficile (>400). La maggior parte delle query rientra nelle categorie Medio e Difficile.

Configurazione Sperimentale

• Modelli Valutati: Otto sistemi, inclusi sette LLM standalone (ad es., Claude Opus/Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen 3.6 Max, Kimi K2.6, GLM 5.1) e un agente di coding interattivo (Claude Code).
• Impostazioni di Input:
  • Base: Domanda + Schema.
  • w/Doc: Domanda + Schema + Documento di Dominio a lungo formato.
  • w/Evidence: Domanda + Schema + Evidenza concisa curata dagli esperti.
• Metrica: Accuratezza di Esecuzione (EX), confrontando il set di risultati della SQL predetta rispetto alla Gold SQL sul database di destinazione.

3. Risultati Chiave

La valutazione rivela sfide significative per gli attuali sistemi allo stato dell'arte nei contesti aziendali:

• Bassa Performance Complessiva: Anche con la fornitura di documenti a lungo formato, il sistema con le migliori prestazioni (Claude Code) ha ottenuto solo il 15,9% di accuratezza di esecuzione sul benchmark completo in inglese.
• Impatto della Complessità: Le prestazioni calano drasticamente all'aumentare della complessità dello SQL. Nell'impostazione "Base" (solo la domanda), la migliore accuratezza sulle query Difficili era solo dello 0,8%.
• Il Valore dell'Evidenza: Fornire evidenze concise e curate dagli esperti supera significativamente la fornitura di documenti completi a lungo formato.
  • w/Doc: Migliore Accuratezza Media = 15,9%.
  • w/Evidence: Migliore Accuratezza Media = 21,4%.
  • Ciò indica che, sebbene la conoscenza aziendale sia utile, i modelli attuali faticano a identificare e applicare le informazioni rilevanti dai documenti lunghi senza una localizzazione esplicita.
• Gap con l'Esperto: Un confronto con esperti umani su un sottoinsieme campionato ha mostrato un divario sostanziale. Gli esperti hanno raggiunto l'84,0% di accuratezza con l'evidenza, rispetto al 20,3% del miglior agente (Claude Code), evidenziando i limiti nel grounding delle regole di business e nella composizione multi-step.
• Varianza di Dominio: Le prestazioni sono fortemente sbilanciate. Le query di Risorse Umane hanno visto un'accuratezza maggiore (fino al 30,4% con l'evidenza), mentre le query di Finanza sono rimaste vicine allo zero, suggerendo che la difficoltà sia guidata da pattern di query specifici del dominio e dalla complessità delle regole, non solo dalla lunghezza dello SQL.
• Analisi degli Errori: La modalità di errore dominante (54,6%) è stata Wrong Filter (Filtro Errato), dove i modelli non sono riusciti a ancorare correttamente i vincoli di filtraggio dalla domanda e dai documenti. Altri errori principali includono Wrong Scope (Ambito Errato, 14,4%) e Wrong Aggregation (Aggregazione Errata, 10,0%).

4. Significato e Rivendicazioni

L'articolo sostiene che EntSQL integri i benchmark esistenti spostando il focus dalla generalizzazione dello schema al grounding del lungo contesto aziendale.

• Distinto Gap Pratico: Il benchmark espone un vuoto specifico in cui l'ancoraggio fedele della generazione SQL alla conoscenza aziendale privata rimane una sfida sostanziale, distinta dalle difficoltà di schema matching o ragionamento a contesto breve.
• Limitazioni Attuali: I risultati suggeriscono che aumentare semplicemente la lunghezza del contesto non è sufficiente; il collo di bottiglia chiave è la selezione e l'ancoraggio efficace della conoscenza. Gli agenti attuali faticano a tradurre le regole di business localizzate in SQL eseguibile, anche quando viene fornita l'evidenza rilevante.
• Direzioni Future: Gli autori propongono che la ricerca futura debba concentrarsi su rappresentazioni intermedie esplicite per la pianificazione delle query, un grounding più forte verso le regole specifiche del dominio e moduli di validazione post-generazione per controllare l'uso dello schema e i vincoli dei documenti.

Gli autori mantengono una posizione modesta, osservando che, sebbene EntSQL sia costruito su carichi di lavoro reali, copre solo cinque domini di un singolo contesto aziendale e potrebbe non rappresentare tutti gli scenari di Text-to-SQL aziendali. Essi sottolineano che il benchmark è progettato per supportare la ricerca di sistemi più affidabili e ancorati alla conoscenza per scenari aziendali realistici.