Querying an astronomical database using large language models: the ALeRCE text-to-SQL system

Sintesi Tecnica: Interrogazione di un database astronomico utilizzando modelli linguistici di grandi dimensioni: il sistema ALeRCE text-to-SQL

Problematica
La comunità astronomica affronta una barriera significativa nell'accesso a database complessi come l'Automatic Learning for the Rapid Classification of Events (ALeRCE), che funge da broker per lo Zwicky Transient Facility (ZTF) e l'Osservatorio Vera C. Rubin. Sebbene il database ALeRCE contenga oltre 25 tabelle e 304 colonne di dati astrofisici, interrogarlo richiede competenze in Structured Query Language (SQL) e familiarità con lo schema specifico. Sebbene i Large Language Models (LLM) abbiano mostrato promesse nei compiti di Natural Language Processing (NLP) come il riconoscimento delle entità nominate e la sintesi del testo in astronomia, la loro applicazione al parsing Text-to-SQL (T2S) per database scientifici specifici del dominio rimane poco esplorata. I benchmark esistenti come Spider e BIRD mancano della complessità specifica del dominio (ad esempio, abbreviazioni astronomiche, ragionamento numerico e strutture di schema specifiche) presenti nei dataset scientifici del mondo reale, dove studi precedenti hanno dimostrato che l'accuratezza di esecuzione diminuisce significativamente (ad esempio, al 33% su un sottoinsieme del Sloan Digital Sky Survey).

Metodologia
Gli autori hanno sviluppato un sistema T2S su misura per il database ALeRCE utilizzando l'in-context learning con LLM, evitando il fine-tuning dei parametri. Il nucleo del loro approccio è un framework di generazione a quattro moduli e a fasi successive, progettato per scomporre il compito T2S:

1. Schema Linking: Un modulo indipendente allinea la richiesta in linguaggio naturale (NL) dell'utente con lo schema del database. Opera in due fasi: prima identifica le tabelle necessarie, poi estrae le colonne specifiche per tali tabelle. Ciò riduce il carico di contesto e focalizza il modello sugli elementi rilevanti dello schema.
2. Classificazione della Query: Il sistema classifica la query dell'utente in tre livelli di difficoltà: Simple (fino a due tabelle di base o una tabella generale), Medium (richiede join tra tabelle di base e tabelle generali, o molteplici sub-query), e Hard (richiede più di tre tabelle o ottimizzazioni complesse).
3. Decomposizione: Per le query medium e hard, il problema viene scomposto in sottoproblemi. L'LLM genera prima un piano passo dopo passo (inclusi requisiti e condizioni) e successivamente esegue la generazione SQL basata su tale piano. Le query semplici saltano questo passaggio e procedono direttamente alla generazione.
4. Autocorrezione: Un ciclo di feedback viene attivato solo quando la query SQL iniziale produce un errore di esecuzione. Il sistema categorizza gli errori in tre tipi: timeout (superamento del limite di 2 minuti), strutture non esistenti (allucinazioni di tabelle/colonne) e errori generici (sintassi, clausole mancanti). L'LLM viene quindi istruito per correggere il tipo di errore specifico.

Per valutare il sistema, gli autori hanno costruito un dataset di 110 coppie NL/SQL, composto da 21 esempi dai workshop di ALeRCE e 89 domande reali generate da astronomi. Il dataset è stato diviso in un set di sviluppo (58 esempi) e un set di test (52 esempi). Lo studio ha valutato tredici LLM, inclusi varie versioni di GPT, Claude e Gemini.

Contributi Chiave

• Dataset ALeRCE T2S: La creazione e il rilascio pubblico di un dataset specifico del dominio di 110 coppie NL/SQL per il database astronomico ALeRCE, che copre query da semplici a altamente complesse che coinvolgono join, sub-query e logica specifica del dominio.
• Framework Passo-Passo: La proposta di un framework modulare (Schema Linking, Classificazione, Decomposizione, Autocorrezione) che supera costantemente il baseline di inferenza diretta.
• Metriche di Valutazione: L'introduzione di una metrica Perfect-Match (PM) che valuta separatamente gli identificatori di riga (ad esempio, ID degli oggetti) e gli identificatori di colonna, riconoscendo che la correttezza parziale nelle colonne può essere accettabile mentre l'accuratezza delle righe è critica.
• Analisi degli Errori: Una categorizzazione dettagliata degli errori di esecuzione (timeout, strutture non definite, sintassi) e degli errori semantici, dimostrando che l'autocorrezione mitiga efficacemente gli errori di esecuzione ma non quelli di comprensione semantica.

Risultati
Lo studio ha valutato tredici LLM utilizzando il framework proposto e un baseline di inferenza diretta. Le scoperte chiave includono:

• Prestazioni del Framework: Il framework passo-passo ha superato costantemente il baseline di inferenza diretta in tutti i modelli. Il modulo di autocorrezione ha ridotto costantemente gli errori di esecuzione, in particolare per i problemi di timeout e di sintassi.
• Modelli Top-Performing: Tra i tredici modelli, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 3 Flash e GPT-5.2-Codex hanno dimostrato le migliori prestazioni.
• Dipendenza dalla Difficoltà: Le prestazioni sono variate significativamente con la complessità della query. Per Claude Opus 4.6 utilizzando il metodo passo-passo, il tasso di Perfect-Match per gli identificatori di riga è stato di 0,97 per le query semplici, scendendo a 0,44 per le query medium e a 0,59 per le query hard. Le prestazioni degli identificatori di colonna sono state generalmente più alte, raggiungendo lo 0,94 per le semplici, lo 0,72 per le medium e lo 0,49 per le hard query.
• Costo vs Prestazioni: Sebbene il metodo passo-passo con autocorrezione aumenti il consumo di token e il costo rispetto all'inferenza diretta, gli autori hanno notato che i nuovi modelli (come Gemini 3 Flash) offrono il costo più basso.
• Few-Shot e Output Strutturati: Gli autori hanno testato il prompting few-shot (utilizzando la selezione Masked Question Similarity) e gli output strutturati (tramite vincoli API). Sebbene il prompting few-shot abbia mostrato miglioramenti statisticamente significativi per alcuni modelli, gli output strutturati non hanno prodotto guadagni significativi di prestazioni in questo specifico contesto, sebbene abbiano ridotto gli errori di esecuzione in alcuni casi.

Significatività e Rivendicazioni
L'articolo sostiene che il framework proposto democratizza con successo l'accesso al database ALeRCE consentendo agli utenti di interrogare complessi dati astronomici utilizzando il linguaggio naturale. Gli autori sottolineano che gli attuali approcci T2S allo stato dell'arte faticano con i dataset scientifici specifici del dominio, e il loro lavoro dimostra che un approccio strutturato, passo dopo passo, combinato con l'autocorrezione, può colmare questo divario.

Gli autori concludono con modestia che, sebbene il loro sistema rappresenti un passo significativo verso un assistente virtuale online per gli utenti di ALeRCE nell'era di Rubin, rimangono delle sfide. Notano che gli errori semantici (incomprensioni logiche) non sono completamente risolti dall'autocorrezione e che il lavoro futuro dovrebbe esplorare la Generazione Aumentata dal Recupero (RAG), il fine-tuning e processi di validazione semantica più completi. Il documento si pone come un passo fondamentale nell'adattare gli LLM ai vincoli e ai requisiti specifici dell'analisi dei dati astronomici.