Querying an astronomical database using large language models: the ALeRCE text-to-SQL system

Technische Samenvatting: Het bevragen van een astronomische database met behulp van Large Language Models: het ALeRCE text-to-SQL systeem

Probleemstelling
De astronomische gemeenschap staat voor een aanzienlijke barrière bij de toegang tot complexe databases zoals de Automatic Learning for the Rapid Classification of Events (ALeRCE), die fungeert als een broker voor de Zwicky Transient Facility (ZTF) en de Vera C. Rubin Observatory. Hoewel de ALeRCE-database meer dan 25 tabellen en 304 kolommen aan astrofysische gegevens bevat, vereist het bevragen ervan expertise in Structured Query Language (SQL) en bekendheid met het specifieke schema. Hoewel Large Language Models (LLMs) veelbelovend zijn gebleken voor NLP-taken zoals named entity recognition en tekstsamenvatting in de astronomie, blijft hun toepassing op Text-to-SQL (T2S) parsing voor wetenschappelijke, domeinspecifieke databases onderbelicht. Bestaande benchmarks zoals Spider en BIRD missen de domeinspecifieke complexiteit (bijv. astronomische afkortingen, numeriek redeneren en specifieke schemastructuren) die aanwezig is in real-world wetenschappelijke datasets, waar eerdere studies hebben aangetoond dat de executie-accuratesse aanzienlijk daalt (bijv. naar 33% op een subset van de Sloan Digital Sky Survey).

Methodologie
De auteurs hebben een T2S-systeem ontwikkeld dat op maat is gemaakt voor de ALeRCE-database met behulp van in-context learning met LLMs, waarbij parameter fine-tuning wordt vermeden. De kern van hun aanpak is een vier-modulaire, stapsgewijze generatie-framework ontworpen om de T2S-taak te deconstrueren:

1. Schema Linking: Een onafhankelijke module stemt het natuurlijke taalverzoek (NL) van de gebruiker af op de database-schema. Het werkt in twee stadia: eerst het identificeren van de noodzakelijke tabellen, en vervolgens het extraheren van de specifieke kolommen voor die tabellen. Dit vermindert de contextbelasting en richt het model op relevante schema-elementen.
2. Query Classificatie: Het systeem classificeert de gebruikersquery in drie moeilijkheidsgraden: Simple (tot twee basis-tabellen of één algemene tabel), Medium (vereist joins tussen basis- en algemene tabellen, of meerdere sub-queries), en Hard (vereist meer dan drie tabellen of complexe optimalisatie).
3. Decompositie: Voor medium en hard queries wordt het probleem gedeconstrueerd in sub-problemen. De LLM genereert eerst een stapsgewijs plan (inclusief vereisten en condities) en voert vervolgens de SQL-generatie uit op basis van dat plan. Simple queries omzeilen deze stap en gaan direct door naar generatie.
4. Zelfcorrectie: Een feedbackloop wordt alleen getriggerd wanneer de initiële SQL-query een executiefout produceert. Het systeem categoriseert fouten in drie typen: timeout (overschrijding van de 2-minuten limiet), niet-bestaande structuren (gehallucineerde tabellen/kolommen), en algemene fouten (syntax, ontbrekende clausules). De LLM wordt vervolgens gepromptt om de specifieke foutsoort te herstellen.

Om het systeem te evalueren, hebben de auteurs een dataset samengesteld van 110 NL/SQL-paren, bestaande uit 21 voorbeelden uit ALeRCE workshops en 89 real-world vragen gegenereerd door astronomen. De dataset werd gesplitst in een ontwikkelset (58 voorbeelden) en een testset (52 voorbeelden). De studie evalueerde dertien LLMs, inclusief diverse versies van GPT, Claude en Gemini.

Belangrijkste Bijdragen

• ALeRCE T2S Dataset: De creatie en publieke release van een domeinspecifieke dataset van 110 NL/SQL-paren voor de ALeRCE astronomische database, variërend van eenvoudige tot zeer complexe queries met betrekking tot joins, sub-queries en domeinspecifieke logica.
• Stapsgewijs Framework: De voorstel van een modulair framework (Schema Linking, Classificatie, Decompositie, Zelfcorrectie) dat consistent beter presteert dan een directe-inferentie baseline.
• Evaluatiemetrieken: De introductie van een Perfect-Match (PM) metriek die rij-identifiers (bijv. object ID's) en kolom-identifiers apart evalueert, in de erkenning dat partiële correctheid in kolommen acceptabel kan zijn terwijl rij-accuratesse cruciaal is.
• Foutanalyse: Een gedetailleerde categorisering van executiefouten (timeout, ongedefinieerde structuren, syntax) en semantische fouten, waarbij wordt aangetoond dat zelfcorrectie executiefouten effectief mitigeert maar niet semantische misverstanden.

Resultaten
De studie evalueerde dertien LLMs met het voorgestelde framework en een directe-inferentie baseline. Belangrijkste bevindingen zijn:

• Framework Prestaties: Het stapsgewijze framework presteerde consistent beter dan de directe-inferentie baseline over alle modellen heen. De zelfcorrectie-module verminderde consequent de executiefouten, met name voor timeout en syntax problemen.
• Top-presterende Modellen: Onder de dertien modellen vertoonden Claude Opus 4.6, Gemini 2.5 Pro, Gemini 3 Flash en GPT-5.2-Codex de beste prestaties.
• Afhankelijkheid van Moeilijkheidsgraad: Prestaties varieerden aanzienlijk met de complexiteit van de query. Voor Claude Opus 4.6 met de stapsgewijze methode was de Perfect-Match rate voor rij-identifiers 0,97 voor simple queries, dalend naar 0,44 voor medium queries en 0,59 voor hard queries. Kolom-identifier prestaties waren over het algemeen hoger, bereikend tot 0,94 voor simple, 0,72 voor medium en 0,49 voor hard queries.
• Kosten versus Prestaties: Hoewel de stapsgewijze methode met zelfcorrectie het tokenverbruik en de kosten verhoogde vergeleken met directe inferentie, merkten de auteurs op dat nieuwere modellen (zoals Gemini 3 Flash) de laagste kosten boden.
• Few-Shot en Gestructureerde Outputs: De auteurs testten few-shot prompting (met gebruik van Masked Question Similarity selectie) en gestructureerde outputs (via API constraints). Hoewel few-shot prompting statistisch significante verbeteringen liet zien voor sommige modellen, leverden gestructureerde outputs geen significante prestatiewinst op in deze specifieke context, hoewel ze in sommige gevallen de executiefouten verminderden.

Significantie en Claims
Het artikel claimt dat het voorgestelde framework succesvol de toegang tot de ALeRCE-database democratiseert door gebruikers in staat te stellen complexe astronomische data te bevragen met natuurlijke taal. De auteurs benadrukken dat huidige state-of-the-art T2S-benaderingen moeite hebben met domeinspecifieke wetenschappelijke datasets, en hun werk demonstreert dat een gestructureerde, stapsgewijze aanpak gecombineerd met zelfcorrectie dit gat kan overbruggen.

De auteurs concluderen bescheiden dat hoewel hun systeem een belangrijke stap vormt richting een online virtuele assistent voor ALeRCE-gebruikers in het Rubin-tijdperk, er nog steeds uitdagingen zijn. Ze merken op dat semantische fouten (logische misverstanden) niet volledig worden opgelost door zelfcorrectie en dat toekomstig werk Retrieval-Augmented Generation (RAG), fine-tuning en meer uitgebreide semantische validatieprocessen moet verkennen. Het artikel positioneert zichzelf als een fundamentele stap in het aanpassen van LLMs aan de specifieke beperkingen en vereisten van astronomische data-analyse.