Querying an astronomical database using large language models: the ALeRCE text-to-SQL system

Resumen Técnico: Consulta de una base de datos astronómica mediante Modelos de Lenguaje de Gran Escala: el sistema de texto a SQL de ALeRCE

Planteamiento del problema
La comunidad astronómica enfrenta una barrera significativa para acceder a bases de datos complejas como la de Automatic Learning for the Rapid Classification of Events (ALeRCE), que sirve como mediador para el Zwicky Transient Facility (ZTF) y el Observatorio Vera C. Rubin. Aunque la base de datos de ALeRCE contiene más de 25 tablas y 304 columnas de datos astrofísicos, realizar consultas requiere experiencia en el Lenguaje de Consulta Estructurada (SQL) y familiaridad con el esquema específico. Aunque los Modelos de Lenguaje de Gran Escala (LLM) han mostrado promesa en tareas de Procesamiento de Lenguaje Natural (NLP) como el reconocimiento de entidades nombradas y la sumarización de textos en astronomía, su aplicación para el análisis de texto a SQL (T2S) en bases de datos científicas de dominio específico sigue siendo poco explorada. Los benchmarks existentes como Spider y BIRD carecen de la complejidad de dominio específico (por ejemplo, abreviaturas astronómicas, razonamiento numérico y estructuras de esquema específicas) que se encuentra en los conjuntos de datos científicos del mundo real, donde estudios previos han demostrado que la precisión de ejecución disminuye significativamente (por ejemplo, al 33% en un subconjunto del Sloan Digital Sky Survey).

Metodología
Los autores desarrollaron un sistema T2S adaptado para la base de datos ALeRCE utilizando el aprendizaje en contexto con LLMs, evitando el ajuste de parámetros (fine-tuning). El núcleo de su enfoque es un marco de generación de cuatro módulos paso a paso diseñado para descomponer la tarea de T2S:

1. Vinculación de Esquema (Schema Linking): Un módulo independiente alinea la solicitud de lenguaje natural (NL) del usuario con el esquema de la base de datos. Opera en dos etapas: primero identifica las tablas necesarias, luego extrae las columnas específicas para dichas tablas. Esto reduce la carga de contexto y enfoca el modelo en los elementos relevantes del esquema.
2. Clasificación de Consultas: El sistema clasifica la consulta del usuario en tres niveles de dificultad: Simple (hasta dos tablas básicas o una tabla general), Medio (requiere uniones entre tablas básicas y generales, o múltiples subconsultas) y Difícil (requiere más de tres tablas o optimizaciones complejas).
3. Descomposición: Para las consultas de nivel medio y difícil, el problema se descompone en subproblemas. El LLM primero genera un plan paso a paso (incluyendo requisitos y condiciones) y luego ejecuta la generación de SQL basada en ese plan. Las consultas simples omiten este paso y proceden directamente a la generación.
4. Autocorrección: Un bucle de retroalimentación se activa solo cuando la consulta SQL inicial produce un error de ejecución. El sistema categoriza los errores en tres tipos: timeout (exceder el límite de 2 minutos), estructuras inexistentes (alucinación de tablas/columnas) y errores generales (sintaxis, cláusulas faltantes). El LLM es entonces instruido para corregir el tipo de error específico.

Para evaluar el sistema, los autores construyeron un conjunto de datos de 110 pares NL/SQL, que comprende 21 ejemplos de talleres de ALeRCE y 89 preguntas del mundo real generadas por astrónomos. El conjunto de datos se dividió en un conjunto de desarrollo (58 ejemplos) y un conjunto de prueba (52 ejemplos). El estudio evaluó trece LLMs, incluyendo varias versiones de GPT, Claude y Gemini.

Contribuciones Clave

• Dataset ALeRCE T2S: La creación y publicación de un conjunto de datos de dominio específico de 110 pares NL/SQL para la base de datos astronómica ALeRCE, que cubre consultas desde simples hasta altamente complejas que involucran uniones, subconsultas y lógica específica del dominio.
• Marco de Trabajo Paso a Paso: La propuesta de un marco modular (Vinculación de Esquema, Clasificación, Descomposición, Autocorrección) que supera consistentemente a la línea base de inferencia directa.
• Métricas de Evaluación: La introducción de una métrica de Coincidencia Perfecta (Perfect-Match, PM) que evalúa por separado los identificadores de filas (por ejemplo, IDs de objetos) y los identificadores de columnas, reconociendo que la corrección parcial en las columnas puede ser aceptable mientras que la precisión de las filas es crítica.
• Análisis de Errores: Una categorización detallada de los errores de ejecución (timeout, estructuras indefinidas, sintaxis) y errores semánticos, demostrando que la autocorrección mitiga eficazmente los errores de ejecución pero no los malentendidos semánticos.

Resultados
El estudio evaluó trece LLMs utilizando el marco propuesto y una línea base de inferencia directa. Los hallazgos clave incluyen:

• Desempeño del Marco: El marco paso a paso superó consistentemente a la línea base de inferencia directa en todos los modelos. El módulo de autocorrección redujo consistentemente los errores de ejecución, particularmente para problemas de timeout y sintaxis.
• Modelos con Mejor Desempeño: Entre los trece modelos, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 3 Flash y GPT-5.2-Codex demostraron el mejor desempeño.
• Dependencia de la Dificultad: El desempeño varió significativamente con la complejidad de la consulta. Para Claude Opus 4.6 utilizando el método paso a paso, la tasa de Coincidencia Perfecta para identificadores de filas fue de 0.97 para consultas simples, cayendo a 0.44 para consultas medias y 0.59 para consultas difíciles. El desempeño de los identificadores de columnas fue generalmente más alto, alcanzando 0.94 para simples, 0.72 para medias y 0.49 para difíciles.
• Costo vs. Desempeño: Aunque el método paso a paso con autocorrección aumentó el consumo de tokens y el costo en comparación con la inferencia directa, los autores señalaron que los modelos más nuevos (como Gemini 3 Flash) ofrecieron el costo más bajo.
• Few-Shot y Salidas Estructuradas: Los autores probaron el prompting de pocos disparos (few-shot prompting) (usando selección de Similitud de Pregunta Enmascarada) y salidas estructuradas (vía restricciones de API). Si bien el few-shot prompting mostró mejoras estadísticamente significativas para algunos modelos, las salidas estructuradas no produjeron ganancias significativas de desempeño en este contexto específico, aunque redujeron los errores de ejecución en algunos casos.

Significancia y Reivindicaciones
El artículo afirma que el marco propuesto democratiza con éxito el acceso a la base de datos ALeRCE al permitir a los usuarios consultar datos astronómicos complejos mediante lenguaje natural. Los autores enfatizan que los enfoques actuales de T2S de última generación tienen dificultades con los conjuntos de datos científicos de dominio específico, y su trabajo demuestra que un enfoque estructurado, paso a paso y combinado con autocorrección, puede cerrar esta brecha.

Los autores concluyen modestamente que, si bien su sistema representa un paso significativo hacia un asistente virtual en línea para los usuarios de ALeRCE en la era de Rubin, aún quedan desafíos. Señalan que los errores semánticos (malentendidos lógicos) no se resuelven completamente con la autocorrección y que el trabajo futuro debería explorar la Generación Aumentada por Recuperación (RAG), el ajuste de parámetros (fine-tuning) y procesos de validación semántica más exhaustivos. El artículo se posiciona como un paso fundacional para adaptar los LLMs a las restricciones y requisitos específicos del análisis de datos astronómicos.