STILTS-NLI: A Natural Language Interface for STILTS

1. El Problema

STILTS (Starlink Tables Infrastructure Library Tool Set) es una suite de herramientas de línea de comandos fundamental para el análisis de datos astronómicos, especialmente para el procesamiento de catálogos y tablas grandes. Sin embargo, presenta una curva de aprendizaje pronunciada debido a su sintaxis compleja y extensa.

• Barrera de entrada: La dificultad para construir comandos correctos ha llevado a que STILTS esté subutilizado en comparación con su interfaz gráfica asociada, TOPCAT.
• Limitaciones de las soluciones actuales: Las interfaces de lenguaje natural (NLI) basadas en modelos de lenguaje grandes (LLM) propietarios o generales a menudo fallan en dominios técnicos específicos, generando "alucinaciones" (funciones o sintaxis inexistentes) o errores de sintaxis que invalidan los comandos.

2. Metodología

Los autores desarrollaron STILTS-NLI, una interfaz de lenguaje natural que convierte descripciones de tareas en comandos de STILTS válidos. El enfoque se basa en el uso de modelos de lenguaje de código abierto y de tamaño reducido para garantizar la accesibilidad y la privacidad.

A. Generación de Datos Sintéticos

Dado que no existían suficientes pares de datos de entrenamiento (prompt-respuesta) para STILTS, se creó un conjunto de datos sintético:

• Selección de Tareas: Se enfocaron en 12 de las 49 tareas más útiles de STILTS (ej. tpipe, tmatch, tapquery, tcat).
• Proceso de Generación: Se utilizó un flujo de trabajo iterativo con modelos LLM avanzados (como NotebookLM) para generar miles de ejemplos basados en la documentación oficial de STILTS.
• Validación Rigurosa: Cada comando generado pasó por una verificación de sintaxis automática utilizando funciones internas de STILTS. Los comandos inválidos se descartaron o se corrigieron manualmente (ej. añadiendo comillas faltantes o corrigiendo expresiones matemáticas).
• Resultado: Se partió de 7,270 pares generados, reduciéndose a 6,228 pares válidos tras la limpieza (eliminación de ~15% por errores de sintaxis o alucinaciones).

B. Entrenamiento del Modelo

Se utilizaron modelos de la familia Gemma de Google como base:

1. Pre-entrenamiento (Domain-Adaptive): Se entrenó el modelo durante una época (un solo paso) con la documentación completa de STILTS para familiarizarlo con su vocabulario y sintaxis específica.
2. Fine-Tuning (Ajuste Fino): Se ajustaron los modelos con el conjunto de datos sintético validado.
   • Modelos probados: Gemma-2B (2 mil millones de parámetros) y Gemma-27B (27 mil millones).
   • Hardware: El modelo de 2B se entrenó en una sola GPU NVIDIA A6000; el de 27B requirió un nodo de computación con cuatro chips NVIDIA GH200.
   • Configuración: Se utilizó el optimizador AdamW con pérdida de entropía cruzada.

C. Implementación de Software (Modo Agente)

Para mejorar la experiencia del usuario, no se interactúa directamente con el modelo de fine-tuning, sino mediante un agente:

• Se utiliza un modelo instruido (Llama-3.2-3B-Instruct) como intermediario.
• Este agente recibe la solicitud del usuario, decide si necesita llamar al modelo especializado (Gemma-2B) para generar el comando o ejecutar la acción directamente.
• La herramienta es ejecutable en hardware local (un portátil estándar), sin depender de APIs propietarias.

3. Contribuciones Clave

• STILTS-NLI: Una herramienta de código abierto que democratiza el acceso a STILTS mediante lenguaje natural.
• Estrategia de Datos Sintéticos Validados: Un flujo de trabajo robusto para generar y limpiar datos de entrenamiento específicos de dominio, demostrando que la calidad de los datos es más crítica que el tamaño del modelo.
• Arquitectura Agente-Modelo: Una implementación que combina un modelo generalista para la interfaz de usuario y un modelo especializado para la generación de código, optimizando el uso de recursos.
• Accesibilidad Total: La solución funciona completamente localmente, eliminando costos de API y garantizando la privacidad de los datos de los usuarios.

4. Resultados

• Rendimiento del Modelo: El modelo pequeño de 2B parámetros logró un rendimiento comparable e incluso superior al modelo de 27B parámetros en la tarea de generar comandos válidos. Esto sugiere que, para dominios técnicos estrechos, un modelo más pequeño con datos de alta calidad es más eficiente que un modelo masivo con datos insuficientes.
• Comparación con Modelos Propietarios: En pruebas con prompts de dificultad creciente, STILTS-NLI (2B) superó a GPT-5 y Gemini 2.5 Pro.
  • Los modelos grandes fallaron en tareas complejas (ej. fusiones de catálogos con filtros específicos) generando funciones inexistentes (alucinaciones) o sintaxis incorrecta.
  • STILTS-NLI generó comandos sintácticamente correctos en el 100% de los casos de prueba evaluados.
• Similitud Semántica: La similitud coseno entre los comandos generados y los esperados fue alta (media de 0.91 para el modelo 2B), indicando una alta fidelidad en la traducción de la intención del usuario a código.

5. Significado e Impacto

• Democratización de la Astronomía: STILTS-NLI reduce significativamente la barrera de entrada para astrónomos, estudiantes e investigadores que no son expertos en la línea de comandos, permitiéndoles aprovechar la potencia de STILTS sin memorizar sintaxis compleja.
• Viabilidad de Modelos Pequeños: El trabajo demuestra que los modelos de lenguaje pequeños y de código abierto, cuando se entrenan con datos de dominio validados, pueden superar a los modelos gigantes generalistas en tareas técnicas específicas.
• Sostenibilidad y Privacidad: Al ejecutarse localmente, la herramienta es ecológicamente más eficiente (menor consumo energético) y protege la propiedad intelectual de los datos astronómicos de los usuarios.
• Futuro: Aunque actualmente cubre solo 12 tareas, el marco metodológico establecido permite escalar la herramienta a todo el ecosistema de STILTS mediante la expansión del conjunto de datos sintéticos y la participación de la comunidad para refinar los pares de entrenamiento.

En conclusión, el artículo presenta una solución pragmática y efectiva que combina la inteligencia artificial moderna con la necesidad de accesibilidad en la ciencia de datos astronómicos, priorizando la precisión técnica y la accesibilidad sobre el tamaño del modelo.