STILTS-NLI: A Natural Language Interface for STILTS

Resumo Técnico: STILTS-NLI

1. Problema Identificado

O STILTS (Starlink Tables Infrastructure Library Tool Set) é uma suíte de ferramentas de linha de comando poderosa e amplamente utilizada para análise de dados astronômicos tabulares. No entanto, sua sintaxe complexa e abrangente cria uma curva de aprendizado significativa para novos usuários, limitando sua adoção em comparação com sua contraparte gráfica, o TOPCAT. A dificuldade em construir comandos corretos restringe a usabilidade imediata e impede que muitos astrônomos aproveitem todo o potencial do software. O objetivo deste trabalho é reduzir essa barreira de entrada, tornando o STILTS acessível através de uma interface de linguagem natural.

2. Metodologia

A abordagem proposta envolve o desenvolvimento de um modelo de Linguagem de Grande Escala (LLM) especializado, treinado para traduzir descrições de tarefas em comandos STILTS válidos. O processo foi dividido em três etapas principais:

• Geração de Dados Sintéticos:

  • Devido à escassez de exemplos reais de pares "prompt-resposta" na documentação oficial (apenas ~150 exemplos), os autores criaram um conjunto de dados sintético.
  • Utilizaram modelos LLM proprietários (como Gemini 2.5 Pro, GPT-4.5/5 e Claude) e o NotebookLM para gerar milhares de exemplos.
  • O NotebookLM foi selecionado como a fonte principal devido à sua capacidade de gerar prompts mais naturais e comandos mais precisos, evitando alucinações comuns em modelos anteriores (como o uso de funções inválidas isNull em vez da sintaxe correta NULL_).
  • O conjunto inicial continha cerca de 7.270 pares, focando em 12 tarefas frequentes (ex: tpipe, tmatch, tcat, tapquery).

• Validação e Limpeza de Dados:

  • Um processo rigoroso de validação foi aplicado. Comandos gerados passaram por verificações sintéticas automáticas usando funções internas do STILTS.
  • Comandos que falharam foram inspecionados manualmente ou corrigidos via expressões regulares (ex: adicionar aspas faltantes em strings de comando).
  • O conjunto final de treinamento consistiu em 6.228 pares válidos, após a remoção de ~15% dos dados gerados que continham erros sintáticos ou funções inexistente.

• Treinamento do Modelo:

  • Foram utilizados modelos de base da família Gemma (Google): um modelo pequeno de 2 bilhões de parâmetros (2B) e um maior de 27 bilhões (27B).
  • O treinamento ocorreu em duas fases:
    1. Pré-treinamento Adaptativo ao Domínio: Exposição à documentação completa do STILTS para familiarizar o modelo com o vocabulário e sintaxe específicos.
    2. Fine-tuning (Ajuste Fino): Treinamento supervisionado com o conjunto de dados sintéticos validados para aprender a mapear descrições de tarefas para comandos executáveis.
  • O treinamento foi realizado em hardware acessível (uma GPU NVIDIA A6000 para o modelo 2B e um nó de computação com 4x GH200 para o 27B).

• Implementação de Software (Modo Agente):

  • Para melhorar a experiência do usuário, foi implementado um sistema "agente" que utiliza um modelo instruído (Llama-3.2-3B-Instruct) como intermediário.
  • Este modelo gerencia a interação com o usuário, decide quando chamar o modelo especializado (fine-tuned) para gerar o comando e quando executar o comando na máquina do usuário.
  • O sistema roda localmente, sem dependência de APIs proprietárias, garantindo privacidade e baixo custo computacional.

3. Contribuições Principais

• STILTS-NLI: A primeira interface de linguagem natural funcional para o STILTS, permitindo que astrônomos descrevam tarefas em linguagem natural e recebam comandos prontos para execução.
• Conjunto de Dados Sintético Validado: Criação e validação de um dataset de ~6.000 pares prompt-resposta para tarefas de astronomia, demonstrando a viabilidade de gerar dados de treinamento de alta qualidade para ferramentas de nicho.
• Solução de Baixo Recurso: A demonstração de que modelos pequenos e open-source (2B parâmetros), rodando em hardware comum (laptops), podem superar ou igualar modelos proprietários massivos em tarefas de domínio específico.
• Acessibilidade e Controle: Uma ferramenta que permite à comunidade astronômica ter controle total sobre o modelo, sem dependência de atualizações diárias de modelos gerais ou custos de API.

4. Resultados

• Desempenho do Modelo: O modelo de 2B parâmetros apresentou desempenho comparável ao modelo de 27B parâmetros (similidade cosínica média de 0,91 vs 0,89 no conjunto de avaliação), indicando que o modelo maior não era necessário para este conjunto de tarefas e que o modelo menor é mais eficiente.
• Comparação com Modelos Gerais: Em testes com prompts de dificuldade crescente, o modelo especializado (STILTS-NLI) superou modelos proprietários de ponta como Gemini 2.5 Pro e GPT-5.
  • Enquanto os modelos gerais falharam em tarefas complexas (ex: junção de múltiplos catálogos com filtros específicos) devido a "alucinações" de funções inexistentes (como isNull), o STILTS-NLI gerou comandos sintaticamente válidos em todos os casos de teste.
• Validação de Sintaxe: O modelo especializado conseguiu gerar comandos que passam nas verificações de sintaxe do STILTS, algo que modelos gerais falharam consistentemente em tarefas complexas.

5. Significado e Impacto

• Democratização de Ferramentas Científicas: O trabalho prova que é possível criar interfaces acessíveis para softwares científicos complexos sem depender de grandes corporações ou supercomputadores.
• Eficiência de Recursos: A solução é ambientalmente mais sustentável e economicamente viável, pois roda localmente em máquinas comuns, eliminando barreiras de custo e infraestrutura.
• Futuro da IA na Astronomia: O estudo sugere que, para tarefas de domínio específico, a qualidade dos dados de treinamento (curadoria e validação) é mais crítica do que o tamanho do modelo. Isso abre caminho para o desenvolvimento de interfaces naturais para outras ferramentas astronômicas complexas.
• Limitações e Futuro: Atualmente, o modelo cobre apenas 12 tarefas do STILTS. O trabalho futuro focará na expansão do dataset sintético para cobrir toda a suíte de ferramentas e na validação semântica mais profunda de comandos que envolvem manipulação de arquivos e plotagem.

Em suma, o STILTS-NLI representa um avanço significativo na acessibilidade de ferramentas de astronomia, demonstrando que modelos de linguagem pequenos e especializados, treinados com dados rigorosamente validados, podem oferecer uma experiência superior e mais confiável do que modelos gerais massivos para tarefas técnicas específicas.