Querying an astronomical database using large language models: the ALeRCE text-to-SQL system

Resumo Técnico: Consultando um Banco de Dados Astronômico usando Grandes Modelos de Linguagem: o sistema ALeRCE text-to-SQL

Declaração do Problema
A comunidade astronômica enfrenta uma barreira significativa para acessar bancos de dados complexos como o Automatic Learning for the Rapid Classification of Events (ALeRCE), que serve como um corretor para o Zwicky Transient Facility (ZTF) e o Vera C. Rubin Observatory. Embora o banco de dados ALeRCE contenha mais de 25 tabelas e 304 colunas de dados astrofísicos, consultá-lo requer perícia em Linguagem de Consulta Estruturada (SQL) e familiaridade com o esquema específico. Embora os Grandes Modelos de Linguagem (LLMs) tenham mostrado promessa em tarefas de Processamento de Linguagem Natural (NLP), como reconhecimento de entidades nomeadas e sumarização de texto na astronomia, sua aplicação para o parsing de Text-to-SQL (T2S) para bancos de dados científicos de domínio específico permanece pouco explorada. Benchmarks existentes como Spider e BIRD carecem da complexidade de domínio específico (ex: abreviações astronômicas, raciocínio numérico e estruturas de esquema específicas) encontradas em conjuntos de dados científicos do mundo real, onde estudos anteriores mostraram que a precisão de execução cai significativamente (ex: para 33% em um subconjunto do Sloan Digital Sky Survey).

Metodologia
Os autores desenvolveram um sistema T2S adaptado para o banco de dados ALeRCE usando aprendizado em contexto (in-context learning) com LLMs, evitando o ajuste fino de parâmetros (parameter fine-tuning). O núcleo de sua abordagem é um framework de geração em quatro módulos e passo a passo, projetado para decompor a tarefa de T2S:

1. Vinculação de Esquema (Schema Linking): Um módulo independente alinha a requisição de linguagem natural (NL) do usuário com o esquema do banco de dados. Ele opera em dois estágios: primeiro identificando as tabelas necessárias, depois extraindo as colunas específicas para essas tabelas. Isso reduz a carga de contexto e foca o modelo nos elementos de esquema relevantes.
2. Classificação de Consulta (Query Classification): O sistema classifica a consulta do usuário em três níveis de dificuldade: Simples (até duas tabelas básicas ou uma tabela geral), Médio (requer joins entre tabelas básicas e gerais, ou múltiplas subconsultas) e Difícil (requer mais de três tabelas ou otimização complexa).
3. Decomposição (Decomposition): Para consultas médias e difíceis, o problema é decomposto em subproblemas. O LLM primeiro gera um plano passo a passo (incluindo requisitos e condições) e então executa a geração do SQL baseada nesse plano. Consultas simples pulam este passo e procedem diretamente para a geração.
4. Autocorreção (Self-Correction): Um loop de feedback é acionado apenas quando a consulta SQL inicial produz um erro de execução. O sistema categoriza os erros em três tipos: timeout (excedendo o limite de 2 minutos), estruturas inexistentes (tabelas/colunas alucinadas) e erros gerais (sintaxe, cláusulas ausentes). O LLM é então instruído a corrigir o tipo de erro específico.

Para avaliar o sistema, os autores construíram um conjunto de dados de 110 pares NL/SQL, compreendendo 21 exemplos de workshops do ALeRCE e 89 perguntas do mundo real geradas por astrônomos. O conjunto de dados foi dividido em um conjunto de desenvolvimento (58 exemplos) e um conjunto de teste (52 exemplos). O estudo avaliou treze LLMs, incluindo várias versões de GPT, Claude e Gemini.

Principais Contribuições

• Dataset ALeRCE T2S: A criação e o lançamento público de um conjunto de dados de domínio específico de 110 pares NL/SQL para o banco de dados astronômico ALeRCE, cobrindo consultas de simples a altamente complexas envolvendo joins, subconsultas e lógica de domínio específico.
• Framework Passo a Passo: A proposta de um framework modular (Vinculação de Esquema, Classificação, Decomposição, Autocorreção) que supera consistentemente um baseline de inferência direta.
• Métricas de Avaliação: A introdução de uma métrica de Correspondência Perfeita (Perfect-Match - PM) que avalia separadamente identificadores de linhas (ex: IDs de objetos) e identificadores de colunas, reconhecendo que a correção parcial em colunas pode ser aceitável enquanto a precisão de linhas é crítica.
• Análise de Erros: Uma categorização detalhada de erros de execução (timeout, estruturas indefinidas, sintaxe) e erros semânticos, demonstrando que a autocorreção mitiga efetivamente erros de execução, mas não mal-entendidos semânticos.

Resultos
O estudo avaliou treze LLMs usando o framework proposto e um baseline de inferência direta. As principais descobertas incluem:

• Desempenho do Framework: O framework passo a passo superou consistentemente o baseline de inferência direta em todos os modelos. O módulo de autocorreção reduziu consistentemente os erros de execução, particularmente para problemas de timeout e sintaxe.
• Modelos de Melhor Desempenho: Entre os treze modelos, Claude Opus 4.6, Gemini 2.5 Pro, Gemini 3 Flash e GPT-5.2-Codex demonstraram o melhor desempenho.
• Dependência de Dificuldade: O desempenho variou significativamente com a complexidade da consulta. Para o Claude Opus 4.6 usando o método passo a passo, a taxa de Correspondência Perfeita para identificadores de linha foi de 0,97 para consultas simples, caindo para 0,44 para consultas médias e 0,59 para consultas difíceis. O desempenho dos identificadores de coluna foi geralmente superior, atingindo 0,94 para simples, 0,72 para médias e 0,49 para difíceis.
• Custo vs. Desempenho: Embora o método passo a passo com autocorreção aumente o consumo de tokens e o custo em comparação com a inferência direta, os autores observaram que modelos mais novos (como o Gemini 3 Flash) ofereceram o menor custo.
• Few-Shot e Saídas Estruturadas: Os autores testaram prompting few-shot (usando seleção de Similaridade de Pergunta Mascarada) e saídas estruturadas (via restrições de API). Embora o prompting few-shot tenha mostrado melhorias estatisticamente significativas para alguns modelos, as saídas estruturadas não renderam ganhos de desempenho significativos neste contexto específico, embora tenham reduzido erros de execução em alguns casos.

Significância e Alegações
O artigo afirma que o framework proposto democratiza o acesso ao banco de dados ALeRCE ao permitir que usuários consultem dados astronômicos complexos usando linguagem natural. Os autores enfatizam que as abordagens atuais de estado da arte para T2S lutam com conjuntos de dados científicos de domínio específico, e seu trabalho demonstra que uma abordagem estruturada, passo a passo, combinada com autocorreção, pode preencher essa lacuna.

Os autores concluem modestamente que, embora seu sistema represente um passo significativo em direção a um assistente virtual online para usuários do ALeRCE na era Rubin, desafios permanecem. Eles observam que erros semânticos (mal-entendidos lógicos) não são totalmente resolvidos pela autocorreção e que trabalhos futuros devem explorar Geração Aumentada de Recuperação (RAG), ajuste fino (fine-tuning) e processos de validação semântica mais abrangentes. O artigo posiciona-se como um passo fundamental na adaptação de LLMs para as restrições e requisitos específicos da análise de dados astronômicos.