ESOFinder: an LLM-powered tool to help users navigate ESO documentation

Resumo Técnico do ESOFinder: Uma Ferramenta Baseada em LLM para Navegar na Documentação do ESO

Definição do Problema
O Observatório Europeu do Sul (ESO) mantém um ecossistema de documentação vasto e heterogêneo, essencial para a comunidade astronômica, abrangendo mais de 3.500 links da web e mais de 100 manuais em PDF (excedendo 6,2 milhões de palavras). Esta documentação cobre todo o ciclo de observação, desde a Fase 1 (submissão de propostas) através da Fase 2 (execução da observação) até a Fase 3 (arquivamento de dados). Localizar informações precisas e atualizadas dentro deste corpus é cada vez mais difícil tanto para astrônomos quanto para o pessoal do ESO. Modelos de Linguagem de Grande Escala (LLMs) de uso geral são inadequados para esta tarefa devido ao corte fixo de treinamento, à incapacidade de distinguir entre políticas operacionais atuais e obsoletas e à tendência de gerar respostas "alucinadas". Além disso, surgem preocupções de privacidade quando dados internos sensíveis ou confidenciais são processados por modelos comerciais externos.

Metodologia
Para enfrentar esses desafios, os autores desenvolveram o ESOFinder, um chatbot interno construído sobre uma arquitetura de Geração Aumentada de Recuperação (RAG). O sistema foi projetado para rodar em servidores locais utilizando LLMs de código aberto para garantir a privacidade dos dados e o controle total sobre a base de conhecimento.

• Arquitetura do Sistema: O sistema opera em duas fases: um pipeline de ingestão offline e um pipeline de inferência online.
  • Ingestão: A documentação (PDFs e conteúdo web) é analisada, dividida em fragmentos (chunks) sobrepostos usando uma estratégia hierárquica (respeitando a estrutura do documento) e enriquecida contextualmente. Cada fragmento é passado para um LLM para gerar um resumo que o situa dentro do contexto mais amplo do documento.
  • Indexação: Os fragmentos são indexados via indexação dupla: embeddings vetoriais densos (usando nomic-embed-text-v1.5 armazenados no ChromaDB) e indexação baseada em palavras-chave (usando Elasticsearch com BM25).
  • Recuperação: O ESOFinder emprega uma estratégia de recuperação híbrida. Ele realiza buscas paralelas usando busca vetorial semântica (para significado e paráfrase) e busca por palavra-chave (para termos técnicos exatos, como nomes de instrumentos e acrônimos). Os resultados são mesclados e reclassificados (re-ranked) usando um modelo de codificador cruzado (cross-encoder) (BAIO/bge-reranker-base) e uma fórmula de pontuação ponderada que prioriza a relevância semântica enquanto impulsiona coleções de documentação específicas com base na classificação da consulta.
  • Fluxo de Trabalho Agêntico: O loop de consulta-resposta é implementado usando LangGraph e um único LLM local (Mistral-Small-3.1-24B-Instruct-2503). O fluxo de trabalho inclui:
    1. Compreensão da Consulta: Condensação de conversas de múltiplos turnos e classificação de consultas em sete domínios específicos do observatório para ajustar a ponderação da coleção.
    2. Recuperação e Classificação: Execução de busca híbrida, mesclagem de resultados e filtragem de passagens com baixa pontuação.
    3. Autocorreção: Se a recuperação inicial falhar ou resultar em resultados de baixa confiança, o sistema reescreve a consulta e tenta novamente até duas vezes adicionais.
    4. Geração e Verificação: O LLM gera uma resposta estruturada com citações em linha. Duas etapas subsequentes de classificação verificam se a resposta está fundamentada nos fatos dos documentos recuperados e se realmente aborda a pergunta do usuário. Se as verificações falharem, o ciclo é repetido; caso contrário, uma resposta de contingência é fornecida.

Principais Contribuições

• Implementação de RAG Específica de Domínio: Um pipeline robusto adaptado para as restrições específicas da documentação de observatórios astronômicos, integrando mais de 3.500 links e mais de 100 manuais.
• Estratégia de Recuperação Híbrida: Uma combinação deliberada de busca semântica e baseada em palavras-chave para lidar tanto com consultas em linguagem natural quanto com terminologia técnica precisa (ex: acrônimos de instrumentos, modelos de OB).
• Loop Agêntico de Autocorreção: Um fluxo de trabalho de múltiplas etapas que inclui reescrita automática de consultas e verificação de resposta para reduzir alucinações e melhorar a confiabilidade das respostas sem intervenção humana.
• Implantação Preservadora de Privacidade: O uso de modelos de código aberto hospedados localmente garante que dados internos sensíveis e documentação proprietária permaneçam dentro da infraestrutura do ESO.

Resultados
O sistema passou por três exercícios iterativos de feedback envolvendo funcionários do ESO, pesquisadores (fellows) e estudantes:

1. Primeira Rodada (Astrônomos de Suporte ao Usuário): Uma versão inicial alcançou uma classificação média de 3,0/5 estrelas. Os problemas incluíram respostas irrelevantes, confusão com perguntas de múltiplas partes e respostas excessivamente verbosas.
2. Segunda Rodada (Gestão de Dados e Operações): Um teste mais amplo rendeu 3,1/5 estrelas. Embora o desempenho tenha melhorado em consultas diretas, falhas persistiram com tabelas grandes, ausência de documentação do ALMA e recuperação inadequada de fontes para consultas gerais.
3. Terceira Rodada (Versão Atual): Incorporando refinamentos arquiteturais e expansão da documentação, a versão atual alcançou uma classificação média de 3,84/5 (mediana de 5 estrelas) entre uma amostra representativa de usuários do ESO. Quando avaliado especificamente pelo pessoal de Gestão de Dados e Operações (DMO), a média subiu para 4,08/5. A distribuição do feedback qualitativo mudou significamente para "Resposta perfeita, precisa" ou "Resposta correta, mas com informação faltando", com uma redução notável nos rótulos de "Resposta incorreta".

Significância e Direções Futuras
O artigo posiciona o ESOFinder como uma interface crítica para navegar no complexo ecossistema de documentação do ESO, apoiando tanto a equipe quanto a comunidade de astrônomos. Os autores enfatizam que o desenvolvimento iterativo da ferramenta, impulsionado pelo feedback do usuário, conseguiu abordar as fraquezas iniciais em cobertura de recuperação e qualidade de resposta.

O artigo reconhece modestamente as limitações remanescentes, especificamente a dificuldade em recuperar informações de documentos contendo tabelas ou figuras grandes, e a necessidade de uma melhor integração da coleção separada de documentação do ALMA. O trabalho futuro delineado pelos autores inclui:

• Usar o ESOFinder como uma ferramenta para controle de qualidade da documentação para identificar contradições e conteúdos desatualizados.
• Explorar arquiteturas de múltiplos agentes hierárquicos para melhorar a velocidade de resposta e a navegação em documentações em camadas.
• Integrar o histórico de tickets de helpdesk (do sistema DeskPro) para fornecer suporte contextual mantendo a privacidade dos dados via LLMs locais.
• Adaptar o framework para a equipe de operações de Paranal e, eventualmente, disponibilizar o sistema para a comunidade de usuários do ESO como uma interface padrão para consultas de documentação.