chATLAS: A Retrieval-Augmented Conversational Assistant for the ATLAS Experiment

Resumo Técnico do "chATLAS: Um Assistente Conversacional de Recuperação Aumentada para o Experimento ATLAS"

Declaração do Problema
Grandes colaborações científicas, como o experimento ATLAS no CERN, geram vastas quantidades de documentação interna (notas técnicas, atas de reuniões, guias de software, páginas de wiki) espalhadas por sistemas heterogêneos. Essa fragmentação cria uma barreira significativa para a descoberta de conhecimento. A informação é frequentemente mantida de forma inconsistente, escrita em estilos diversos e difícil de ser pesquisada de maneira eficaz. Consequentemente, os colaboradores enfrentam curvas de aprendizado íngremes, e membros experientes perdem tempo redescobrindo conhecimentos existentes. Embora os Modelos de Linguagem de Grande Escala (LLMs) de propósito geral ofereçam interfaces conversacionais, eles carecem de acesso a esta documentação proprietária e interna, o que leva a alucinações ou respostas irrelevantes quando aplicados a consultas específicas do domínio.

Metodologia
Os autores apresentam o chATLAS, um sistema de Geração Aumentada por Recuperação (RAG) implantado, projetado para fornecer acesso conversacional a mais de 30.000 documentos da base de conhecimento do ATLAS. A arquitetura e a metodologia do sistema são definidas pelos seguintes componentes:

• Ingestão e Pré-processamento de Dados: O sistema agrega dados de múltiplas fontes, incluindo TWiki (mais de 35.000 páginas, filtradas por atividade recente), MkDocs (Markdown hospedado no GitLab), CERN Document Server (CDS), Indico (palestras) e ATLAS Talk (fóruns de discussão). Os documentos são processados em uma estrutura hierárquica pai-filho: documentos completos (pais) são divididos em fragmentos menores (filhos) para recuperação. Isso permite que o sistema recupere segmentos específicos relevantes enquanto passa o documento pai completo para o gerador, visando um contexto mais amplo.
• Embedding e Fine-Tuning: Um modelo de embedding adaptado ao domínio é central para o processo de recuperação. O modelo base, sentence-transformers/all-mpnet-base-v2, foi ajustado (fine-tuned) utilizando um conjunto de dados de 12.000 pares de pergunta-resposta. Esses pares consistem em interações reais de usuários do ATLAS Talk e pares sintéticos gerados de outras fontes de documentação. Este ajuste otimiza o modelo para a terminologia, acrônimos e jargões específicos do ATLAS.
• Recuperação Híbrida: O chATLAS emprega uma estratégia de recuperação híbrida combinando:
  1. Recuperação Densa: Busca de similaridade vetorial (similaridade de cosseno) usando pgvector com índices de Hierarchical Navigable Small World (HNSW) ou Inverted File with Flat Compression (IVFFlat).
  2. Recuperação Esparsa: Busca baseada em palavras-chave usando a busca de texto completo do PostgreSQL (estilo TF-IDF/BM25).
  • Ranking: Os resultados de ambos os recuperadores são fundidos usando Reciprocal Rank Fusion (RRF) para equilibrar os pontos fortes da correspondência semântica e de palavras-chave.
• Recuperação Contextual: Para abordar a dificuldade de interpretar fragmentos técnicos isolados (particularmente no TWiki), o sistema implementa a recuperação contextual. Um LLM gera uma descrição concisa de contexto ao nível do documento para cada fragmento, que é incorporada (embedded) juntamente com o próprio fragmento. Isso enriquece o espaço vetorial sem alterar o modelo de embedding.
• Processamento de Consulta e Segurança: As consultas recebidas passam por roteamento de intenção e triagem de segurança via um LLM leve. Esta etapa filtra solicitações fora de escopo ou perigosas, corrige erros ortográficos e resolve referências conversacionais (ex: pronomes) em consultas autossuficientes antes da recuperação.
• Geração: A resposta final é gerada por um LLM condicionado aos trechos recuperados. O sistema suporta vários modelos (ex: gpt-oss-20b, gpt-5-mini) e é projetado para ser agnóstico ao provedor, com foco em modelos de código aberto implantáveis localmente no futuro.
• Estrutura de Avaliação: Um benchmark personalizado, o chATLAS_Benchmark, foi desenvolvido utilizando pares de pergunta-resposta gerados automaticamente a partir do corpus alvo. Ele avalia a precisão da recuperação (Top-k) e a correção da geração (usando uma métrica de LLM-como-juiz) para guiar as escolhas de design.

Principais Contribuições e Resultados
O artigo detalha vários insights técnicos e melhorias de desempenho derivados do desenvolvimento do chATLAS:

1. Fine-Tuning Específico do Domínio: O ajuste fino do modelo de embedding em dados específicos do ATLAS melhorou significativamente o desempenho da recuperação. Quando combinado com a recuperação contextual, esta abordagem mais do que dobrou a frequência com que o documento correto era retornado como o primeiro resultado (precisão Top-1) para a fonte mais desafiadora (TWiki) em comparação com um modelo de linha de base.
2. Eficácia da Recuperação Contextual: O estudo demonstrou que adicionar contexto ao nível do documento aos fragmentos (recuperação contextual) proporcionou um ganho de desempenho maior do que o fine-tuning de embedding isoladamente. A combinação de ambas as técnicas rendeu a maior precisão de recuperação em todas as fontes de documentação.
3. Superioridade da Recuperação Híbrida: A fusão dos resultados de recuperação densa e esparsa via RRF melhorou a pontuação de correspondência de documentos ponderada de aproximadamente 50% (linha de base) para 65%. Embora um re-ranker de cross-encoder neural pudesse elevar isso para 71%, o custo computacional foi considerado muito alto para uso interativo, levando à adoção do RRF como o equilíbrio ideal.
4. Generalização entre Fontes: Modelos ajustados em fontes específicas (ex: GitLab) mostraram forte desempenho nessas fontes, mas também mantiveram ganhos significativos quando aplicados a outras fontes (ex: TWiki), sugerindo que o modelo aprendeu padrões de domínio generalizáveis.
5. Implantação e Integração: O chATLAS é um sistema totalmente operacional rodando na infraestrutura de PaaS do CERN. Ele se integra ao Mattermost para interação direta via chat e inclui um servidor MCP (Model Context Protocol) para facilitar futuros fluxos de trabalho agênticos e integração com ferramentas de terceiros.

Significância e Alegações
O artigo afirma que o chATLAS demonstra a viabilidade de RAG adaptado ao domínio para grandes colaborações científicas. Sua principal significância reside em fornecer acesso com atribuição de fonte e específico ao domínio para documentações proprietárias que, de outra forma, seriam inacessíveis para LLMs de propósito geral.

Os autores enfatizam que o sistema não é um substituto para a documentação existente, mas uma interface unificadora que suaviza a curva de aprendizado para novos membros e melhora a eficiência para colaboradores estabelecidos. Ao fundamentar as respostas em um corpus controlado, o sistema garante que as respostas sejam confiáveis e verificáveis. O trabalho oferece uma base prática para outras organizações que dependem de recuperação precisa de documentações proprietárias e fragmentadas, exibindo uma arquitetura modular que pode evoluir com novos modelos e fontes de dados sem exigir uma reconstrução completa do sistema. O artigo conclui que tais sistemas fornecem infraestrutura durável para o trabalho científico assistido por IA, ao mesmo tempo em que oferecem habilidades transferíveis aos estudantes desenvolvedores envolvidos.