Large Language Model Integration for Knowledge Retrieval and Interaction for the DUNE Experiment

Este artigo apresenta o DUNE-GPT, um framework prototípico que utiliza modelos de linguagem de grande escala e geração aumentada por recuperação para permitir a consulta segura, via linguagem natural, da extensa documentação e dos recursos técnicos do Deep Underground Neutrino Experiment, aumentando, assim, a produtividade da colaboração e a integração de novos membros.

O essencial

Imagine o experimento DUNE como uma biblioteca enorme e movimentada dedicada a compreender as partículas mais esquivas do universo (neutrinos). Esta biblioteca é tão grande que contém milhões de livros, notas, projetos e atas de reuniões espalhados por diferentes prateleiras, algumas em formatos digitais e outras em pastas físicas. Para um novo bibliotecário (ou um cientista) tentando encontrar um detalhe específico sobre como um detector funciona, pesquisar através deste labirinto pode levar horas ou até dias.

O artigo apresenta o DUNE-GPT, um novo "superbibliotecário" projetado para resolver este problema. Veja como ele funciona, dividido em conceitos simples:

1. O Problema: Uma Biblioteca Grande Demais para Pesquisar

A colaboração DUNE possui tanta informação armazenada em diferentes lugares (como o DocDB e o Indico) que encontrar respostas técnicas específicas é difícil. É como tentar encontrar uma frase específica em uma biblioteca onde os livros estão desorganizados e o catálogo está quebrado.

2. A Solução: Um Assistente Inteligente e Interno

A equipe construiu o DUNE-GPT, um protótipo de ferramenta que atua como um guia conhecedor. Em vez de fazer você pesquisar em pastas, você pode apenas fazer uma pergunta em inglês comum (ou linguagem natural), como: "Como o algoritmo de reconstrução lida com o ruído?" ou "Onde estão as notas da reunião da última terça-feira?".

3. Como Funciona: O "Detetive de Três Etapas"

O sistema não apenas adivinha; ele segue um processo rigoroso de três etapas para garantir a precisão:

• Etapa 1: Leitura e Indexação (O Cérebro do Bibliotecário):
  Primeiro, o sistema lê todos os documentos permitidos (relatórios técnicos, notas de reunião, etc.). Ele os divide em pequenos pedaços e cria um "mapa mental" (chamado de embedding) do que cada pedaço trata. Pense nisso como o bibliotecário lendo cada livro e escrevendo um cartão de resumo para cada página.

  • Nota: Eles são muito cuidadosos para ler apenas documentos que sejam seguros para todos verem, deixando de fora quaisquer arquivos secretos ou restritos.

• Etapa 2: A Busca Rápida (O Banco de Dados Vetorial):
  Quando você faz uma pergunta, o sistema não lê toda a biblioteca novamente. Em vez disso, ele usa um mecanismo de busca de alta velocidade (chamado FAISS) para encontrar instantaneamente as páginas específicas em seu "mapa mental" que correspondem à sua pergunta. É como o bibliotecário puxando instantaneamente os três livros mais relevantes da prateleira com base na sua consulta.

• Etapa 3: A Resposta (O Escritor de IA):
  O sistema pega essas páginas específicas que encontrou e as entrega a um Modelo de Linguagem Grande (o "Escritor de IA"). A IA lê apenas essas páginas e escreve uma resposta para você.

  • Recurso de Segurança Crucial: A IA é instruída: "Você deve responder baseando-se apenas nestas páginas". Isso evita que a IA invente coisas (um problema chamado de "alucinação") e garante que a resposta seja fundamentada em fatos reais do DUNE.

4. Segurança e Privacidade: O "Jardim Murado"

Uma das maiores preocupações com a IA é o vazamento de dados privados para a internet pública. Para resolver isso, a equipe do DUNE construiu este sistema inteiramente dentro de sua própria rede de computadores segura (no Fermilab e no Argonne).

• É como construir a biblioteca dentro de uma fortaleza segura.
• Apenas pessoas com uma chave (colaboradores autenticados do DUNE) podem entrar.
• Nenhum dado sai da fortaleza para empresas de IA públicas.

5. O Que Eles Descobriram Até Agora

A equipe testou este protótipo e descobriu que ele é muito bom em seu trabalho.

• Precisão: Em testes iniciais, ele encontrou os documentos corretos cerca de 70% das vezes, mesmo para perguntas complicadas sobre detalhes do detector ou fluxos de trabalho de física.
• Interface: Eles construíram um site simples onde os cientistas podem digitar perguntas e obter respostas que incluem links de volta para os documentos originais, para que você possa verificar a fonte.

6. O Que Vem a Seguir

A ferramenta ainda é um protótipo (uma versão "beta"). A equipe planeja:

• Ensiná-la a ler mais tipos de arquivos, como códigos e registros de detectores.
• Fazer com que ela entenda gráficos e diagramas complexos (imagens).
• Lançá-la para toda a colaboração para que todos possam usar.

Em resumo: O DUNE-GPT é um mecanismo de busca interno e seguro que utiliza IA para ajudar os cientistas a encontrar respostas em sua vasta biblioteca de documentos de forma rápida e precisa, sem nunca sair de sua rede segura ou arriscar a privacidade dos dados.

Resumo técnico

Resumo Técnico: DUNE-GPT – Integração de Grandes Modelos de Linguagem para Recuperação de Conhecimento e Interação

Declaração do Problema
O Experimento de Neutrinos no Subsolo Profundo (DUNE) enfrenta desafios significativos na gestão do conhecimento devido ao volume sem precedentes e à heterogeneidade de seus dados. A informação está distribuída em múltiplas plataformas, incluindo DocDB, Indico e wikis internas, abrangendo documentação, notas técnicas, dados experimentais e pipelines de reconstrução. À medida que a colaboração cresce, navegar por esse cenário distribuído para acessar detalhes técnicos específicos sobre reconstrução, simulação e operações do detector torna-se cada vez mais demorado, particularmente para novos colaboradores. Além disso, a implantação direta de Modelos de Linguagem de Grande Escala (LLMs) comerciais ou abertos em colaborações de Física de Altas Energias (HEP) levanta preocupações críticas relativas à privacidade dos dados, reprodutibilidade e acessibilidade de rede, necessitando de uma solução interna segura.

Metodologia
Para enfrentar esses desafios, os autores desenvolveram o DUNE-GPT, um framework protótipo operando dentro do ambiente computacional do Fermilab. O sistema utiliza uma arquitetura de Geração Aumentada de Recuperação (RAG), consistindo em três componentes primários:

1. Processamento de Documentos e Geração de Embeddings: O sistema ingere documentação pública e interna do DUNE (ex: relatórios de design técnico, notas de reuniões, materiais de grupos de trabalho) provenientes do DocDB e Indico. O pré-processamento de texto envolve o parsing de vários formatos (PDF, DOCX, TXT, PNG), extração de metadados e segmentação em nível de tokens. Conteúdos sensíveis ou restritos são excluídos para cumprir as políticas da colaboração. Os documentos processados são transformados em embeddings usando codificadores baseados em transformer (especificamente multi-qa-mpnet-base-dot-v1), otimizados para textos científicos.
2. Banco de Dados Vetorial e Mecanismo de Recuperação: Os embeddings gerados são armazenados em um banco de dados vetorial utilizando o Facebook AI Similarity Search (FAISS). Ao receber uma consulta do usuário, o sistema realiza uma busca de similaridade usando similaridade de cosseno para recuperar os segmentos de texto mais relevantes.
3. Interface de LLM para Geração de Resposta: Os fragmentos de contexto recuperados são encaminhados para LLMs pré-existentes hospedados em máquinas da Argonne (Argo) e do Fermilab (Ollama). O LLM é condicionado a esses fragmentos de fontes verificadas para gerar respostas. Esta abordagem garante que as saídas permaneçam fundamentadas em fontes específicas do DUNE, minimizando o risco de "alucinação" enquanto mantém a privacidade dos dados ao manter todas as operações dentro do ambiente computacional interno.

Principais Contribuições e Implementação

• Arquitetura Interna Segura: Diferente de ferramentas de IA externas, o DUNE-GPT foi projetado para operar inteiramente dentro dos recursos computacionais do Fermilab e da Argonne, garantindo que apenas colaboradores autenticados do DUNE possam acessar a ferramenta e que nenhum dado sensível saia da rede interna.
• Interface com Citação: O sistema fornece uma interface web leve onde os usuários podem enviar consultas em linguagem natural. As respostas geradas são formatadas para incluir citações referenciando os documentos específicos recuperados das bases de dados internas do DUNE, aumentando a rastreabilidade.
• Implantação de Protótipo: O protótipo foi inicialmente desenvolvido usando o supercomputador Aurora, no Argonne Leadership Computing Facility (ALCF), com um backend em Python integrando bibliotecas de código aberto. O plano de longo prazo envolve a migração da infraestrutura para o Fermilab para hospedagem em toda a colaboração.

Resultados Preliminares
Benchmarks iniciais indicam que o sistema baseado em RAG atinge uma precisão de aproximadamente 70% na recuperação de documentação relevante através de diversos tipos de consultas, incluindo especificidades de detectores, algoritmos de reconstrução e fluxos de trabalho de análise de física. O frontend atual demonstra a capacidade de exibir uma pergunta de amostra, a resposta gerada e as três principais referências recuperadas utilizadas no processo de geração.

Significância e Perspectivas Futuras
O artigo posiciona o DUNE-GPT como um passo crítico para melhorar a produtividade de toda a colaboração e a eficiência de integração (onboarding), permitindo a consulta em linguagem natural de recursos técnicos complexos. Os autores mantêm um escopo modesto, observando que a ferramenta está atualmente sob desenvolvimento ativo. Trabalhos futuros focam em:

• Expandir o corpus de embeddings para incluir logs de operação de detectores e documentação de código.
• Desenvolver um LLM adaptado ao domínio especificamente para compreensão da linguagem de HEP.
• Integrar conteúdo multimodal (ex: gráficos e figuras).
• Estabelecer a hospedagem web no Fermilab para facilitar o acesso seguro em toda a colaboração.
• Incorporar o feedback do usuário para refinar a qualidade da recuperação e a usabilidade da interface.

O trabalho representa uma abordagem controlada e explicável para a integração de IA em fluxos de trabalho de HEP, priorizando a segurança dos dados e a verificação de fontes sobre a implantação de modelos externos não verificados.