MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations

O artigo apresenta o MITRA, um assistente de IA baseado em RAG e hospedado localmente para colaborações científicas como o CMS, que utiliza um pipeline automatizado de extração de texto e uma arquitetura de banco de dados vetorial em dois níveis para recuperar com precisão informações de documentação interna de física, garantindo a privacidade dos dados.

O essencial

Imagine que você entrou em uma biblioteca gigante, do tamanho de uma cidade inteira, onde cada livro é um relatório científico sobre física de partículas. Essa biblioteca é a colaboração do CMS (no CERN), onde milhares de cientistas trabalham. O problema? A biblioteca cresce tão rápido que ninguém consegue encontrar o que precisa. Um novo estudante de doutorado pode se perder por dias tentando achar uma informação específica, e até os especialistas têm dificuldade em lembrar detalhes de projetos antigos.

É aqui que entra o MITRA.

O que é o MITRA?

Pense no MITRA como um bibliotecário superinteligente e super-rápido, que conhece cada página de cada livro dessa biblioteca de cabeça. Ele não é um robô que apenas "copia e cola" respostas; ele é um assistente que entende o que você pergunta e vai procurar a resposta exata nos documentos certos.

O nome "MITRA" vem do sânscrito e significa "amigo". A ideia é que ele seja o amigo que te ajuda a navegar nesse mar de informações.

Como ele funciona? (A Analogia da Cozinha)

Para entender como o MITRA foi construído, vamos imaginar uma cozinha profissional:

1. A Coleta de Ingredientes (Selenium e OCR):
   Os documentos da biblioteca estão em formatos digitais complexos (como PDFs com tabelas e gráficos). O MITRA usa um robô (chamado Selenium) que entra na "cozinha" digital, baixa os documentos e, em vez de apenas ler o texto, ele usa "lentes especiais" (chamadas OCR) para entender não só as palavras, mas também onde estão as tabelas e os gráficos. É como se ele pudesse ler um livro e entender a diferença entre o texto principal e a legenda de uma foto.

2. A Organização dos Pratos (Banco de Dados em Duas Camadas):
   Aqui está a parte mais inteligente. Imagine que você quer saber "qual é o ingrediente principal deste prato?". Se você perguntar isso em uma biblioteca onde há mil receitas de "bolo de chocolate" e "bolo de cenoura", o robô pode confundir.

   O MITRA usa uma estratégia de dois passos:

   • Passo 1 (O Índice): Primeiro, ele olha apenas o "resumo" (o título e a sinopse) de todos os documentos para descobrir qual receita você quer. Ele pergunta: "Você quer falar sobre o bolo de chocolate ou o de cenoura?".
   • Passo 2 (A Receita Completa): Só depois que você confirma qual é o projeto, ele abre apenas aquele livro específico e começa a procurar a resposta lá dentro. Isso evita que ele misture informações de projetos diferentes (como misturar dados de uma busca por "matéria escura" com dados de uma busca pelo "bóson de Higgs").

3. A Segurança (Tudo na Cozinha, Nada para Fora):
   Em muitas empresas, para usar inteligência artificial, você envia seus dados para servidores de empresas gigantes (como a OpenAI). Isso é como enviar sua receita secreta para um chef famoso na outra ponta do mundo.

   O MITRA é diferente. Ele roda dentro da própria cozinha da universidade (nos servidores locais deles). Nada sai dali. Isso garante que os segredos científicos, que ainda não foram publicados, permaneçam privados e seguros. É como ter um chef particular que trabalha apenas na sua casa.

Por que ele é melhor que o Google?

O artigo testou o MITRA contra um buscador comum (que funciona como o Google antigo, procurando apenas palavras-chave exatas).

• O Cenário: Imagine que você pergunta: "Qual é o limite de velocidade para o carro?".
• O Buscador Comum: Se o documento original disser "corte de momento transversal" (um termo técnico), o buscador comum pode não achar nada porque você não usou a palavra exata.
• O MITRA: Ele entende que "limite de velocidade" e "corte de momento" significam a mesma coisa no contexto da física. Ele entende a ideia, não apenas a palavra. Nos testes, enquanto o buscador comum falhava em 87% das perguntas feitas de forma natural, o MITRA acertava 75% delas.

O Futuro: De Assistente a Parceiro de Pesquisa

Hoje, o MITRA é um protótipo que responde perguntas. Mas os criadores sonham em transformá-lo em um agente de pesquisa proativo.
Imagine que, em vez de você perguntar, o MITRA chegue até você e diga:

• "Ei, notei que dois grupos estão medindo a mesma coisa de formas diferentes. Quer que eu compare?"
• "Vi que há uma lacuna nos dados atuais, talvez valha a pena investigar isso."
• "Aqui está um resumo de todas as atualizações da semana passada."

Resumo Final

O MITRA é como ter um amigo especialista que vive dentro da biblioteca da física, que nunca esquece nada, que sabe separar o que é importante do que é ruído, e que mantém todos os segredos da família (da colaboração científica) bem guardados. Ele transforma uma montanha de papéis confusos em conversas claras e úteis, acelerando a descoberta de novos segredos do universo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations", apresentado em português:

Título: MITRA: Um Assistente de IA para Recuperação de Conhecimento em Colaborações de Física

1. O Problema

As colaborações científicas de grande escala, como o Compact Muon Solenoid (CMS) no CERN, geram um volume massivo e em crescimento constante de documentação interna (notas de análise, wikis, diretrizes). Este acúmulo de conhecimento apresenta desafios críticos:

• Dificuldade de Acesso: Pesquisadores, especialmente novos estudantes de doutorado, têm dificuldade em encontrar informações precisas em meio a terabytes de dados e documentos complexos.
• Limitações das Ferramentas Atuais: Ferramentas de busca baseadas em palavras-chave (como BM25) falham em capturar o contexto semântico. Elas dependem de correspondências exatas de frases, o que é ineficiente quando o usuário usa sinônimos ou parafraseia conceitos técnicos.
• Risco de Privacidade e Custo: Soluções existentes que utilizam APIs de modelos de linguagem externos (como GPT-4) levantam preocupações sobre a privacidade de dados proprietários e não publicados, além de gerar custos operacionais cumulativos significativos para milhares de membros ao longo do tempo.

2. Metodologia: Um Pipeline Automatizado e Privado

O MITRA é um sistema de Geração Aumentada por Recuperação (RAG) projetado para operar inteiramente on-premise (localmente).

• Aquisição e Extração de Documentos:
  • Utiliza Selenium para automatizar a navegação e download de documentos (geralmente PDFs) de bancos de dados internos com interfaces web.
  • Emprega motores de OCR (Reconhecimento Óptico de Caracteres) avançados (Surya e Tesseract) em vez de bibliotecas padrão de PDF. Isso permite uma extração de texto de alta fidelidade, preservando a distinção entre conteúdo principal, legendas de figuras, tabelas e numeração de páginas, essencial para a qualidade da base de conhecimento.
• Processamento e Vetorização:
  • O texto extraído é segmentado em blocos (chunks) por parágrafo.
  • Utiliza um modelo de recuperação densa (DPR: facebook/dpr-question_encoder-multiset-base) para codificar os trechos em um espaço vetorial de 768 dimensões.
  • Os vetores são armazenados em um banco de dados vetorial leve (Chroma DB).
• Recuperação e Rerank (Reclassificação):
  • O sistema opera em duas etapas para equilibrar velocidade e precisão:
    1. Busca Inicial: Usa similaridade de cosseno para recuperar os top-k candidatos.
    2. Rerank: Um modelo cross-encoder (cross-encoder/ms-marco-MiniLM-L-6-v2) reclassifica os candidatos com maior precisão, calculando a relevância conjunta entre a consulta e o trecho.
• Geração e Privacidade:
  • Todo o pipeline, incluindo o modelo de linguagem (LLM), é hospedado localmente em servidores GPU da colaboração (ex: NVIDIA Tesla T4).
  • Utiliza uma versão quantizada em 4 bits do modelo Mistral-7B, servida via Ollama e integrada com LangChain. Isso garante que nenhum dado proprietário saia da rede local e elimina custos por token de APIs externas.

3. Contribuições Chave e Design do Sistema

• Pipeline Modular e Automatizado: Um fluxo de trabalho capaz de ingerir e processar documentos de análise com atualizações de versão fáceis de gerenciar (re-embedding), sem a necessidade de retreinamento de modelos monolíticos.
• Arquitetura de Banco de Dados em Dois Níveis (Two-Tiered):
  • Nível 1 (Resumos): Um banco de dados contendo apenas os resumos de todas as análises. A primeira consulta do usuário busca aqui para identificar qual análise específica é relevante. O sistema solicita confirmação humana para evitar ambiguidades entre diferentes análises (ex: diferenciar uma análise de Higgs de uma de Matéria Escura).
  • Nível 2 (Texto Completo): Uma vez confirmada a análise, o sistema "trava" em um segundo banco de dados contendo apenas o texto completo daquela análise específica. Isso isola o contexto, prevenindo que o modelo confunda informações de diferentes projetos.
• Privacidade Total: A implementação 100% local garante a segurança de dados sensíveis e não publicados.

4. Resultados e Avaliação

O sistema foi avaliado comparando o desempenho de recuperação do MITRA (RAG) contra uma linha de base tradicional baseada em palavras-chave (Okapi BM25). Foram utilizados dois conjuntos de consultas criados por especialistas:

• Conjunto 1: Consultas com correspondência exata de palavras-chave.
• Conjunto 2: Consultas realistas com paráfrase e sinônimos (ex: perguntar por "requisito de momento transversal" quando o texto usa "corte pT").

Principais Métricas:

• Precisão e Recall (Set 2): Para consultas realistas, o MITRA superou significativamente o BM25. O MITRA alcançou uma Precisão@1 de 0,75, enquanto o BM25 obteve apenas 0,13. Isso demonstra a capacidade do sistema de entender equivalência semântica.
• Qualidade de Ranking (MRR e NDCG): O MITRA obteve um MRR (Mean Reciprocal Rank) de 0,81 no conjunto realista, contra 0,35 do BM25. Isso indica que a resposta correta é quase sempre encontrada na primeira posição.
• Robustez contra Alucinações: Testes qualitativos mostraram que, ao ser questionado sobre um tópico fora de contexto (ex: perguntar sobre bósons de Higgs em uma análise de matéria escura), o sistema corretamente identificou a irrelevância do contexto e informou o usuário, em vez de alucinar uma resposta.

5. Significado e Futuro

O MITRA demonstra a viabilidade de criar assistentes de IA especializados e privados para grandes colaborações científicas.

• Impacto: Acelera a integração de novos membros, otimiza o compartilhamento de conhecimento e desbloqueia o valor de documentação subutilizada.
• Sustentabilidade: Oferece um modelo financeiro viável a longo prazo ao evitar custos recorrentes de APIs, utilizando hardware institucional existente.
• Próximos Passos: Os autores planejam expandir a base de conhecimento para incluir mais tipos de documentos, realizar estudos formais com usuários, otimizar a latência para alta concorrência e evoluir o sistema de um simples buscador para um agente de pesquisa proativo capaz de resumir atualizações, comparar metodologias e identificar lacunas em buscas experimentais.

Em suma, o MITRA oferece uma solução robusta, privada e semanticamente inteligente para o desafio da gestão de conhecimento em física de altas energias.