Retrieval-Augmented Question Answering over Scientific Literature for the Electron-Ion Collider

Este trabalho apresenta um sistema de Perguntas e Respostas baseado em Geração Aumentada por Recuperação (RAG), utilizando o modelo LLaMA e um banco de dados local de artigos do arXiv sobre o Colisor Elétron-Íon (EIC), oferecendo uma alternativa econômica e privada para consultas técnicas em física nuclear experimental.

O essencial

Imagine que você tem uma biblioteca gigante e secreta, cheia de livros técnicos e complexos sobre como construir a máquina mais avançada do mundo: o Colisor Elétron-Íon (EIC). Essa máquina é como um "microscópio" superpoderoso para ver como o universo é feito por dentro. O problema é que os livros são tão densos e cheios de jargão que até os cientistas experientes demoram horas para achar a resposta para uma pergunta específica.

É aqui que entra a história deste artigo: os autores criaram um "Assistente de Pesquisa Inteligente" para ajudar a equipe do EIC.

Aqui está a explicação do que eles fizeram, usando analogias do dia a dia:

1. O Problema: O "Alucinação" da IA

Você já pediu para um robô de chat explicar algo e ele inventou fatos com tanta confiança que parecia verdade? Isso se chama "alucinação". Em ciência, isso é perigoso. Se um robô inventar um dado sobre física nuclear, pode confundir toda a pesquisa.

2. A Solução: O "Detetive com Livros Abertos" (RAG)

Em vez de deixar o robô tentar lembrar tudo o que aprendeu na internet (o que pode gerar erros), os autores criaram um sistema chamado RAG (Geração Aumentada por Recuperação).

Pense no RAG como um estudante muito inteligente, mas que não tem memória de curto prazo.

• O Robô (LLaMA): É o estudante. Ele é brilhante e sabe escrever bem, mas não sabe nada sobre o EIC a menos que você lhe dê o livro.
• A Biblioteca (Banco de Dados): É a coleção de 178 artigos científicos do arXiv (um repositório online) sobre o EIC.
• O Processo: Quando você faz uma pergunta, o sistema não deixa o robô "adivinhar". Primeiro, ele vai até a biblioteca, acha os 20 trechos de texto mais relevantes (como se estivesse folheando os livros certos), e só então entrega esses trechos para o robô ler e escrever a resposta.

3. A Grande Inovação: "Segredo e Economia"

Anteriormente, esse tipo de sistema usava robôs caros de empresas privadas (como a OpenAI) e enviava os dados para a nuvem (internet pública).

• O que eles fizeram: Criaram uma versão caseira e barata.
• A Analogia: Em vez de alugar um consultor caro que trabalha em um escritório de vidro (nuvem pública), eles contrataram um gênio local (modelo de código aberto LLaMA) e montaram uma sala de arquivos trancada dentro do próprio laboratório (servidor local).
• Por que isso importa?
  1. Privacidade: Nada é enviado para fora. Dados científicos que ainda não foram publicados ficam seguros, como segredos de estado.
  2. Economia: Não custa uma fortuna para rodar.

4. Como eles testaram se funcionava?

Eles criaram um "Exame de Qualificação".

• Pegaram 51 perguntas difíceis sobre o EIC.
• Pediram para o sistema responder.
• Compararam as respostas com as "respostas perfeitas" feitas por especialistas humanos.

Eles mediram duas coisas principais:

1. Velocidade: Quanto tempo demorou para achar o livro e escrever a resposta?
   • Resultado: O sistema achou os livros em frações de segundo (como piscar de olhos). Mas escrever a resposta demorou um pouco mais, dependendo de qual "cérebro" (modelo de IA) usaram. O modelo LLaMA 3.2 foi o mais rápido e estável, enquanto o 3.3 foi muito lento e instável (como um carro esportivo potente, mas que quebra na primeira ladeira).
2. Qualidade: A resposta foi correta e baseada nos livros?
   • Resultado: Eles descobriram que cortar os textos em pedaços um pouco maiores (180 caracteres) funcionou melhor, como se fosse ler um parágrafo inteiro em vez de apenas uma frase solta. Isso ajudou o robô a entender o contexto completo.

5. O Veredito Final

O sistema funciona! Ele é como um bibliotecário super-rápido que:

• Nunca alucina (não inventa fatos), porque só fala o que está nos livros que ele leu.
• Cita exatamente de qual livro tirou a informação (como colocar um "link" ou referência no final da resposta).
• É seguro, barato e roda em computadores locais, sem depender de empresas americanas ou nuvens públicas.

Resumo da Ópera:
Os autores criaram um "Google" privado e inteligente para cientistas do Colisor Elétron-Íon. Em vez de perderem dias lendo PDFs, eles podem perguntar ao robô: "Como funciona o detector X?" e o robô vai ler os 20 artigos mais importantes sobre o assunto e escrever uma resposta precisa, citando as fontes. É uma ferramenta que economiza tempo, dinheiro e protege segredos científicos.

Resumo técnico

Resumo Técnico: Recuperação Aumentada para Perguntas e Respostas (RAG) sobre Literatura Científica do Colisor Elétron-Íon (EIC)

1. Problema e Motivação

O artigo aborda o desafio de utilizar Modelos de Linguagem (LLMs) para responder a perguntas técnicas altamente especializadas no domínio da física nuclear experimental, especificamente para o experimento do Colisor Elétron-Íon (EIC).

• Alucinação e Fidedignidade: LLMs convencionais, mesmo os de última geração, tendem a gerar respostas fluentes, mas factualmente incorretas (alucinações), o que é inaceitável em contextos científicos rigorosos.
• Dependência de Nuvem e Custos: Trabalhos anteriores (como o projeto AI4EIC) utilizaram modelos proprietários e bases de conhecimento hospedadas na nuvem, o que levanta preocupações sobre privacidade de dados (especialmente para dados pré-publicação), custos elevados e dependência de infraestrutura externa.
• Necessidade de Escalabilidade: O EIC é uma colaboração internacional com mais de 190 institutos, gerando um volume massivo de artigos, relatórios técnicos e apresentações. É necessário um sistema eficiente para facilitar a integração de novos colaboradores e a extração de objetivos de pesquisa vitais.

2. Metodologia e Arquitetura da Aplicação

Os autores desenvolveram um sistema de Perguntas e Respostas (Q&A) baseado em Geração Aumentada por Recuperação (RAG), totalmente implantado localmente (on-premises) e utilizando componentes de código aberto.

• Base de Conhecimento:

  • Construída com 178 artigos relacionados ao EIC extraídos do repositório arXiv.
  • Os artigos cobrem domínios como fenomenologia, desenvolvimento de software, design de detectores e física de aceleradores.
  • Metadados (ID do arXiv, autores, ano) são concatenados ao texto para melhorar a precisão contextual e a rastreabilidade.

• Pipeline de Processamento:

  1. Ingestão e Chunking: Os documentos são divididos em segmentos menores ("chunks") usando o RecursiveCharacterTextSplitter. Foram testados tamanhos de 120 e 180 caracteres com uma sobreposição de 20 caracteres para manter a continuidade semântica.
  2. Embeddings: Os chunks são convertidos em vetores densos de 1024 dimensões utilizando o modelo mxbai-embed-large (da Mixedbread AI), escolhido por seu desempenho no benchmark MTEB e capacidade de implantação local sem dependência de API.
  3. Armazenamento Vetorial: O banco de dados ChromaDB foi selecionado para armazenamento persistente devido à sua privacidade (implantação local) e integração nativa com o framework LangChain.
  4. Recuperação: O sistema codifica a consulta do usuário no mesmo espaço vetorial e busca os documentos mais relevantes. Foram comparadas duas estratégias de similaridade:
     • Semelhança Cosseno: Mede o alinhamento angular.
     • Relevância Marginal Máxima (MMR): Equilibra relevância e diversidade para reduzir redundância.
     • Os 20 chunks mais relevantes são recuperados.
  5. Geração de Resposta: Os contextos recuperados são inseridos em um prompt e processados por modelos LLaMA 3.2 ou LLaMA 3.3 (implantados localmente). O prompt inclui diretrizes (guardrails) para restringir a resposta estritamente ao contexto fornecido.
  6. Rastreabilidade: O LangSmith é utilizado para observabilidade, rastreando cada etapa (consulta, contexto recuperado, prompt, resposta) e vinculando as respostas às citações originais do arXiv.

3. Contribuições Principais

• Solução Custo-Efetiva e Privada: Demonstração de um sistema RAG funcional para ciência de alto nível que não depende de modelos proprietários caros ou de envio de dados sensíveis para a nuvem pública.
• Validação de Arquitetura Local: Prova de conceito de que modelos de linguagem abertos (LLaMA) e bancos de dados vetoriais locais podem atender a requisitos rigorosos de precisão científica.
• Mecanismo de Citação Transparente: Implementação de um sistema de rastreamento de citações que permite aos usuários verificar a origem científica de cada afirmação gerada, combatendo a desinformação.
• Análise Comparativa de Parâmetros: Estudo detalhado sobre o impacto do tamanho dos chunks (120 vs. 180) e das métricas de similaridade (Cosseno vs. MMR) no desempenho do sistema.

4. Resultados e Análise

O sistema foi avaliado utilizando o framework RAGAS em um conjunto de dados de referência (gold standard) contendo 51 perguntas e respostas curadas por especialistas.

• Latência:
  • Recuperação: O tempo de recuperação foi baixo e estável (mediana de ~0.11s), sem diferença significativa entre os tamanhos de chunk ou métricas de similaridade.
  • Geração (LLM): Houve uma diferença drástica entre os modelos. O LLaMA 3.2 apresentou latência mediana de 10-20 segundos e estabilidade. O LLaMA 3.3 mostrou latência muito superior, maior variabilidade e outliers extremos, tornando-o inadequado para um chatbot de uso geral devido às restrições de computação local. O LLaMA 3.2 foi selecionado para uso final.
• Métricas de Avaliação (RAGAS):
  • Recuperação (Context Recall): Desempenho robusto (próximo de 1.0), indicando que a maioria das "afirmações" (claims) da verdade fundamental foi encontrada no contexto recuperado.
  • Tamanho do Chunk: O tamanho de 180 caracteres superou consistentemente o de 120 caracteres, especialmente nas métricas de Fidelidade (Faithfulness) e Relevância da Resposta. Isso sugere que chunks maiores preservam melhor a coerência semântica e o contexto necessário para respostas factuais.
  • Precisão do Contexto e Relevância: O tamanho de 180 caracteres resultou em distribuições mais concentradas em pontuações altas (>0.9).
  • Correção da Resposta: As pontuações foram moderadas a baixas, atribuídas à complexidade dos detalhes factuais do EIC e à limitação do modelo LLaMA 3.2 (modelo "leve").
  • Similaridade: A estratégia MMR não demonstrou vantagem significativa sobre a Semelhança Cosseno neste cenário específico.

5. Significância e Trabalhos Futuros

• Significância: Este trabalho valida a viabilidade de sistemas de IA autônomos e seguros para colaborações científicas internacionais. Ele oferece uma alternativa viável para instituições que necessitam de privacidade de dados e independência operacional, permitindo que pesquisadores acessem conhecimento técnico complexo de forma eficiente.
• Futuro:
  • Expansão da base de conhecimento para incluir apresentações em PowerPoint, white papers, relatórios e documentos da wiki.
  • Migração da orquestração do pipeline do LangChain para o framework LangGraph, permitindo fluxos de trabalho mais complexos e dinâmicos.
  • Investigação de modelos maiores, desde que as restrições de hardware sejam superadas.

Em suma, o artigo apresenta uma implementação prática e otimizada de RAG para o domínio da física de partículas, equilibrando desempenho, custo e privacidade, com resultados que destacam a importância do tamanho do chunk e da escolha do modelo de linguagem para aplicações científicas.