🔬 physics

A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility

Este artigo apresenta o APS-RAG, um sistema de geração aumentada por recuperação híbrido e agêntico implantado para o Advanced Photon Source que integra diversas fontes de dados e um loop corretivo para melhorar significativamente a recuperação de conhecimento operacional, juntamente com o lançamento do conjunto de dados APS-Bench e do framework de avaliação para estabelecer um fluxo de trabalho confiável e estatisticamente fundamentado para assistência de IA em instalações científicas.

Autores originais: Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

Publicado 2026-07-28

📖 7 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rajat Sainju, Dariusz Jarosz, Hairong Shang, Michael Prince, Ryan M. Aydelott, Mathew J. Cherukara, Yine Sun, Michael D. Borland

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine uma fábrica massiva e de alta tecnologia que dispara feixes de luz incrivelmente brilhante em amostras minúsculas para ver como elas são feitas. Este lugar, chamado de instalação científica, está em funcionamento há décadas. Ao longo desse tempo, as pessoas que trabalham lá escreveram milhões de notas: o que quebrou, como consertaram, quais configurações funcionaram e o que aconteceu quando tentaram algo novo. Essas notas estão espalhadas por toda parte — em diários digitais, mensagens de chat, manuais técnicos e até em fluxos de dados de computadores ao vivo. É como tentar encontrar uma receita específica em uma biblioteca onde os livros estão espalhados pelo chão, pelo teto e dentro das paredes, e não existe um único índice para ajudar você a encontrá-los.

Para resolver isso, os cientistas usam uma ferramenta chamada Geração Aumentada de Recuperação (RAG). Pense no RAG como um bibliotecário superinteligente que não apenas adivinha a resposta de sua própria memória (que pode estar errada), mas primeiro corre até as estantes, pega as páginas exatas dos livros antigos e então escreve uma nova resposta baseada apenas no que dizem essas páginas. Este artigo apresenta uma versão atualizada deste bibliotecário, especificamente para o Advanced Photon Source (APS), uma gigante fábrica de luz em Illinois. Eles construíram um sistema chamado APS-RAG que consegue entender perguntas normais como "Por que o feixe parou?" e pesquisar através de décadas de registros bagunçados e espalhados para encontrar a resposta. Como o sistema realiza um raciocínio profundo e múltiplas etapas de busca para garantir a precisão, esse processo leva tempo, variando tipicamente de 40 a 178 segundos por consulta, em vez de ser instantâneo. Eles também construíram um teste especial, chamado APS-Bench, para ver se o novo bibliotecário deles é realmente melhor que os antigos, usando 50 perguntas complicadas que o pessoal real poderia fazer.

O Problema: Uma Biblioteca no Caos

No APS, o conhecimento está em toda parte, mas não em lugar nenhum ao mesmo tempo. Se uma máquina quebra, a história do conserto pode estar em uma mensagem de chat de três anos atrás, o manual técnico pode estar em um banco de dados diferente e os dados ao vivo mostrando o erro podem estar em um terceiro sistema. Quando trabalhadores experientes se aposentam ou mudam de turno, esse "conhecimento tribal" muitas vezes vai embora com eles, levando a tempos de inatividade mais longos e funcionários frustrados.

A equipe queria construir um assistente de IA que pudesse conversar com o pessoal em inglês comum e extrair respostas de todos esses lugares diferentes ao mesmo tempo. Mas eles sabiam que, se a IA simplesmente inventasse coisas (um problema chamado "alucinação"), isso poderia ser perigoso em um lugar onde a precisão é fundamental. Por isso, eles não construíram apenas um chatbot; eles construíram um sistema "corretivo" que verifica seu próprio trabalho.

A Solução: APS-RAG e Seus Superpoderes

A equipe criou o APS-RAG, uma plataforma que atua como um detetive com três maneiras diferentes de buscar pistas:

A Busca de "Correspondência de Palavras": Como um catálogo clássico de biblioteca, ela procura por palavras e números exatos (como códigos específicos de máquinas).
A Busca de "Significado": Como um assistente inteligente que entende que "motor quebrado" e "motor falho" são semelhantes, mesmo que as palavras sejam diferentes.
A Busca de "Conexão": Esta utiliza um "grafo de conhecimento", que é como uma grande teia de conexões. Ela sabe que um código de erro específico está ligado a uma peça específica, que está ligada a um manual de reparo específico.

Uma vez que o sistema encontra essas pistas, ele não as cospe simplesmente. Ele usa um Reclassificador Cross-Encoder. Imagine um gerente de contratação que lê cada currículo (os resultados da busca) e depois os reclassifica cuidadosamente para garantir que os melhores estejam no topo. O artigo descobriu que esta etapa é absolutamente crítica. Sem ela, a capacidade do sistema de encontrar a resposta certa cai drasticamente 32,8%.

Mas a verdadeira magia é o Loop Agêntico Corretivo. Isso é como um editor que se autocorrige. Depois que a IA escreve um rascunho da resposta, ela para e pergunta a si mesma: "Eu realmente encontrei provas para isso? Isso está completo?". Se a resposta for "não" ou "talvez", o sistema não apenas adivinha; ele volta à biblioteca, pesquisa novamente com uma rede mais ampla e tenta encontrar as peças que faltam. Ele pode fazer isso até duas vezes para garantir que a resposta seja sólida antes de mostrá-la ao usuário.

O Que Eles Descobriram: O Bom, o Ruim e o Surpreendente

A equipe testou seu novo sistema contra uma versão "ingênua" (uma busca simples que apenas procura por palavras-chave) usando seu teste de 50 perguntas, o APS-Bench.

A Grande Vitória: Todas as versões do novo sistema que utilizaram o método "busca + IA" foram melhores do que a busca simples por palavras-chave. A melhor versão, que utilizou todos os três tipos de busca mais o loop de autocorreção, obteve a pontuação mais alta, encontrando os fatos mais importantes 70,3% das vezes, comparado a 63,8% da busca simples.
O Componente Crítico: O artigo afirma explicitamente que o Reclassificador Cross-Encoder é a parte mais importante. Se você o remover, o sistema falha significativamente. É a diferença entre um bibliotecário que sabe priorizar os melhores livros e um que apenas pega os primeiros que vê.
As Partes do "Talvez": Embora o "Grafo de Conhecimento" (a teia de conexões) e o "Loop de Autocorreção" tenham ajudado, o artigo é cuidadoso ao dizer que a melhoria que eles proporcionaram foi marginal e não provou estatisticamente ser uma grande vitória sobre as outras partes neste tamanho específico de teste. O grafo ajudou com perguntas complexas do tipo "por que isso aconteceu?", mas para fatos simples, não foi um divisor de águas.
A Descoberta do "Não Culpe o Escritor": A equipe testou diferentes modelos de IA para escrever as respostas finais. Eles descobriram que a qualidade da busca importava muito mais do que qual modelo de IA estava escrevendo a resposta. Mesmo um modelo de IA menor e de código aberto poderia escrever uma ótima resposta se tivesse os fatos certos para trabalhar. No entanto, alguns modelos eram muito melhores em não mentir (fidelidade) do que outros.

O Veredito

O artigo conclui que o APS-RAG é uma ferramenta promissora para transformar décadas de notas bagunçadas da instalação em um assistente confiável e digno de confiança. Ele prova que combinar diferentes métodos de busca com uma etapa de "verificar o próprio trabalho" torna a IA muito mais segura e precisa para o uso industrial real.

No entanto, os autores são honestos sobre os limites. Eles descobriram que, embora o sistema funcione, a complexidade adicional do "loop de autocorreção" e do "grafo de conhecimento" nem sempre resultou em um salto massivo nas pontuações em comparação com o método de "busca híbrida" mais simples. A maior lição é que a reclassificação (ordenar os resultados da busca cuidadosamente) é o ingrediente secreto que faz tudo funcionar.

Em resumo, eles construíram um sistema que não apenas adivinha; ele pesquisa, verifica e se corrige. Embora não seja uma solução mágica e perfeita que resolve todos os problemas instantaneamente (leva um ou dois minutos para ser minucioso), oferece uma maneira confiável e estatisticamente fundamentada de ajudar cientistas e engenheiros a encontrar respostas em um mar de dados, reduzindo o tempo de inatividade e mantendo as luzes acesas na instalação.

Resumo Técnico: APS-RAG

Definição do Problema

Instalações científicas de grande escala, como o Advanced Photon Source (APS), acumulam décadas de conhecimento operacional através de fontes de dados fragmentadas e heterogêneas. Esse conhecimento inclui diários eletrônicos (ex: BELY), documentos técnicos (ICMS), solicitações de manutenção, wikis internas, logs de chat e variáveis de processo de sistemas de controle em tempo real (PVs). Atualmente, nenhum índice de busca único cobre essas fontes díspares. Essa fragmentação impõe altos custos operacionais: problemas recorrentes levam a períodos de inatividade prolongados quando as soluções não podem ser localizadas rapidamente, e o conhecimento institucional é perdido quando funcionários experientes rotacionam ou se aposentam. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam uma interface de linguagem natural, eles carecem de conhecimento específico da instalação e correm o risco de gerar respostas eloquentes, porém não fundamentadas, o que é inaceitável para a tomada de decisão operacional.

Metodologia

Os autores apresentam o APS-RAG, uma plataforma de agentes implantada que transforma consultas em linguagem natural em respostas citadas com fontes, fundindo a recuperação de nove fontes distintas de dados. A arquitetura do sistema e a metodologia de avaliação são definidas da seguinte forma:

Arquitetura do Sistema

Ingestão e Indexação de Dados: O sistema ingere dados de nove fontes (BELY, ICMS, Solicitações de Trabalho, Chat do Teams, Wikis Internas, Tempo de Inatividade do Feixe, SDDS, Apps OAG e o EPICS Archiver). Um pipeline diário de diff-and-upsert mantém o frescor do índice em três backends de armazenamento: um repositório de vetores densos (Qdrant), um repositório de palavras-chave esparsas (Elasticsearch) e um grafo de conhecimento (Neo4j).
Recuperação Híbrida: O mecanismo de recuperação funde três canais:
- Denso: Embeddings vetoriais (e5-large-v2) para correspondência semântica.
- Esparso: Correspondência de palavras-chave BM25 para identificadores exatos (ex: nomes de variáveis de processo).
- Grafo de Conhecimento (KG): Consultas ao Neo4j para reconstruir cadeias de resolução de falhas (ex: sintoma $\to$ causa $\to$ resolução).
Fusão Adaptativa: Um roteador de consulta classifica a intenção (ex: factual, solução de problemas, multi-salto) e aplica uma fusão de ranking recíproco (RRF) adaptativa ao tipo de consulta. Os pesos para os canais denso, esparso e de grafo são ajustados manualmente com base na experiência operacional, em vez de serem aprendidos.
Loop Agêntico Corretivo: O sistema utiliza uma máquina de estados LangGraph. Se a pontuação de confiança de uma resposta inicial (baseada em relevância, fundamentação, completude e verificação de KG) cair abaixo de um limite, o sistema aciona um loop corretivo. Isso envolve replanejamento, ampliação da consulta ou mudança de estratégias de recuperação (ex: apenas denso) por até duas rodadas adicionais.
Inteção de Ferramentas: Um executor ReAct de ferramenta nativa opera sobre uma camada de Protocolo de Contexto de Modelo (MCP), permitindo que o agente acesse dados de PV em tempo real, realize cálculos e pesquise imagens juntamente com a recuperação de documentos.
Benchmark de Avaliação (APS-Bench): Para avaliar o sistema, os autores construíram o APS-Bench, um conjunto de dados de 50 perguntas derivado do corpus vivo usando uma metodologia estilo InPars. As perguntas são geradas com tipos de consulta e níveis de dificuldade específicos. As respostas de referência ("gold answers") são construídas com "fragmentos atômicos" (vitais vs. aceitáveis) e proveniência auditável. A avaliação utiliza um juiz de LLM de família cruzada (Claude) para avaliar a recall vital estrita e a fidelidade ao nível de afirmação, evitando métricas de sobreposição lexical baseadas em referência como BLEU.

Principais Contribuições

Plataforma Agêntica Implantada: O APS-RAG é um sistema de produção que integra recuperação híbrida (denso + esparso + KG), fusão adaptativa e um loop agêntico corretivo com portões de autocrítica.
Avaliação Baseada em Operações: O artigo introduz um framework de avaliação rigoroso adaptado para instalações científicas, utilizando o APS-Bench e métricas de recall baseadas em fragmentos (nuggets). Isso vai além dos resultados qualitativos ou simples de estilo de recall comuns em sistemas de instalações anteriores.
Ablação de Componentes e Análise Estatística: O estudo fornece uma ablação controlada dos componentes do sistema (reranker, canal de grafo, loop corretivo) com testes de significância estatística (bootstrap pareado, testes de McNemar).
Lançamento Aberto: Os autores liberam a metodologia de construção do benchmark, o harness de avaliação de seis camadas, o código-fonte subjacente e o framework de habilidade de agente de recuperação /aps-rag para apoiar a adoção em outras instalações.

Resultados

Aumento de Recuperação: Todas as variantes de aumento de recuperação melhoraram o recall vital estrito em relação a uma linha de base BM25 ingênua, aumentando de 63,8% para uma faixa de 65,5%–70,3%.
Desempenho do Sistema: A configuração completa de GraphRAG Agêntico Corretivo alcançou a maior estimativa de ponto em 70,3%, seguida pelo GraphRAG (69,1%). No entanto, testes estatísticos pareados indicaram que essas diferenças não foram estatisticamente significativas no tamanho atual do benchmark ( $n=50$ ).
Componente Crítico (Reranker): O reranker cross-encoder foi o único componente cuja remoção resultou em uma queda de desempenho estatisticamente significativa. A remoção dele reduziu o recall vital estrito em 32,8% (95% CI [−47,4, −19,1]; $p < 10^{-4}$ ).
Fidelidade vs. Recall: O loop corretivo e o portão de autocrítica melhoraram principalmente a fidelidade (reduzindo as taxas de alucinação de 9,4% para 7,9%) em vez do recall. O canal de grafo de conhecimento mostrou benefícios direcionais para consultas causais e de solução de problemas, mas não melhorou significativamente a precisão do ranking na primeira etapa.
Modelos de Embedding: Modelos de embedding pré-treinados no domínio não superaram modelos de propósito geral (ex: e5-large-v2, bge-m3) neste corpus.
Modelos de Síntese: O recall vital estrito foi relativamente insensível à escolha do LLM de síntese, enquanto as taxas de alucinação variaram significativamente (5,6%–30,6%), sugerindo que a fidelidade é uma propriedade do gerador, enquanto o recall é uma propriedade da recuperação.

Significância e Alegações

O artigo alega que o APS-RAG apresenta um fluxo de trabalho promissor para assistência de IA confiável e estatisticamente fundamentada nas operações da instalação. A principal significância reside na integração operacional de técnicas estabelecidas (recuperação híbrida, loops agênticos, MCP) em um sistema implantado que aborda a fragmentação específica do conhecimento de instalações científicas.

Os autores são modestos em suas alegações quanto à superioridade de componentes específicos (como o canal de grafo ou o loop agêntico) devido às limitações estatísticas do tamanho atual do benchmark. Eles declaram explicitamente que a necessidade de um reranker cross-encoder funcional é o achado mais robusto. O trabalho serve como um modelo para outras grandes instrumentações científicas, demonstrando como transformar a experiência institucional acumulada em um recurso que reduz o tempo de inatividade e mitiga o impacto da rotatividade de pessoal, desde que uma avaliação rigorosa e específica do domínio seja mantida.