Dr.Sai: An agentic AI for real-world physics analysis at BESIII

O artigo apresenta o Dr.Sai, um sistema de múltiplos agentes baseado em LLMs que automatiza fluxos de trabalho complexos de física de altas energias, sendo capaz de realizar medições de decaimentos de partículas de forma autônoma no experimento BESIII através de linguagem natural.

O essencial

Imagine que você é um arqueólogo tentando reconstruir a história de uma civilização antiga. O problema é que os artefatos estão enterrados sob quilômetros de terra, os mapas são confusos e as ferramentas de escavação são tão complexas que você leva anos apenas para aprender a usá-las.

Na física de partículas, o "terreno" é o acelerador de partículas BESIII, e os "artefatos" são dados minúsculos sobre como as partículas se desintegram. Tradicionalmente, cientistas precisam passar meses ou anos escrevendo códigos complicados e configurando máquinas para entender esses dados.

Este artigo apresenta o Dr.Sai: um "Assistente Arqueólogo Inteligente" (uma IA de múltiplos agentes) que faz o trabalho pesado por você.

Aqui está uma explicação simples do que ele é e como funciona:

1. O que é o Dr.Sai? (A Equipe de Especialistas)

Em vez de ser apenas um robô que responde perguntas, o Dr.Sai é como uma equipe de uma empresa de consultoria de elite. Imagine que você é o "Chefe da Pesquisa" e apenas diz: "Dr.Sai, descubra como a partícula J/ψ se comporta".

Em vez de você ter que fazer tudo, o Dr.Sai aciona sua equipe interna:

• O Planejador (O Gerente de Projetos): Ele ouve seu pedido e cria um cronograma detalhado de todos os passos necessários.
• O Programador (O Engenheiro): Ele escreve o código de computador necessário para analisar os dados.
• O Testador (O Operário): Ele pega o código, leva para o supercomputador, roda o programa e vê se funciona.
• O Calculador (O Matemático): Ele pega os números finais e faz as contas complexas para chegar ao resultado científico.
• O Refletor (O Crítico): Ele olha para o resultado e pergunta: "Isso faz sentido físico ou a IA cometeu um erro bobo?".

2. Como ele trabalha? (O Tradutor de Desejos)

O grande trunfo do Dr.Sai é que ele entende linguagem humana. Você não precisa falar "computadorês". Você fala como um cientista, e ele traduz isso para as instruções técnicas que as máquinas do laboratório entendem.

É como se você desse uma ordem para um chef de cozinha: "Faça um jantar italiano para 10 pessoas". Você não precisa dizer a temperatura exata do forno ou a gramagem do sal; o Dr.Sai sabe o que é um "jantar italiano" e coordena a cozinha inteira para entregar o prato.

3. O Teste de Fogo (A Prova Real)

Para provar que não era apenas um brinquedo, os pesquisadores deram ao Dr.Sai uma tarefa real e difícil: medir dez tipos diferentes de "decaimentos" (como as partículas se quebram) de uma partícula chamada $J/\psi$.

O resultado? O Dr.Sai conseguiu fazer tudo sozinho — desde a seleção dos dados até o cálculo final — e os resultados foram praticamente idênticos aos que os cientistas humanos levariam muito tempo para conseguir.

4. Por que isso é importante? (O Futuro da Descoberta)

A ciência está gerando dados em uma velocidade astronômica. Se dependermos apenas de humanos fazendo tudo manualmente, a descoberta de novas leis da natureza vai ficar lenta demais.

O Dr.Sai mostra que podemos ter "Cientistas de IA" trabalhando ao lado dos humanos. Eles não substituem o cientista, mas os libertam da "burocracia do código" para que eles possam focar no que realmente importa: fazer perguntas profundas sobre como o universo funciona.

---

Em resumo: O Dr.Sai é como um "piloto automático" para cientistas de partículas, transformando ordens simples em descobertas complexas, economizando tempo e permitindo que a ciência voe mais alto e mais rápido.

Resumo técnico

Resumo Técnico: Dr.Sai – Um Agente de IA para Análise de Física Real no Experimento BESIII

1. O Problema

A análise de dados em Física de Altas Energias (HEP), especificamente em experimentos de grande escala como o BESIII (BEijng Spectrometer III), é um processo extremamente complexo e intensivo em mão de obra. Atualmente, pesquisadores precisam navegar por ambientes de software heterogêneos, gerenciar petabytes de dados e executar fluxos de trabalho manuais que incluem simulações de Monte Carlo, reconstrução de eventos, extração de sinais e estimativa de incertezas sistemáticas. Esse paradigma manual cria gargalos de escalabilidade, é suscetível a vieses subjetivos e desvia o tempo dos especialistas de tarefas de investigação científica para tarefas repetitivas de engenharia de software.

2. Metodologia

Os autores apresentam o Dr.Sai, um sistema de múltiplos agentes (Multi-Agent System - MAS) impulsionado por Grandes Modelos de Linguagem (LLMs), projetado para automatizar o fluxo de trabalho de análise de física de ponta a ponta.

• Arquitetura de Multi-Agentes: O sistema utiliza uma arquitetura Talker-Reasoner baseada no framework AutoGen, composta por seis agentes especializados:
  • Host: Coordena a colaboração e roteia solicitações.
  • Planner: Decompõe objetivos científicos complexos em sub-tarefas estruturadas.
  • Coder: Gera códigos de análise (C++, Python) e configurações JSON.
  • Tester: Executa o código em clusters de computação de alto desempenho (HPC) via Remote Workers.
  • Calculator: Realiza cálculos de frações de ramificação (branching fractions) e erros.
  • Reflector: Valida a racionalidade dos resultados contra o contexto da tarefa.
• Integração de Conhecimento (RAG): Utiliza Geração Aumentada de Recuperação (HEP-RAG) para fornecer ao sistema acesso a corpora de texto especializados, reduzindo "alucinações" e garantindo precisão técnica.
• Formalização de Domínio:
  • HepScript: Uma linguagem de domínio específico (DSL) para formalizar a lógica analítica humana.
  • Geração Baseada em Configuração: Em vez de gerar código do zero, o agente preenche templates padronizados com parâmetros JSON, garantindo conformidade com o software BOSS (BESIII Offline Software System).
• Mecanismo de Reflexão: O sistema permite múltiplas tentativas de correção (até 9) para resolver erros de execução ou lógica de forma autônoma.

3. Principais Contribuições

• Automação de Ponta a Ponta: Demonstração de que uma IA pode converter instruções em linguagem natural em resultados físicos rigorosos sem codificação manual.
• Ponte entre LLM e Software Científico: Implementação de uma camada de execução que conecta o raciocínio de alto nível da IA com ferramentas complexas como CERN ROOT e o sistema BOSS.
• Framework de Avaliação de Desempenho: Um estudo sistemático comparando modelos de ponta (Qwen3-max, DeepSeek-v3.1, GPT-4o, etc.), identificando que o gargalo atual não é o raciocínio lógico, mas a precisão na chamada de ferramentas (tool-calling) e na síntese de parâmetros estruturados.

4. Resultados

O sistema foi validado através da re-medição das frações de ramificação de dez canais de decaimento de $J/\psi$ usando dados de $\psi(2S)$.

• Precisão: Os resultados produzidos pelo Dr.Sai mostraram excelente concordância com as simulações de Monte Carlo e com os benchmarks físicos estabelecidos.
• Robustez: O sistema gerenciou com sucesso tarefas que incluíam processos de violação de número bariônico (BNV) e violação de número leptônico carregado (CLFV).
• Análise de Modelos: O estudo revelou que modelos como Qwen3-max e DeepSeek-v3.2 apresentam as maiores taxas de sucesso, enquanto o GPT-4o falha na geração de parâmetros estruturados (inconsistência estrutural), e o DeepSeek-R1 apresenta dificuldades na iniciação de chamadas de ferramentas.

5. Significância

O trabalho estabelece o Dr.Sai como um modelo viável para o uso de sistemas multi-agentes na aceleração da descoberta científica. Ele sinaliza uma mudança de paradigma: de assistentes de chat para "cientistas autônomos" capazes de operar em ambientes experimentais reais. A metodologia proposta é aplicável a outros campos de dados intensivos, como astronomia e genômica, oferecendo um roteiro técnico para a automação da descoberta científica complexa.