AgentRivet: an automated system for producing Rivet routines from journal publications

Este artigo apresenta o AgentRivet, um fluxo de trabalho automatizado que utiliza Grandes Modelos de Linguagem para extrair detalhes de análises de física de publicações de periódicos e gerar rotinas Rivet, abordando, assim, a lacuna significativa de cobertura para medições independentes de modelo em física de partículas.

O essencial

Imagine o mundo da física de partículas como uma competição de culinária massiva e de alto risco. Cientistas em máquinas gigantes (como o Grande Colisor de Hádrons) preparam "pratos" complexos (colisões de partículas) e escrevem receitas detalhadas em artigos científicos. Eles também fornecem uma lista de ingredientes (dados) para que outros chefs possam tentar recriar o prato.

No entanto, há um problema: para realmente provar e comparar esses pratos, outros cientistas precisam de uma ferramenta de cozinha específica e padronizada chamada Rivet. Pense no Rivet como um medidor especializado e de alta tecnologia que garante que todos estejam medindo a sopa exatamente da mesma maneira. Sem ele, você não pode comparar justamente a sua sopa com a de outra pessoa.

O problema é que apenas cerca de 40% das receitas publicadas vêm com este medidor especial. O restante são apenas descrições textuais, que são difíceis de transformar no código preciso necessário para a ferramenta.

Apresentando o AgentRivet: O Sous-Chef de IA

Os autores deste artigo construíram um novo sistema chamado AgentRivet. Pense nele como uma equipe de robôs de IA projetados para ler essas receitas bagunçadas e puramente textuais e construir automaticamente os medidores Rivet (código de computador) que estão faltando para você.

Veja como funciona a sua "equipe de cozinha" usando um fluxo de trabalho simples:

1. O Analista (O Leitor): Este robô de IA lê o artigo científico e atua como um sous-chef muito cuidadoso. Ele não apenas lê; ele extrai as instruções exatas: "Use 2 limões", "Pique as cebolas desta forma", "Cozinhe por 10 minutos". Ele transforma o texto bagunçado em uma lista de compras limpa e estruturada.
2. O Programador (O Construtor): Este robô pega a lista de compras e tenta construir a ferramenta Rivet real (que é escrita em uma linguagem de computador específica chamada C++). É como um braço robótico tentando montar uma máquina complexa baseada nas instruções.
3. Os Revisores (Os Inspetores): Antes de a ferramenta estar pronta, dois inspetores verificam o trabalho.
   • O Revisor de Código verifica erros técnicos, como usar o tipo errado de parafuso ou uma peça quebrada (erros de sintaxe).
   • O Revisor de Física verifica se as instruções realmente correspondem à receita. O robô mediu as cebolas corretamente? Ele seguiu o tempo de cozimento?

O "Teste de Sabor" (Os Resultados)

A equipe testou esta equipe de IA em duas receitas recentes e complexas dos experimentos ATLAS e CMS (dois grandes laboratórios de física de partículas). Eles pediram à IA para construir as ferramentas Rivet do zero.

• A Boa Notícia: A equipe de IA foi surpreendentemente boa no trabalho. Eles construíram ferramentas funcionais com pouquíssimos problemas técnicos. Quando usaram as ferramentas para medir colisões de partículas simuladas, os resultados pareceram muito semelhantes ao que os cientistas humanos esperavam.
• A Má Notícia (As "Alucinações"): Às vezes, a IA ficou confusa com partes vagas da receita.
  • Se o artigo dizia "Faça algo especial com o molho", mas não explicava exatamente como, a IA tentava adivinhar. Às vezes ela acertava; às vezes errava.
  • Um modelo de IA (Gemini) às vezes esquecia de seguir instruções específicas sobre "neutrinos" (um tipo de partícula invisível), enquanto outro (Claude) às vezes ficava preso em um loop ou escrevia seus próprios "pensamentos" em vez de apenas o código.
  • A IA teve mais dificuldade com as partes mais complexas e abstratas das receitas, como medir a "forma" do evento ou usar fórmulas matemáticas complexas que não estavam claramente definidas.

O Veredito

O artigo conclui que o AgentRivet é uma nova ferramenta promissora. Ele consegue transformar cerca de 40% das receitas "faltantes" em código funcional, o que é uma grande ajuda para a comunidade de física.

No entanto, não é perfeito ainda. Ainda precisa de um humano olhando por cima do ombro, especialmente quando a receita original é vaga. Os autores sugerem que, no futuro, ensinarão melhor a IA, treinando-a com mais exemplos e adicionando verificações automáticas para detectar erros antes mesmo de um humano vê-los.

Em resumo: AgentRivet é uma equipe automatizada que lê artigos científicos e constrói as ferramentas de software que faltam para os cientistas compararem seus dados. Funciona bem, mas ainda comete erros quando as instruções não estão claras, por isso especialistas humanos ainda são necessários para revisar o trabalho.

Resumo técnico

Resumo Técnico do AgentRivet: Um Sistema Automatizado para a Produção de Rotinas Rivet a partir de Publicações de Periódicos

Definição do Problema
Experimentos de colisores de física de partículas dependem do Rivet (Robust Independent Validation of Event Generators), um toolkit em C++, para preservar definições de análises e permitir comparações independentes de modelos entre previsões teóricas e dados experimentais. Apesar dos claros benefícios dessa estratégia de preservação, a cobertura das análises está criticamente incompleta. Atualmente, apenas 39% das medições possuem rotinas Rivet documentadas e publicamente disponíveis, com uma cobertura que varia de 49% no ATLAS a 16% no ALICE. A produção dessas rotinas é frequentemente vista como uma tarefa laboriosa que não é suficientemente reconhecida ou recompensada dentro da comunidade, criando um gargalo na preservação dos dados de colisores.

Metodologia: O Fluxo de Trabalho AgentRivet
Para enfrentar essa lacuna, os autores projetaram e implementaram o AgentRivet, um fluxo de trabalho autônomo de múltiplas etapas baseado em Modelos de Linguagem de Grande Escala (LLMs). O sistema é construído como um framework Python modular e agnóstico a provedores, que orquestra agentes de IA especializados para extrair informações de física de publicações de periódicos e gerar as correspondentes rotinas Rivet.

O fluxo de trabalho consiste nos seguintes componentes principais:

1. Arquitetura de Agentes Modulares: O sistema desacopla a orquestração de alto nível dos provedores de LLM específicos (OpenAI, Anthropic, Google), permitindo a alternância dinâmica entre modelos.
2. Agentes Especializados:
   • Analista (Analyst): Extrai informações de física estruturadas de publicações, incluindo definições de espaço de fase fiducial, construção de objetos (ex: léptons vestidos, jatos), critérios de seleção de eventos e especificações de histogramas. Utiliza modelos Pydantic para impor esquemas de saída estruturados.
   • Programador (Coder): Gera código C++ compatível com Rivet com base no resumo estruturado fornecido pelo Analista. É restrito ao uso da sintaxe Rivet4 e adere a políticas de revisão específicas.
   • Revisor de Código (Code Reviewer): Avalia o código gerado quanto a erros de sintaxe, uso de sintaxe obsoleta do Rivet3 e potenciais problemas de compilação.
   • Revisor de Física (Physics Reviewer): Valida a fidelidade da física da implementação contra a especificação extraída pelo Analista, verificando inconsistências em definições de objetos, cortes e observáveis.
3. Loop de Revisão Iterativo: Uma característica crítica do fluxo de trabalho é um loop iterativo onde o Programador refina o código com base no feedback de ambos os revisores. Este loop continua até que a aprovação seja concedida, nenhum problema importante permaneça ou um limite de iteração configurável seja atingido.
4. Memória Compartilhada e Artefatos: Todas as etapas intermediárias, incluindo metadados extraídos, rascunhos de código e comentários de revisão, são armazenadas em um estado compartilhado. Isso garante que o processo seja auditável, reproduzível e permita o cache de produtos derivados de LLM de alto custo.

Benchmarking e Configuração Experimental
O desempenho do AgentRivet foi avaliado usando duas medições recentes, publicamente disponíveis, que careciam de rotinas Rivet existentes:

1. ATLAS: Produção inclusiva de $W\gamma \to \ell\nu\gamma$, apresentando observáveis angulares complexos, assimetrias de boost e observáveis baseados em redes neurais.
2. CMS: Observáveis de forma de evento usando partículas carregadas dentro de jatos, envolvendo definições não triviais de massa de jato, thrust e broadening.

O sistema foi testado usando três LLMs comerciais: Gpt-5.5 (OpenAI), Gemini-3.5-Flash (Google) e Claude-Opus-4.6 (Anthropic). Para cada configuração, três execuções independentes foram realizadas para avaliar a consistência. As rotinas geradas foram compiladas usando Rivet-4.1.2 e aplicadas a amostras de eventos de Monte Carlo (MadGraph5_aMC@NLO e Pythia8) para verificar os resultados de física.

Resultos Principais

• Qualidade do Código: O AgentRivet produziu rotinas Rivet competentes com poucos erros de sintaxe.
  • Gpt-5.5 e Claude-Opus-4.6 geralmente produziram rotinas que compilaram com sucesso, embora o Claude-Opus-4.6 raramente aprovasse formalmente as rotinas, apesar de identificar zero bloqueadores.
  • O Gemini-3.5-Flash exigiu 2 a 3 iterações para remover a sintaxe obsoleta do Rivet3 e ocasionalmente introduziu sintaxe alucinada.
  • Todas as rotinas puderam ser compiladas com intervenção humana mínima (corrigindo apenas erros necessários).
• Fidelidade da Física:
  • Reconstrução de Objetos: A maioria dos modelos reconstruiu corretamente objetos padrão (elétrons, múons, fótons, jatos). No entanto, surgiram questões sutis, como a exclusão incorreta de léptons "vestidos" ou a inclusão de neutrinos prontos na busca de jatos, frequentemente devido a frases ambíguas nos artigos originais.
  • Observáveis Complexos: O sistema teve dificuldades com as definições mais complexas. Para a análise do ATLAS, o Gemini-3.5-Flash falhou em construir observáveis angulares inteiramente devido à extração de informações incompleta pelo Analista. O Claude-Opus-4.6 ocasionalmente aplicou restrições ao sistema errado (ex: restringindo o sistema $\ell\nu\gamma$ em vez de $\ell\nu$).
  • Observáveis de Redes Neurais: Como esperado, nenhum modelo conseguiu construir observáveis baseados em redes neurais sem os arquivos do modelo subjacente, destacando uma limitação no tratamento de definições de "caixa preta".
  • Binagem de Histogramas: Quando os registros do HepData não estavam disponíveis, os modelos tiveram que inferir a binagem a partir de gráficos, levando a pequenas discrepâncias que exigiram correção manual.
• Custo e Confiabilidade: O custo para produzir uma rotina variou de \1,20 a \2,20. O framework demonstrou robustez contra falhas de API através de lógica de tentativa de reenvio (retry logic), embora a estabilidade do acesso tenha variado significativamente por provedor e horário do dia.

Significância e Alegações
O artigo afirma que o AgentRivet demonstra a capacidade dos LLMs modernos de extrair definições detalhadas de análises de literatura científica e traduzi-las em software científico executável. O sistema consegue preencher a lacuna entre a publicação e a implementação, oferecendo uma solução potencial para a cobertura incompleta das rotinas Rivet.

Os autores enfatizam que o processo de revisão iterativo é essencial para melhorar tanto a qualidade do código quanto a consistência com a análise original. Eles observam que, embora o sistema ainda não seja perfeito, a maioria dos problemas de implementação de física decorre de definições sutis mas ambíguas nas publicações originais, e não de falhas fundamentais no fluxo de trabalho. Consequentemente, o artigo argumenta que o AgentRivet fornece um caminho automatizado viável para aumentar a preservação de análises, desde que os artefatos gerados passem pelos ciclos de controle de qualidade descritos. O trabalho contribui para a crescente literatura sobre agentes de IA ao documentar seu desempenho em um contexto científico rigoroso e de domínio específico.