\textsc{RooAgent}: An LLM Agent for… — Explicação em linguagem simples

Imagine que você tem uma biblioteca massiva e incrivelmente complexa de dados científicos. No mundo da física de partículas, essa biblioteca é chamada de Root, e ela contém os "comprovantes" de bilhões de colisões de partículas. Para encontrar uma informação específica — como um tipo particular de partícula ou um padrão nos dados —, geralmente é necessário ser um bibliotecário que fala uma linguagem muito difícil e técnica (código de programação). Se você não souber o código exato, não poderá retirar o livro.

RooAgent é como contratar um assistente de bibliotecário superinteligente e multilíngue que fala a sua linguagem (inglês simples) e conhece perfeitamente o código secreto da biblioteca.

Veja como funciona, dividido em conceitos simples:

1. O Problema: A Barreira da "Língua Estrangeira"

Físicos de alta energia usam uma ferramenta chamada PyRoot para analisar dados. É poderosa, mas é como tentar pedir uma refeição complexa em um restaurante onde o cardápio está escrito em uma língua que você não fala. Você precisa conhecer a sintaxe exata para pedir "um histograma do momento dos elétrons" ou "uma contagem de eventos onde os jatos são pesados". Se você cometer um erro de digitação ou usar a palavra errada, o computador simplesmente diz "Erro".

2. A Solução: O Agente "Tradutor"

RooAgent atua como um tradutor. Você não precisa aprender o código. Basta dizer ao agente o que deseja em inglês simples, como:

"Mostre-me um gráfico da massa dos quarks bottom."
"Conte quantos eventos ocorrem se eu olhar apenas para partículas movendo-se mais rápido que 50 GeV."
"Encontre o melhor corte para separar o sinal do ruído de fundo."

O agente (impulsionado por um Modelo de Linguagem de Grande Escala, ou LLM) ouve sua solicitação, traduz-a para os comandos técnicos corretos, executa a análise e devolve o resultado — geralmente um gráfico, uma tabela de números ou um resumo.

3. Como Funciona: A "Caixa de Ferramentas"

Pense no agente como um trabalhador da construção civil com uma caixa de ferramentas específica. O artigo descreve duas maneiras de contratar esse trabalhador:

O Modo LangGraph: O trabalhador usa um "capataz" (LangGraph) para gerenciar uma equipe de modelos de IA (como GPT-4.1 ou DeepSeek-V3). O capataz divide sua grande solicitação em pequenos passos, pede à IA que escolha a ferramenta certa e, em seguida, executa-a.
O Modo MCP: O trabalhador fala diretamente com um chefe de IA diferente (o Claude da Anthropic) usando um protocolo padrão (Protocolo de Contexto do Modelo).

Em ambos os casos, as "ferramentas" na caixa de ferramentas são funções de computador pré-escritas que realizam o trabalho pesado:

Inspeção: Olhar dentro dos arquivos de dados para ver o que há lá.
Contagem: Somar quantos eventos passam por uma regra específica.
Plotagem: Desenhar os gráficos e diagramas.
Ajuste (Fitting): Desenhar uma curva suave através dos pontos de dados para ver a forma.
Cálculo: Fazer a matemática para ver se uma descoberta é estatisticamente significativa.

4. O "Test Drive"

Os autores testaram esse assistente com vários cenários para ver se ele conseguiria lidar com o trabalho:

A Simulação "ZH": Eles simularam uma colisão de partículas específica (um bóson Z e um bóson de Higgs). O agente encontrou com sucesso os arquivos, desenhou os gráficos, contou os eventos e até encontrou o "ponto ideal" (o melhor corte) para separar o sinal do ruído de fundo.
O Desafio "Multitarefa": Eles deram ao agente uma instrução longa e complexa para fazer seis coisas diferentes de uma vez (ajustar uma curva, criar gráficos de comparação, executar um fluxo de cortes, otimizar cortes, escanear janelas de massa e classificar resultados). O agente executou todos os seis passos consecutivamente sem precisar de ajuda humana.
O Teste Estatístico "Brinquedo": Eles criaram um conjunto de dados falso com um sinal oculto. O agente escaneou com sucesso diferentes valores de massa, encontrou o sinal oculto no local correto (250 GeV) e calculou a probabilidade de que não fosse apenas uma coincidência.
O Teste "Mundo Real": Eles usaram dados reais e públicos do experimento ATLAS no CERN (o Grande Colisor de Hádrons). O agente analisou com sucesso os dados para um bóson de Higgs decaindo em quatro léptons, produzindo um gráfico empilhado que correspondia ao que especialistas humanos produziriam.

5. O Resultado

O artigo afirma que o RooAgent funciona. Ele converteu com sucesso perguntas em inglês simples em respostas complexas de física.

Ele lidou corretamente com 19 de 20 testes de tarefa única.
Ele completou um fluxo de trabalho multitarefa de 6 etapas sem parar.
Ele produziu os mesmos resultados numéricos, seja usando o GPT-4.1 da OpenAI ou o Sonnet 4.6 da Anthropic.

O Pulo do Gato:
O agente não é perfeito. Em um teste, ele ficou confuso porque o usuário digitou "Events" (E maiúsculo) em vez de "events" (e minúsculo) para o nome do arquivo. O agente parou e pediu esclarecimentos em vez de adivinhar. Além disso, às vezes diferentes modelos de IA podem escolher intervalos ligeiramente diferentes para um gráfico (por exemplo, mostrar 0–100 GeV vs. 0–200 GeV), mas a matemática central permanece a mesma.

Resumo

RooAgent é uma ponte. Ele permite que físicos (e potencialmente estudantes ou novos pesquisadores) conversem com seus dados em linguagem humana, enquanto o computador lida com a linguagem técnica complexa necessária para realizar realmente a análise. Ele não substitui a compreensão do físico sobre a física, mas remove a barreira de ter que memorizar a sintaxe de código complexa para realizar o trabalho.

Resumo Técnico de "RooAgent: Um Agente LLM para Análise de Física de Altas Energias Baseada em ROOT"

Declaração do Problema
A análise de dados em Física de Altas Energias (HEP) depende fortemente do framework ROOT e de sua interface Python, PyROOT, para tarefas que vão desde a seleção de eventos e histogramação até inferência estatística. No entanto, a utilização dessas ferramentas exige familiaridade significativa com convenções específicas de API, estruturas de dados (como ramos de TTree) e a organização interna das amostras de entrada. Essa barreira de entrada pode dificultar novos usuários e tornar tarefas rotineiras ineficientes. Embora Modelos de Linguagem Grandes (LLMs) tenham mostrado promessa na automação de fluxos de trabalho de múltiplas etapas por meio de "chamadas de ferramentas", há uma necessidade de uma interface especializada que mapeie objetivos em linguagem natural diretamente para as chamadas de função específicas requeridas para análise baseada em ROOT.

Metodologia
Os autores apresentam o RooAgent, um pacote Python que atua como uma interface em linguagem natural para análise baseada em ROOT. O sistema envolve funções PyROOT como ferramentas executáveis para um agente LLM. A arquitetura suporta dois modos de operação distintos, ambos utilizando a mesma implementação subjacente de PyROOT:

Modo Agente LangGraph: Compatível com o GPT-4.1 da OpenAI (via GitHub Copilot) e DeepSeek-V3 (via Ollama). Neste modo, o LLM raciocina sobre prompts do usuário, seleciona ferramentas, constrói argumentos e chama iterativamente funções PyROOT até que o objetivo do usuário seja atendido.
Modo Protocolo de Contexto de Modelo (MCP): Projetado para integração com a CLI do Anthropic Claude (especificamente testado com Sonnet 4.6). Este modo opera como um servidor MCP, onde a CLI do Claude atua tanto como o LLM quanto como a camada de orquestração, eliminando a necessidade de dependências LangChain ou LangGraph.

O conjunto de ferramentas é modular e cobre o espectro completo de tarefas comuns de análise ROOT, incluindo:

Inspeção: Listagem de conteúdos de arquivos, estruturas de TTree e tipos de dados de ramos.
Contagem e Seleção: Aplicação de cortes booleanos, geração de cutflows e cálculo de rendimentos de eventos.
Histogramas e Estatísticas: Preenchimento de histogramas a partir de ramos de TTree, cálculo de integrais, médias e RMS, e cálculo de significância ( $S/\sqrt{S+B}$ ).
Visualização: Geração de gráficos 1D e 2D, sobreposição de distribuições e aplicação de escalas logarítmicas.
Ajuste (Fitting): Realização de ajustes gaussianos, exponenciais ou polinomiais a distribuições.
Otimização: Varredura de limiares de corte para maximizar a significância.
Exportação: Conversão de ramos de TTree para arquivos CSV.

O sistema é projetado para raciocínio iterativo, permitindo que o agente chame ferramentas múltiplas vezes para refinar resultados ou corrigir erros (por exemplo, esclarecendo nomes de árvores ou ajustando intervalos de gráficos).

Principais Contribuições

Interface Unificada: O RooAgent fornece um conjunto consistente de ferramentas de análise acessíveis via linguagem natural em diferentes backends de LLM (OpenAI, Ollama, Anthropic) sem exigir alterações no código de análise subjacente.
Registro de Ferramentas: O pacote expõe uma biblioteca abrangente de funções envoltas em PyROOT especificamente adaptadas para fluxos de trabalho de HEP, incluindo cálculo de significância, geração de cutflow e ajuste paramétrico.
Arquitetura de Duplo Modo: Ao suportar tanto um agente baseado em LangGraph quanto um servidor MCP, o pacote oferece flexibilidade para usuários que preferem diferentes ecossistemas de LLM e métodos de implantação (local vs. nuvem).

Resultados
Os autores avaliaram o RooAgent usando simulações de Monte Carlo de $pp \to ZH$ ( $Z \to \ell^+\ell^-, H \to b\bar{b}$ ) e processos de fundo, bem como dados abertos do ATLAS para o canal $H \to ZZ^* \to 4\ell$ .

Desempenho de Benchmark: Em uma série de 20 testes de tarefa única, o agente produziu com sucesso resultados para 19 tarefas. As tarefas incluíam inspeção de arquivos, plotagem de histogramas, contagem de eventos, definição de variáveis, ajuste gaussiano e varredura de significância. Uma falha ocorreu devido a um problema de sensibilidade a maiúsculas/minúsculas em uma pesquisa de nome de árvore, que o agente identificou corretamente e sinalizou para esclarecimento, em vez de produzir um resultado falso.
Fluxo de Trabalho de Múltiplas Tarefas: Um prompt complexo exigindo seis tarefas sequenciais (ajuste, comparações cinemáticas, geração de cutflow, otimização de corte, varredura de janela de massa e classificação de corte) foi executado com sucesso em aproximadamente 225 segundos sem intervenção humana.
Análise Estatística: Em uma análise estatística fictícia envolvendo uma grade de hipóteses de massa, o agente correspondeu corretamente histogramas, calculou significâncias observadas e esperadas, valores-p e valores de $CL_s$ , e identificou a massa de sinal injetada (250 GeV) como o candidato mais forte.
Aplicação em Dados Abertos: Aplicado a dados abertos do ATLAS, o agente processou com sucesso múltiplos arquivos ROOT, aplicou cortes sequenciais de seleção de léptons, gerou cutflows e produziu um gráfico empilhado de sinal e fundo sobrepostos aos dados. Os resultados foram consistentes entre GPT-4.1 e Sonnet 4.6.
Variações de Modelo: O artigo observa que, embora a lógica central permaneça consistente, diferentes LLMs (por exemplo, GPT-4.1 vs. DeepSeek-V3) podem fazer escolhas diferentes em relação a intervalos de gráficos ou normalização quando não explicitamente restringidos, destacando a importância da especificidade do prompt.

Significado
O artigo afirma que o RooAgent conecta com sucesso a lacuna entre prompts em linguagem simples e os requisitos técnicos da análise de HEP baseada em ROOT. Ao automatizar a seleção de ferramentas e argumentos, o sistema simplifica tarefas rotineiras e reduz a barreira de entrada para usuários não familiarizados com as intricâncias da API ROOT. Os autores posicionam o trabalho como um passo em direção a uma análise de dados de HEP mais acessível, demonstrando que agentes LLM podem orquestrar efetivamente fluxos de trabalho complexos e de múltiplas etapas envolvendo inspeção de arquivos, inferência estatística e visualização. O pacote é modular, permitindo extensões futuras, como a integração de algoritmos de aprendizado de máquina como ferramentas chamáveis ou a identificação de variáveis ótimas de seleção de eventos.

\textsc{RooAgent}: An LLM Agent for \textsc{Root}-Based High Energy Physics Analysis