Jarvis-HEP: A lightweight Python framework for workflow composition and parameter scans in high-energy physics

Este artigo apresenta o Jarvis-HEP, um framework Python leve projetado para otimizar fluxos de trabalho de física de altas energias, permitindo especificação baseada em YAML, execução consciente de dependências e integração modular de diversas ferramentas computacionais para varreduras eficientes de parâmetros e estudos multifaseados.

O essencial

Imagine que você é um detetive tentando resolver um mistério colossal: De que é feito o universo?

No mundo da física de altas energias, os cientistas possuem um "Modelo Padrão" (um livro de regras das partículas conhecidas), mas suspeitam que existem regras ocultas e personagens secretos (Nova Física) se escondendo nas sombras. Para encontrá-los, eles precisam testar milhões de diferentes cenários do tipo "e se".

O problema é que testar esses cenários é como tentar assar um bolo onde cada ingrediente exige um forno diferente, um chef diferente e um livro de receitas diferente. Algumas ferramentas calculam massas de partículas, outras preveem como a matéria escura se comporta, e outras simulam colisões. Geralmente, um cientista precisa executar manualmente a Ferramenta A, copiar os resultados, colá-los na Ferramenta B, verificar se os números fazem sentido e, em seguida, executar a Ferramenta C. Se quiserem testar 10.000 cenários diferentes, fazer isso manualmente é impossível — é lento, propenso a erros e exaustivo.

Aí entra o Jarvis-HEP.

Pense no Jarvis-HEP como um gerente de cozinha superinteligente e automatizado para esses detetives da física. Ele não assa o bolo em si; em vez disso, organiza toda a cozinha para que os chefs (as várias ferramentas de software de física) possam trabalhar juntos perfeitamente.

Veja como funciona, usando analogias simples:

1. A Receita Mestre (O Arquivo YAML)

Em vez de escrever código de computador complexo para dizer às ferramentas o que fazer, os cientistas escrevem uma "receita" simples e legível por humanos chamada arquivo YAML.

• Analogia: Imagine escrever uma lista de compras e um conjunto de instruções em um bloco de notas: "Compre 500 maçãs. Se a maçã for vermelha, faça uma torta. Se for verde, faça uma salada."
• No artigo: Este arquivo diz ao Jarvis-HEP: "Aqui estão as variáveis (como o tamanho do universo ou a massa de uma partícula). Aqui está a regra para escolhê-las (aleatoriamente ou em uma grade). Aqui está a ordem para executar as ferramentas."

2. A Linha de Montagem (O Fluxo de Trabalho)

Uma vez que a receita é escrita, o Jarvis-HEP configura uma linha de montagem.

• Analogia: Imagine uma fábrica onde um braço robótico pega uma matéria-prima, passa para um pintor, depois para um polidor e, finalmente, para um inspetor de qualidade.
• No artigo: O Jarvis-HEP conecta automaticamente diferentes pacotes de software. Ele pega a saída de uma ferramenta e a alimenta diretamente na próxima, garantindo que, se a Ferramenta A precisar de um formato de arquivo específico, a Ferramenta B o receba exatamente como deve. Ele lida com as "dependências" (garantindo que as ferramentas certas estejam instaladas e prontas).

3. O Enxame de Abelhas Ocupadas (Execução Assíncrona)

Este é o superpoder do Jarvis-HEP. Os métodos tradicionais fazem as coisas uma por uma (como uma única pessoa lavando pratos, secando-os e guardando-os). O Jarvis-HEP usa processamento paralelo assíncrono.

• Analogia: Imagine um enxame de 16 abelhas trabalhando em uma colmeia. Enquanto uma abelha espera uma flor desabrochar, outra está voando para um campo diferente. Elas não esperam umas pelas outras. Se uma abelha é lenta, as outras continuam trabalhando.
• No artigo: O sistema executa muitas cálculos ao mesmo tempo. Se uma parte do computador estiver ocupada, o sistema move-se instantaneamente para a próxima tarefa disponível. Isso torna todo o processo incrivelmente rápido e eficiente.

4. O Test Drive "Caixa de Ovos"

Para provar que funciona, os autores testaram o Jarvis-HEP em um famoso quebra-cabeça matemático chamado potencial "Caixa de Ovos".

• Analogia: Imagine uma paisagem cheia de colinas e vales (a "Caixa de Ovos"). O objetivo é encontrar os vales mais profundos (as respostas mais prováveis).
• No artigo: Eles mostraram que o Jarvis-HEP podia usar diferentes "estratégias de busca" (como caminhada aleatória, busca em grade ou busca guiada por IA inteligente) para explorar essa paisagem. Ele encontrou com sucesso todos os picos e vales importantes sem ficar preso ou confuso.

5. A Rede de Segurança (Logs e Pontos de Verificação)

Se você estiver assando 10.000 bolos e a energia acabar, você não quer começar tudo de novo do zero.

• Analogia: O Jarvis-HEP é como um padeiro que tira uma foto da cozinha a cada 30 segundos. Se a energia falhar, você pode olhar para a última foto, retomar exatamente de onde parou e continuar assando.
• No artigo: O sistema salva automaticamente "pontos de verificação". Se uma varredura for interrompida, você pode reiniciá-la, e ela retoma exatamente do ponto em que parou, não do início. Ele também mantém registros detalhados (como um diário) de cada etapa, para que, se algo der errado, você saiba exatamente qual "ingrediente" causou o problema.

Resumo

O Jarvis-HEP é uma ferramenta leve e fácil de usar que permite aos físicos parar de se preocupar com a logística confusa de conectar diferentes ferramentas de software. Ele transforma um processo caótico e manual em uma linha de montagem suave e automatizada.

• Para o Usuário: Você apenas escreve uma receita simples (arquivo YAML).
• Para o Computador: Ele faz o trabalho pesado, gerencia as ferramentas, executa milhares de testes de uma vez e salva os resultados de forma organizada.

O artigo afirma que isso torna muito mais fácil para pesquisadores (mesmo equipes pequenas ou indivíduos) explorarem teorias complexas sobre o universo sem precisar ser programadores especialistas ou gastar semanas configurando seus sistemas de computador. É uma ferramenta de "composição de fluxo de trabalho" projetada para tornar a ciência mais rápida e menos propensa a erros humanos.

Resumo técnico

1. Declaração do Problema

A fenomenologia da física de altas energias (HEP), particularmente na busca por física além do Modelo Padrão (BSM), exige a avaliação de observáveis, verossimilhanças e restrições experimentais através de espaços de parâmetros complexos e de alta dimensão. Este processo tipicamente envolve:

• Fluxos de Trabalho Multietapa: Ligação de ferramentas computacionais distintas (por exemplo, geradores de espectro, calculadores de seção de choque, simuladores de Monte Carlo).
• Dependências Complexas: Gerenciamento de pacotes de software externos (por exemplo, Pythia, HepMC) e suas interdependências.
• Problemas de Escalabilidade: A realização de varreduras de parâmetros sobre milhões de pontos frequentemente leva a um gerenciamento manual, trabalhoso e propenso a erros da execução, registro e gravação de dados.
• Lacuna de Acessibilidade: Estruturas globais de ajuste existentes (por exemplo, GAMBIT, MasterCode) são poderosas, mas frequentemente pesadas e complexas de configurar. Há uma falta de ferramentas leves e flexíveis para pesquisadores individuais ou pequenas equipes conduzirem estudos exploratórios sem sobrecarga significativa.

2. Metodologia: Estrutura Jarvis-HEP

O Jarvis-HEP é uma estrutura puramente em Python projetada para simplificar esses fluxos de trabalho através de uma arquitetura declarativa e baseada em projetos.

Arquitetura Central

• Configuração Baseada em YAML: Os usuários definem todo o fluxo de trabalho da varredura (variáveis, verossimilhanças, dependências, calculadoras) em um único arquivo YAML legível por humanos.
• Fábrica de Trabalhadores e Execução Assíncrona:
  • A estrutura emprega uma Fábrica de Trabalhadores (um singleton) que gerencia o agendamento global de tarefas.
  • Utiliza agendamento de tarefas assíncrono (asyncio) para executar múltiplas tarefas computacionais concorrentemente. Diferentemente da execução síncrona, esta abordagem não bloqueante permite que nós mais rápidos processem tarefas independentemente dos mais lentos, otimizando o uso de recursos.
  • O fluxo de trabalho é visualizado como um grafo de fluxo hierárquico direcionado, onde pacotes são agrupados em camadas de computação (L1, L2, L3) para minimizar dependências e maximizar o paralelismo.
• Design Modular:
  • Calculadoras: Suporta tanto ferramentas de linha de comando externas quanto componentes internos em Python.
  • Gerenciamento de Dependências: Lida automaticamente com a instalação e compilação de bibliotecas externas (por exemplo, HepMC, Pythia8) via comandos de shell definidos no YAML.
  • Gravação de Dados: Um processo Gravador de Dados autônomo escreve resultados em arquivos HDF5 em tempo real (intervalo padrão: 30 segundos), garantindo persistência de dados mesmo se o processo for interrompido.

Capacidades de Amostragem

A estrutura desacopla o algoritmo de amostragem do motor de execução, implementando amostradores como iteradores em Python para eficiência de memória. Os métodos suportados incluem:

• Determinístico/Independente: Amostragem aleatória, Amostragem em Grade e Amostragem de Bridson (amostragem de disco de Poisson para priores repulsivos).
• Cadeias de Markov Monte Carlo (MCMC): Metropolis-Hastings (MH) e MCMC com Temperamento Paralelo (PT-MCMC) para explorar distribuições multimodais.
• Amostragem Aninhada: Integração com dynesty para cálculo de evidência bayesiana e amostragem posterior.
• Aprendizado de Máquina: Um amostrador de Rede Neural Profunda (DNN) que aprende o mapeamento de parâmetros para observáveis, seguido por amostragem de rejeição para corrigir vieses.

Interface do Usuário

• Interface de Linha de Comando (CLI): Operada via o comando Jarvis com flags para depuração (--check-modules), monitoramento (--monitor), conversão de dados (--convert) e visualização (--plot).
• Estrutura de Projeto: Organiza tarefas em diretórios autocontidos contendo configuração (bin/), dependências (deps/), saídas, logs e pontos de verificação.

3. Contribuições Principais

• Orquestração de Fluxo de Trabalho Leve: Fornece uma interface unificada para ligar ferramentas externas de HEP, gerenciar dependências e executar cálculos complexos multietapa sem escrever código de ligação personalizado.
• Processamento Paralelo Assíncrono: Introduz um modelo de execução não bloqueante que melhora significativamente o rendimento para tarefas limitadas por E/S e limitadas por computação em comparação com a varredura sequencial tradicional.
• Resiliência Robusta: Apresenta capacidades integradas de checkpointing e retomada, permitindo que varreduras de longa duração se recuperem de interrupções (por exemplo, desconexão de terminal, falhas do sistema) sem reiniciar do zero.
• Ecossistema Abrangente: Inclui ferramentas integradas para:
  • Registro de Logs: Logs estruturados em nível de ponto para depurar falhas específicas.
  • Visualização: Integração com Jarvis-PLOT para gerar gráficos padrão de HEP (gráficos de canto, superfícies de verossimilhança).
  • Portabilidade: Capacidade de empacotar projetos em bundles reproduzíveis para compartilhamento ou arquivamento.
• Motor de Expressões Simbólicas: Suporta matemática simbólica (via sympy) para definir verossimilhanças, cortes de seleção e variáveis derivadas diretamente dentro da configuração.

4. Resultados e Validação

O artigo valida o Jarvis-HEP usando o modelo "EggBox", um caso de teste sintético com uma paisagem de verossimilhança complexa e multimodal ($z = (\sin(x\pi)\cos(y\pi) + 2)^5$).

• Desempenho: Em um computador pessoal padrão, a estrutura sustentou um rendimento de $3 \times 10^4$ a $6 \times 10^4$ tarefas leves concluídas por minuto. Isso demonstra que a camada de agendamento assíncrono introduz sobrecarga mínima em comparação com os cálculos de física reais.
• Eficiência de Amostragem:
  • PT-MCMC identificou com sucesso múltiplas regiões distintas de alta verossimilhança no modelo EggBox onde cadeias MCMC padrão ficaram presas.
  • Amostragem de Bridson demonstrou superior uniformidade e propriedades de preenchimento de espaço em comparação com a amostragem aleatória.
  • Amostragem DNN aprendeu efetivamente a distribuição alvo, concentrando amostras em regiões de alta verossimilhança.
• Usabilidade: O fluxo de trabalho ponta a ponta (buscar um projeto, executar uma varredura, monitorar, visualizar e arquivar) foi demonstrado como fluido, reduzindo a barreira de entrada para estudos fenomenológicos complexos.

5. Significado

O Jarvis-HEP aborda uma lacuna crítica no ecossistema de software de HEP, oferecendo uma alternativa flexível e de baixa sobrecarga às estruturas monolíticas de ajuste global.

• Democratização da Análise: Permite que pesquisadores individuais e pequenas equipes realizem varreduras de parâmetros rigorosas e reproduzíveis sem necessidade de infraestrutura extensa ou profunda expertise em sistemas complexos de gerenciamento de fluxos de trabalho.
• Preparação para o Futuro: Sua arquitetura modular permite a fácil integração de novos algoritmos de amostragem (incluindo métodos impulsionados por IA) e ferramentas externas.
• Reprodutibilidade: Ao impor uma estrutura baseada em projetos com gerenciamento automatizado de dependências e checkpointing, melhora significativamente a reprodutibilidade de estudos numéricos em física de altas energias.

Em resumo, o Jarvis-HEP é uma ferramenta versátil que moderniza o fluxo de trabalho da fenomenologia BSM, equilibrando a necessidade de poder computacional com os requisitos práticos de facilidade de uso e reprodutibilidade.