FAST-HEP: Compiling Declarative Analysis Workflows for High-Energy Physics and Beyond

Nas vastas e silenciosas colisões de partículas dentro de máquinas como o Grande Colisor de Hádrons, os cientistas buscam as regras fundamentais que governam o nosso universo. Para encontrar essas regras, eles devem filtrar montanhas de dados, procurando por padrões raros escondidos em bilhões de eventos. Este processo não é um experimento único, mas uma jornada científica de longo prazo que pode durar décadas, muitas vezes sobrevivendo aos programas de computador específicos e às ferramentas de software utilizadas para criá-lo. O desafio não reside apenas em executar a análise uma vez, mas em garantir que a mesma questão científica possa ser feita e respondida anos depois, mesmo que a tecnologia subjacente mude, as pessoas envolvidas sigam em frente e os formatos de dados evoluam. Se as instruções de como os dados foram processados forem perdidas ou se tornarem demasiado complexas para serem compreendidas, o resultado científico torna-se uma caixa preta, impossível de verificar ou reconstruir.

Para resolver este problema de sobrevivência científica a longo prazo, um sistema chamado FAST-HEP, centrado num motor de fluxo chamado Flow, foi desenvolvido por Luke Kreczko na Universidade de Bristol. Este sistema trata a análise científica não como um conjunto rígido de instruções de computador, mas como uma descrição escrita e clara do que o cientista deseja alcançar, separada do código específico usado para o fazer. Ao separar o "quê" do "como", o investigador criou uma forma de compilar estas descrições num plano universal que pode ser executado em diferentes computadores e com diferentes ferramentas de software sem necessidade de ser reescrito. Esta abordagem garante que a intenção científica permaneça transparente e reprodutível, permitindo que a complexa maquinaria da física de altas energias evolua sem quebrar os experimentos de que depende.

Durante décadas, os físicos escreveram a sua análise de dados como código imperativo, um estilo onde se diz ao computador exatamente como se deve mover passo a passo através dos dados, verificando um evento após o outro. Embora isto funcione bem no momento, acopla estreitamente a ideia científica à linguagem de programação específica e às bibliotecas utilizadas na altura. Quando essas bibliotecas mudam ou os investigadores que escreveram o código partem, a análise torna-se frequentemente difícil de compreender ou impossível de executar novamente. O novo sistema Flow altera esta dinâmica ao introduzir uma linguagem declarativa. Neste modelo, um cientista simplesmente descreve os dados de que necessita, as operações que deseja realizar e os resultados que espera, sem se preocupar com a mecânica subjacente. É como escrever uma receita que lista os ingredientes e o prato final, deixando para o chef decidir mais tarde as ferramentas e técnicas de cozinha específicas.

O coração deste sistema é um compilador que atua como um tradutor entre a descrição do cientista e a execução do computador. Quando um cientista submete o seu fluxo de trabalho, o sistema não o executa imediatamente. Em vez disso, normaliza primeiro a descrição, reunindo todas as peças dispersas de informação — tais como onde os dados residem, que correções aplicar e como lidar com diferentes cenários — num documento único e completo. Em seguida, constrói um grafo lógico, um mapa que mostra como cada peça de dado flui da origem para o resultado final, ligando entradas a saídas com linhas claras de dependência. Este mapa permite que o sistema verifique erros antes de qualquer computação pesada começar, garantindo que os dados necessários existem e que os passos fazem sentido entre si.

Uma vez construído e validado o mapa, o sistema cria um plano de execução independente de backend. Este plano é um conjunto detalhado de instruções que descreve o trabalho a ser feito, mas não especifica qual o computador ou a biblioteca de software que o fará. Esta separação é crucial porque significa que o mesmo plano científico pode ser executado num portátil, num cluster local ou numa vasta rede distribuída sem alterar a lógica central. O sistema também pode lidar com variações, como testar como os resultados mudam se uma medição específica for ligeiramente diferente, expandindo apenas as partes do plano que são afetadas, em vez de reescrever todo o conjunto. Isto torna mais fácil explorar diferentes cenários científicos e compreender como as incertezas afetam a resposta final.

O sistema também presta muita atenção à proveniência, que é o registo de exatamente como um resultado foi produzido. Cada vez que o fluxo de trabalho é executado, gera um resumo detalhado que liga o resultado final à versão específica do software, aos ficheiros de dados exatos utilizados e ao ambiente informático onde correu. Isto cria um histórico permanente e rastreável para cada resultado científico. Se um cientista precisar de verificar uma descoberta anos mais tarde, poderá consultar este registo para ver precisamente o que aconteceu, em vez de tentar reconstruir o processo a partir da memória ou de notas dispersas. Este nível de detalhe transforma o fluxo de trabalho de uma caixa preta num processo transparente, onde cada passo é visível e responsável.

O desenvolvimento do Flow foi impulsionado por experiências do mundo real onde sistemas antigos tiveram dificuldade em adaptar-se a novas tecnologias. O investigador descobriu que simplesmente escrever código num estilo diferente não era suficiente; a arquitetura de software subjacente tinha de ser desenhada para permitir que as partes fossem substituídas facilmente. No passado, alterar uma única biblioteca exigia frequentemente a reescrita de grandes partes do framework porque as diferentes partes estavam demasiado ligadas entre si. O Flow resolve isto tratando cada componente, desde as fontes de dados até aos formatos de saída, como um módulo substituível que se conecta através de contratos claros e definidos. Isto significa que, à medida que novas ferramentas mais rápidas ou eficientes surgem, elas podem ser integradas no sistema sem interromper a própria análise científica.

Esta abordagem já foi testada em análises reais para grandes experiências, incluindo as do detector CMS e o experimento LUX-ZEPLIN. Os resultados mostram que uma descrição declarativa concisa pode guiar com sucesso computações complexas através de diferentes estruturas de dados e experiências. O sistema separa com sucesso a intenção científica da implementação, permitindo que a análise permaneça estável enquanto o ecossistema de software à sua volta evolui. Ao tornar o fluxo de trabalho explícito e inspecionável, o sistema reduz o fardo sobre os cientistas de terem de se lembrarem de todos os detalhes do seu código e fornece uma base sólida para a preservação a longo prazo.

O objetivo último deste trabalho é garantir que as análises científicas permaneçam sustentáveis ao longo do tempo. Num campo onde os volumes de dados estão a crescer e os recursos computacionais se tornam cada vez mais diversos, a capacidade de preservar e reproduzir resultados é essencial. O Flow oferece uma forma de o fazer ao tornar o fluxo de trabalho um objeto de primeira classe que pode ser compilado, analisado e executado independentemente das ferramentas usadas para o criar. Isto permite que a comunidade científica evolua o seu software e hardware sem perder a capacidade de compreender ou repetir o trabalho do passado. O sistema não apenas executa a análise; ele documenta todo o processo, garantindo que o caminho desde os dados brutos até à descoberta científica permaneça claro e acessível para as gerações futuras.

O sucesso deste projeto depende de uma mudança na forma como o software científico é construído. Em vez de ver os fluxos de trabalho como scripts temporários que correm uma vez e são esquecidos, o investigador trata-os como programas que podem ser compilados e validados. Esta perspetiva permite um nível de transparência e flexibilidade que era anteriormente difícil de alcançar. O sistema regista cada decisão, cada dependência e cada variação, criando uma imagem completa do processo científico. Isto não só ajuda na depuração e validação imediata, como também constrói um registo duradouro que pode ser usado para verificar resultados muito depois de o investigador original ter seguido outro caminho.

No final, o trabalho apresentado neste artigo oferece uma nova forma de pensar a computação científica. Afasta-se da ideia de que o código é a parte mais importante de uma análise e foca-se, em vez disso, na clareza da descrição científica. Ao separar a descrição da ciência da maquinaria que a executa, o sistema garante que a própria ciência permanece como prioridade. Isto permite que as ferramentas e tecnologias mudem e melhorem sem ameaçar a integridade da investigação. O resultado é uma abordagem mais robusta, transparente e sustentável para a descoberta científica, que pode adaptar-se ao futuro enquanto honra o trabalho do passado.