CELEBI: Towards Reproducible and FAIR Physics Analysis

No mundo da física de altas energias, os cientistas não buscam simplesmente respostas através de um telescópio ou de um microscópio. Em vez disso, eles constroem máquinas massivas e complexas que colidem partículas, criando uma tempestade de dados que deve ser classificada, medida e compreendida. Esse processo não é um evento único, mas uma jornada de descoberta longa e sinuosa. Um pesquisador pega dados brutos e os processa através de uma série de programas de computador, fazendo escolhas sobre quais partes da informação manter e quais descartar. Eles ajustam configurações, testam diferentes teorias e refinam seus métodos ao longo de meses ou até anos. O resultado final é uma descoberta científica, mas essa descoberta está intrinsecamente ligada ao caminho específico que a equipe percorreu para chegar até lá. Se o código mudar, ou se um parâmetro for ajustado, o resultado também pode mudar. O grande desafio neste campo não é apenas obter a resposta, mas lembrar exatamente como ela foi encontrada. Sem um registro claro das etapas tomadas, um resultado do ano passado pode tornar-se impossível de reproduzir hoje, deixando a comunidade científica incapaz de verificar ou construir sobre o trabalho.

Este é o problema que Mingrui Zhao, um pesquisador da Universidade de Pequim, buscou resolver com um novo sistema chamado Celebi. No artigo, Zhao descreve como as análises da física moderna evoluem continuamente. À medida que os conjuntos de dados crescem e as atualizações de software chegam, as condições sob as quais um resultado anterior foi produzido podem tornar-se difíceis de determinar. Imagine uma equipe trabalhando em um cálculo complexo onde o código está sendo constantemente reescrito. Um resultado apresentado durante uma revisão interna pode não corresponder mais à versão atual da análise porque as regras subjacentes mudaram. Em grandes colaborações, onde muitas pessoas trabalham em diferentes variações do mesmo projeto, essa confusão pode ser esmagadora. O pesquisador descobriu que as ferramentas existentes podiam gerenciar o fluxo de dados ou armazenar os arquivos finais, mas tinham dificuldade em manter um elo persistente e inquebrável entre um resultado específico e o estado exato da análise que o criou.

Para enfrentar isso, Zhao projetou o Celebi como um framework que trata a análise não como um documento único e fluido, mas como uma coleção de partes estruturadas e reutilizáveis. O sistema separa as instruções leves — como o código, as configurações e as dependências — dos produtos de dados pesados que são gerados. Ele organiza essas instruções em um fluxo de trabalho claro, onde cada peça sabe do que depende. A inovação central reside na forma como o sistema lida com a mudança. À medida que a análise de trabalho evolui, o Celebi preserva momentos específicos no tempo chamados de "impressões" (impressions). Uma impressão é um instantâneo congelado da análise em um determinado momento, capturando o código, os parâmetros e o estado exato de cada dependência usada para produzir um resultado. Essas impressões são imutáveis, o que significa que não podem ser alteradas uma vez salvas. Quando um resultado é gerado, ele é permanentemente associado à impressão específica que o criou. Isso significa que, mesmo que a análise principal seja atualizada cem vezes, o resultado original permanece vinculado às condições exatas sob as quais foi produzido pela primeira vez.

O efeito prático desta organização é um sistema que permite aos cientistas modificar seu trabalho sem perder seu histórico. Como os componentes são modulares, um pesquisador pode alterar uma parte da análise, como o método usado para filtrar dados, sem ter que reescrever todo o projeto. O sistema rastreia automaticamente quais tarefas subsequentes são afetadas por essa mudança. Se um cientista deseja executar uma variação sistemática, talvez testando como uma premissa diferente afeta o resultado, ele pode fazê-lo reutilizando as partes não alteradas da análise enquanto modifica apenas a seção específica que difere. Isso reduz a duplicação e torna as diferenças entre várias configurações explícitas. O sistema também suporta a execução controlada desses estados preservados. Se uma equipe precisar verificar um resultado antigo, poderá executar a impressão preservada novamente, desde que os inputs e ambientes de software necessários ainda estejam disponíveis, garantindo que a nova execução seja uma reprodução fiel da antiga.

Esta abordagem muda fundamentalmente como a colaboração e a revisão acontecem dentro de uma equipe de física. Em um projeto típico, múltiplos colaboradores podem estar trabalhando em diferentes configurações, e os resultados podem estar espalhados por vários arquivos e diretórios pessoais. O Celebi traz ordem a isso ao organizar todos os materiais, documentação e dependências em um repositório estruturado. Um colaborador pode inspecionar um componente específico junto com sua documentação local e o estado exato de suas dependências sem precisar reconstruir toda a análise do zero. Isso torna mais fácil para novos membros da equipe entenderem o trabalho e para os revisores verificarem a lógica por trás de um resultado. Quando um revisor solicita uma mudança, a equipe pode atualizar a análise e criar uma nova impressão, mantendo a antiga ao lado da nova. Isso permite a comparação direta entre revisões, mostrando exatamente o que mudou e como isso afetou o resultado. O sistema essencialmente constrói uma linha do tempo transparente da pesquisa, onde cada resultado pode ser rastreado até sua origem.

O objetivo final deste trabalho é tornar a análise de física mais FAIR: Encontrável (Findable), Acessível (Accessible), Interoperável (Interoperable) e Reutilizável (Reusable). Atualmente, reutilizar um resultado científico exige não apenas os dados finais, mas uma compreensão profunda do código e das configurações usados para criá-lo, que muitas vezes são perdidos ou enterrados. Ao associar resultados com estados identificáveis e preservados da análise, o Celebi fornece uma base para encontrar e reutilizar esses materiais. A natureza estruturada do sistema permite que computadores interpretem a lógica da análise, o que poderia ajudar diferentes infraestruturas de pesquisa a trabalharem juntas. Embora o artigo não afirme que o Celebi resolve todos os problemas de preservação científica, ele oferece uma base prática para estender esses princípios para além dos dados brutos, abrangendo os processos computacionais que geram o conhecimento científico. O sistema não depende de contabilidade manual ou reconstrução retrospectiva da história; em vez disso, ele captura a procedência do trabalho conforme ele acontece, dia após dia. Ao fazer isso, garante que o caminho para uma descoberta permaneça tão claro e acessível quanto a própria descoberta.