Training on Data Analysis Reproducibility via Containerization with Apptainer

Este artigo apresenta materiais e recursos de treinamento desenvolvidos pelo Centro de Treinamento da Fundação de Software de Física de Altas Energias para capacitar físicos no uso de tecnologias de containerização via Apptainer, visando aprimorar a reprodutibilidade, portabilidade e colaboração na preservação de análises científicas.

O essencial

Imagine que você é um cientista que descobriu uma fórmula incrível para prever o clima. Você escreveu esse código no seu computador, usando programas específicos, e tudo funcionou perfeitamente. Mas, quando você manda o código para seu colega no outro lado do mundo, ele tenta rodar e... nada acontece. O computador dele diz: "Isso não funciona aqui".

Esse é o famoso problema de "Funciona na minha máquina", e é exatamente isso que este artigo quer resolver.

Aqui está a explicação simples do que os autores fizeram, usando analogias do dia a dia:

1. O Problema: A Cozinha Bagunçada

Pense no seu computador como uma cozinha. Para fazer um bolo (sua análise científica), você precisa de farinha, ovos, um forno específico e um batedor de claras.

• No computador do cientista A, a farinha é da marca X e o forno é elétrico.
• No computador do cientista B, a farinha é da marca Y e o forno é a gás.

Se você enviar apenas a receita (o código), o cientista B vai tentar fazer o bolo, mas vai falhar porque os ingredientes e o forno são diferentes. Na ciência de dados, isso é um pesadelo: os resultados não podem ser reproduzidos, e o conhecimento se perde.

2. A Solução: A "Caixa Mágica" (Apptainer)

O artigo apresenta uma ferramenta chamada Apptainer (antigo Singularity).
Imagine que, em vez de enviar apenas a receita, você coloca tudo dentro de uma caixa de mudança à prova de falhas.

• Dentro dessa caixa, você coloca a receita, a farinha da marca X, o batedor, e até um mini-forno elétrico que funciona exatamente igual ao do cientista A.
• Quando o cientista B recebe a caixa, ele não precisa se preocupar com os ingredientes dele. Ele só precisa abrir a caixa e usar o forno que já está lá dentro.

Essa "caixa" é o que chamamos de Contêiner. O Apptainer é a ferramenta que cria e gerencia essas caixas.

3. Por que o Apptainer é especial?

O artigo explica que o Apptainer foi feito por cientistas, para cientistas, e tem algumas vantagens únicas:

• Sem Chaves de Mestre: Em muitos sistemas de computador superpotentes (como os usados em laboratórios de física), você não pode ser o "dono" (administrador) para instalar coisas. O Apptainer permite que você use sua "caixa" sem precisar pedir permissão ao zelador do prédio.
• Segurança: A caixa é segura. O que acontece dentro dela não estraga o computador de fora.
• Arquivo Único: Tudo fica em um único arquivo. É fácil de enviar por e-mail, guardar em um pen drive ou subir na nuvem.

4. O Que Eles Fizeram? (O Curso de Treinamento)

Os autores criaram um curso de treinamento para ensinar físicos a usarem essa "caixa mágica".

• O Objetivo: Ensinar qualquer pessoa, desde o iniciante até o experiente, a colocar suas análises científicas dentro dessas caixas para que elas nunca "quebrem", não importa onde sejam rodadas.
• O Conteúdo: O curso ensina como:
  • Pegar caixas prontas de uma biblioteca (como baixar um app na loja).
  • Construir sua própria caixa do zero.
  • Fazer a caixa conversar com o computador de fora (para trocar arquivos).
  • Rodar programas complexos de física (como ROOT e Python) dentro dessas caixas.

5. O Resultado: Funcionou?

Eles testaram esse curso com 360 cientistas entre 2023 e 2025.

• Antes do curso: A maioria dos participantes nunca tinha ouvido falar em Apptainer. Eles estavam perdidos.
• Depois do curso: A grande maioria disse: "Agora eu entendo como usar!" e se sentiu confiante para rodar seus próprios códigos.
• Feedback: Os alunos disseram que o curso não foi nem muito fácil, nem muito difícil, e que os exercícios práticos foram perfeitos para aprender.

Resumo Final

Este artigo é sobre ensinar cientistas a embrulparem seus trabalhos em "caixas de segurança" digitais.

Assim como você embala seus móveis em caixas para se mudar sem quebrar nada, os cientistas agora podem embalar seus códigos e dados em contêineres Apptainer. Isso garante que, daqui a 10 ou 20 anos, quando os computadores mudarem, alguém ainda possa abrir a "caixa", rodar o código e ver exatamente os mesmos resultados de hoje. É a garantia de que a ciência não se perde com o tempo.

Resumo técnico

Resumo Técnico: Treinamento em Reprodutibilidade de Análise de Dados via Containerização com Apptainer

1. O Problema
A complexidade crescente das análises na Física de Altas Energias (HEP) e na Física Nuclear cria desafios significativos para a preservação e reprodutibilidade dos resultados científicos. O ambiente de software tradicional sofre frequentemente com o problema "funciona na minha máquina", onde dependências, bibliotecas e configurações específicas impedem que outros pesquisadores repliquem os resultados ou reinterpretem os dados ao longo do tempo. A alta valorização dos dados experimentais exige um framework robusto que garanta a preservação do conhecimento, permitindo a reutilização e a reinterpretação futura, independentemente das mudanças nas versões dos sistemas operacionais ou na disponibilidade de dependências externas.

2. Metodologia
O artigo descreve o desenvolvimento e a implementação de um módulo de treinamento focado na tecnologia de containerização Apptainer (anteriormente conhecido como Singularity). A metodologia baseia-se em:

• Abordagem Pedagógica: O treinamento é estruturado em episódios (capítulos) que cobrem desde conceitos básicos até tópicos avançados, incluindo objetivos de aprendizagem, exercícios práticos com soluções e resumos.
• Ferramentas e Conteúdo: O módulo utiliza ferramentas amplamente adotadas na comunidade HEP, como ROOT, Python, PyROOT, Pythia8 e Uproot. Os exercícios ensinam os participantes a:
  • Baixar imagens de repositórios (Sylab Singularity Library, Docker Hub).
  • Executar comandos dentro de containers.
  • Construir containers a partir de arquivos de definição (Definition Files).
  • Gerenciar o compartilhamento de arquivos entre o sistema hospedeiro e o container (bind mounts).
  • Implantar serviços de longa duração (ex: servidores Jupyter).
  • Integrar o fluxo de trabalho com o GitHub Actions e o GitHub Container Registry (GHCR).
• Acessibilidade: O Apptainer foi escolhido por sua capacidade de rodar sem privilégios de superusuário (root), sendo ideal para ambientes de computação de alto desempenho (HPC) e clusters, mantendo as permissões do usuário e garantindo segurança.
• Avaliação: O impacto do treinamento foi medido através de um processo de duas etapas de pesquisa (pré e pós-evento) aplicado a participantes de eventos do HSF Training Center e IRIS-HEP.

3. Principais Contribuições

• Material de Treinamento Abrangente: Criação de um currículo completo e recursos educacionais (incluindo gravações de aulas e exercícios práticos) para capacitar físicos na análise reprodutível.
• Padronização de Fluxos de Trabalho: Estabelecimento de uma plataforma e linguagem comuns para colaboração entre instituições, facilitando o compartilhamento de pipelines de análise como unidades autossuficientes.
• Solução para Preservação de Dados: Demonstração de como os containers Apptainer encapsulam o ambiente completo, garantindo que análises complexas permaneçam executáveis por anos, independentemente da evolução do sistema operacional subjacente.
• Integração com Ecossistema HEP: Adaptação específica das tecnologias de container para as ferramentas padrão da física de partículas, tornando a adoção mais acessível para pesquisadores de dados.

4. Resultados
Os dados coletados de 360 participantes registrados entre 2023 e 2025 demonstram a eficácia do módulo:

• Familiaridade Inicial: A vasta maioria dos participantes relatou "Nunca ter ouvido falar" sobre os comandos e conceitos do Apptainer antes do treinamento, indicando uma lacuna de conhecimento generalizada.
• Aprendizado Pós-Treinamento: Após o treinamento, houve um aumento visível no conhecimento. A maioria dos participantes relatou estar "Familiar" ou "Muito Familiar" com comandos essenciais como apptainer pull, apptainer shell e apptainer exec.
• Satisfação com o Conteúdo: Os feedbacks indicaram que o nível de dificuldade era "adequado" e que o número de exercícios era suficiente para tornar a aprendizagem interativa, equilibrando teoria e prática.
• Tópicos Avançados: Comandos mais complexos, como apptainer instance, ainda apresentaram baixa familiaridade, sugerindo que são tópicos avançados que podem ser abordados em futuras iterações ou com maior interesse específico dos participantes.

5. Significância
Este trabalho é fundamental para o futuro da pesquisa científica em física de altas energias e nuclear. Ao capacitar pesquisadores com habilidades em containerização, o treinamento:

• Garante a Integridade Científica: Elimina barreiras de reprodutibilidade, permitindo que resultados sejam verificados e construídos por outros.
• Otimiza Recursos: Facilita a portabilidade de análises entre diferentes plataformas (nuvem, clusters, HPC), reduzindo o tempo e esforço necessários para configurar ambientes.
• Promove Colaboração Global: Cria um ecossistema onde dados e pipelines de análise podem ser compartilhados abertamente e preservados a longo prazo, independentemente da disponibilidade futura de dependências de software.
• Suporte Institucional: O sucesso do módulo, apoiado por financiamentos do DOE e da NSF, valida a necessidade de investir em educação de software como parte integrante da infraestrutura de pesquisa científica.