Training on Data Analysis Reproducibility via Containerization with Apptainer

Este artículo presenta los materiales y recursos desarrollados para capacitar a físicos en tecnologías de contenedores mediante Apptainer, con el objetivo de mejorar la reproducibilidad, portabilidad y colaboración en el análisis de datos de la física de altas energías y nuclear.

Lo esencial

¡Claro que sí! Imagina que este documento es como el manual de instrucciones para un "viajero del tiempo" en el mundo de la ciencia. Aquí te explico de qué trata, usando analogías sencillas y cotidianas.

🌍 El Problema: "Funciona en mi computadora"

Imagina que eres un científico que ha descubierto algo increíble usando una receta muy complicada (un análisis de datos). Le envías la receta a tu colega en otro país para que la pruebe.

• El desastre: Tu colega intenta cocinar el plato, pero le falta un ingrediente, o su horno tiene una temperatura diferente, o usa un tipo de harina distinta. ¡El resultado es un desastre!
• La frase mágica: "Pero en mi cocina funcionó perfecto".
• El problema real: En la física de altas energías (estudiar partículas como si fueran legos diminutos), los análisis son tan complejos que si cambias una sola cosa en la computadora, todo se rompe. Además, los datos son tan valiosos que no podemos permitirnos perderlos o no poder volver a verlos en 10 años.

📦 La Solución: Apptainer (La "Caja Mágica")

Para solucionar esto, el equipo de autores creó un curso sobre Apptainer (antes llamado Singularity).

• La analogía: Imagina que Apptainer es una caja de mudanza mágica y a prueba de todo.
  • Dentro de esta caja, metes no solo tu receta, sino todo: los ingredientes exactos, el tipo de harina, la temperatura del horno, e incluso el chef.
  • Cuando envías esta caja a otro país, el destinatario la abre y, ¡magia! Todo funciona exactamente igual que en tu cocina, sin importar si su horno es de gas, eléctrico o solar.
  • Lo mejor: A diferencia de otras cajas (como las máquinas virtuales que son pesadas y lentas), esta caja es ligera, segura y no necesita que seas el "jefe de la casa" (administrador) para usarla.

🎓 ¿Qué enseña este curso?

El documento describe un taller de entrenamiento para científicos. No es solo teoría aburrida; es un "gimnasio" práctico donde aprenden a:

1. Pedir cajas prestadas: Cómo descargar cajas que otros ya han preparado (imágenes).
2. Entrar a la caja: Cómo abrir la caja y usar las herramientas que hay dentro.
3. Construir tu propia caja: Cómo crear una caja desde cero con tus propios ingredientes.
4. Compartir: Cómo conectar tu cocina (tu computadora) con la caja para pasar ingredientes de un lado a otro.
5. El "Bonus": Cómo subir tu caja a internet (GitHub) para que todo el mundo la vea.

Usan herramientas famosas en la física (como ROOT y Python) para que los estudiantes practiquen con cosas reales, como si estuvieran armando un motor de coche o analizando datos de un acelerador de partículas.

📊 ¿Funcionó el entrenamiento?

El equipo hizo una encuesta antes y después del curso:

• Antes: La mayoría de los científicos dijo: "¿Qué es Apptainer? Nunca lo he oído". ¡Estaban perdidos!
• Después: ¡La mayoría dijo: "Ahora lo entiendo y puedo usarlo!"!
• La sensación: Los alumnos dijeron que el curso no fue ni demasiado difícil ni demasiado fácil, y que tuvieron suficientes ejercicios prácticos para sentirse seguros.

🏆 ¿Por qué es importante?

Este curso es vital porque:

• Ahorra tiempo: Ya no pierden días arreglando errores de configuración.
• Preserva la ciencia: Si en 20 años alguien quiere revisar un experimento de hoy, podrá abrir la "caja mágica" y ver los resultados exactos, aunque las computadoras de entonces sean totalmente diferentes.
• Une al mundo: Permite que científicos de todo el planeta colaboren sin problemas, como si todos estuvieran en la misma habitación.

En resumen: Este documento es la historia de cómo un grupo de científicos enseñó a sus colegas a usar "cajas mágicas" para que sus descubrimientos científicos nunca se pierdan, nunca fallen por errores de computadora y siempre puedan ser revisados por cualquiera, en cualquier lugar y en cualquier momento. ¡Una revolución para la ciencia reproducible!

Resumen técnico

A continuación presento un resumen técnico detallado del documento en español, estructurado según los puntos solicitados:

Resumen Técnico: Entrenamiento en Reproducibilidad de Análisis de Datos mediante Contenedorización con Apptainer

1. El Problema
El análisis de datos en Física de Altas Energías (HEP) y Física Nuclear enfrenta desafíos críticos debido a su alta complejidad. La preservación del análisis y el conocimiento asociado es difícil, lo que pone en riesgo la reutilización, reinterpretación y reproducibilidad de los resultados científicos a largo plazo.

• Falta de Entornos Reproducibles: La dependencia de configuraciones específicas de sistemas ("funciona en mi máquina") impide que otros investigadores repliquen resultados.
• Obsolescencia de Dependencias: Las herramientas y librerías necesarias para el análisis pueden volverse obsoletas o incompatibles con nuevas versiones de sistemas operativos, haciendo que los análisis antiguos sean imposibles de ejecutar en el futuro.
• Necesidad de Colaboración: La falta de un lenguaje común y plataformas estandarizadas dificulta la colaboración entre instituciones y la distribución de análisis en entornos de computación de alto rendimiento (HPC) y la nube.

2. Metodología
El documento describe el desarrollo e implementación de un módulo de entrenamiento titulado "Introducción a Apptainer/Singularity", parte del Centro de Entrenamiento de la Fundación de Software de HEP (HSF).

• Tecnología Central: Se utiliza Apptainer (anteriormente Singularity), una plataforma de contenedores diseñada específicamente para científicos. A diferencia de otros contenedores, Apptainer no requiere permisos de superusuario (root), preserva los permisos del usuario del sistema host y utiliza imágenes basadas en un solo archivo, lo que facilita su distribución y seguridad en entornos HPC y de nube.
• Estructura del Entrenamiento: El currículo está dividido en episodios (capítulos) que incluyen objetivos de aprendizaje, cuerpo principal con ejercicios prácticos y soluciones, y resúmenes. Los episodios cubren:
  • Conceptos básicos de contenedorización y diferencias con máquinas virtuales.
  • Búsqueda y extracción de imágenes (de Sylab, Docker Hub).
  • Construcción de contenedores desde definiciones de archivo y desde imágenes existentes.
  • Intercambio de archivos entre el host y el contenedor (bind mounts).
  • Ejecución de instancias en modo desasociado (detached) para servicios.
  • Despliegue en GitHub Packages.
• Herramientas Prácticas: Los ejercicios utilizan tecnologías estándar en la comunidad HEP, como ROOT, Python, PyROOT, Pythia8, Uproot y RooFit.
• Evaluación: Se implementó un proceso de encuesta de dos pasos (pre y post evento) para medir la familiaridad de los participantes con los comandos de Apptainer y la efectividad pedagógica del material.

3. Contribuciones Clave

• Material Didáctico Estándar: Se ha creado un recurso educativo completo y reproducible que enseña a físicos a encapsular sus flujos de trabajo de análisis.
• Adaptación al Entorno Científico: Se demuestra cómo Apptainer resuelve problemas específicos de HPC (sin necesidad de root, integración con gestores de recursos) y cómo convertir imágenes Docker existentes para su uso en estos entornos.
• Estrategia de Preservación: El entrenamiento establece un marco para la preservación a largo plazo de análisis, asegurando que los resultados sean independientes de la evolución de los sistemas operativos y las dependencias externas, siempre que Apptainer siga siendo soportado.
• Validación Empírica: El documento incluye datos cuantitativos sobre la adopción y el aprendizaje, proporcionando una hoja de ruta para futuros entrenamientos.

4. Resultados
El módulo ha sido probado en eventos de entrenamiento de HSF e IRIS-HEP entre 2023 y 2025, con 360 participantes registrados.

• Nivel de Conocimiento Inicial: Las encuestas previas mostraron que la gran mayoría de los participantes nunca había oído hablar de los comandos de Apptainer o conceptos relacionados, indicando una necesidad urgente de formación.
• Mejora Post-Entrenamiento: Las encuestas posteriores (82 participantes respondieron) revelaron un aumento significativo en la familiaridad. La mayoría de los usuarios reportaron estar "familiarizados" o "muy familiarizados" con comandos centrales como apptainer pull, apptainer shell y apptainer exec.
• Temas Avanzados: Se observó que comandos más avanzados como apptainer instance aún tenían un nivel de desconocimiento mayor, sugiriendo que estos son temas para niveles superiores o que requieren más énfasis en futuras iteraciones.
• Satisfacción: Los participantes calificaron el nivel de dificultad como "adecuado" y consideraron que la cantidad de ejercicios era "justa" para un aprendizaje interactivo, validando el equilibrio entre teoría y práctica.

5. Significancia
Este trabajo es fundamental para el futuro de la investigación en física de altas energías y nuclear por varias razones:

• Garantía de Integridad Científica: Al estandarizar la contenedorización, se asegura que los análisis científicos puedan ser verificados, reproducidos y reinterpretados años después de su ejecución original, independientemente de los cambios en la infraestructura de TI.
• Eficiencia y Colaboración: Facilita la colaboración global al permitir que los equipos compartan entornos de análisis completos y autocontenidos, reduciendo el tiempo y esfuerzo necesarios para configurar entornos de trabajo.
• Capacitación de la Fuerza Laboral: Al integrar estas habilidades en la formación de nuevos físicos, se prepara a la próxima generación de investigadores para trabajar en un ecosistema de datos moderno, portátil y eficiente.
• Sostenibilidad: Proporciona una solución viable para el problema de la obsolescencia del software en proyectos de larga duración, asegurando que la inversión en datos experimentales (que son de alto valor) no se pierda.