Accelerating discovery across scientific disciplines through reproducible workflows with AiiDAlab

Este artículo presenta AiiDAlab, una plataforma web basada en Jupyter construida sobre la infraestructura de AiiDA que capacita a científicos de diversas disciplinas para automatizar, gestionar y analizar flujos de trabajo computacionales complejos con total reproducibilidad, al tiempo que destaca su reciente expansión hacia cuadernos de laboratorio electrónicos, instalaciones a gran escala y entornos educativos.

Lo esencial

Imagina que eres un científico tratando de resolver un rompecabezas complejo. En el pasado, hacer esto requería que fueras un mecánico experto, un bibliotecario de datos y un programador de computadoras, todo al mismo tiempo. Tenías que construir tus propias herramientas, organizar tus propios archivadores y escribir tus propias instrucciones solo para ejecutar un solo experimento. Si cometías un error minúsculo en la configuración, todo se estrellaba y perdías tu progreso.

AiiDAlab es como un "taller inteligente todo en uno" que cambia esta experiencia. En lugar de obligar a los científicos a construir sus propias herramientas, proporciona una interfaz preamueblada y fácil de usar donde pueden simplemente hacer clic en botones para ejecutar simulaciones complejas.

Aquí hay un desglose de lo que dice el artículo, utilizando analogías simples:

1. El problema: La pesadilla del "Hazlo tú mismo"

Durante años, ejecutar simulaciones por computadora (como modelar cómo funciona una nueva batería o cómo se mueve la contaminación a través del aire) requería conocimientos técnicos profundos. Los científicos tenían que:

• Escribir código complejo para decirle a la computadora qué hacer.
• Gestionar manualmente miles de archivos.
• Llevar un registro exacto de qué configuraciones se utilizaron para cada prueba individual (para poder probar sus resultados más tarde).

Era como intentar hornear un pastel, pero primero tener que inventar el horno, moler tu propia harina y escribir la receta desde cero cada vez.

2. La solución: AiiDAlab (El "taller inteligente")

Los autores construyeron AiiDAlab, que se asienta sobre un motor poderoso llamado AiiDA.

• El motor (AiiDA): Piensa en esto como el mayordomo robot invisible y súper organizado en el fondo. Recuerda automáticamente cada ingrediente que usaste, cada paso que diste y cada resultado que obtuviste. Asegura que si realizas el experimento de nuevo, obtengas exactamente el mismo resultado (reproducibilidad).
• El taller (AiiDAlab): Esta es la cara amigable del mayordomo robot. Es un sitio web que abres en tu navegador. En lugar de escribir código, utilizas menús simples, deslizadores e imágenes para configurar tu experimento. Oculta los detalles técnicos aterradores para que los científicos puedan enfocarse en la ciencia, no en el software.

3. Cómo funciona en diferentes campos

El artículo muestra que este "taller" no es solo para un tipo de ciencia; es como un adaptador universal que se puede conectar a diferentes campos:

• Ciencia atmosférica (Rastreo de contaminación): Imagina tratar de averiguar de dónde proviene la contaminación observando el viento. Esto requiere ejecutar millones de simulaciones diminutas. La aplicación de AiiDAlab para esto (llamada FLEXPART) permite a los científicos hacer clic en un mapa para seleccionar una ubicación, y el sistema ejecuta automáticamente los miles de cálculos necesarios para rastrear la contaminación hasta su fuente.
• Química (Predicción de colores): Los científicos quieren saber cómo absorben la luz las nuevas moléculas (lo que determina su color). Hacer esto generalmente requiere un doctorado en física cuántica. La aplicación AtmoSpec permite a un usuario escribir un nombre químico, y el sistema ejecuta automáticamente las matemáticas complejas para predecir el espectro de color, mostrando los resultados en un gráfico simple.
• Investigación de baterías (Prueba de nuevas baterías): Construir y probar baterías es lento y repetitivo. La aplicación Aurora se conecta a un robot que construye y prueba baterías. Los científicos pueden diseñar un plan de prueba en la pantalla, y el robot lo ejecuta, mientras que AiiDAlab registra automáticamente cada lectura de voltaje y temperatura, creando un registro digital perfecto del experimento.

4. Conectando el laboratorio y la computadora

Históricamente, los científicos mantenían sus "cuadernos de laboratorio" (papel o digitales) separados de sus simulaciones por computadora.

• La integración: El artículo describe una forma de vincular AiiDAlab con Cuadernos de Laboratorio Electrónicos (ELN). Es como tener una puerta mágica entre tu laboratorio físico y tu computadora. Puedes enviar una molécula desde tu cuaderno de laboratorio a la computadora, ejecutar una simulación y hacer que los resultados aparezcan automáticamente de nuevo en tu cuaderno con toda la prueba de cómo se calcularon.

5. Ayudando a grandes instalaciones y estudiantes

• Para grandes centros científicos: En lugares como el Instituto Paul Scherrer (que utiliza máquinas gigantes de neutrones), los investigadores a menudo luchan por instalar el software correcto en sus portátiles antes de un experimento corto. AiiDAlab actúa como una "unidad USB precargada" que funciona instantáneamente. Los investigadores inician sesión y tienen acceso inmediato a las herramientas y datos que necesitan sin instalar nada.
• Para estudiantes: En las aulas, los profesores pueden dar a los estudiantes un enlace a AiiDAlab. Los estudiantes pueden ejecutar simulaciones avanzadas en minutos sin necesidad de instalar software complejo en sus propias computadoras. Les enseña a hacer ciencia de la "manera correcta" (manteniendo un registro de los datos) desde el primer día.

6. Facilitando el inicio

Los autores admiten que configurar este sistema solía ser difícil. Para solucionar esto, crearon herramientas que actúan como un "instalador de un solo clic".

• El servidor de demostración: Construyeron una versión pública del taller que cualquiera puede probar gratis. Es como un "test drive" donde puedes ejecutar una pequeña simulación en menos de un minuto para ver cómo funciona.
• Instalación local: Para aquellos que quieren ejecutarlo en su propia computadora, crearon una herramienta que configura todo automáticamente, por lo que no necesitas ser un experto en computación para empezar.

Resumen

En resumen, AiiDAlab se lleva el trabajo pesado de gestionar simulaciones por computadora complejas de los científicos. Convierte un proceso caótico y lleno de código en una experiencia limpia, organizada y visual. Asegura que cada paso se registre automáticamente, haciendo la ciencia más confiable, más fácil de repetir y accesible para más personas, ya sea en un aula universitaria o en una instalación de investigación de alta tecnología.

Resumen técnico

Resumen Técnico: Aceleración del Descubrimiento Científico en Diversas Disciplinas mediante Flujos de Trabajo Reproducibles con AiiDAlab

Enunciado del Problema
A pesar de las crecientes capacidades computacionales disponibles para la investigación científica, la orquestación de flujos de trabajo robustos y automatizados sigue siendo difícil. Si bien los Sistemas de Gestión de Flujos de Trabajo (WFMS) como AiiDA han establecido principios fundamentales para la reproducibilidad, el seguimiento de la procedencia y la ejecución de alto rendimiento, la ejecución práctica de estos flujos de trabajo a menudo requiere una experiencia técnica significativa. Los investigadores aún deben configurar entornos de ejecución, definir entradas de cálculo, interpretar salidas complejas y gestionar las intrincaciones de la ejecución de código paralelo en recursos remotos de Computación de Alto Rendimiento (HPC). Esta barrera técnica limita la adopción de herramientas computacionales avanzadas, particularmente entre científicos experimentales que desean centrarse en preguntas de investigación en lugar de en la gestión de infraestructuras. Además, la integración de flujos de trabajo computacionales con Cuadernos de Laboratorio Electrónicos (ELN) y el manejo de datos experimentales a gran escala en instalaciones siguen siendo desafíos, requiriendo a menudo transferencias manuales de datos y pilas de software dispares.

Metodología
Para abordar estos desafíos, los autores desarrollaron AiiDAlab, una plataforma web basada en Jupyter impulsada por la infraestructura computacional de AiiDA. La plataforma está diseñada para abstraer la complejidad subyacente del sistema mediante Interfaces Gráficas de Usuario (GUI) que se ejecutan en el navegador web del usuario, reduciendo así la carga cognitiva necesaria para operar sistemas de software sofisticados.

La arquitectura técnica se basa en varios componentes clave:

• Contenerización e Implementación: AiiDAlab se implementa como una aplicación contenerizada, típicamente utilizando JupyterHub y Kubernetes (o MicroK8s para configuraciones de nodo único). Esto permite implementaciones tanto en la nube como locales, garantizando un entorno consistente y reproducible.
• Ecosistema Modular de Aplicaciones: La plataforma utiliza una arquitectura basada en plugins donde aplicaciones científicas específicas (apps) se construyen como extensiones modulares. Estas aplicaciones aprovechan la biblioteca aiidalab-widget-base, proporcionando componentes de interfaz de usuario reutilizables para la configuración de flujos de trabajo, el envío de trabajos, la supervisión y la visualización de datos.
• Procedencia y Automatización: En el interior, AiiDA gestiona la ejecución de flujos de trabajo, capturando automáticamente entradas, salidas y metadatos para garantizar un seguimiento completo de la procedencia sin intervención manual.
• Estrategias de Integración: La plataforma se integra con sistemas externos mediante conectores específicos. Esto incluye el paquete aiidalab-eln para vincularse con ELN (demostrado con openBIS) y plugins personalizados para el control de hardware (por ejemplo, el paquete tomato para cicladors de baterías) y el análisis de datos (por ejemplo, yadg para datos experimentales).
• Manejo de Datos: Para gestionar grandes conjuntos de datos (por ejemplo, terabytes en modelado climático o gigabytes en dispersión de neutrones), el sistema emplea los mecanismos de "almacenamiento temporal" (stashing) de AiiDA para transferir datos entre espacios de trabajo temporales y almacenamiento a largo plazo, y herramientas como cubehandler para la visualización eficiente de datos volumétricos.

Contribuciones y Aplicaciones Clave
El artículo detalla la maduración de AiiDAlab de una herramienta de ciencia de materiales a una plataforma interdisciplinaria a través de varias implementaciones específicas:

1. Expansión más allá de la Ciencia de Materiales:

   • Ciencia Atmosférica (Aplicación FLEXPART): Desarrollada para el proyecto ExAiRIM, esta aplicación automatiza la modelización inversa de las emisiones de gases de efecto invernadero. Gestiona la generación de huellas de concentración utilizando el código FLEXPART e interactúa con el Sistema de Inversión Regional Lagrangiana de Empa (ELRIS) para cuantificar las emisiones nacionales. Maneja grandes conjuntos de datos meteorológicos mediante la implementación de flujos de trabajo dedicados de transferencia de datos.
   • Química Atmosférica (Aplicación AtmoSpec): Esta aplicación permite la predicción ab-initio de espectros UV/Vis para compuestos orgánicos volátiles utilizando el Enfoque de Conjunto Nuclear (NEA) y el código ORCA. Guía a los usuarios desde la entrada de cadenas SMILES hasta la generación de espectros ponderados por Boltzmann, una tarea anteriormente restringida a expertos teóricos.
   • Investigación de Baterías (Aplicación Aurora): Integrada con la plataforma robótica Aurora para el ensamblaje de celdas de baterías, esta aplicación orquesta experimentos de ciclos de carga-descarga. Permite a los usuarios diseñar protocolos, gestionar envíos por lotes para hasta 36 celdas y analizar automáticamente los datos experimentales en formatos compatibles con FAIR utilizando el analizador yadg.

2. Integración con ELN y LIMS:
   Los autores demuestran una integración de "ida y vuelta" entre AiiDAlab y el ELN/LIMS openBIS. Los usuarios pueden extraer datos de inventario molecular de un ELN, enviar simulaciones a través de AiiDAlab y devolver los resultados (imágenes y archivos de procedencia) al ELN. El artículo propone el uso de anotaciones semánticas (RDF/JSON-LD) para generalizar esta interoperabilidad entre diferentes ELN y WFMS, un concepto que se está explorando en los proyectos PREMISE y MADICES.

3. Análisis de Datos Experimentales en Grandes Instalaciones:
   En el Instituto Paul Scherrer (PSI), AiiDAlab se implementó para apoyar al espectrómetro de neutrones CAMEA y a la línea de haz ICON. La aplicación LNS encapsula el código de análisis MJOLNIR, permitiendo a los usuarios acceder a datos experimentales "en vivo" a través de un montaje NFS compartido dentro de un entorno contenerizado y seguro. Esto elimina la necesidad de instalación local de software y transferencia manual de datos, reduciendo el tiempo de configuración entre 1 y 2 horas por usuario.

4. Aplicaciones Educativas:
   AiiDAlab sirve como plataforma para la enseñanza de la ciencia de materiales computacional. Al proporcionar entornos preconfigurados (por ejemplo, la aplicación Quantum ESPRESSO con tutoriales integrados), permite a los estudiantes realizar simulaciones de primeros principios sin instalar compiladores ni gestionar conexiones a HPC. Este enfoque se probó con éxito en una escuela híbrida en PSI, donde participantes con poca experiencia previa en DFT pudieron iniciar simulaciones en cuestión de minutos.

5. Mejoras en la Implementación y Usabilidad:
   El artículo describe herramientas para reducir las barreras de adopción, incluyendo aiidalab-launch para la implementación local basada en Docker y gráficos Helm de Kubernetes estandarizados para configuraciones institucionales de múltiples usuarios. Se proporciona un servidor de demostración público (demo.aiidalab.io) para una exploración inmediata. Las mejoras "bajo el capó" incluyen pruebas automatizadas, soporte para Autenticación de Múltiples Factores (MFA) en recursos HPC a través de la aplicación aiidalab-mfa-cscs y técnicas modernas de frontend (carga diferida) para mejorar la capacidad de respuesta.

Resultados
La implementación de AiiDAlab ha resultado en:

• Reducción de Barreras Técnicas: Los experimentalistas y estudiantes ahora pueden ejecutar flujos de trabajo complejos (por ejemplo, DFT, modelización inversa, ciclado de baterías) a través de GUIs intuitivas sin un conocimiento profundo de dominio de los códigos subyacentes.
• Eficiencia Operativa: En el PSI, la implementación redujo significativamente los tiempos de configuración de software y transferencia de datos, permitiendo el análisis inmediato de datos durante el tiempo de haz.
• Reproducibilidad: La plataforma garantiza que todas las entradas, procesos y salidas sean rastreados, permitiendo el intercambio de estados de simulación y herramientas de análisis.
• Adopción Interdisciplinaria: La plataforma se ha adaptado con éxito para la ciencia atmosférica, la investigación de baterías y la dispersión de neutrones, demostrando su naturaleza agnóstica al dominio.
• Impacto Educativo: En una escuela reciente, más del 60% de los asistentes sin experiencia previa en DFT ejecutaron simulaciones con éxito, con altas calificaciones de satisfacción (8.5/10).

Significado
El artículo posiciona a AiiDAlab no meramente como una interfaz gráfica para AiiDA, sino como una plataforma integral para acelerar el descubrimiento científico en diversas disciplinas. Su importancia radica en su capacidad para democratizar el acceso a recursos computacionales de alto rendimiento y flujos de trabajo complejos, desplazando tareas rutinarias de equipos computacionales especializados hacia comunidades más amplias de investigadores experimentales. Al integrarse con ELN y grandes instalaciones, AiiDAlab cierra la brecha entre la ciencia experimental y la computacional, fomentando un entorno de investigación FAIR (Encontrable, Accesible, Interoperable, Reutilizable). Los autores enfatizan que, aunque la plataforma se originó en la ciencia de materiales, su arquitectura modular y su enfoque en la experiencia del usuario la convierten en una solución escalable para diversos dominios científicos, con el objetivo final de fomentar una investigación abierta, reproducible y colaborativa a nivel global.