The IAEA Fusion Data Lake Project -- Accelerating AI and Big Data Applications through Open Science and FAIR Data

Este informe presenta el proyecto del IAEA Fusion Data Lake, una iniciativa que busca acelerar las aplicaciones de IA en fusión mediante la creación de una infraestructura de datos moderna y abierta basada en principios FAIR, la cual integra catálogos internacionales y federaciones de datos para mejorar la accesibilidad y visibilidad de los conjuntos de datos experimentales globales.

Lo esencial

¡Hola! Imagina que el mundo de la fusión nuclear (la tecnología que intenta copiar la energía del Sol para darnos electricidad limpia e infinita) es como un grupo de científicos geniales trabajando en laboratorios gigantes alrededor del planeta. Cada uno tiene sus propios experimentos, sus propias notas y sus propios datos.

El problema es que, hasta ahora, estos datos estaban guardados en "cajas fuertes" separadas. Si un científico en Japón quería ver los datos de un experimento en el Reino Unido, era como intentar leer un libro que estaba en una biblioteca diferente, con un sistema de catalogación distinto y sin poder salir de la sala.

Aquí es donde entra este proyecto del OIEA (Organismo Internacional de Energía Atómica) llamado "Fusion Data Lake" (Lago de Datos de Fusión). Vamos a desglosarlo con analogías sencillas:

1. ¿Qué es este "Lago de Datos"?

Imagina que en lugar de tener miles de charcos pequeños y aislados con agua (datos), construimos un gran lago central donde todos pueden ver el agua, pero sin que nadie tenga que vaciar su propio pozo.

• El objetivo: Crear un lugar donde cualquier científico pueda buscar, encontrar y usar datos de experimentos de fusión de todo el mundo (como si fuera un "Google" o un "Netflix" de la ciencia nuclear).
• La magia: Usan Inteligencia Artificial (IA) para leer estos datos. Pero la IA es como un chef muy exigente: necesita ingredientes frescos, bien etiquetados y organizados. Si los ingredientes están desordenados en la nevera, el chef no puede cocinar. Este proyecto organiza la nevera para que la IA pueda crear "recetas" (modelos) que funcionen en cualquier cocina (cualquier futuro reactor).

2. ¿Cómo funciona la "Cocina" (La Plataforma)?

Los autores explican que han construido una infraestructura tecnológica muy moderna. Piensa en esto como una cadena de montaje inteligente:

• El Catálogo (La Lista de la Compra): Es una lista centralizada donde puedes buscar qué experimentos existen y qué datos tienen, sin importar en qué país estén.
• La Federaciòn (El Puente Mágico): En lugar de copiar y pegar todos los datos en un solo lugar (lo cual sería lento y costoso), crean un "puente". Si un científico quiere los datos del reactor MAST en el Reino Unido, el sistema va, los busca allí y te los trae instantáneamente, como si estuvieran en tu casa.
• El Almacén Central (El Búnker de Seguridad): Para los datos que aún no están conectados al puente, tienen un almacén temporal seguro donde guardarlos mientras se preparan para unirse al lago.

Tecnológicamente, usan herramientas de la nube (como Snowflake y Azure) que son como "superordenadores" que trabajan 24/7 para procesar esta información masiva.

3. La Prueba de Concepto: Los Tres Pasos

El proyecto no se hizo de golpe; fue como subir una escalera de tres peldaños:

• Fase I (El Primer Paso): Conectaron el reactor MAST (Reino Unido). Demostraron que el "puente" funcionaba: podían ver y descargar datos sin moverlos físicamente.
• Fase II (La Escalada): Añadieron dos reactores más: el LHD (Japón) y el Alcator C-Mod (EE. UU.). Aquí demostraron que el sistema era lo suficientemente fuerte para manejar diferentes tipos de datos y diferentes formas de enviarlos, todo bajo un mismo idioma común.
• Fase III (La Cima): Pronto añadirán el reactor HL-2A (China) y mejorarán la "cara" del sistema (la página web y las aplicaciones) para que los científicos puedan usarlo fácilmente antes de lanzarlo oficialmente al público.

4. Las Reglas del Juego (Gobernanza)

Para que esto funcione, no puede ser un "salvaje oeste". Necesitan reglas claras, como las de un club privado muy exclusivo pero justo:

• Términos de Servicio: Si subes datos, debes tener permiso para compartirlos. Si bajas datos, debes usarlos correctamente y dar crédito a quien los creó (como citar una fuente en un trabajo escolar).
• Niveles de Acceso (La Seguridad):
  1. Público: Cualquiera puede ver (como un parque).
  2. Interno: Solo miembros del club (científicos registrados).
  3. Restringido: Solo miembros de ciertos clubes aliados.
  4. Cerrado: Solo para personas específicas con permiso especial del dueño de los datos.

5. ¿Por qué es importante?

Hoy en día, la Inteligencia Artificial está revolucionando todo, desde el diagnóstico médico hasta los coches autónomos. En la fusión nuclear, la IA puede ayudar a diseñar mejores reactores y controlar el plasma (el "fuego" del sol) mucho más rápido que los humanos solos.

Pero la IA necesita datos. Sin este "Lago de Datos", la IA estaría hambrienta. Este proyecto del OIEA está llenando el estómago de la IA con datos de alta calidad de todo el mundo, acelerando la llegada de la energía de fusión, que podría ser la solución a la crisis energética y climática.

En resumen:
Este proyecto es como construir la autopista digital que conecta a todos los laboratorios de fusión del mundo. En lugar de que cada científico viaje en coche por caminos de tierra (datos desorganizados), ahora todos viajan en trenes de alta velocidad (IA y Big Data) hacia un destino común: energía limpia e ilimitada para todos.

Resumen técnico

A continuación presento un resumen técnico detallado del documento sobre el Proyecto del Lago de Datos de Fusión (Fusion Data Lake - FDL) del OIEA, estructurado según los puntos solicitados.

Resumen Técnico: Proyecto del Lago de Datos de Fusión del OIEA

1. El Problema

El desarrollo de la energía de fusión está siendo acelerado por aplicaciones de Inteligencia Artificial (IA) y aprendizaje automático (ML), como modelos sustitutos (surrogate models), gemelos digitales y modelos de lenguaje grande para el análisis de registros experimentales. Sin embargo, el avance de estas tecnologías se ve limitado por la falta de infraestructuras de datos modernas y conjuntos de datos ricos en metadatos.

• Barreras actuales: La disponibilidad de datos multimáquina es escasa, y muchas instituciones carecen de la infraestructura necesaria para escalar actividades de Big Data e IA/ML.
• Necesidad crítica: Se requiere una plataforma que permita la creación de modelos agnósticos a la máquina (machine-agnostic) que puedan generalizarse a futuros dispositivos de fusión, basándose en los principios FAIR (Encontrable, Accesible, Interoperable y Reutilizable).

2. Metodología y Arquitectura Técnica

El proyecto se enmarca dentro del Proyecto de Investigación Coordinada (CRP) "IAEA AI for Fusion" (lanzado en 2022), que involucra a 22 instituciones de 11 países. La metodología se centra en el desarrollo de una infraestructura de datos unificada con tres objetivos de servicio principales:

1. Catálogo de Datos: Un catálogo central consultable de experimentos y señales de diagnóstico globales.
2. Federación de Datos: Un punto de acceso único a una red descentralizada de repositorios experimentales y de simulación.
3. Almacenamiento Centralizado: Almacenamiento temporal a corto y medio plazo para datos no federados.

Stack Tecnológico y Arquitectura:
La plataforma se construye sobre la pila tecnológica empresarial del OIEA, utilizando:

• Computación y Base de Datos: Snowflake para pipelines de datos en Python y servidores SQL.
• Almacenamiento y DevOps: Microsoft Azure para almacenamiento y Azure DevOps para la integración y entrega continuas (CI/CD).
• Desarrollo Web: C# y .Net para la aplicación web.
• Procesamiento de Datos: Se adopta un enfoque ETL (Extraer, Transformar, Cargar) dentro de una estructura de Medallion (Bronce, Plata, Oro). Se ha desarrollado un pipeline de ingestión impulsado por metadatos que utiliza archivos de configuración para mapear conjuntos de datos a un modelo de datos unificado, reduciendo el esfuerzo de mantenimiento.
• Modelo de Datos: Se ha creado el Modelo de Metadatos Mínimos (Minimal Metadata Model), categorizado en tablas "core", "icf" (fusión por confinamiento inercial) y "mcf" (fusión por confinamiento magnético). La ontología se alinea con el ITER IMAS Data Dictionary para facilitar la adopción.

3. Contribuciones Clave

• Infraestructura Global Unificada: El FDL actúa como un intermediario que permite la colaboración global sin requerir que todos los datos se muevan físicamente a un solo lugar, sino federando el acceso.
• Interfaz Dual: Ofrece una interfaz amigable para humanos y una API programable para su integración directa en pipelines de análisis y ML.
• Estrategia de Gobernanza Provisional: Se han desarrollado regulaciones para gestionar el acceso y la privacidad, incluyendo:
  • Términos de Servicio (ToS): Cubren la carga (ingress), descarga (egress) y la atribución/citación obligatoria.
  • Niveles de Acceso: Definidos en cuatro niveles: Público (sin login), Interno (cuenta NUCLEUS del OIEA), Restringido (instituciones preaprobadas) y Cerrado (aprobación individual).

4. Resultados (Fases de Prueba de Concepto)

El proyecto ha avanzado a través de tres fases de Prueba de Concepto (PoC):

• Fase I (Federación): Se demostró el concepto de federación integrando el catálogo de datos del MAST (UKAEA). Los usuarios pueden descargar datos de MAST a través del FDL sin que los datos pasen físicamente por la infraestructura del FDL, sincronizando los catálogos mediante API REST.
• Fase II (Escalabilidad): Se demostró la escalabilidad integrando dos nuevos conjuntos de datos heterogéneos:
  • LHD (Japón): Datos compartidos vía Azure Blob Storage y sincronizados con Snowflake.
  • Alcator C-Mod (MIT, EE. UU.): Ingestión mediante herramientas PSFC (disruption-py, MDS Plus) y la plataforma multicloud del OIEA.
  • Resultado: Tres conjuntos de datos distintos (MAST, LHD, Alcator C-Mod) se han normalizado bajo un único modelo de datos FDL.
• Fase III (Expansión y Madurez): En curso. Incluye la incorporación del catálogo HL-2A (China) y el desarrollo de interfaces front-end (API y web) maduras listas para una versión de acceso anticipado (pre-release) conforme a los términos de servicio.

5. Significancia e Impacto

El Proyecto del Lago de Datos de Fusión representa un hito fundamental para la comunidad científica de la fusión al:

• Habilitar la IA Escalable: Proporciona la base de datos multimáquina necesaria para entrenar modelos de IA que funcionen en futuros reactores de fusión, independientemente del dispositivo específico.
• Fomentar la Ciencia Abierta: Rompe los silos de datos institucionales mediante una federación segura y gobernada, alineada con los principios FAIR.
• Acelerar el Desarrollo Tecnológico: Al reducir las barreras de acceso a datos experimentales y de simulación, se acelera el diseño de escenarios, el control del plasma y la obtención de conocimientos físicos.
• Liderazgo del OIEA: Posiciona al OIEA como el facilitador central de la colaboración global entre la industria, la academia y los laboratorios nacionales en el ámbito de la fusión y la IA.

En conclusión, el FDL no es solo un repositorio de datos, sino una infraestructura crítica que transforma la manera en que se comparten y analizan los datos de fusión, sentando las bases para la próxima generación de descubrimientos impulsados por datos en la carrera hacia la energía de fusión comercial.