optimade-maker: Automated generation of interoperable materials APIs from static data

El artículo presenta *optimade-maker*, una herramienta automatizada que facilita la creación de APIs interoperables compatibles con la especificación OPTIMADE a partir de datos estáticos de estructuras atómicas, eliminando barreras técnicas para la publicación de datos y fomentando un ecosistema de materiales FAIR.

Lo esencial

Imagina que el mundo de la ciencia de materiales es como una gigantesca biblioteca universal, pero con un problema enorme: cada libro (o base de datos) está escrito en un idioma diferente, con un sistema de catalogación distinto y en estanterías que no se comunican entre sí.

Si un investigador quiere buscar información sobre un nuevo tipo de batería, tendría que aprender a hablar "inglés de cristal", "francés de polímeros" y "alemán de metales" por separado, y luego intentar unir todas esas piezas de información manualmente. Es lento, frustrante y hace que grandes descubrimientos se pierdan en el caos.

Aquí es donde entra optimade-maker, la herramienta que presenta este artículo.

¿Qué es optimade-maker? (El Traductor Mágico)

Piensa en optimade-maker como un traductor automático y un organizador de mudanzas para datos científicos.

1. El Problema: Muchos científicos tienen datos brutos (archivos de computadora con estructuras atómicas y propiedades) guardados en sus ordenadores o en servidores privados. Estos datos son valiosos, pero están "atrapados" en formatos que las herramientas modernas no entienden.
2. La Solución: optimade-maker toma esos archivos desordenados (como una caja llena de papeles sueltos) y, con un solo clic, los convierte en un formato estándar y limpio que cualquier computadora en el mundo puede entender.
3. El Resultado: Crea una "ventana" o una API (una puerta de acceso digital) que permite a otros investigadores buscar, comparar y usar esos datos inmediatamente, sin tener que saber cómo estaban guardados originalmente.

¿Cómo funciona? (La Analogía del Restaurante)

Imagina que tienes una cocina con ingredientes crudos (tus datos brutos: archivos de estructuras, energías, etc.).

• Sin optimade-maker: Tendrías que invitar a cada cliente (otro científico) a entrar a tu cocina, enseñarle dónde están los cuchillos, explicarle cómo cocinas y darle los ingredientes crudos para que él mismo prepare su plato. Es un caos.
• Con optimade-maker: Tú solo le das los ingredientes crudos a un chef robot (la herramienta). El chef robot:
  1. Lee tus ingredientes.
  2. Los cocina siguiendo una receta estándar (el formato OPTIMADE).
  3. Sirve el plato en un plato bonito y estandarizado.
  4. Lo pone en un menú universal donde cualquier cliente del mundo puede pedirlo y saber exactamente qué contiene.

Los Casos de Uso Reales (Lo que hacen en el papel)

El artículo muestra tres formas en las que esta "magia" ya está funcionando:

1. El Archivo de la Nube (Materials Cloud): Es como una biblioteca pública donde los científicos suben sus datos. Gracias a optimade-maker, en cuanto alguien sube un archivo, la biblioteca automáticamente le crea una "etiqueta" y una "ventana de búsqueda" instantánea. Ya no tienes que esperar meses para que alguien más haga el trabajo de organizarlo; ¡ya está listo para ser usado!
2. Conectando Gigantes (CSD y ICSD): Hay dos bibliotecas gigantes de cristales (una de orgánicos y otra de inorgánicos) que son privadas y costosas. Los autores de este trabajo usaron optimade-maker para crear un "puente" que traduce los datos de estas bibliotecas privadas a un formato público y estandarizado. Esto permite que los investigadores universitarios del Reino Unido, por ejemplo, busquen en ambas bibliotecas al mismo tiempo como si fuera una sola.
3. El Nuevo Buscador Visual: Crearon una nueva página web (el cliente OPTIMADE) que es como un Google Maps interactivo para materiales. Puedes seleccionar elementos en una tabla periódica (como "quiero algo con Hierro y Oxígeno") y deslizar barras para filtrar propiedades (como "que sea muy duro"). La herramienta busca en todas las bases de datos conectadas y te muestra los resultados en 3D.

¿Por qué es importante? (El Mensaje Final)

Antes, publicar datos científicos de forma útil era como intentar enviar un mensaje en una botella al océano: podías hacerlo, pero nadie sabía cómo abrirlo o leerlo.

optimade-maker rompe las barreras. Hace que los datos sean:

• Encontrables: Como tener un GPS para la ciencia.
• Accesibles: Cualquiera puede entrar sin llaves especiales.
• Interoperables: Todas las herramientas hablan el mismo idioma.
• Reutilizables: Los datos de hoy pueden usarse para inventar el futuro mañana.

En resumen, esta herramienta es el pegamento universal que une a la comunidad científica, permitiendo que la inteligencia colectiva funcione de verdad y acelerando el descubrimiento de nuevos materiales para resolver problemas del mundo real, desde mejores baterías hasta medicamentos más efectivos.

Resumen técnico

1. Planteamiento del Problema

Los datos estructurales atómicos son fundamentales para la ciencia de materiales, la física de la materia condensada y la química. Aunque estos datos están cada vez más digitalizados en repositorios diversos, su acceso sigue siendo un desafío debido a la falta de interoperabilidad.

• Falta de Estándarización: Las APIs existentes suelen ser personalizadas y específicas de cada proveedor, lo que obliga a los clientes y herramientas de análisis a implementar múltiples adaptadores incompatibles.
• Barreras Técnicas: Aunque la especificación OPTIMADE (Open Databases Integration for Materials Design) ha definido un estándar REST API para unificar el acceso a estructuras atómicas, implementar y mantener servicios compatibles con OPTIMADE requiere una infraestructura dedicada (hardware, software y personal). Esto representa una barrera significativa para investigadores individuales o grupos pequeños que desean publicar sus datos de manera interoperable.
• Necesidad: Existe una brecha entre los datos crudos (archivos estáticos, salidas de simulación) y la capacidad de servirlos a través de una API estandarizada sin un esfuerzo técnico masivo.

2. Metodología: La Herramienta optimade-maker

El artículo presenta optimade-maker, un kit de herramientas (toolkit) ligero en Python diseñado para automatizar la generación de APIs compatibles con OPTIMADE directamente desde datos de materiales crudos.

• Arquitectura y Componentes:
  • Configuración (optimade.yaml): Utiliza un archivo de configuración en formato YAML (o JSON) que describe la ubicación de los archivos de datos crudos y define los metadatos de las propiedades.
  • Procesamiento (convert): Convierte datos estructurales y propiedades en un formato estandarizado JSON Lines (una extensión oficial de la especificación OPTIMADE v1.3.0).
  • Servicio (serve): Despliega una API REST compatible con OPTIMADE directamente desde los datos procesados. Por defecto, utiliza una base de datos MongoDB en memoria (MongoMock) para despliegues locales rápidos, pero también soporta instancias externas de MongoDB para entornos de producción.
• Soporte de Formatos:
  • Estructuras: Utiliza la biblioteca ASE (Atomic Simulation Environment) para analizar formatos estándar y no estándar (CIF, XYZ, XSF) y archivos JSON de pymatgen.
  • Propiedades: Soporta archivos CSV y JSON para mapear propiedades a estructuras específicas.
  • Integración Avanzada: Incluye soporte nativo para archivos de archivo de AiiDA y perfiles de AiiDA en vivo, permitiendo extraer datos y propiedades (como brechas de banda) directamente de los grafos de procedencia de AiiDA mediante consultas específicas.
• Identificadores: Genera identificadores únicos para cada estructura basándose en la ruta relativa del archivo y el nombre, asegurando la trazabilidad.

3. Contribuciones Clave

1. Automatización de la Publicación FAIR: Permite que cualquier investigador publique sus datos crudos como una API FAIR (Findable, Accessible, Interoperable, Reusable) con un esfuerzo mínimo, eliminando la necesidad de infraestructura compleja.
2. Servicio Automatizado en Materials Cloud Archive: Se implementó un servicio en la plataforma Materials Cloud que monitorea automáticamente las nuevas entradas. Si un usuario sube un archivo optimade.yaml junto con sus datos, el sistema genera y publica automáticamente una API OPTIMADE, haciéndola inmediatamente descubrible.
3. Pipeline de Transformación para Bases de Datos Curadas: Se desarrollaron pipelines para transformar bases de datos comerciales y curadas masivas, específicamente la Cambridge Structural Database (CSD) y la Inorganic Crystal Structure Database (ICSD), hacia el formato OPTIMADE, permitiendo una búsqueda unificada a través de estas fuentes.
4. Nuevo Cliente Web: Se rediseñó el Materials Cloud OPTIMADE Client (de Python a JavaScript) para ofrecer una interfaz gráfica interactiva que permite a los usuarios explorar, filtrar y visualizar datos de múltiples proveedores OPTIMADE, incluyendo los generados automáticamente.

4. Resultados y Casos de Uso

• Descubrimiento de Materiales: Se demostró el uso del toolkit en proyectos de diseño de materiales, como la búsqueda de electridos ternarios (A2BC2) y materiales con respuestas ópticas no lineales. Los datos crudos de estos estudios se publicaron en el Archive, generando APIs que permitieron consultas cruzadas complejas (ej. filtrar por energía de formación y densidad electrónica).
• Integración de CSD e ICSD: Se logró exponer millones de entradas de la CSD (1.4M) y la ICSD (327k) a través de una API unificada bajo el servicio de infraestructura de datos de ciencias físicas del Reino Unido (PSDI), permitiendo a los académicos consultar estas bases de datos comerciales mediante el estándar OPTIMADE.
• Escalabilidad: El sistema ha permitido servir múltiples conjuntos de datos contribuidos por la comunidad, demostrando que la generación de APIs puede ser un proceso "sin servidor" (serverless) o ligero, gestionado por un observador de archivos.

5. Significado e Impacto

El trabajo representa un paso crucial hacia un ecosistema de datos de materiales escalable y FAIR.

• Reducción de Barreras: Al automatizar la conversión de datos estáticos a APIs dinámicas, democratiza el acceso a datos de alta calidad, permitiendo que grupos de investigación pequeños contribuyan al ecosistema global de datos sin necesidad de equipos de ingeniería de software dedicados.
• Interoperabilidad Real: Facilita la agregación y el análisis cruzado de datos de fuentes heterogéneas (simulaciones, experimentos, bases de datos curadas) bajo un único estándar de consulta.
• Futuro: La arquitectura está diseñada para evolucionar con la especificación OPTIMADE, soportando nuevos tipos de entradas (como trayectorias) y vocabularios controlados, y potencialmente extendiéndose a conjuntos de datos experimentales mediante el uso de analizadores comunitarios (datatractor).

En resumen, optimade-maker cierra la brecha entre la generación de datos brutos y su utilidad en la era de la ciencia de datos, transformando archivos estáticos en servicios de datos interoperables y accesibles de manera automática.