optimade-maker: Automated generation of interoperable materials APIs from static data

O artigo apresenta o *optimade-maker*, um kit de ferramentas automatizado que facilita a geração de APIs interoperáveis compatíveis com a especificação OPTIMADE a partir de dados estruturais atômicos brutos, reduzindo barreiras técnicas e promovendo um ecossistema de dados de materiais mais acessível e padronizado.

O essencial

Imagine que o mundo da ciência dos materiais é como uma gigantesca biblioteca de receitas de bolo, mas com um problema enorme: cada chef (pesquisador) escreve sua receita em um idioma diferente, usa medidas estranhas e guarda os ingredientes em caixas que não se abrem com a mesma chave.

Se você quiser fazer um bolo que use farinha de um chef, ovos de outro e açúcar de um terceiro, você teria que aprender a ler todos esses idiomas e abrir todas essas caixas manualmente. É um trabalho exaustivo e quase impossível de fazer em escala.

É aqui que entra o optimade-maker.

O Que é o Optimade-Maker?

Pense no optimade-maker como um "tradutor e organizador mágico" automático.

1. O Problema: Os cientistas têm dados brutos (estruturas de átomos, propriedades de materiais) espalhados em arquivos soltos, como se fossem folhas de papel soltas em gavetas diferentes. Antigamente, para acessar esses dados de forma padronizada, era necessário construir um servidor complexo, caro e difícil de manter.
2. A Solução: O optimade-maker pega essas "folhas de papel soltas" (os dados brutos) e, com um simples comando, as transforma instantaneamente em uma loja online padronizada.
   • Ele lê os arquivos.
   • Traduz tudo para uma "língua universal" chamada OPTIMADE (uma linguagem que qualquer ferramenta de pesquisa entende).
   • Cria uma "vitrine" (uma API) onde qualquer pessoa pode entrar e procurar por materiais específicos, sem precisar saber o idioma original do cientista que criou o dado.

Como Funciona na Prática? (A Analogia do Restaurante)

Imagine que você tem uma geladeira cheia de ingredientes brutos (arquivos de simulação, resultados de laboratório).

• Sem o optimade-maker: Você teria que contratar um chef de luxo, comprar equipamentos caros e montar um restaurante inteiro só para servir um prato. É caro e demorado.
• Com o optimade-maker: Você coloca os ingredientes na máquina. A máquina os lava, corta, tempera e coloca em um prato bonito e padronizado. Agora, qualquer cliente (outro cientista ou software) pode pedir: "Quero um prato com 2 ingredientes e energia baixa", e a máquina entrega exatamente isso, instantaneamente.

O Que Eles Conseguiram Fazer?

Os autores do artigo mostraram que essa ferramenta é poderosa de três formas principais:

1. Para o Arquivo Nuvem de Materiais (Materials Cloud): Eles criaram um sistema onde, assim que um pesquisador sobe seus dados para a internet, o optimade-maker automaticamente cria uma "porta de entrada" padronizada para eles. É como se, ao postar uma foto no Instagram, o sistema automaticamente a traduzisse para 50 idiomas e a tornasse pesquisável por qualquer pessoa no mundo.
2. Para Grandes Bancos de Dados (CSD e ICSD): Eles usaram a ferramenta para conectar duas bibliotecas gigantescas de cristais (uma de orgânicos, outra de inorgânicos) ao sistema universal. Agora, pesquisadores podem fazer uma única busca e encontrar resultados em ambas as bases, como se fosse uma única biblioteca gigante, em vez de ter que visitar dois lugares diferentes.
3. Para o Dia a Dia do Cientista: Um pesquisador pode pegar os dados de uma simulação que rodou ontem no computador dele, rodar o optimade-maker e, em segundos, ter um site local onde pode testar novas ideias e ferramentas sem precisar de servidores caros.

Por Que Isso é Importante?

Isso torna a ciência FAIR (um acrônimo em inglês para Fácil de encontrar, Acessível, Interoperável e Reutilizável).

Antes, os dados eram como tesouros enterrados em ilhas isoladas. O optimade-maker constrói pontes entre essas ilhas. Agora, em vez de perder meses tentando entender como acessar os dados de um colega, a comunidade científica pode focar no que realmente importa: descobrir novos materiais que podem salvar o planeta, criar medicamentos melhores ou desenvolver baterias mais potentes.

Em resumo: O optimade-maker é a ferramenta que transforma o caos de dados soltos em uma biblioteca organizada, acessível e universal, permitindo que a ciência dos materiais avance muito mais rápido.

Resumo técnico

Título: optimade-maker: Geração automatizada de APIs interoperáveis de materiais a partir de dados estáticos

1. O Problema

Os dados estruturais atômicos são fundamentais para a ciência dos materiais, física da matéria condensada e química. Embora esses dados estejam cada vez mais digitalizados em diversos repositórios, o acesso a eles enfrenta um grande obstáculo: a falta de interoperabilidade.

• APIs Personalizadas: A maioria dos bancos de dados utiliza APIs personalizadas e incompatíveis entre si, forçando os desenvolvedores de ferramentas e pipelines de dados a implementarem suportes específicos para cada provedor.
• Barreira Técnica: A especificação OPTIMADE (Open Databases Integration for Materials Design) foi criada para padronizar o acesso via REST API, mas implantar e manter um serviço compatível com OPTIMADE exige infraestrutura dedicada (hardware, software e pessoal), o que é proibitivo para pesquisadores individuais ou grupos pequenos que desejam compartilhar seus dados de forma FAIR (Findable, Accessible, Interoperable, Reusable).

2. Metodologia

O artigo apresenta o optimade-maker, um toolkit leve em Python projetado para automatizar a criação de APIs compatíveis com OPTIMADE diretamente a partir de dados brutos (arquivos estáticos, saídas de simulação, etc.).

Componentes Principais e Fluxo de Trabalho:

1. Arquitetura: O toolkit é construído sobre a biblioteca optimade-python-tools e possui quatro módulos principais:

   • optimade_maker.config: Define o formato de configuração (optimade.yaml) usando Pydantic para validação de esquema.
   • optimade_maker.convert: Pipeline de conversão que transforma dados brutos em arquivos JSON Lines padronizados (formato oficial da especificação OPTIMADE v1.3.0).
   • optimade_maker.parsers: Registrador de ferramentas que mapeia arquivos (CIF, XYZ, XSF, JSON do Pymatgen, etc.) para objetos intermediários usando bibliotecas como ASE e Pymatgen.
   • optimade_maker.serve: Utiliza o servidor de referência para servir a API diretamente dos dados convertidos ou de um banco de dados MongoDB.

2. Configuração (optimade.yaml): O usuário fornece um arquivo de configuração simples que descreve:

   • A localização dos arquivos de estrutura (ex: dentro de um arquivo ZIP).
   • A localização dos arquivos de propriedades (ex: CSV ou JSON).
   • Definições de metadados (nome, tipo de dados, unidades, descrição) para propriedades personalizadas.

3. Identificadores e Propriedades:

   • O sistema gera identificadores únicos (id) para cada estrutura baseados em regras determinísticas nos caminhos dos arquivos.
   • Suporta integração com AiiDA, permitindo a extração de propriedades diretamente de grafos de proveniência (nós de dados e processos) usando consultas do QueryBuilder.

4. Implantação:

   • Local: O comando optimake serve pode iniciar uma API localmente usando um banco de dados em memória (MongoMock), eliminando a necessidade de infraestrutura externa para testes rápidos.
   • Produção: Pode ser configurado para usar instâncias externas do MongoDB e pipelines de dados complexos.

3. Contribuições Chave

• Automação de APIs: Elimina a necessidade de infraestrutura complexa para publicar dados como APIs OPTIMADE, permitindo que qualquer pesquisador com dados brutos e um arquivo de configuração tenha uma API funcional.
• Serviço Automático no Materials Cloud Archive: Implementação de um serviço onde, ao fazer upload de um conjunto de dados no Materials Cloud Archive contendo um optimade.yaml, uma API OPTIMADE é gerada e publicada automaticamente.
• Pipeline para Bancos de Dados Curados: Desenvolvimento de pipelines de transformação para os grandes bancos de dados comerciais CSD (Cambridge Structural Database) e ICSD (Inorganic Crystal Structure Database), permitindo acesso unificado via OPTIMADE para usuários licenciados (ex: via PSDI no Reino Unido).
• Novo Cliente Web: Lançamento de um novo Materials Cloud OPTIMADE Client (reescrito em JavaScript) que permite a exploração interativa, filtragem por tabela periódica e visualização 3D de dados servidos por qualquer API OPTIMADE.

4. Resultados e Casos de Uso

O artigo demonstra a eficácia do toolkit através de vários cenários:

• Descoberta de Materiais: Dados de projetos de descoberta de materiais (ex: eletrídeos ternários, materiais com respostas ópticas fortes) foram publicados automaticamente. Os pesquisadores puderam realizar consultas cruzadas entre provedores usando filtros personalizados (ex: filtrar por energia de formação e valor de ELF).
• Integração CSD/ICSD: Foi criado um serviço que mapeia milhões de entradas do CSD e ICSD para o formato OPTIMADE. Embora o acesso aos dados brutos seja restrito a licenciados, a camada de API OPTIMADE permite uma semântica unificada de consulta e descoberta dentro do ecossistema de dados científicos do Reino Unido.
• Adoção: Até março de 2026, o ecossistema OPTIMADE já indexa mais de 25 milhões de materiais de 20 provedores, e o optimade-maker facilita a entrada de novos provedores de dados estáticos.

5. Significado e Impacto

O optimade-maker representa um passo crucial rumo a um ecossistema de dados de materiais verdadeiramente FAIR e escalável.

• Redução de Barreiras: Ao automatizar a geração de APIs, o toolkit remove a barreira técnica e de custo para a publicação interoperável de dados.
• Interoperabilidade: Permite que dados estáticos (arquivos ZIP, CSV, CIF) sejam tratados da mesma forma que bancos de dados dinâmicos, permitindo que ferramentas de machine learning e pipelines de descoberta de materiais acessem fontes heterogêneas de forma uniforme.
• Futuro: O trabalho abre caminho para a expansão do OPTIMADE para novos tipos de entradas (como trajetórias e arquivos) e para a integração de dados experimentais, potencialmente utilizando analisadores definidos pela comunidade (como no projeto datatractor).

Em resumo, o optimade-maker democratiza o acesso a dados de materiais, transformando repositórios estáticos em serviços de API dinâmicos e interoperáveis sem exigir infraestrutura complexa dos provedores de dados.