optimade-maker: Automated generation of interoperable materials APIs from static data

Das Paper stellt „optimade-maker" vor, ein leichtgewichtiges Toolkit zur automatisierten Generierung interoperabler OPTIMADE-APIs aus statischen atomistischen Daten, das technische Hürden für die Veröffentlichung senkt und so einen skalierbaren, FAIR-konformen Ökosystem für Materialdaten ermöglicht.

Das Wesentliche

Stellen Sie sich vor, die Welt der Materialwissenschaft ist wie eine riesige, chaotische Bibliothek. In dieser Bibliothek gibt es Tausende von Regalen (Datenbanken), die Informationen über Materialien enthalten – wie Kristalle aufgebaut sind, wie stark sie sind oder wie sie leiten.

Das Problem bisher war: Jedes Regal hatte eine völlig andere Sprache und ein eigenes, verwirrendes Lesesystem. Wenn Sie als Forscher etwas über ein bestimmtes Material wissen wollten, mussten Sie für jedes Regal einen neuen Schlüssel (eine spezielle Software) basteln, um hineinzukommen. Das war mühsam, teuer und langsam.

Hier kommt optimade-maker ins Spiel. Man kann es sich wie einen universellen Übersetzer und Bibliothekar vorstellen, der von Kristjan Eimre und seinem Team entwickelt wurde.

Was macht optimade-maker?

1. Der "Alles-Verwandler":
   Stellen Sie sich vor, Sie haben einen Haufen loser Zettel, alte Notizbücher und digitale Dateien (das sind die "rohen Daten"). Diese liegen irgendwo in einem Ordner. Normalerweise kann eine Bibliothek diese nicht direkt sortieren.
   optimade-maker nimmt diesen Haufen, liest die Zettel, versteht, was draufsteht, und verwandelt sie sofort in ein einheitliches, perfekt organisiertes Format (das "OPTIMADE-Format"). Es ist, als würde ein Roboter aus einem Haufen durcheinandergeratener Lego-Steine sofort ein fertiges, beschriftetes Modell bauen.

2. Der "Sofort-Eröffner":
   Früher musste man ein ganzes neues Gebäude (eine teure Server-Infrastruktur) bauen, um Daten online zugänglich zu machen. Mit optimade-maker reicht es, die Daten einfach hochzuladen. Das Tool baut automatisch eine kleine, funktionierende "Mini-Bibliothek" (eine API) direkt aus den Daten. Forscher können ihre Daten sofort für die ganze Welt sichtbar machen, ohne Programmierkenntnisse zu haben.

Wo wird das genutzt?

• Die "Materialien-Wolke" (Materials Cloud):
  Das Team hat dieses Werkzeug in eine große Online-Datenbank integriert. Wenn ein Wissenschaftler dort seine Forschungsdaten hochlädt, passiert Magie: Das System erkennt die Daten, verwandelt sie automatisch in das universelle Format und erstellt sofort einen Link. Jeder kann nun diese Daten mit einem einzigen, einfachen Suchwerkzeug durchsuchen, egal woher sie kommen.
  Analogie: Es ist wie ein automatischer Kassenautomat im Supermarkt. Sie legen Ihre Ware (Daten) auf das Band, und der Automat (optimade-maker) scannt sie, druckt den Barcode (die Schnittstelle) und stellt sie sofort in den Regalen auf, die jeder kennt.

• Die großen Schatzkisten (CSD und ICSD):
  Es gibt riesige, kommerzielle Datenbanken (wie die Cambridge Structural Database), die normalerweise nur mit teuren Lizenzen zugänglich sind. optimade-maker wurde genutzt, um diese riesigen Schatzkisten so zu übersetzen, dass sie in das gemeinsame System passen. So können Wissenschaftler in Großbritannien nun über eine einzige Suchmaske in diesen riesigen Sammlungen stöbern, ohne für jede Datenbank eine eigene Software kaufen zu müssen.

Warum ist das wichtig?

Stellen Sie sich vor, Sie wollen ein neues Medikament entwickeln oder ein besseres Solarpanel bauen. Sie müssen wissen, welche Materialien es gibt. Ohne dieses Tool müssten Sie Dutzende von verschiedenen Webseiten und Programmen durchsuchen.

Mit optimade-maker wird die Suche so einfach, als würden Sie bei Google suchen. Sie tippen ein: "Ich brauche ein Material, das leicht ist und Hitze aushält", und das System durchsucht alle verbundenen Datenbanken gleichzeitig und gibt Ihnen die Ergebnisse.

Zusammenfassend:
optimade-maker ist der Kleber, der die zerstreuten Teile der Materialwissenschaft zusammenhält. Es nimmt das Chaos der rohen Daten, verwandelt es in eine gemeinsame Sprache und ermöglicht es jedem, sofort darauf zuzugreifen. Es macht die Wissenschaft schneller, fairer und für alle verständlicher.

Technische Zusammenfassung

1. Problemstellung

Atomare Strukturdaten sind fundamental für die Materialwissenschaft, die Festkörperphysik und die Chemie. Obwohl diese Daten zunehmend digitalisiert und in verschiedenen Repositorien gespeichert werden, fehlt es oft an Interoperabilität.

• Heterogenität: Daten liegen in unterschiedlichen Formaten vor (z. B. CIF, XYZ, CSV, JSON) und werden von verschiedenen Anbietern mit proprietären APIs oder gar nur als statische Dateien bereitgestellt.
• Hohe Einstiegshürden: Die Implementierung und Wartung einer konformen OPTIMADE-API (Open Databases Integration for Materials Design) erfordert erhebliche technische Infrastruktur, Software-Entwicklung und Personalaufwand. Dies stellt eine signifikante Barriere für einzelne Forscher oder kleine Gruppen dar, die ihre Daten FAIR (Findable, Accessible, Interoperable, Reusable) zugänglich machen möchten.
• Fehlende Standardisierung: Ohne einen einheitlichen Standard müssen Client-Anwendungen spezifische Schnittstellen für jede Datenbank implementieren, was die Entwicklung datengesteuerter Pipelines erschwert.

2. Methodik: Das optimade-maker Toolkit

Das Paper stellt optimade-maker vor, ein leichtgewichtiges Python-Toolkit zur automatisierten Generierung von OPTIMADE-konformen APIs direkt aus Rohdaten.

• Architektur und Komponenten:
  Das Toolkit besteht aus vier Hauptmodulen:

  1. optimade_maker.config: Definiert das Konfigurationsformat (optimade.yaml) mittels Pydantic. Es beschreibt, wo sich die Rohdaten befinden und wie Metadaten (Eigenschaften) zugeordnet werden.
  2. optimade_maker.convert: Ein Konvertierungspipeline, die Rohdaten (z. B. in ZIP-Archiven) entpackt, strukturiert und in das standardisierte OPTIMADE JSON Lines-Format umwandelt.
  3. optimade_maker.parsers: Ein Registrierungs-System für Parser (basierend auf Bibliotheken wie ASE und pymatgen), das verschiedene Dateiformate (CIF, XYZ, XSF, AiiDA-Archive) in interne Objekte übersetzt.
  4. optimade_maker.serve: Startet einen OPTIMADE-API-Server (basierend auf optimade-python-tools, FastAPI und MongoDB/MongoMock) direkt aus den konvertierten Daten.

• Workflow:
  Der Benutzer erstellt eine optimade.yaml-Konfigurationsdatei, die Pfadmuster für Strukturdateien und zugehörige Eigenschaftsdateien (CSV/JSON) definiert. Über die Kommandozeile (optimake convert und optimake serve) werden die Daten dann in eine standardisierte Repräsentation überführt und als API bereitgestellt.

• Besondere Features:

  • Identifikatoren: Generiert automatisch eindeutige IDs für Strukturen basierend auf Dateipfaden.
  • AiiDA-Integration: Kann direkt aus AiiDA-Archiven oder Live-Datenbanken arbeiten, wobei AiiDA-UUIDs als IDs genutzt und Eigenschaften über AiiDA-Abfragen (QueryBuilder) extrahiert werden.
  • Flexibilität: Unterstützt sowohl lokale Deployment-Szenarien (mit In-Memory-Datenbanken) als auch Produktionsumgebungen mit externen MongoDB-Instanzen.

3. Schlüsselbeiträge und Ergebnisse

Das Paper demonstriert die Wirksamkeit des Tools durch mehrere Anwendungsfälle:

• Automatisierter Service im Materials Cloud Archive:
  Es wurde ein automatisierter Workflow implementiert, der neue Datensätze im Materials Cloud Archive überwacht. Sobald ein Datensatz eine gültige optimade.yaml-Datei enthält, wird automatisch eine OPTIMADE-API generiert und veröffentlicht. Dies ermöglicht sofortige Durchsuchbarkeit und Interoperabilität für Community-Datensätze.

  • Beispiel: Ein Datensatz zu ternären Elektiden (A2BC2-Strukturen) wurde erfolgreich indexiert, wobei berechnete Eigenschaften wie die Elektronenlokalisierungsfunktion (ELF) und Stabilitätsenergien abfragbar wurden.

• Integration großer Datenbanken (CSD und ICSD):
  Es wurden Datenpipelines entwickelt, um die Cambridge Structural Database (CSD) und die Inorganic Crystal Structure Database (ICSD) in das OPTIMADE-Format zu überführen.

  • Dies ermöglichte den UK-Akademikern über die PSDI (Physical Sciences Data Infrastructure) einen standardisierten Zugriff auf diese kommerziellen Datenbanken, ohne proprietäre Software nutzen zu müssen.
  • Spezifische Erweiterungen wurden für chemische Deskriptoren (CSD) und Beugungsexperimente (ICSD) implementiert.

• Neuer OPTIMADE Client:
  Als Teil des Projekts wurde der Materials Cloud OPTIMADE Client komplett überarbeitet (von Python zu JavaScript). Er bietet eine interaktive Benutzeroberfläche zum Durchsuchen, Filtern (z. B. über eine interaktive Periodentabelle) und Visualisieren von Daten aus beliebigen OPTIMADE-APIs, einschließlich der lokal gehosteten Instanzen von optimade-maker.

4. Bedeutung und Ausblick

• Senkung der Einstiegshürden: optimade-maker eliminiert die Notwendigkeit für komplexe Backend-Infrastruktur, um Daten FAIR zu machen. Forscher können ihre Rohdaten schnell in eine standardisierte API verwandeln.
• Skalierbarkeit: Das Tool ermöglicht die Integration sowohl von kuratierten, großen Datenbanken als auch von dynamischen, community-beigesteuerten Datensätzen in ein einheitliches Ökosystem.
• Zukunftsperspektiven: Das Framework ist erweiterbar und kann zukünftige OPTIMADE-Spezifikationen (z. B. neue Eintragstypen wie Trajektorien oder kontrollierte Vokabulare) integrieren. Zudem könnte der Ansatz auf experimentelle Daten erweitert werden, indem Parser aus dem datatractor-Initiativ genutzt werden.

Fazit:
optimade-maker ist ein entscheidender Baustein für ein skalierbares, interoperables Ökosystem der Materialwissenschaft. Es verbindet statische Rohdaten nahtlos mit dem OPTIMADE-Standard, fördert die Wiederverwendbarkeit von Daten und beschleunigt datengestützte Materialentdeckungsprozesse.