optimade-maker: Automated generation of interoperable materials APIs from static data

Dit artikel introduceert optimade-maker, een lichtgewicht toolkit die de technische drempel voor het publiceren van interoperabele materialen-API's verlaagt door automatisch OPTIMADE-compliante diensten te genereren uit ruwe atoomstructuren en eigenschappen, waardoor een schaalbaar en FAIR data-ecosysteem voor zowel community-bijdragen als curatiebronnen mogelijk wordt.

De kern

De Probleemstelling: Een Woordenschat van Duizenden Talen

Stel je voor dat materialenwetenschappers over de hele wereld enorme bibliotheken hebben vol met blauwdrukken van moleculen en kristallen. Sommige bibliotheken zijn groot en beroemd (zoals de Cambridge Structural Database), andere zijn klein en worden door een enkel onderzoeker bijgehouden.

Het probleem? Iedere bibliotheek spreekt een andere taal en gebruikt een ander systeem om boeken te vinden.

• Bibliotheek A gebruikt een catalogus in het Frans.
• Bibliotheek B heeft een systeem dat alleen werkt met een specifieke sleutel.
• Bibliotheek C heeft geen catalogus, alleen stapels papier.

Als je als onderzoeker wilt zoeken naar een specifiek type materiaal in alle bibliotheken tegelijk, moet je eerst leren hoe je in elke bibliotheek apart moet zoeken. Dat is tijdrovend, ingewikkeld en vaak onmogelijk.

De Oplossing: De "Universal Translator" (OPTIMADE)

Om dit op te lossen, hebben wetenschappers een standaardtaal bedacht die iedereen kan begrijpen: OPTIMADE. Dit is als een universele vertaler of een standaard catalogussysteem. Als een bibliotheek zich aan deze regels houdt, kan elke computerprogramma (een "cliënt") er direct in zoeken, ongeacht waar de bibliotheek staat.

Het probleem is echter: Het is heel moeilijk om je eigen bibliotheek om te bouwen naar dit nieuwe systeem. Het vereist dure software, speciale experts en veel tijd. Veel kleine onderzoekers geven het daarom op en houden hun data "dicht", waardoor anderen er geen gebruik van kunnen maken.

De Held: optimade-maker

Hier komt optimade-maker in beeld. Dit is een slimme, lichtgewicht tool die het werk voor je doet.

De Analogie: De "Bakkerij-App"
Stel je voor dat je een bakkerij hebt met een grote doos met losse ingrediënten (je ruwe data: kristalstructuren en eigenschappen). Je wilt deze verkopen in een standaard verpakking die iedereen begrijpt.

• Vroeger: Je moest zelf dozen kopen, etiketten printen, de ingrediënten sorteren en de dozen in een winkelrek zetten. Dat kostte dagen.
• Met optimade-maker: Je gooit je losse ingrediënten in een machine (de tool). Je tikt op één knop, en de machine doet het volgende:
  1. Het sorteert de ingrediënten.
  2. Het plakt standaard etiketten erop (zodat iedereen weet wat het is).
  3. Het zet ze in de juiste dozen.
  4. Het plaatst ze direct in de winkel (de online API) waar iedereen ze kan vinden.

Hoe werkt het in de praktijk?

De auteurs van het artikel laten zien hoe deze tool in drie verschillende situaties werkt:

1. Voor de losse onderzoeker:
   Een onderzoeker heeft een map met simpele bestanden (bijvoorbeeld een ZIP-bestand met structuurbestanden en een Excel-lijst met energie-waarden). Met een klein configuratiebestandje (een soort "recept") vertelt hij de tool wat wat is. De tool maakt er direct een online zoekmachine van. De onderzoeker hoeft geen server te bouwen of software te programmeren.

2. Voor de grote opslag (Materials Cloud):
   De "Materials Cloud" is een enorme openbare opslagplek voor wetenschappelijke data. Ze hebben een automatische robot (een "watcher") gebouwd die elke dag nieuwe uploads controleert. Als iemand een bestand uploadt met het juiste receptje, maakt de robot automatisch een zoekmachine voor die data. Zo wordt nieuwe data direct vindbaar voor de hele wereld, zonder dat de uploader iets extra's hoeft te doen.

3. Voor de grote databases (CSD en ICSD):
   Zelfs de grootste, betaalde databases (zoals de Cambridge Structural Database) gebruiken nu deze tool. In plaats van dat elke gebruiker speciale software moet kopen om te zoeken, kunnen ze nu via de standaardtaal (OPTIMADE) zoeken in deze enorme verzamelingen, alsof het een gewone webpagina is.

Waarom is dit belangrijk?

Dit project maakt wetenschap FAIR:

• Vindbaar (Findable): Je kunt je data vinden alsof je op Google zoekt.
• Toegankelijk (Accessible): Iedereen kan erbij, zonder ingewikkelde poortjes.
• Interoperabel (Interoperable): Computers van verschillende landen en instituten kunnen met elkaar praten.
• Opnieuw te gebruiken (Reusable): Data kan direct worden gebruikt voor nieuwe ontdekkingen.

Conclusie

optimade-maker is de "brugbouwer" in de wereld van materialenwetenschap. Het haalt de technische drempel weg zodat onderzoekers zich kunnen focussen op wat ze echt leuk vinden: het ontdekken van nieuwe materialen, in plaats van het bouwen van ingewikkelde databases. Het zorgt ervoor dat data niet langer in silo's blijft zitten, maar vrij stroomt door het hele wetenschappelijke ecosysteem, net zoals water dat via een goed systeem van kanalen naar elke boer stroomt.

Technische samenvatting

Probleemstelling

Atomaire structurele data vormen de ruggengraat van de materiaalswetenschap, maar deze data is momenteel verspreid over talloze repositories en databases met verschillende formaten en eigen API's. Hoewel interoperabiliteit essentieel is voor cross-database analyses en datagedreven materiaalontdekking, vormt de implementatie van een OPTIMADE-compliant REST API (Open Databases Integration for Materials Design) een aanzienlijke technische barrière.

• Huidige situatie: Veel data-aanbieders (zowel individuele onderzoekers als kleine groepen) hebben geen middelen of expertise om de vereiste infrastructuur (hardware, software, personeel) op te zetten om hun data via een gestandaardiseerde API beschikbaar te stellen.
• Gevolg: Dit leidt tot een gebrek aan interoperabiliteit, waardoor cliënten en tools complex moeten worden gebouwd om met verschillende, incompatibele API's om te gaan, wat de FAIR-principes (Findable, Accessible, Interoperable, Reusable) in de weg staat.

Methodologie: De optimade-maker Toolkit

Het artikel introduceert optimade-maker, een lichtgewicht Python-toolkit die de automatisering van de generatie van OPTIMADE-API's mogelijk maakt vanuit ruwe atomaire data. De toolkit is gebouwd op de bestaande optimade-python-tools bibliotheek en fungeert als een brug tussen ruwe databestanden en een productieklaar API.

Kerncomponenten en Workflow:

1. Configuratie (optimade.yaml): De gebruiker levert een YAML-configuratiebestand dat de locatie van de ruwe data (bijv. CIF-bestanden in een ZIP-archief) en de bijbehorende eigenschappen (bijv. CSV-bestanden met energiegegevens) definieert. Dit bestand specificeert ook metadata voor eigenschappen (naam, eenheid, type).
2. Parsing en Conversie:
   • De toolkit gebruikt parsers uit bibliotheken zoals ASE (Atomic Simulation Environment) en pymatgen om diverse bestandsformaten (CIF, XYZ, XSF, JSON) te lezen.
   • Eigendomsdata (zoals CSV of JSON) worden gekoppeld aan structuren via unieke ID's die deterministisch worden gegenereerd op basis van bestandspaden.
   • De ruwe data wordt geconverteerd naar een gestandaardiseerd OPTIMADE JSON Lines formaat.
3. API Servering:
   • De toolkit kan direct een API serveren vanuit de ruwe data of het gegenereerde JSON-bestand.
   • Standaard wordt een tijdelijke, in-memory MongoDB (via MongoMock) gebruikt om de data te hosten, waardoor geen externe database-installatie nodig is voor lokaal gebruik.
   • Voor productieomgevingen kan de toolkit worden geconfigureerd om een externe MongoDB-instantie te vullen en aangepaste provider-metadata toe te passen.
4. Integratie met AiiDA: De toolkit ondersteunt ook directe import vanuit AiiDA-databases (workflow management voor computationele materialenwetenschap). Hierbij worden AiiDA-UUID's gebruikt als identifiers en kunnen eigenschappen worden opgehaald via AiiDA-query's (bijv. bandgaps berekend in post-processing).

Belangrijkste Bijdragen

1. Automatisering van API-generatie: Het biedt een oplossing om zonder complexe infrastructuur OPTIMADE-API's te creëren vanuit statische datasets.
2. Materials Cloud Archive Service: Een geautomatiseerde dienst op het Materials Cloud-platform die OPTIMADE-API's automatisch genereert voor datasets die onderzoekers uploaden. Zodra een dataset een optimade.yaml bevat, wordt deze direct indexeerbaar en doorzoekbaar via de OPTIMADE-ecosysteem.
3. Verbeterde Client: De introductie van een volledig herontworpen Materials Cloud OPTIMADE Client (van Python naar JavaScript geschreven) die interactief zoeken, filteren (via een periodiek systeem en sliders) en visualisatie van resultaten mogelijk maakt.
4. Live Database Pipelines: Implementatie van data-transformatiepijplijnen voor grote, commercieel beheerde databases:
   • CSD (Cambridge Structural Database): Voor organische en metaal-organische structuren.
   • ICSD (Inorganic Crystal Structure Database): Voor anorganische kristalstructuren.
   • Deze pijplijnen maken het mogelijk om deze bronnen via OPTIMADE te benaderen binnen het PSDI (Physical Sciences Data Infrastructure) ecosysteem voor academisch gebruik.

Resultaten

• Succesvolle Deployments: De toolkit is reeds ingezet voor meerdere projecten, waaronder het publiceren van datasets voor ternaire electride materialen (A2BC2) en materialen met sterke optische respons (brekingsindex, tweede harmonische generatie).
• Interoperabiliteit: De gegenereerde API's worden direct opgenomen in het OPTIMADE-ecosysteem. Gebruikers kunnen nu cross-provider queries uitvoeren (bijv. zoeken naar structuren met een specifieke bandgap en ELF-waarde) die data van de Materials Cloud Archive, CSD en ICSD combineren.
• Schaalbaarheid: De "Multi-OPTIMADE server" in de Materials Cloud kan meerdere API's tegelijkertijd beheren en monitoren, waarbij nieuwe versies van datasets automatisch worden bijgewerkt zonder onderbreking.
• Technische Flexibiliteit: De toolkit ondersteunt een breed scala aan inputformaten en kan zowel lokaal als in productieomgevingen draaien. De integratie met AiiDA toont aan dat het werkt met complexe workflow-provenance.

Betekenis en Toekomstperspectief

optimade-maker is een cruciale stap naar een volledig FAIR-ecosysteem voor materiaalsdata. Door de technische drempel voor het publiceren van interoperabele data te verlagen, stelt het onderzoekers in staat om hun data direct vindbaar en herbruikbaar te maken zonder extra kosten of complexe infrastructuur.

• Impact: Het versnelt de ontdekking van nieuwe materialen door het mogelijk te maken om grote, heterogene datasets naadloos te combineren en te analyseren.
• Toekomst: De auteurs zien potentieel voor uitbreiding naar nieuwe OPTIMADE-specificaties (zoals bestands- en traject-entrytypes) en voor het toepassen van vergelijkbare API-benaderingen op experimentele datasets via het datatractor-initiatief.

Kortom, de toolkit transformeert statische, "dode" datasets in dynamische, doorzoekbare bronnen die direct aansluiten bij de moderne, datagedreven methodologieën in de materiaalswetenschap.