STEM-Bank-26: An Open Dataset of Analytical Scanning Transmission Electron Microscopy Images and Spectra

In de onzichtbare wereld van de materiaalkunde moeten onderzoekers dingen zien die te klein zijn voor het blote oog, te klein voor standaard microscopen, en zelfs te klein om gemakkelijk door het menselijk brein te bevatten. Om deze minuscule structuren te bestuderen, gebruiken wetenschappers een krachtig instrument genaamd scanning transmissie-elektronenmicroscopie. Stel je een bundel elektronen voor, die subatomaire deeltjes zijn, die op een monster wordt afgevuurd dat zo dun is dat de elektronen erdoorheen kunnen gaan. Terwijl de bundel over het materiaal scant, interageert deze met de atomen, waardoor een gedetailleerd beeld van de interne structuur van het monster ontstaat. Maar het zien van de vorm is slechts de helft van het verhaal. Om een materiaal echt te begrijpen, moeten wetenschappers ook weten waar het uit bestaat en hoe de atomen zich gedragen. Hier komt spectroscopie om de hoek kijken. Door de energie te analyseren die verloren gaat door elektronen of de röntgenstraling die zij uitzenden wanneer ze het monster raken, kunnen onderzoekers de specifieke aanwezige elementen identificeren en zelfs hun chemische staat bepalen. Deze combinatie van hoogresolutie-imaging en chemische analyse is essentieel voor het ontwikkelen van betere batterijen, efficiëntere katalysatoren en geavanceerde elektronische apparaten. Het was echter moeilijk om computers te leren deze complexe taken uit te voeren, omdat de benodigde gegevens verspreid, incompleet of opgesloten in privéarchieven waren.

Een team van onderzoekers aan de University of Pennsylvania heeft nu het landschap veranderd door een enorme, open collectie van precies dit soort gegevens vrij te geven. Zij hebben een dataset samengesteld genaamd STEM-Bank-26, die bijna 38.000 afbeeldingen en duizenden spectroscopische metingen bevat, verzameld over een periode van vijf jaar. Deze collectie is niet zomaar een willekeurige verzameling foto's; het is een gestructureerd verslag van hoe wetenschappers daadwerkelijk werken. De dataset bevat 37.921 afbeeldingen genomen van 1.095 verschillende materiaalsamples tijdens 1.499 afzonderlijke experimentele sessies. Voor meer dan twee derde van deze sessies hebben de onderzoekers ook spectroscopische gegevens vastgelegd, wat een compleet beeld geeft van zowel de fysieke structuur als de chemische samenstelling van de materialen. De totale omvang van deze collectie is 929 gigabyte, een volume aan informatie dat het grootste openbaar beschikbare dataset van zijn soort is die imaging integreert met zowel energie-dispersieve als elektronen-energieverliesspectroscopie.

De werkelijke waarde van dit werk ligt niet alleen in het enorme aantal bestanden, maar in de manier waarop de onderzoekers ze hebben georganiseerd om het menselijke besluitvormingsproces achter de wetenschap te onthullen. Elektronenmicroscopie is geen volledig geautomatiseerd proces; het vereist een bekwame operator die naar een monster kijkt, besluit welk gebied interessant is, de instellingen van de microscoop aanpast en vervolgens kiest om chemische gegevens op die specifie specifieke plek te verzamelen. Deze reeks beslissingen vormt een "traject", een pad van acties dat leidt van een algemeen overzicht naar een gedetailleerde analyse. Omdat deze beslissingen zelden in een enkel bestand worden vastgelegd, heeft het team een methode ontwikkeld om deze paden te reconstrueren door de metadata te vergelijken—de digitale labels die aan elk bestand zijn gekoppeld en tijd, positie en instellingen registreren. Door de gaten tussen de afbeeldingen te analyseren, konden zij afleiden wanneer een operator het monster naar een nieuwe locatie bewoog of pauzeerde om na te denken, waardoor een statisch archief van bestanden effectief werd omgezet in een dynamisch verslag van wetenschappelijke exploratie.

Deze reconstructie stelt de dataset in staat om te dienen als een trainingsgrond voor kunstmatige intelligentie. In het verleden werden pogingen om "AI-wetenschappers" te bouwen die in staat zijn deze microscopen te bedienen, gehinderd door een gebrek aan data die laat zien hoe mensen exploreren en zich aanpassen aan nieuwe informatie. Bestaande datasets bevatten vaak alleen afbeeldingen of alleen spectra, waarbij de cruciale link tussen de twee ontbrak. Deze nieuwe collectie overbrugt die kloof door een realistisch beeld te geven van hoe een wetenschapper beweegt van een brede survey van een monster naar een gerichte analyse van een specifiek kenmerk. De data laten zien dat de meeste experimentele sessies tussen de 10 en 100 afbeeldingen bevatten, waarbij een aanzienlijk deel chemische mapping omvat. De monsters zelf zijn divers, variërend van heterogene katalysatoren die gebruikt worden in chemische reacties tot componenten van lithium-ionbatterijen, wat een brede basis biedt voor machine learning-modellen om van te leren.

De onderzoekers hebben ook de logistieke uitdagingen aangepakt die gewoonlijk voorkomen dat dergelijke grote datasets worden gedeeld. Tijd op een microscoop is duur, en de gegenereerde bestanden zijn vaak te groot om in volle omvang te publiceren, waardoor wetenschappers vaak slechts enkele representatieve afbeeldingen delen. Dit nieuwe werk demonstreert dat het mogelijk is om het volledige archief te delen zonder de wetenschappelijke gemeenschap te overbelasten. Het team heeft tools en scripts geleverd waarmee andere onderzoekers hun eigen archiefgegevens gemakkelijk kunnen converteren naar soortgelijke traject-datasets, wat een verschuiving stimuleert in de manier waarop de microscopie-gemeenschap hun werk deelt. Door deze data beschikbaar te stellen onder een open licentie, hopen de auteurs de ontwikkeling van autonoom materiaalonderzoek te versnellen, waarbij intelligente systemen kunnen leren van menselijke expertise om nieuwe materialen sneller en efficiënter te verkennen.

Hoewel de dataset een belangrijke stap voorwaarts is, zijn de auteurs zich bewust van de beperkingen ervan. De gereconstrueerde trajecten zijn momentopnames van de staat van de microscoop in plaats van een continue video van de acties van de operator. Ze leggen niet de momenten vast waarop een wetenschapper de tafel beweegt om een gebied te inspecteren maar besluit geen foto te maken, wat betekent dat de data mogelijk de gebieden iets bevoordeelt die als waardig werden beschouwd voor hoogresolutie-opname. Daarnaast ontbreken sommige technische details over de lensinstellingen van de microscoop in de originele bestanden, wat het gebruik van de dataset voor taken die te maken hebben met de precieze afstemming van het instrument zelf beperkt. Ondanks deze beperkingen vormt de collectie een robuuste bron voor het begrijpen van de complexe interactie tussen imaging en spectroscopie. Het biedt een zeldzame inkijk in de dagelijkse workflow van de materiaalkunde en biedt het grondstofmateriaal dat nodig is om machines te leren hoe ze de nanoschaalwereld kunnen zien, analyseren en begrijpen met dezelfde nieuwsgierigheid en oordeelsvorming als een menselijke expert.