Mic-hackathon 2024: Hackathon on Machine Learning for Electron and Scanning Probe Microscopy

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van naar vingerafdrukken te zoeken, kijk je naar de kleinste bouwstenen van het universum: atomen. Wetenschappers gebruiken krachtige instrumenten zoals microscopen om foto's van deze atomen te maken, maar de beelden zijn vaak zo complex en gevuld met zoveel data dat zelfs de slimste mensen er overweldigd door raken. Het is alsof je probeert een bibliotheek aan boeken te lezen die in een taal zijn geschreven die je niet spreekt, en dat allemaal tegelijkertijd. Om dit begrijpelijk te maken, beginnen wetenschappers computers te leren deze beelden te "lezen" met behulp van een speciaal soort brein dat Machine Learning wordt genoemd. Dit gaat niet alleen over het maken van betere foto's; het gaat erom de microscoop te leren denken, beslissingen te nemen en zelfs haar eigen fouten in real-time te herstellen. De grote vraag is: kunnen we een digitale assistent bouwen die ons helpt de onzichtbare wereld helder, snel en zonder moe te worden te zien?

Dit artikel is een verslag van een enorme "hackathon"—een energieke gebeurtenis waar computerexperts en microscoopwetenschappers samenwerkten om gedurende twee dagen deze digitale assistenten te bouwen. Ze hebben niet alleen over ideeën gepraat; ze hebben werkende prototypes gebouwd om echte problemen op te lossen. Eén team creëerde een "digitale tweeling" van een microscoop, een videogame-versie waarmee onderzoekers kunnen oefenen zonder dure apparatuur te beschadigen. Een andere groep leerde een computer om minuscule korrels in materialen te herkennen, ze op grootte te sorteren en zelfs automatisch de meest interessante plekken te vinden om in te zoomen. Ze bouwden ook hulpmiddelen om wazige beelden te herstellen die worden veroorzaakt door vuile microscooppunten, en probeerden zelfs te voorspellen hoe atomen trillen zonder trage, zware simulaties uit te voeren. De belangrijkste bevinding is dat deze AI-tools verrassend goed werken: ze kunnen structuren identificeren, rommelige data opschonen en zelfs de volgende beste stap in een experiment voorstellen. De auteurs merken echter voorzichtig op dat hoewel deze tools veelbelovend zijn, ze nog niet perfect zijn. Sommige modellen raken soms in de war of "overfitten", wat betekent dat ze de trainingsdata te nauwkeurig onthouden en moeite hebben met nieuwe, ongeziene beelden. Het artikel suggereert dat met meer diverse data en betere afstemming, deze AI-helpers binnenkort de standaardpartners voor wetenschappers kunnen worden, waardoor uren handmatig werk worden omgezet in minuten van geautomatiseerde ontdekking.

Het Nieuwe Brein van de Microscoop: Een Hackathon Verslag

Het Grote Plaatje: Waarom we AI nodig hebben voor microscopen
Beschouw een moderne elektronenmicroscoop of een scanning probe microscoop als een superkrachtige camera die individuele atomen kan zien. Maar deze camera's zijn zo krachtig dat ze sneller data genereren dan welke mens dan ook ernaar kan kijken. Het is alsof je een camera hebt die een miljoen foto's per seconde maakt; als je zou proberen naar elke foto te kijken, zou je nooit iets gedaan krijgen. Decennialang hebben wetenschappers handmatig de interessante delen van deze beelden moeten selecteren, een proces dat traag, saai en foutgevoelig is (zoals het missen van een minuscuul defect omdat je moe was).

Het artikel beschrijft een recente gebeurtenis genaamd de "Mic-hackathon 2024", waarbij onderzoekers van over de hele wereld samenkwamen om dit probleem op te lossen. Ze wilden zien of Machine Learning (ML)—de technologie die computers leert leren van voorbeelden—de saaie taken van de microscopie kon overnemen. Het doel was om tools te creëren die automatisch interessante kenmerken konden vinden, slechte beelden konden opschonen en zelfs de microscoop konden aansturen om uit zichzelf betere foto's te maken.

De Digitale Tweeling: Oefenen zonder iets te breken
Een van de eerste dingen die de organisatoren deden, was het creëren van een "Digitale Tweeling" van een microscoop. Stel je een vluchtsimulator voor voor piloten: het laat hen oefenen met het landen van een vliegtuig zonder het risico te lopen een echt vliegtuig te crashen. Op een vergelijkbare manier liet deze digitale microscoop (genoemd DTMicroscope) deelnemers toe om code te schrijven en hun AI-ideeën te testen in een veilige, virtuele omgeving. Ze konden het maken van foto's van materialen zoals grafeen of nanopartikels simuleren zonder dat ze tijd hoefden te reserveren op een echte, dure machine. Dit was een game-changer omdat het iedereen in staat stelde vrij te experimenteren, wetende dat als hun code crashte, er geen echte apparatuur beschadigd zou raken.

De Projecten: Wat de teams hebben gebouwd
De deelnemers verdeelden zich in teams om specifieke uitdagingen aan te pakken. Hier zijn enkele van de meest opwindende dingen die zij hebben gebouwd:

• De Automatische Korrelvinder: Eén team gebruikte een model genaamd "cellSAM" (oorspronkelijk ontworpen om cellen in biologische afbeeldingen te vinden) om korrels in metaal- en keramische materialen te vinden. Het is alsof je een computer leert om individuele luchtbelletjes in een brood te spotten. Zodra de computer de korrels vond, kon hij ze sorteren op grootte en dichtheid, waardoor wetenschappers de meest interessante plekken kunnen vinden om te bestuderen. Ze bouwden zelfs een systeem dat de microscoop automatisch kon vertellen om in te zoomen op die specifieke plekken, wat uren handmatig zoeken bespaart.
• De Beeldschoonmaker: Microscopen krijgen vaak "vuile" punten, waardoor de beelden wazig of gedupliceerd lijken (zoals een reflectie in een spiegeltje in een draaiattractie). Twee teams werkten aan het gebruik van AI om deze "tip-artefacten" te herstellen. Ze trainden computers om naar het wazige beeld te kijken en te raden hoe het originele, schone oppervlak eruitzag. Hoewel de AI een goede taak deed bij matige vervaging, merkt het artikel op dat het soms moeite had met extreme gevallen, zoals wanneer de punt erg stomp was of twee punten had. Het is een werk in uitvoering, maar een veelbelovend begin.
• De Kristalvoorspeller: Een ander team wilde voorspellen hoe atomen trillen (thermische diffuse verstrooiing) zonder de zware wiskunde te doen die normaal gesproken eeuwig duurt. Ze trainden een neuraal netwerk om naar een eenvoudige "elastische" simulatie te kijken en te raden hoe de complexe, trillende versie eruit zou zien. In hun tests kwam de gok van de AI heel dicht bij de echte simulatie, wat suggereert dat wetenschappers in de toekomst deze complexe resultaten bijna direct kunnen krijgen.
• De Ferro-elektrische Detective: Een team gebruikte een Generative Adversarial Network (GAN) om de interne structuur van een materiaal genaamd loodtitanaat te voorspellen. Ze probeerden de "polarisatie" (de richting van elektrische krachten binnen het materiaal) te raden door alleen naar de oppervlaktehoogte te kijken. De AI was verrassend goed in het spotten van de grenzen tussen verschillende soorten domeinen, hoewel het soms in de war raakte en veranderingen voorspelde die er eigenlijk niet waren. Dit suggereert dat het model meer trainingsdata nodig heeft om perfect betrouwbaar te zijn.
• De Slimme Cropper: Om deze AI-modellen te trainen, moeten wetenschappers grote afbeeldingen vaak opknippen in kleinere stukjes. Eén team testte verschillende manieren om deze afbeeldingen door te snijden om te zien welke methode de AI het beste liet leren. Ze ontdekten dat "random cropping" (het op willekeurige plekken snijden) beter werkte dan het snijden in nette rasters. Het is also kind te leren een gezicht te herkennen door het vanuit willekeurige hoeken te zien in plaats van er alleen recht op te kijken; de willekeur helpt de AI het materiaal beter te begrijpen.

Het Oordeel: Veelbelovend, maar niet perfect
De hackathon toonde aan dat Machine Learning klaar is om een serieuze partner te zijn in de microscopie. De teams slaagden erin tools te bouwen die routinematige taken kunnen automatiseren, rommelige data kunnen opschonen en zelfs microscopen kunnen aansturen. De auteurs zijn echter zeer eerlijk over de beperkingen. De AI-modellen zijn geen magie; ze maken soms fouten, vooral wanneer ze met data te maken krijgen die ze nog niet eerder hebben gezien. Sommige modellen "overfitten", wat betekent dat ze de trainingsvoorbeelden te goed onthouden en niet goed kunnen generaliseren naar nieuwe situaties.

De auteurs stellen voor dat de volgende stap is om meer diverse data te verzamelen en de modellen te verfijnen. Ze benadrukken ook de noodzaak van betere "benchmarks"—standaardtesten om te zien hoe goed verschillende AI-tools presteren. Het uiteindelijke doel is om te bewegen van enkel het analyseren van data achteraf naar het hebben van AI die wetenschappers helpt beslissingen te nemen terwijl het experiment plaatsvindt.

Waarom dit ertoe doet
Dit gaat niet alleen over het makkelijker maken van het leven van wetenschappers. Door het saaie werk te automatiseren, bevrijdt AI menselijke onderzoekers om zich te concentreren op de grote vragen. Het kan leiden tot snellere ontdekkingen van nieuwe batterijmaterialen, betere zonnecellen en sterkere metalen. Het artikel concludeert dat hoewel we er nog niet zijn, het fundament nu wordt gelegd. De "digitale tweeling" en de open-source tools die tijdens de hackathon zijn gemaakt, zijn beschikbaar voor iedereen om te gebruiken, wat ervoor zorgt dat deze nieuwe manier van wetenschap bedrijven kan groeien en verbeteren. Het is een blik op een toekomst waarin microscopen niet alleen foto's maken, maar ons ook helpen de wereld te begrijpen, één atoom tegelijk.