Novelty-Driven Target-Space Discovery in Automated Electron and Scanning Probe Microscopy

Dit paper introduceert het BEACON-framework, een op deep-kernel learning gebaseerde methode die geautomatiseerde elektronen- en scanning-probe microscopie transformeert van louter optimalisatie naar actieve ontdekking in de doelpuntruimte door tijdens het experiment structure-eigenschapsrelaties te leren en diverse responsregimes te zoeken.

De kern

De Microscoop die "Nieuwsgierig" is: Hoe AI nieuwe wereldjes ontdekt

Stel je voor dat je een gigantische, donkere schuur binnenstapt. Je hebt een zaklamp (je microscoop) en je wilt weten wat er in die schuur te vinden is.

Het oude probleem: De saaie lijst
Vroeger deden wetenschappers het als volgt: ze liepen de schuur af in een perfect rasterpatroon, alsof ze een vloer tegelden. Ze keken naar elke vierkante centimeter, of er nu iets interessants was of niet.

• Het nadeel: Dit kostte enorm veel tijd. En als je een heel grote schuur had, kon je de batterij van je zaklamp niet houden om alles te scannen. Bovendien kon je door het strakke patroon juist de rare, vreemde objecten missen die net buiten je raster vielen.

Het nieuwe probleem: Wat is "interessant"?
In de wereld van materialen (zoals atomen en nanodeeltjes) is het nog lastiger. Soms zie je met je blote oog (of de camera van de microscoop) een mooi plaatje, maar zegt dat je niets over de kracht of eigenschappen van het materiaal.

• Vergelijking: Het is alsof je naar een piano kijkt. Je ziet de toetsen (de structuur), maar je weet pas wat het instrument kan als je op de toetsen drukt en luistert naar het geluid (de spectra). Het geluid is het echte geheim, maar het kost tijd om op elke toets te drukken.

De oplossing: BEACON (De Nieuwsgierige Ontdekker)
De onderzoekers hebben een slimme computerprogrammatuur bedacht, genaamd BEACON. Dit is geen robot die gewoon het beste resultaat zoekt (zoals een zoektocht naar de grootste diamant), maar een robot die nieuwsgierig is.

Hier is hoe het werkt, stap voor stap:

1. De "Nieuwsgierige" vs. de "Gierige" Zoeker

Stel je voor dat je in een grote bibliotheek bent en je zoekt naar een heel specifiek, zeldzaam boek.

• De "Gierige" zoekers (oude methoden): Zodra ze een boek vinden dat bijna goed is, blijven ze daar hangen. Ze bladeren door dat ene boek, en dat ene boek alleen, omdat ze denken dat dit de beste plek is. Ze vergeten de rest van de bibliotheek. Ze vinden misschien wel het beste boek in dat ene gangpad, maar missen een nog zeldzamere schat in een ander gangpad.
• De "Nieuwsgierige" zoeker (BEACON): Deze robot zegt: "Oké, dit boek is interessant, maar ik wil ook weten wat er in de rest van de bibliotheek gebeurt." Als hij ergens een boek ziet dat anders is dan wat hij al heeft gezien, gaat hij daar naartoe, zelfs als het boek niet het "beste" is. Hij wil de verscheidenheid ontdekken.

2. De "Elite Lijst" en de "Nieuwheids-score"

BEACON houdt een lijst bij van de "beste" dingen die hij tot nu toe heeft gevonden (de Elite Set).

• Elke keer als hij een nieuwe plek meet, vraagt hij zich af: "Is dit resultaat net iets anders dan wat ik al op mijn lijst heb staan?"
• Als het antwoord JA is (het is een nieuw soort gedrag, een nieuw soort geluid, een nieuwe atoom-structuur), dan is dat een Nieuwheids-score.
• De robot kiest dan de volgende plek om te meten op basis van wie het meest "anders" is, niet op basis van wie het "meest" is.

3. De "Magische Bril" (Deep Kernel Learning)

De computer kijkt niet alleen naar de foto's. Hij gebruikt een soort "magische bril" (een Deep Kernel Learning model).

• Deze bril kan zien dat twee atoom-structuren er heel anders uitzien, maar precies hetzelfde geluid maken.
• Of hij ziet dat twee atomen er bijna hetzelfde uitzien, maar totaal verschillende eigenschappen hebben.
• Dankzij deze bril leert de computer tijdens het experiment zelf: "Ah, als ik dit type plaatje zie, kan ik verwachten dat het geluid hier raar klinkt."

4. Het Experiment in de Wereld

De onderzoekers hebben dit getest op echte microscopen (STEM).

• Ze lieten de robot los op een monster met verschillende nanodeeltjes.
• Resultaat: De oude methoden (de "Gierige" zoekers) bleven hangen op één plek en scandeerden daar eindeloos rond. De BEACON-robot sprong echter over het hele monster heen, bezocht verschillende gebieden en vond veel meer verschillende soorten deeltjes in minder tijd.

Waarom is dit belangrijk?

Stel je voor dat je op zoek bent naar een nieuwe medicijn.

• Met de oude methode zou je 1000 flessen op een rij openmaken, maar je zou misschien alleen de eerste 50 soorten pillen vinden en dan vastlopen in een patroon.
• Met BEACON zou je de 1000 flessen doorzoeken, maar je zou je richten op de flessen die er anders uitzien dan de rest. Zo vind je sneller die ene, unieke fles met het wondermiddel die niemand eerder had gezien.

Kortom:
Deze paper introduceert een manier om microscopen niet alleen te laten "zoeken naar het beste", maar te laten "ontdekken wat er allemaal mogelijk is". Het is alsof je van een robot die alleen de grootste appels plukt, verandert in een robot die elke boom in het bos bezoekt om te zien welke soorten appels er groeien.

Dit maakt wetenschappelijke ontdekkingen sneller, slimmer en minder afhankelijk van menselijke vooringenomenheid.

Technische samenvatting

Titel: Novelty-Driven Target-Space Discovery in Automated Electron and Scanning Probe Microscopy

Auteurs: Utkarsh Pratiush, Kamyar Barakati, et al. (Universiteit van Tennessee, Universiteit van Washington, Pacific Northwest National Laboratory).

---

1. Het Probleem

Moderne geautomatiseerde microscopie (zoals Scanning Transmission Electron Microscopy - STEM en Scanning Probe Microscopy - SPM) staat voor een fundamentele uitdaging in de wetenschappelijke ontdekking:

• Beperking van zichtbaarheid: De belangrijkste wetenschappelijke informatie bevindt zich vaak niet in direct zichtbare beeldkarakteristieken, maar in de "doelruimte" (target space) van sequentieel opgenomen spectra of functionele responsen.
• Onbekende objecten: In complexe, heterogene materialen zijn de objecten van belang vaak niet a priori bekend. Ze kunnen niet van tevoren worden geïdentificeerd op basis van structuurbeelden.
• Beperkingen van brute kracht: Exhaustieve metingen op dichte roosters zijn onhaalbaar door de lange acquisitietijd en het risico op stralingsbeschadiging van het monster.
• Tekortkomingen van bestaande methoden: Traditionele actieve leeralgoritmen (zoals Bayesian Optimization) zijn vaak gericht op het maximaliseren van een bekende doelwaarde (exploitatie) of het minimaliseren van onzekerheid. Dit leidt vaak tot een "instorting" van de trajecten naar lokale optima, waarbij de algoritmen stoppen met het verkennen van andere, potentieel interessante gebieden in de doelruimte. Er is een behoefte aan strategieën die actief zoeken naar nieuwheid (novelty) in plaats van alleen optimalisatie.

2. Methodologie: Het BEACON-DKL Framework

De auteurs hebben een nieuw raamwerk ontwikkeld genaamd BEACON (Bayesian Evolutionary Analysis for Cosmological Observation Networks), geïmplementeerd met Deep Kernel Learning (DKL).

• Architectuur (DKL):

  • Het systeem gebruikt een Convolutional Neural Network (CNN) als feature-extractor om hoge-dimensionale beeldpatches (bijv. HAADF-STEM of PFM-afbeeldingen) te comprimeren naar een lage-dimensionale latente ruimte.
  • Deze latente representatie wordt gebruikt als input voor een Gaussian Process (GP).
  • De kernelfunctie wordt getransformeerd naar een "deep kernel": $k_{deep}(x, x') = k(\phi(x, w), \phi(x', w))$, waarbij $\phi$ de CNN is en $w$ de gewichten. Dit stelt het model in staat om structureel-structurele relaties te leren die direct gekoppeld zijn aan de fysieke respons.

• Acquisitiefunctie (BEACON):

  • In tegenstelling tot standaard methoden die een scalar maximaliseren, zoekt BEACON naar nieuwheid in de doelruimte (de ruimte van de gemeten responsen/spectra).
  • Het definieert een "elite set" ($\mathcal{E}$) van de top-metingen op basis van een fysiek criterium.
  • De acquisitiewaarde $\alpha_{BEACON}(x)$ wordt berekend als de gemiddelde afstand van een voorspelling $\hat{y}(x)$ tot de $k$-naaste buren in de elite set.
  • Formule: $\alpha_{BEACON}(x) = \frac{1}{k}\sum_{j=1}^{k} |\hat{y}(x) - y_j|$, waarbij $y_j$ de responsen zijn van de $k$ meest vergelijkbare punten in de elite set.

• Stochastische Exploratie (Thompson Sampling):

  • Om modelonzekerheid te hanteren, trekt het systeem niet de gemiddelde voorspelling, maar steekt het een steekproef $\hat{y}(x)$ uit de volledige posterior-verdeling ($\mathcal{N}(\mu(x), \sigma^2(x))$).
  • Dit zorgt voor een natuurlijke balans tussen exploratie en exploitatie; gebieden met hoge onzekerheid genereren soms "nieuwe" waarden die de microscoop aanmoedigen om die regio te verkennen.

• Implementatie:

  • Het framework is geschreven in Python (GPyTorch, BoTorch).
  • Het werkt hardware-onafhankelijk via APIs (zoals AutoScript TEM Client) en kan worden getest op "digitale tweelingen" (voorgaande datasets) of live op microscopen.

3. Belangrijkste Bijdragen

1. Verschuiving van Optimalisatie naar Ontdekking: Het introduceren van een strategie die specifiek is ontworpen om diverse gedragsregimes in de doelruimte te vinden, in plaats van alleen naar een lokaal optimum te convergeren.
2. Overbrugging van Structuur en Eigenschap: Het gebruik van DKL om direct een relatie te leren tussen ruwe beeldpatches en complexe spectrale responsen, waardoor de "scalarizer-bottleneck" (de noodzaak van diepgaande domeinkennis om een beloningsfunctie te definiëren) wordt verminderd.
3. Benchmarking Framework: Het ontwikkelen van een transparante set van monitoringfuncties om de kwaliteit van exploratie, de dekking van de doelruimte en het gedrag van het surrogate-model te evalueren.
4. Live Implementatie: Het succesvol overzetten van het algoritme van offline validatie naar een live experiment op een STEM-microscoop.

4. Resultaten

De methode werd getest op drie scenario's:

• Piezoresponse Force Microscopy (PFM) Data (Ferroëlektrische domeinen):

  • Vergelijking met Expected Improvement (EI) en Maximum Uncertainty (MU).
  • Resultaat: EI en MU vertoonden een sterke neiging tot "trajectinstorting" (clustering) in een klein deel van het beeld, waardoor ze de rest van het monster negeerden. BEACON behield een ruimtelijk verspreide traject en bereikte sneller en vollediger dekking van de doelruimte (verschillende hysteresis-lusgedragingen).
  • Latente Ruimte: In de door een VAE (Variational Autoencoder) gegenereerde latente ruimte toonde BEACON een bredere en evenwichtigere verkenning van de beschikbare structurele variaties.

• STEM-EELS Data (Plasmonische nanodeeltjes):

  • Zelfs in een eenvoudiger landschap toonde BEACON superieure prestaties. Hoewel de doelruimte-dekking vergelijkbaar was, toonde BEACON een veel bredere verkenning van de structuurruimte (feature space). EI en MU bleven hangen in lokale regio's, terwijl BEACON uniform over het monster verdeelde.

• Live STEM-EDX Experiment:

  • Toepassing op een mengsel van CdS-nanostaven, CdSe-nanoplatelets en quantum dots.
  • De scalarizer was gebaseerd op het Selenium (Se) signaal.
  • Resultaat: BEACON bereikte aanzienlijk hogere dekking van de patch-ruimte over 100 stappen vergeleken met EI en MU. De berekeningstijd per stap was verwaarloosbaar (0,05s) ten opzichte van de hardware-acquisitietijd (3s), wat het geschikt maakt voor real-time gebruik.

5. Betekenis en Conclusie

Dit werk markeert een verschuiving naar een "open tijdperk" van geautomatiseerde ontdekking in de microscopie:

• Autonome Ontdekking: Het stelt microscopen in staat om niet alleen bekende objecten te meten, maar actief naar onbekende fysische fenomenen en zeldzame defecten te zoeken die niet van tevoren gedefinieerd kunnen worden.
• Efficiëntie: Het maximaliseert de informatiewaarde per meting door brute-force scanning te vermijden en zich te richten op de meest informatieve en diverse regio's.
• Open Science: De auteurs hebben de code en notebooks openbaar gemaakt, waardoor de gemeenschap de workflows kan reproduceren, benchmarken en aanpassen aan eigen instrumenten.

Kortom, BEACON-DKL biedt een robuust, data-gedreven raamwerk dat de beperkingen van menselijke observatie en traditionele optimalisatie overbrugt, waardoor het mogelijk wordt om complexe materiaalgedragingen systematisch en autonoom te ontdekken.