Unsupervised segmentation and clustering workflow for efficient processing of 4D-STEM and 5D-STEM data

Deze paper introduceert een onbeheerd werkstroom voor clustering en segmentatie van 4D- en 5D-STEM-data die kristallografisch verschillende domeinen identificeert op basis van lokale diffractiepatroon-相似heid, waardoor data-aanvullende compressie en snelle, nauwkeurige mapping van oriëntatie, fase en spanning mogelijk worden, zoals gedemonstreerd bij de groei van goudnanodeeltjes.

De kern

🧐 De Microscoop die "Klontjes" Ziet in plaats van Pixels

Stel je voor dat je een gigantisch mozaïek van een landschap bekijkt, maar dan gemaakt van miljoenen kleine tegeltjes. Elk tegeltje is een foto van een heel klein stukje van het landschap. In de wereld van de elektronenmicroscopie noemen we dit een 4D-STEM-dataset. Het is een enorme verzameling van duizenden diffractiepatronen (die lijken op sterrenbeelden of vlekjespatronen) die vertellen hoe atomen in een materiaal zitten.

Het probleem?

1. Te veel data: Het zijn miljoenen tegeltjes. Dat is als proberen een heel boek te lezen, letterlijk woord voor woord, terwijl je eigenlijk alleen de hoofdstukken wilt begrijpen.
2. Te veel ruis: Omdat de microscopen zo snel en gevoelig zijn, zijn de foto's vaak wazig of bevatten ze "statiek" (zoals bij een slechte tv-ontvangst).
3. Moeilijk te lezen: Als je naar één tegeltje kijkt, zie je misschien niet duidelijk of het een boom, een huis of een auto voorstelt.

🚀 De Oplossing: De "Slimme Groeperingsmachine"

De onderzoekers van Stanford en Berkeley hebben een nieuwe manier bedacht om dit enorme mozaïek te ordenen. Ze noemen het een "ongesuperviseerde segmentatie en clustering workflow". Laten we dat in gewone taal vertalen:

Stel je voor dat je een grote zaal vol mensen hebt die allemaal verschillende talen spreken.

• De oude manier: Je loopt naar elke persoon afzonderlijk en vraagt: "Welke taal spreek jij?" Dit duurt eeuwen en als de persoon fluistert (weinig signaal), hoor je het niet.
• De nieuwe manier (deze paper): Je kijkt naar de mensen en laat ze zich automatisch groeperen op basis van wat ze zeggen. Als twee mensen dezelfde taal spreken, blijven ze bij elkaar staan. Je maakt een cirkel om die groep heen.
  • Nu hoef je niet naar iedereen te luisteren. Je vraagt slechts één vertegenwoordiger van elke groep: "Wat is jullie taal?"
  • Omdat die vertegenwoordiger het gemiddelde is van de hele groep, hoor je de taal veel duidelijker (minder ruis).
  • Je hebt nu niet meer 1 miljoen mensen nodig om te begrijpen wat er gebeurt, maar slechts 50 groepen.

🔍 Hoe werkt het precies? (De "Marching Squares")

De kern van hun methode is een algoritme dat ze de "Marching Squares" noemen.

1. Het Vergelijken: De computer kijkt naar twee naast elkaar liggende "tegels" (proefpunten) in het mozaïek. Zijn de patronen erop heel erg op elkaar? Dan zijn ze waarschijnlijk hetzelfde materiaal.
2. Het Groeien: Als twee tegels op elkaar lijken, groeit er een onzichtbare lijn (een contour) om ze heen. Deze lijn blijft groeien zolang de volgende tegel er ook nog op lijkt.
3. Het Stoppen: Zodra de lijn een tegel tegenkomt die er heel anders uitziet (bijvoorbeeld een ander kristal of vloeistof), stopt de lijn. Zo ontstaat er een afgebakend gebiedje (een "cluster").
4. Het Gemiddelde: Alle tegels binnen die afgebakende lijn worden samengevoegd tot één super-scherpe foto.

🌊 Het Experiment: Gouddeeltjes in Water

Om te bewijzen dat dit werkt, keken ze naar gouddeeltjes die groeien in een vloeistof (een "liquid cell") onder een elektronenstraal.

• De uitdaging: Vloeistof is wazig en maakt het beeld erg "ruisig". Het is alsof je door een modderig raam naar een dansende groep mensen kijkt.
• Het resultaat: Met hun nieuwe methode konden ze duidelijk zien waar de gouddeeltjes zaten en hoe ze groeiden, zelfs in dat modderige water. Ze zagen de randen van de kristallen en de spanningen in het materiaal veel scherper dan voorheen.

💡 Waarom is dit zo geweldig?

1. Snelheid: Omdat ze van miljoenen foto's naar slechts een paar honderd "gemiddelde foto's" gaan, wordt de berekening duizenden keren sneller. Het is alsof je van het lezen van een hele bibliotheek overschakelt naar het lezen van een samenvatting van 50 pagina's.
2. Kwaliteit: Door het "gemiddelde" te nemen van een hele groep, wordt het signaal sterker en de ruis verdwijnt. Het is alsof je in een stilte een fluistering hoort, maar als 100 mensen tegelijk fluisteren, hoor je het duidelijk als een stem.
3. Toekomst: Dit werkt ook voor 5D-STEM, wat betekent dat ze dit kunnen gebruiken voor video's van materialen die veranderen in de tijd (bijvoorbeeld tijdens een chemische reactie).

🏁 Conclusie

Kortom: Deze onderzoekers hebben een slimme "organiserende machine" bedacht voor de enorme hoeveelheden data die moderne elektronenmicroscopen produceren. In plaats van te verdrinken in een zee van pixels, helpt deze methode wetenschappers om de echte structuur van materialen te zien, sneller en scherper dan ooit tevoren. Het is een nieuwe manier om te kijken naar de bouwstenen van onze wereld, zelfs als die in een modderige vloeistof zitten.

Technische samenvatting

Probleemstelling

Vier-dimensionale scanning transmissie-elektronenmicroscopie (4D-STEM) en de uitgebreide vijf-dimensionale variant (5D-STEM, inclusief tijdsdimensie voor in situ experimenten) genereren enorme datasets. Elke scanpositie registreert een volledige diffractiepatroon, wat inzicht geeft in lokale structuur, oriëntatie en spanning.
De huidige uitdagingen zijn:

• Dataomvang en complexiteit: De datasets zijn zo groot dat directe analyse computatief onhaalbaar wordt, vooral bij in situ experimenten (bijv. vloeistofcellen) waar signalen vaak een lage signaal-ruisverhouding hebben.
• Beperkingen van bestaande methoden: Traditionele analyses vertrouwen vaak op handmatige selectie van gebieden of globale drempelwaarden. Ongecontroleerde clustering-methoden (zoals K-means of DBSCAN) zijn vaak gevoelig voor gebruikersparameters en hebben moeite met onregelmatige vormen of hiërarchisch ingekapselde gebieden.
• Behoefte aan fysiek betekenisvolle segmentatie: Er is een methode nodig die structureel consistente gedragingen over opeenvolgende metingen kan segmenteren zonder de onderliggende fysieke details te verliezen, terwijl de data gereduceerd wordt voor efficiënte verwerking.

Methodologie

De auteurs introduceren een ongecontroleerd (unsupervised) clustering-kader gebaseerd op het Marching Squares-algoritme. De workflow bestaat uit de volgende stappen:

1. Preprocessing (Correlatieve pixelgebaseerde filtering):

   • Om de signaal-ruisverhouding te verbeteren, wordt elk diffractiepatroon direct in de reciproke ruimte (q-ruimte) gegauß-geblurd.
   • Een radiale weegfunctie wordt toegepast om het intense centrale bundelpunt te onderdrukken en hogere hoekdiffractie (structuurinformatie) te benadrukken.
   • Er wordt een correlatiecoëfficiënt berekend tussen een referentiepixel en zijn buren. Diffractiepatronen worden vervolgens gewogen en gemiddeld op basis van hun correlatiesterkte met de buren, wat ruis onderdrukt zonder overmatige gladmaking van echte grenzen.

2. Berekening van de Similariteitsmatrix:

   • Voor elke scanpositie wordt de gelijkenis (gebaseerd op genormaliseerde cosinus-correlatie) berekend tussen het diffractiepatroon en zijn acht directe buren.
   • Dit resulteert in een 3D-similariteitsarray die de lokale coherentie van de diffractiepatronen weergeeft.

3. Marching-Squares Clustering:

   • Het algoritme segmenteert de data door iteratief verbonden gebieden te laten groeien waar de lokale similariteit een vooraf gedefinieerde drempelwaarde ($T$) overschrijdt.
   • Het proces begint bij de pixel met de hoogste gemiddelde similariteit (de "seed") en breidt zich recursief uit naar buren die boven de drempel liggen.
   • Dit creëert gesloten contouren die de grenzen van kristallografisch onderscheidende domeinen markeren.

4. Clusterverfijning en Datareductie:

   • Kleine, ruisgevoelige clusters worden verwijderd.
   • Voor elke resterende cluster wordt een gemiddeld diffractiepatroon gegenereerd door de patronen van alle pixels in die cluster te middelen.
   • Dit reduceert de data van een 4D-cube ($x, y, q_x, q_y$) naar een 3D-representatie ($N_{clusters}, q_x, q_y$), waarbij $N_{clusters}$ vaak 2-3 orders van grootte kleiner is dan het aantal scanposities.

5. Toepassing op 5D-STEM:

   • Voor tijdsopgeloste experimenten wordt de workflow sequentieel toegepast op individuele frames van de 5D-dataset, wat efficiënte verwerking van grote tijdsreeksen mogelijk maakt.

Belangrijkste Bijdragen

• Nieuwe Algoritme: Een robuuste, ongecontroleerde clustering-methode die gebruikmaakt van lokale diffractie-similariteit en het Marching Squares-algoritme om ruimtelijk coherente domeinen te identificeren.
• Datareductie en Signaalverbetering: De methode reduceert de dataomvang drastisch (tot $10^{-2}$ tot $10^{-3}$ van de oorspronkelijke grootte) terwijl de signaal-ruisverhouding door het middelen van clusters verbetert.
• Open Source Implementatie: Het algoritme is geïmplementeerd als een module in het open-source Python-pakket py4DSTEM, waardoor het breed toegankelijk en reproduceerbaar is.
• Generaliseerbaarheid: De workflow vereist slechts een paar aanpasbare parameters (similariteitsdrempel, minimale clustergrootte) en is toepasbaar op diverse 4D/5D-STEM modaliteiten.

Resultaten

De methode werd getest op in situ 4D-STEM-data van goudnanodeeltjes die groeiden in een vloeistofcel onder elektronenbestraling.

• Signaalverbetering: De geklustreerde gemiddelde diffractiepatronen tonen een duidelijk verbeterde signaal-ruisverhouding, waardoor zwakke diffractiepieken op hoge hoeken beter zichtbaar zijn dan bij ruwe data.
• Efficiëntie: De computatiekosten voor oriëntatiebepaling (via ACOM - Automated Crystal Orientation Mapping) werden met meerdere ordes van grootte verlaagd. In plaats van $512 \times 512$ patronen te analyseren, werd dit teruggebracht tot het aantal clusters.
• Nauwkeurigheid:
  • De gemiddelde hoekfout bij oriëntatiebepaling daalde van 7,32° (ruwe data) naar 2,03° na preprocessing en clustering.
  • De methode slaagde erin korrelgrenzen en spanningsgradiënten robuust af te bakenen, zelfs in de ruisrijke omgeving van een vloeistofcel.
• Spanningsanalyse: Door de stabiele oriëntatiekaarten van de clusters te combineren met de hoge ruimtelijke resolutie van de ruwe data voor de bepaling van Bragg-piekposities, kon lokale roostervervorming (strain) nauwkeurig worden gemeten.

Betekenis en Impact

Deze studie biedt een schaalbare en praktische oplossing voor de "big data"-uitdaging in de elektronenmicroscopie.

• Toekomstbestendig: De methode is essentieel voor de analyse van de steeds grotere datasets die gegenereerd worden door moderne, snelle detectoren en in situ experimenten (5D-STEM).
• Fysische Interpretatie: Het zorgt voor een brug tussen ruwe multidimensionale data en fysiek interpreteerbare structurele beschrijvers (oriëntatie, fase, spanning).
• Toegankelijkheid: Door de integratie in py4DSTEM en de lage rekenkosten (werkt zelfs op standaard CPU's), democratiseert deze methode geavanceerde analyse voor onderzoekers zonder gespecialiseerde hardware.
• Reproduceerbaarheid: De publicatie van de volledige code en workflows (via GitHub en Zenodo) ondersteunt herhaalbaarheid en hergebruik in de wetenschappelijke gemeenschap.

Kortom, dit werk transformeert de analyse van complexe 4D/5D-STEM-data van een handmatige, tijdrovende taak naar een geautomatiseerde, schaalbare en fysiek betekenisvolle workflow.