PtyRANNOSAUR: Ptychography with Robust Artificial Neural Networks Optimized for Sub-Angstrom Accuracy and Ultrafast Reconstruction

Technische Samenvatting van PtyRANNOSAUR

Probleemstelling
Elektronen-ptychografie is een krachtige techniek voor het terugwinnen van fasebeelden van 2D- of 3D-objecten uit 4D scanning transmission electron microscopy (STEM)-datasets, wat diepe sub-angstroom-resolutie en een hoge dosis-efficiëntie mogelijk maakt. De brede adoptie ervan wordt echter momenteel gehinderd door de enorme computationele kosten van gegevensverwerking. De huidige state-of-the-art reconstructie steunt op iteratieve fysisch-gebaseerde solvers (bijv. PtyRAD) die automatische differentiatie gebruiken om de voorwaartse modellen van elektronverstrooiing te optimaliseren. Hoewel accuraat, vereisen deze methoden honderden tot duizenden iteraties, wat vaak uren duurt op moderne GPU's (bijv. NVIDIA A100). Deze latentie staat real-time feedback op de monster tijdens de data-acquisitie in de weg en beperkt de experimentele doorvoer. Daarentegen bieden bestaande single-shot machine learning (ML) methoden snelheid, maar houden ze geen rekening met complexe elektronverstrooiingsfysica, optische variaties van de microscoop of fouten in de scannpositie, wat resulteert in een inferieure resolutie en kwaliteit vergeleken met iteratieve methoden. Er blijft een onvervulde behoefte aan een reconstructiemethode die werkt op bijna real-time snelheden, terwijl de nauwkeurigheid, generaliseerbaarheid en resolutie van iteratieve solvers behouden blijven over diverse materiaalsystemen en experimentele condities.

Methodologie
De auteurs introduceren PtyRANNOSAUR, een datagestuurd neuraal netwerkframework ontworpen om data van atoomresolutie elektronen-ptychografie in seconden te reconstrueren. De kernmethodologie omvat het trainen van gespecialiseerde convolutionele autoencoders om 4D-STEM-data (specifiek een 5×5 rooster van convergent beam electron diffraction-patronen) direct in kaart te brengen naar 2D geprojecteerde fasebeelden.

• Generatie van Trainingsdata: In plaats van standaardafbeeldingen of eenvoudige simulaties te gebruiken, genereerden de auteurs een massale database van 6,4 miljoen input-target paren. De targets zijn 2D geprojecteerde fasebeelden (3 Å × 3 Å) afgeleid van 16.000 stabiele kristalstructuren afkomstig van de Materials Project. De inputs zijn overeenkomstige sets van 25 gesimuleerde CBED-patronen gegenereerd met multislice elektronverstrooiingssimulaties in abTEM.
• Fysisch-geïnformeerde Simulatie: De trainingsdata bevatten expliciet complexe fysische verschijnselen, waaronder meervoudige verstrooiing (via de multislice-methode), ruimtelijke partiële coherentie (gemodelleerd via Gaussische convolutie om de bronomvang te simuleren), en variaties in experimentele parameters zoals versnellingsspanning, convergentiehoek, defocus en monsterdikte. Dit zorgt ervoor dat het netwerk de inverse mapping leert voor realistische, imperfecte experimentele condities in plaats van geïdealiseerde scenario's.
• Model-specialisatie: Drie verschillende modellen werden getraind om verschillende experimentele regimes te dekken:
  • Model 2: Geoptimaliseerd voor ultra-dunne monsters (bijv. 2D-materialen) bij 80 kV met een dikte van 2 ± 0,6 nm.
  • Model 10 & Model 20: Geoptimaliseerd voor standaard TEM-lamellen bij 300 kV met nominale diktes van respectievelijk 10 ± 2 nm en -20 ± 2 nm.
• Verliesfunctie: De netwerken worden getraind met de Structural Similarity Index Measure (SSIM) als verliesfunctie, die de luminantie, contrast en structurele gelijkenis tussen de output van het netwerk en de grondwaarheid van het fasebeeld kwantificeert.
• Inference en Stitching: Tijdens de inference verwerkt het netwerk overlappende lokale patches van de 4D-STEM-data. Deze patches worden samengevoegd (gestitched) om het volledige beeld te vormen. Om stage drift en probe position errors die gebruikelijk zijn in experimentele data aan te pakken, hebben de auteurs een optionele post-processing positiecorrectiemodule geïmplementeerd met behulp van fase cross-correlatie, die ongeveer 20 seconden op een CPU draait.

Belangrijkste Bijdragen

1. Ultrasnelle Reconstructie: PtyRANNOSAUR bereikt reconstructiesnelheden van ongeveer 5 seconden per dataset op een enkele NVIDIA A100 GPU, wat een 10–100x versnelling betekent ten opzichte van standaard iteratieve methoden (die ~30 minuten duren).
2. Robuustheid tegen Experimentele Variabiliteit: De modellen vertonen een significante tolerantie voor variaties in defocus (±8 nm), scan stapgrootte (±0,12 Å), monsterdikte (±10 nm) en convergentiehoek (±2 mrad), waardoor de handmatige hyperparameter-tuning die typisch vereist is voor iteratieve solvers wordt geëlimineerd.
3. Afhandeling van Complexe Fysica: In tegen tegenovergaand aan eerdere single-shot ML-benaderingen, houdt PtyRANNOSAUR succesvol rekening met meervoudige verstrooiing en ruimtelijke partiële coherentie, wat nauwkeurige reconstructies van dikkere monsters (tot ~25 nm) en complexe geometrieën mogelijk maakt.
4. Toegankelijkheid: De auteurs bieden getrainde modellen aan via een gebruiksvriendelijke Jupyter notebook-interface, waardoor gebruikers reconstructies kunnen uitvoeren zonder data te simuleren of nieuwe modellen te trainen, terwijl er ook de mogelijkheid is om aangepaste modellen te trainen voor specifieke microscoopconfiguraties.

Resultaten
De auteurs hebben PtyRANNOSAUR gevalideerd op zowel experimentele als gesimuleerde datasets:

• Experimentele Prestaties: De methode werd getest op diverse specimens, waaronder bulk saffier, Al/AlOx/Al dunne film multilagen, goudnanodeeltjes op amorf koolstof, en gedraaide bilaterale MoS2. In alle gevallen produceerde PtyRANNOSAUR atoomresolutie beelden die vergelijkbaar met, en in sommige gevallen zelfs beter dan, de kwaliteit van iteratieve PtyRAD-reconstructies. Met name voor gedraaide bilaterale MoS2 loste het netwerk atomaire kolommen op met een afstand van 0,4 Å, waarmee een resolutie van < 0,5 Å werd bereikt, wat nauwelijks werd opgelost in de iteratieve reconstructie.
• Detectie van Defecten: Het netwerk identificeerde succesvol enkelvoudige atomaire defecten, zoals zwavelvacatures in MoS2, zonder dat daarvoor materiaal-specifieke training nodig was.
• Gesimuleerde Validatie: Op een validatieset van 2.950 ongeziene materialen daalde de mediane materiaal-niveau SSIM-loss naar 0,020 na het samenvoegen (stitching), waarbij het netwerk periodieke roosterstructuren en relatieve intensiteiten getrouw reproduceerde.
• Robuustheid: De modellen behielden een hoge nauwkeurigheid over de geteste parameterbereiken. Hoewel de prestaties afnamen buiten deze bereiken (bijv. extreme defocus of dikte), legde het netwerk nog steeds de grove structuur vast, wat fungeert als een snelle diagnose voor problemen met de datakwaliteit.

Betekenis en Claims
Het artikel beweert dat PtyRANNOSAUR "bijna real-time, state-of-the-art elektronen-ptychografie reconstructies" mogelijk maakt. Door de computationele bottleneck van uren naar seconden te reduceren, stelt het framework gebruikers in staat om real-time feedback te krijgen tijdens de data-acquisitie, waardoor zij kenmerken van belang kunnen lokaliseren en acquisitieparameters on the fly kunnen optimaliseren. De auteurs positioneren de tool niet alleen als een zelfstandige reconstructiemethode, maar ook als een generator van priors om iteratieve solvers te versnellen of als een snelle screeningsmethode voor grote datasets (bijv. in-situ experimenten of tomografie). Het werk demonstreert dat deep learning effectief de complexe, niet-lineaire inverse problem van elektronen-ptychografie kan leren, waarbij een diepe sub-angstroom resolutie (< 0,5 Å) wordt bereikt met robuustheid tegen experimentele imperfecties, waardoor toegang tot hoogwaardige microscopie wordt gedemocratiseerd.