Unsupervised anomaly detection in MeV ultrafast electron diffraction

Deze studie presenteert een volledig onbewaakte methode op basis van een convolutionele autoencoder om anomalieën in grote datasets van MeV-ultrasnelle elektronendiffractiepatronen te detecteren en te verwijderen, waardoor de nauwkeurigheid van de techniek aanzienlijk wordt verbeterd.

De kern

De Probleemstelling: Een wazige foto van deeltjes

Stel je voor dat je een heel snel bewegend object wilt fotograferen, bijvoorbeeld een atoom dat trilt. Om dit te doen, gebruiken wetenschappers een techniek genaamd MUED (MeV ultrafast electron diffraction). Ze schieten een straal van elektronen (kleine deeltjes) door een materiaal en kijken hoe deze botsen en een patroon vormen op een scherm. Dit patroon vertelt hen hoe de atomen eruitzien.

Het probleem is dat deze elektronenstraal niet altijd perfect stabiel is. Soms "trilt" de straal een beetje of schiet hij een beetje scheef. Dit is als een fotograaf die zijn hand trilt terwijl hij een foto maakt. Het resultaat is een wazige of vervormde foto.

Om een duidelijk beeld te krijgen, maken wetenschappers duizenden van deze foto's en middelen ze samen (net als bij het maken van een lange belichting). Maar als er tussen die duizenden foto's een paar "wazige" foto's zitten, gaat de hele gemiddelde foto er slecht uitzien. De fijne details van het materiaal verdwijnen.

De Oplossing: Een slimme AI die "fouten" ziet

De onderzoekers hebben een slimme computerprogramma (een kunstmatige intelligentie) ontwikkeld dat automatisch deze slechte foto's herkent en verwijdert, zonder dat een mens ze eerst handmatig hoeft te controleren.

Hier is hoe het werkt, stap voor stap:

1. De "Spiegel" (De Auto-Encoder)

Stel je voor dat je een spiegel hebt die zo goed is dat hij een foto van een gezicht perfect kan nabootsen. Als je een normaal gezicht voor de spiegel houdt, ziet de kopie er exact hetzelfde uit.

• De truc: Deze spiegel is getraind op duizenden goede foto's van het elektronenpatroon. Hij heeft geleerd hoe een "perfecte" foto eruit moet zien.
• De test: Als je nu een slechte (wazige) foto voor de spiegel houdt, probeert hij die ook na te bootsen. Maar omdat hij alleen weet hoe een goede foto eruitziet, maakt hij een fout. Hij probeert de wazigheid weg te halen en maakt er een "normale" foto van.
• Het resultaat: De computer vergelijkt de originele (slechte) foto met de geprobeerde (goede) kopie. Het verschil tussen de twee is groot. Dat grote verschil is het bewijs dat de foto "ziek" of "fout" is.

2. De "Puzzel" (Tiling)

De foto's zijn groot en complex. Om het makkelijker te maken, knipt de computer elke foto in duizenden kleine stukjes (zoals een puzzel). Hij kijkt naar elk stukje apart.

• Als een stukje alleen maar witte ruis is (achtergrond), gooit hij het weg.
• Als een stukje een belangrijk patroon bevat, laat hij de "spiegel" eroverheen werken.
• Dit zorgt ervoor dat de computer zich concentreert op de belangrijke details en niet op de ruis.

3. De "Gok" (Waarschijnlijkheid)

Niet elke fout is even groot. Soms is een foto net iets minder goed dan gemiddeld. De computer berekent dan niet alleen "ja/nee", maar geeft een kans af.

• "Deze foto is 99% waarschijnlijk goed." -> Bewaren.
• "Deze foto is 99% waarschijnlijk fout." -> Weggooien.
• "Deze foto is 50/50." -> Handmatig controleren.

Dit is heel handig voor de menselijke onderzoeker. In plaats van 10.000 foto's te bekijken, hoeft hij alleen maar naar de paar foto's te kijken waar de computer twijfelt. De rest wordt automatisch opgeschoond.

Waarom is dit zo speciaal?

• Onbewust leren: De computer heeft geen mens nodig om te zeggen "dit is een goede foto" en "dit is een slechte foto". Hij leert zelf wat "normaal" is door alleen maar naar de goede foto's te kijken. Dit bespaart enorm veel tijd.
• Snelheid: Het programma is zo efficiënt dat het een foto in ongeveer 1 seconde kan controleren. Het trainen van het systeem kostte slechts 10 seconden per foto.
• Betrouwbaarheid: Het systeem gooit slechts heel weinig goede foto's weg (minder dan 0,4% fouten). Dat betekent dat ze bijna alle slechte foto's vangen zonder de goede te verliezen.

Conclusie

Kortom: De onderzoekers hebben een digitale "kwaliteitscontroleur" gebouwd die werkt als een slimme spiegel. Hij ziet direct welke foto's van de elektronenstraal "slecht" zijn door te kijken hoeveel moeite hij moet doen om ze na te bootsen. Hierdoor kunnen wetenschappers in de toekomst veel scherpere en nauwkeurigere foto's maken van de snelste processen in de natuur, zonder dat ze uren hoeven te zoeken naar de fouten in hun data. Het is alsof je een hele berg vuilnis (slechte data) automatisch sorteert, zodat je alleen nog maar de schatten (goede data) overhoudt.

Technische samenvatting

Probleemstelling

MeV ultrafast electron diffraction (MUED) is een pompproef-techniek die wordt gebruikt om de dynamische structurele evolutie van materialen te bestuderen. In een typisch experiment wordt een ultrakorte laserpuls gebruikt om structurele veranderingen te triggeren, die vervolgens worden onderzocht met een ultrakorte relativistische elektronenbundel. Om een voldoende signaal-ruisverhouding (SNR) te bereiken, worden diffractiepatronen gemiddeld over duizenden schots (shots).

Het centrale probleem is echter dat instabiliteiten in de elektronenbundel van shot tot shot kunnen leiden tot vervormde individuele patronen. Wanneer deze "defecte" of anomalie-beelden worden meegenomen in het gemiddelde, daalt de resolutie van het eindresultaat, waardoor subtiele structurele veranderingen in het materiaal kunnen worden gemaskeerd. Traditionele methoden vereisen handmatige inspectie of gelabelde datasets om deze fouten te verwijderen, wat tijdrovend en onpraktisch is voor grote datasets die met hoge snelheid worden gegenereerd (25 Mb/s bij 5 Hz).

Methodologie

De auteurs hebben een volledig onzelftoezichtende (unsupervised) methode ontwikkeld om deze anomalieën te detecteren en te verwijderen zonder dat handmatige labeling van trainingsdata nodig is. De aanpak bestaat uit de volgende stappen:

1. Data Pre-processing:

   • De originele 512x512 pixeldiffractiepatronen worden genormaliseerd.
   • Beelden worden opgedeeld in overlappende tegels (tiles) van 80x80 pixels.
   • Tegels die alleen achtergrondruis bevatten (geen Bragg-pieken), worden gefilterd op basis van een algoritme dat verbonden pixels boven een drempelwaarde telt (bepaald door de mediaan van de amplitude).
   • Dit zorgt ervoor dat het model zich concentreert op de relevante signaalcomponenten.

2. Convolutional Autoencoder (CAE):

   • Een lichtgewicht Convolutional Autoencoder wordt getraind om de "normale" diffractiepatronen te reconstrueren.
   • De architectuur bevat een encoder (3 convolutielagen met MaxPooling) die de data comprimeert naar een latente ruimte van 256 dimensies, en een decoder (3 transpositie-convolutielagen) die het beeld reconstrueert.
   • Het model wordt getraind met de Mean Squared Error (MSE) als verliesfunctie en de Adam-optimizer. Het doel is om de CAE te laten leren hoe een "gezond" patroon eruitziet.

3. Anomalie Detectie via Residu-analyse:

   • Tijdens de testfase wordt de reconstruktiefout (MSE) berekend voor elke pixel van de geteste tegels.
   • Normale beelden worden goed gereconstrueerd (lage fout), terwijl anomalieën (door bundelinstabiliteit) niet goed worden gereconstrueerd omdat ze afwijken van de trainingsverdeling (hoge fout).
   • De verdeling van deze fouten wordt statistisch gemodelleerd als een mengsel van twee verdelingen: één voor normale beelden ($N$) en één voor anomalieën ($A$). De auteurs passen hierbij Rice-verdelingen (of een vertekende Rayleigh-verdeling) toe.
   • Met behulp van een Maximum Likelihood schatting (via het L-BFGS-B algoritme) worden de parameters van deze verdelingen en de a priori kansen bepaald.

4. Achterwaartse Kansberekening:

   • Op basis van de gemodelleerde foutverdeling wordt de achterwaartse waarschijnlijkheid $p(N|e)$ berekend: de kans dat een beeld normaal is, gegeven de waargenomen reconstruktiefout.
   • Een drempelwaarde (bijv. 50% waarschijnlijkheid) wordt automatisch bepaald om beelden te classificeren. Beelden met een lage waarschijnlijkheid worden verwijderd; beelden met een kans dicht bij 0.5 kunnen visueel worden gecontroleerd.

Belangrijkste Bijdragen

• Volledig Onzelftoezichtend: De methode vereist geen gelabelde datasets. Het systeem leert wat "normaal" is door alleen op de verdeling van de data te kijken, wat de gebruiker vrijmaakt van tijdrovende handmatige inspectie.
• Probabilistische Output: In plaats van een simpele "ja/nee"-classificatie, biedt het systeem een geschatte waarschijnlijkheid dat een beeld normaal is. Dit stelt de gebruiker in staat om onzekerheid te kwantificeren en alleen twijfelachtige gevallen visueel te inspecteren.
• Efficiëntie: De methode is zeer snel en computerefficiënt, wat essentieel is voor real-time of near-real-time toepassingen in experimenten met hoge doorvoer.
• Generaliseerbaarheid: Hoewel getest op MUED, is de aanpak toepasbaar op andere diffractietechnieken met grote datasets en instrumentele instabiliteiten.

Resultaten

De methode werd getest op een dataset van 1521 beelden (waarvan 615 defect en 906 normaal), getraind op slechts 100 beelden.

• Prestaties: De methode bereikte een false positive rate (FPR) tussen 0,2% en 0,4%. Dit betekent dat zeer weinig goede beelden per ongeluk worden verwijderd.
• Snelheid:
  • Trainingsduur: Ongeveer 10 seconden per beeld (totale trainingstijd < 2 minuten voor 100 beelden).
  • Testduur: Ongeveer 1 seconde per beeld (inclusief laden van de harde schijf).
• Robuustheid: Zelfs bij een dataset met slechts 2% defecte beelden (98% normaal) bleef de methode effectief, met een FPR van 0,22%.
• Visualisatie: De ROC-curve (Receiver Operating Characteristic) toonde een detectiepercentage van 100% bij een zeer lage false positive rate.

Betekenis en Toekomstperspectief

Deze studie biedt een krachtig instrument om de resolutie en nauwkeurigheid van MUED-experimenten aanzienlijk te verbeteren door het verwijderen van ruis veroorzaakt door instrumentele instabiliteit. Door de signaal-ruisverhouding te optimaliseren, kunnen onderzoekers subtiele structurele veranderingen in materialen beter waarnemen.

De methode fungeert niet alleen als een filter, maar ook als een stabiliteitsdiagnostisch hulpmiddel voor het systeem zelf. Het feit dat het systeem autonoom drempelwaarden bepaalt en geen handmatige parameteraanpassing vereist, maakt het ideaal voor integratie in complexe experimentele opstellingen. Hoewel de huidige pre-processing is afgestemd op kristallijne patronen met Bragg-pieken, kan het kader worden aangepast voor andere toepassingen, zoals gasfase-diffractie. De auteurs wijzen er ook op dat subtiele lokale defecten (zoals dode pixels) soms gemaskeerd kunnen worden door globale middeling, en dat toekomstig werk zich kan richten op robuustere aggregatiemethoden (bijv. het gebruik van de maximale tegelfout) om deze te detecteren.