Vision Transformer for Multi-Domain Phase Retrieval in Coherent Diffraction Imaging

Deze paper introduceert de Fourier Vision Transformer, een onbewaakte deep learning-methode die de uitdagingen van faseherwinning in Bragg-coherente diffractie-imaging bij kristallen met sterke faseverstorende domeinen effectief oplost door globale reciproke-ruimte-informatie te combineren met lokale filtering, wat resulteert in robuustere en nauwkeurigere reconstructies dan bestaande iteratieve en convolutionele methoden.

De kern

Stel je voor dat je een complexe, glimmende kristallen bol hebt. Je wilt precies weten hoe de atomen erin zitten en hoe ze vervormd zijn. Maar er is een probleem: je kunt de bol niet van dichtbij bekijken. Je kunt alleen naar het patroon van licht kijken dat erop wordt gegooid en dat terugkaatst.

In de wetenschap noemen we dit Bragg Coherent Diffraction Imaging (BCDI). Het is als proberen het gezicht van iemand te reconstrueren door alleen naar de schaduwen te kijken die hun neus en kin op een muur werpen.

Het grote probleem is dat de camera alleen de helderheid van het lichtpatroon kan meten, maar niet de fase (het tijdstip waarop de lichtgolven aankomen). Zonder die fase-informatie is het alsof je een puzzel probeert op te lossen waarbij je alleen de randjes ziet, maar de stukjes in het midden ontbreken.

Vooral als het kristal "vervormd" is (bijvoorbeeld door interne spanningen of verschillende gebieden die tegen elkaar botsen), wordt dit patroon extreem ingewikkeld. Het lijkt dan op een wirwar van lijntjes en vlekjes. De oude methoden om dit op te lossen zijn als een blinde man die probeert een kamer in te lopen: ze lopen vaak vast in een hoekje of vinden een oplossing die eruitziet alsof het klopt, maar eigenlijk fout is.

De Oplossing: Een "Visie-Transformer" met een Magische Bril

In dit paper introduceren de onderzoekers een nieuwe, slimme manier om deze puzzel op te lossen. Ze gebruiken een kunstmatige intelligentie die ze een Fourier Vision Transformer (Fourier ViT) noemen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het oude probleem: De "Gooi-en-Vang" methode
De oude computersoftware deed alsof het een spelletje "Gooi-en-Vang" speelde. Het gooide een gok naar het kristal, keek of het lichtpatroon klopte, en deed het nog eens. Maar bij complexe kristallen met veel verschillende gebieden (zoals een gebroken glas dat uit duizend stukjes bestaat), raakt de software in de war. Het blijft hangen in een "lokale valkuil": het denkt dat het de oplossing heeft gevonden, terwijl het eigenlijk nog ver weg is van het echte antwoord.

2. De nieuwe methode: De "Magische Bril"
De nieuwe AI, de Fourier ViT, heeft een heel ander aanpak. In plaats van stap voor stap te gokken, kijkt het naar het hele lichtpatroon tegelijk, alsof het een magische bril draagt die alle verbindingen in één oogopslag ziet.

• De "Tokens" (De Puzzelstukjes): De AI splitst het lichtpatroon op in kleine blokjes (zoals puzzelstukjes).
• De "Global Mix" (Het Koffiegesprek): Bij een gewone AI praten deze stukjes alleen met hun directe buren. Maar bij deze nieuwe AI praat elk stukje met elk ander stukje in het patroon, zelfs als ze aan de andere kant van de foto zitten. Dit is als een koffiemomentje waar iedereen tegelijkertijd met iedereen praat. Zo ziet de AI direct: "Ah, die vlek hier links hoort bij die lijn daar rechts, omdat ze samen een specifiek patroon vormen."
• De "Frequenties" (De Muziek): De AI luistert naar het lichtpatroon alsof het muziek is. Het filtert de lage tonen (grote vormen) en de hoge tonen (kleine details) tegelijkertijd. Hierdoor kan het de fijne details van de kristalstructuur zien, zelfs als het patroon erg rommelig is.

Waarom is dit zo cool?

Het is een "Denoiser" (Ruisverwijderaar)
In het echte leven is het lichtpatroon nooit perfect; er zit altijd ruis op (zoals statische op een oude radio). De oude methoden nemen die ruis vaak mee in hun berekening, waardoor het kristal eruitziet alsof het korrelig of vettig is.
De Fourier ViT werkt als een slimme geluidsreductie in je oortjes. Het leert het verschil tussen de echte "muziek" (het kristal) en de "ruis" (de storing). Zelfs als het invoerpatroon erg slecht is, kan de AI het kristal eronder nog steeds helder en scherp reconstrueren.

Het werkt zonder "Antwoordenboekje"
Meer leren AI's vaak door duizenden voorbeelden te zien met het juiste antwoord erbij (zoals een leerling die een antwoordboekje heeft). Maar in de wetenschap hebben we vaak geen antwoordboekje; we weten niet hoe het kristal er echt uitziet.
Deze AI is onzelftoezichtend. Het leert puur door te proberen het lichtpatroon na te bootsen. Het zegt: "Ik denk dat het kristal er zo uitziet... laat me kijken of dat het juiste lichtpatroon oplevert." Als het niet klopt, past het zichzelf aan. Het is alsof een kind dat leert fietsen door zelf te vallen en op te staan, zonder dat er iemand naast staat die zegt "links sturen".

De Resultaten in het Dagelijks Leven

De onderzoekers hebben dit getest op synthetische kristallen (virtuele kristallen) en op een echt kristal van een materiaal genaamd LCMO (dat wordt gebruikt in supergeleiders en magnetische materialen).

• Succes: De AI kon kristallen met tot wel 19 verschillende gebieden (domains) reconstrueren. De oude methoden gaven vaak op bij 3 of 4 gebieden.
• Snelheid: Waar de oude methoden uren konden doen om een oplossing te vinden (en vaak faalden), doet de AI dit in een flits.
• Betrouwbaarheid: Zelfs als je de AI 100 keer laat draaien met een willekeurige start, vindt hij bijna altijd een goede oplossing. De oude methoden vinden soms een oplossing, maar vaak een verkeerde.

Samenvatting

Stel je voor dat je een ingewikkeld, gebroken mozaïek hebt waarvan je alleen de schaduw op de muur kunt zien.

• De oude methode is als iemand die blindelings probeert de stukjes in de schaduw te plaatsen, maar vaak vastloopt in een verkeerde hoek.
• De nieuwe Fourier ViT is als een meester-mozaïekmaker die in één oogopslag ziet hoe elk stukje met elk ander stukje samenhangt, de ruis van de muur negeert, en het perfecte plaatje in een seconde in elkaar zet.

Dit is een enorme stap voorwaarts voor het begrijpen van nieuwe materialen, zoals die gebruikt worden in betere batterijen of snellere computers, omdat we nu eindelijk de interne structuur van deze materialen kunnen "zien" zonder ze te breken.

Technische samenvatting

Titel: Vision Transformer voor Multi-Domein Faseherstel in Coherente Diffractiebeeldvorming

1. Het Probleem

Bragg-coherente diffractiebeeldvorming (BCDI) is een krachtige techniek om de interne structuur en roostervervormingen van nanokristallen in drie dimensies in kaart te brengen. De kernuitdaging blijft echter het faseherstel: detectoren meten alleen de intensiteit van de diffractiepatronen, terwijl de faseinformatie ontbreekt die nodig is om de real-ruimte structuur te reconstrueren.

Dit probleem wordt extreem moeilijk in het "sterke-fase" regime, waar kristallen vervormingen bevatten die groter zijn dan de helft van een roosterafstand. Een specifiek en kritisch geval hiervan is het multi-domein probleem, waarbij blokken van een kristal verschoven zijn met scherpe sprongen bij domeinwanden.

• Gevolgen: In dit regime splitsen de Bragg-pieken en ontstaan er dichte franjestructuren.
• Beperkingen van bestaande methoden: Klassieke iteratieve oplossingsmethoden (zoals Gerchberg-Saxton, HIO, RAAR) vertonen vaak stagnatie of convergeren naar verschillende oplossingen afhankelijk van de initiële random seeds. Ze zijn traag, fragiel en moeilijk te automatiseren voor in situ experimenten, vooral bij complexe multi-domein structuren.
• Beperkingen van bestaande Deep Learning: Overzichtelijke (supervised) neurale netwerken vereisen grond-waarheid labels die voor experimentele data vaak niet beschikbaar zijn. Bestaande onbewaakte (unsupervised) methoden of complexe CNN's (Convolutional Neural Networks) hebben moeite om de globale correlaties in het reciproque ruimtepatroon effectief te vangen zonder vast te lopen in lokale minima.

2. Methodologie: Fourier Vision Transformer (Fourier ViT)

De auteurs introduceren een onbewaakt (unsupervised) Fourier Vision Transformer dat direct werkt op gemeten 2D Bragg-diffractie-intensiteiten. Het model combineert lokale filtering met globale spectrale koppeling.

• Architectuur:

  • Input: Een 2D diffractiepatroon (64x64 pixels).
  • Encoder: Een ondiepe convolutionele laag (CNN) extrahert lokale kenmerken en behoudt een "skip connection" voor fijn detail.
  • Tokenisatie: Het beeld wordt opgedeeld in patches (tokens) die worden ingebed in een sequentie.
  • Multi-Schaal Fourier Attention: In plaats van de kwadratische zelf-attentie (dot-product) van standaard Transformers, gebruikt het model Fourier token mixing. Dit gebeurt via een multi-schaal ontwerp (resoluties 1:4, 1:2 en 1:1) waarbij tokens in de frequentieruimte worden gemengd.
    • Dit zorgt voor globale koppeling van reciproque ruimte-informatie met een complexiteit van $O(N \log N)$ in plaats van $O(N^2)$.
    • Het model leert per-kanaal frequentieresponsen en een gedeelde spectrale poort om zowel fijnmazige franjes als bredere lage-frequentie componenten te verwerken.
  • Decoder: Een convolutionele upsampling-pas fuseert de transformer-uitvoer met de skip-connection en een spectrale samenvatting van de input. De decoder voorspelt de amplitude en de fase (via twee kanalen die de unit-cirkel parametriseren) binnen een vast ondersteuningsgebied (support).

• Trainingsstrategie (Onbewaakt):

  • Er zijn geen real-ruimte labels nodig. Het model wordt getraind door de voorspelde diffractie-intensiteit (verkregen via een voorwaartse FFT-modellering) te vergelijken met de gemeten intensiteit.
  • Verliesfunctie: Een hybride verliesfunctie combineert:
    1. Pearson Correlatie Coëfficiënt (PCC) voor globale vormovereenkomst.
    2. RMS-genormaliseerde $\chi^2$ voor absolute mismatch.
    3. Power-gewogen $\chi^2$ om heldere en hoge-q franjes extra gewicht te geven.
    4. Total Variation (TV) regularisatie voor gladheid.
  • De wegingen van deze termen worden dynamisch aangepast tijdens het trainen (van globale correlatie naar fijne intensiteitsaanpassing).

3. Belangrijkste Bijdragen

1. Eerste toepassing van ViT in BCDI: Integratie van Vision Transformers in een volledig onbewaakt, fysisch geïnformeerd kader voor Bragg-diffractie.
2. Oplossing voor het sterke-fase regime: Het model lost het multi-domein faseherstelprobleem op, waar klassieke methoden vaak falen door niet-uniekheid en stagnatie.
3. Efficiëntie: Door Fourier token mixing te gebruiken in plaats van volledige zelf-attentie, wordt de rekenkosten drastisch verlaagd terwijl globale correlaties behouden blijven.
4. Robuustheid: Het model demonstreert superioriteit in het omgaan met ruis (Gaussisch, Poisson) en partiële coherentie.

4. Resultaten

De prestaties zijn gevalideerd op zowel synthetische data (Voronoi multi-domein kristallen) als experimentele data (La$_{2-x}$Ca$_x$MnO$_4$ nanokristallen).

• Synthetische Data:

  • Het Fourier ViT bereikt de laagste reciproque ruimte-mismatch ($\chi^2$) vergeleken met iteratieve methoden (ER/HIO) en een Complex CNN (C-CNN) baseline.
  • Het lost structuren met tot 19 domeinen op met perfecte convergentie ($\chi^2 \leq 10^{-5}$) in een aanzienlijk deel van de runs, zelfs zonder real-ruimte labels.
  • Het behoudt scherpe domeinwanden en voorkomt spurious (vals) domeinen.

• Ruisrobustheid:

  • Onder Gaussische en Poisson-ruis reduceert het model de reconstructiefout tot ongeveer de helft van de invoerfout ($\chi^2_{rec} < \chi^2_{n}$), wat aantoont dat het daadwerkelijk denoising uitvoert in plaats van ruis te kopiëren.
  • Bij partiële coherentie (blur) herkent het model de beperkingen en produceert het een "hot spot" in de amplitude, wat consistent is met de fysica van partiële coherentie.

• Experimentele Data (LCMO):

  • Op een experimenteel patroon van een sterk vervormd LCMO-kristal presteert Fourier ViT beter dan de C-CNN baseline en bereikt een $\chi^2$ vergelijkbaar met de beste iteratieve reconstructie.
  • Convergentie: Hoewel de verdeling van $\chi^2$ over verschillende runs breder is dan bij iteratieve methoden (wat de multi-basin aard van het probleem weerspiegelt), bereikt Fourier ViT een hogere succesrate voor lage $\chi^2$ oplossingen dan de C-CNN.
  • De gereconstrueerde domeinstructuur is consistent met de iteratieve benchmark, maar toont scherpere domeingrenzen en minder geïsoleerde "hot spots" in de amplitude.

5. Betekenis en Conclusie

Dit werk markeert een doorbraak in de toepassing van transformer-architecturen op fysische inverse problemen. De Fourier ViT biedt een praktische, snelle en robuuste route voor het reconstrueren van complexe, multi-domein kristalstructuren in het sterke-fase regime, waar traditionele methoden vaak vastlopen.

• Snelheid: Na training kunnen reconstructies orders van grootte sneller worden gegenereerd dan iteratieve methoden.
• Toepasbaarheid: De onbewaakte aard maakt het direct toepasbaar op experimentele data zonder de noodzaak van grond-waarheid labels.
• Toekomstperspectief: De methode opent de deur voor real-time feedback in in situ en operando experimenten bij synchrotronbronnen en XFEL's, en kan worden uitgebreid naar volledig 3D-data en onzekerheidskwantificering.

Kortom, Fourier ViT combineert de kracht van globale spectrale analyse met de flexibiliteit van deep learning om een van de meest uitdagende problemen in de coherente diffractiebeeldvorming op te lossen.