YOSO: single-frame Gerchberg-Saxton phase retrieval with AI-based data augmentation for in-line holography

1. Probleemstelling

Digitale In-Line Holografische Microscopie (DIHM) is een compacte, lenzeloze (of lenz-gebaseerde) beeldvormingstechniek die fase-informatie terugwint uit onscherpe intensiteitspatronen. Het staat echter voor aanzienlijke uitdagingen:

• Het Tweelingbeeld-effect: Single-frame DIHM lijdt aan de overlapping van het ware beeld en een geconjugeerd (tweeling) beeld, wat de reconstructiekwaliteit verslechtert.
• Single-frame beperking: Traditionele hoogwaardige faseherwinning (bijvoorbeeld met het Gerchberg-Saxton (GS) algoritme) vereist het vastleggen van meerdere intensiteitsbeelden op verschillende onscherpe afstanden (multi-height). Dit verlaagt de opnamesnelheid en verhoogt de systeemcomplexiteit.
• Beperkingen van Deep Learning: Bestaande deep learning-benaderingen voor single-frame faseherwinning lijden vaak aan:
  • Slechte Generalisatie: Modellen getraind op specifieke monsters falen bij andere.
  • Trainings-efficiëntie: Architecturen zoals U-Net vereisen lange trainingsduur (bijvoorbeeld ~18 uur) en vereisen vaak procedures van "patch-and-stitch" voor grote afbeeldingen vanwege vaste invoergrootte-beperkingen.
  • Complexe codering: Sommige methoden vereisen complexe outputcodering voor complexe velden.
  • Fysieke inconsistentie: Standaard opvulmethoden (zero-padding) die in deep learning worden gebruikt, kunnen fysieke inconsistenties creëren wanneer ze worden ingevoerd in op fysica gebaseerde reconstructie-algoritmen zoals GS.

2. Methodologie: Het YOSO-kader

De auteurs stellen YOSO (You Only Shot Once) voor, een hybride kader dat supervised deep learning combineert met klassieke op fysica gebaseerde algoritmen.

• Kernconcept: In plaats van een neurale netwerken (DNN) te gebruiken om direct de uiteindelijke fase te outputten, gebruikt YOSO een DNN om numeriek een tweede hologram ($\tilde{I}_2$) te genereren dat overeenkomt met een andere onscherpe afstand van een enkel vastgelegd hologram ($I_1$).

• De pijplijn:

  1. Invoer: Een enkel fysiek vastgelegd in-line hologram ($I_1$).
  2. AI-augmentatie: Een Multi-scale ResNet (Deep Neural Network) schat het tweede hologram ($\tilde{I}_2$) in op een andere propagatieafstand ($z_2$).
  3. Op fysica gebaseerde reconstructie: Het paar $(I_1, \tilde{I}_2)$ wordt ingevoerd in het standaard Gerchberg-Saxton (GS) algoritme. Het GS-algoritme propageert het golfveld iteratief tussen de twee vlakken, waarbij intensiteitsbeperkingen worden afgedwongen, om de complexe objectgolf terug te winnen.
  4. Output: Het uiteindelijke complexe veld (amplitude en fase) in het objectvlak.

• Belangrijke architecturale en trainingsinnovaties:

  • Multi-scale ResNet: In tegenstelling tot U-Net gebruikt deze architectuur parallelle takken op verschillende ruimtelijke resoluties. Het staat variabele invoergroottes toe, waardoor training op kleine afbeeldingen (bijvoorbeeld $256 \times 256$) en directe inferentie op volledige hologrammen (bijvoorbeeld $2048 \times 2048$) mogelijk is zonder patch-and-stitching.
  • Computergegenereerde trainingsdata: Het model wordt getraind op synthetische data afgeleid van natuurlijke afbeeldingen (bloemenafbeeldingen van Kaggle). Het netwerk leert diffractie-propagatie over een specifieke afstand ($z_2 - z_1$) uit te voeren in plaats van specifieke objectkenmerken te memoriseren, wat zorgt voor sterke generalisatie over diverse monster-types.
  • Fysiek-consistente opvulling: De DNN wordt getraind om hologram-opvulling te genereren die de diffractiefysica respecteert. Dit zorgt ervoor dat de opgevulde gebieden van het geschatte hologram ($\tilde{I}_2$) consistent zijn met de invoer ($I_1$), een kritieke vereiste voor de correcte werking van het GS-algoritme.

3. Belangrijkste bijdragen

1. Hybride AI-fysica-aanpak: YOSO verschuift de rol van AI van "black-box faseherwinning" naar "data-augmentatie". Door AI alleen te gebruiken om het tweede frame te genereren voor een robuust GS-algoritme, minimaliseert de methode "hallucinaties" en maakt gebruik van de fysieke garanties van de GS-methode.
2. Efficiënte en schaalbare architectuur: De Multi-scale ResNet maakt training mogelijk in minder dan 2 uur (27 minuten op high-end, 75 minuten op mid-range hardware) in vergelijking met ~18 uur voor eerdere U-Net-methoden. Het elimineert ook de noodzaak voor patch-and-stitch-verwerking.
3. Superieure generalisatie: Training op diverse natuurlijke afbeeldingen stelt het model in staat om verschillende monster-types (fase-objecten, absorberende objecten, dikke biologische weefsels) aan te pakken zonder hertraining.
4. 3D-compatibiliteit: Omdat de methode werkt in onscherpe vlakken en geen enkel objectvlak veronderstelt, is deze inherent compatibel met 3D-objecten en maakt numerieke nabewerking mogelijk.

4. Experimentele resultaten

Het kader werd gevalideerd via simulaties en experimenten op diverse systemen (lenzeloze en lenz-gebaseerde DIHM) en monsters:

• Simulatie: YOSO onderdrukte effectief tweelingbeeld-artefacten en bereikte een fase-reconstructiekwaliteit die vergelijkbaar was met standaard GS met twee fysiek vastgelegde frames (RMSE = 0,022 rad, SSIM = 0,529).
• Fase-testdoel: YOSO herstelde succesvol kwantitatieve fasevertragingen (0,66 rad) en presteerde beter dan standaard GS bij laagfrequente herwinning, waarschijnlijk door de eliminatie van uitlijningsfouten geassocieerd met fysieke multi-height-acquisitie.
• Menselijke wangcellen (lenzeloos):
  • Demonstreerde schaalbaarheid: Een model getraind op $256 \times 256$ patches reconstrueerde succesvol volledige $2048 \times 2048$ hologrammen met hoge fideliteit.
  • Demonstreerde diffractie-bewuste opvulling: De AI-genererde opvulling verlengde Gabor-fringes natuurlijk, in tegenstelling tot zero-padding.
• Muizenhersensnede (dik monster): Suceesvol afgebeeld van een dik, niet-sparse weefselsnede op bijna-UV golflengten ($\lambda = 0,405 \mu m$). Het loste duidelijk anatomische structuren op (hippocampus, cortex, etc.) en scheidde fase van amplitude-variaties, wat de toepasbaarheid op complexe, dikke biologische monsters bewijst.
• Menselijk sperma (lenz-gebaseerd, dynamisch): Toegepast op een high-speed (90 fps) lenz-gebaseerd systeem. YOSO reconstrueerde succesvol 3D opgehangen spermacellen en maakte numerieke nabewerking van onscherpe cellen mogelijk, wat potentieel toont voor 4D-tracking en holografische tomografie.

5. Betekenis en Impact

• Snelheid en eenvoud: YOSO maakt hoogwaardige, tweelingbeeld-vrije fasebeeldvorming mogelijk vanuit een enkele opname, waardoor het geschikt is voor dynamische processen en toepassingen met hoge doorvoer waarbij multi-frame-acquisitie onmogelijk is.
• Robuustheid: Door de AI te ontkoppelen van de uiteindelijke fase-output en te vertrouwen op het GS-algoritme, is de methode robuuster tegen artefacten en uitlijningsfouten.
• Toegankelijkheid: Het gebruik van computergegenereerde data en een snel-trainende architectuur verlaagt de instapdrempel voor de implementatie van geavanceerde faseherwinning, waardoor de noodzaak voor arbeidsintensieve verzameling van ground-truth-data wordt verwijderd.
• Open source: De auteurs hebben de software, getrainde modellen en data publiek beschikbaar gesteld, wat de adoptie door de gemeenschap en verdere ontwikkeling in computationele beeldvorming stimuleert.

Concluderend vertegenwoordigt YOSO een aanzienlijke vooruitgang in DIHM door effectief de generalisatiekracht van deep learning te verenigen met de fysieke strengheid van het Gerchberg-Saxton-algoritme, het tweelingbeeld-probleem in single-frame-acquisitie op te lossen en tegelijkertijd compatibiliteit te behouden met 3D-monsters en numerieke nabewerking.