Noise2Ghost: Self-supervised deep convolutional reconstruction for ghost imaging

Dit artikel introduceert Noise2Ghost, een zelftoezichtende diepe leer-methode voor ghost imaging die ongeëvenaarde reconstructiekwaliteit biedt bij ruisige data zonder behoefte aan schone referentiebeelden, waardoor het ideaal is voor toepassingen in lage-lichtscenario's zoals röntgenfluorescentie-imaging van gevoelige biologische en batterijmonsters.

De kern

Ghost Imaging en de "Geest" van de Ruis: Een Simpele Uitleg

Stel je voor dat je een heel kostbaar, kwetsbaar object wilt fotograferen, zoals een levendige bacterie of een batterij die net begint te werken. Het probleem? Je camera is zo gevoelig dat als je te veel licht gebruikt, je het object verbrandt of beschadigt. Je moet dus heel weinig licht gebruiken, maar dan krijg je een foto die eruitziet alsof je door een zware sneeuwstorm hebt gefotografeerd: alles is wazig en vol met "ruis" (die witte vlekjes).

Dit is het probleem dat Ghost Imaging (Spookfotografie) probeert op te lossen, en het artikel introduceert een nieuwe, slimme methode genaamd Noise2Ghost om dit nog beter te doen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Wat is Ghost Imaging? (De "Sneeuwbals" Methode)

Normaal gesproken scan je een object punt voor punt met een straal (zoals een laserpen). Dat is veilig, maar traag.
Ghost Imaging doet het anders. In plaats van één punt te belichten, gooi je een sneeuwbals van licht over het hele object. Je ziet niet waar het licht op het object valt, maar je meet hoeveel licht er terugkaatst (de "emissie").

• De truc: Je doet dit duizenden keren, maar elke keer met een andere, willekeurige patroon van licht (zoals een wolk, een streep, of een stip).
• Het resultaat: Als je al die duizenden metingen combineert, kun je wiskundig reconstrueren hoe het object eruit ziet, zonder dat je ooit direct hebt "gekeken" naar de details. Het is alsof je de vorm van een object afleidt door te kijken hoe de schaduw verandert als je duizenden verschillende vormen van licht eroverheen gooit.

2. Het Probleem: De "Ruis"

Het probleem bij heel weinig licht (zoals bij deze kwetsbare objecten) is dat de metingen vol zitten met statistische ruis. Het is alsof je probeert een fluisterend gesprek te horen in een storm.

• Oude methoden (wiskundige formules) proberen de ruis weg te halen, maar ze maken de foto vaak te vaag of laten rare patronen achter.
• Slechte AI-methoden hebben vaak een "leermodule" nodig: ze moeten duizenden schone foto's hebben gezien om te leren hoe ze een ruisige foto moeten verbeteren. Maar bij unieke, kwetsbare objecten (zoals een zeldzame bacterie) heb je die schone foto's niet! Je kunt ze niet maken zonder het monster te doden.

3. De Oplossing: Noise2Ghost (De "Zelflerende Detektive")

De auteurs van dit artikel hebben een slimme truc bedacht die niet nodig heeft dat je schone foto's hebt. Ze noemen het Noise2Ghost.

Stel je voor dat je een detective bent die een raadsel moet oplossen, maar je hebt geen getuigen. Je hebt alleen 4 verschillende getuigen die allemaal een beetje anders hebben gezien, omdat ze allemaal een beetje "dronken" waren (door de ruis).

1. De Deling: De computer neemt al die duizenden metingen en verdeelt ze in 4 groepen.
2. De Vergelijking: De AI kijkt naar groep 1 en probeert te voorspellen wat groep 2, 3 en 4 hebben gezien.
3. Het Inzicht: Omdat de "ruis" in elke groep willekeurig is (net als de dronkenschap van elke getuige), zal de AI merken: "Ah, dit detail staat in groep 1, maar niet in groep 2. Dat moet dus ruis zijn!" Maar "dit detail" staat in alle groepen. Dat is het echte object.
4. Het Resultaat: De AI leert zichzelf het echte beeld te filteren van de ruis, zonder dat iemand haar ooit een "correct" antwoord heeft gegeven. Ze leert door de verschillen tussen de groepen te analyseren.

4. Waarom is dit zo belangrijk? (De "Dosis" Besparing)

Dit is de echte winst:

• Minder straling: Omdat deze methode zo goed is in het weghalen van ruis, hoef je minder licht (straling) te gebruiken om een scherp beeld te krijgen.
• Sneller: Je kunt sneller fotograferen, wat betekent dat je bewegende objecten (zoals een levende cel) kunt vastleggen zonder dat ze veranderen of beschadigen.
• Unieke monsters: Het werkt zelfs als je maar één enkel, uniek monster hebt. Je hoeft geen "trainingsdata" te verzamelen.

Samenvattend in één zin:

Noise2Ghost is een slimme, zelflerende computer die uit een hoop wazige, ruisige metingen een kristalhelder beeld kan halen door te kijken naar de overeenkomsten tussen verschillende groepen metingen, waardoor we kwetsbare objecten kunnen bestuderen zonder ze te vernietigen.

Het is alsof je een schilderij kunt restaureren dat door regen is beschadigd, zonder dat je ooit het originele, droge schilderij hebt gezien, puur door te kijken naar hoe de regen op verschillende plekken anders heeft gedruppeld.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Noise2Ghost: Self-supervised deep convolutional reconstruction for ghost imaging", geschreven in het Nederlands.

Probleemstelling

Ghost Imaging (GI) is een revolutionaire techniek die de stralingsdosis voor gevoelige samples (zoals biologische weefsels of batterijen) kan verlagen door de trade-off tussen ruimtelijke resolutie, gezichtsveld (FoV) en acquisitietijd onafhankelijk van de bundelgrootte te kunnen beheren. In tegenstelling tot traditionele raster-scans met een gefocuste bundel (pencil-beam), gebruikt GI gestructureerde verlichting om het hele object tegelijk te belichten.

De grootste uitdaging voor GI, vooral in nanoschaal-toepassingen zoals röntgenfluorescentie-imaging (XRF), is de aanwezigheid van extreem hoge Poisson-ruis door zeer lage fotonfluxen.

• Bestaande beperkingen: Traditionele methoden (zoals Total Variation-minimalisatie) en moderne machine learning-benaderingen (supervised of unsupervised) zijn niet optimaal voor deze specifieke scenario's.
  • Supervised methods vereisen grote datasets van "schone" referentiebeelden, wat vaak onmogelijk is voor unieke, dosisgevoelige samples.
  • Unsupervised methods (zoals Deep Image Prior of Noise2Inverse) kampen vaak met een afname in reconstructiekwaliteit bij hoge ruisniveaus en kunnen de zogenaamde "missing realization artifacts" (artefacten door onvoldoende metingen) niet effectief aanpakken.

Methodologie: Noise2Ghost (N2G)

Het artikel introduceert Noise2Ghost (N2G), een zelftoezicht (self-supervised) deep learning-methode die specifiek is ontworpen om ruis in GI-acquisities te reduceren zonder schone referentiegegevens.

Kernprincipes:

1. Zelftoezicht (Self-Supervision): In plaats van een schoon beeld als doelwit te gebruiken, traint N2G het model om ruis te onderscheiden van het signaal door gebruik te maken van de correlaties binnen de data zelf.
2. Verdeling van Realisaties: De set van verworven metingen (realisaties) wordt willekeurig opgedeeld in $K$ subsets. Elke subset wordt gebruikt om een gedeeltelijke reconstructie ($x_k$) te maken via een standaard least-squares oplossing. Deze sub-reconstructies bevatten hetzelfde onderliggende signaal maar hebben verschillende, ongerelateerde ruispatronen.
3. Cross-Validation Loss: Het neurale netwerk (meestal een CNN zoals U-Net) wordt getraind om een sub-reconstructie ($x_k$) te voorspellen, maar de loss-functie vergelijkt de output van het netwerk met de ruwe metingen ($y_i$) van de andere subsets (waarbij $i \neq k$).
   • Omdat de ruis in de verschillende subsets onafhankelijk is, leert het netwerk om de gemeenschappelijke signaalcomponenten te behouden en de willekeurige ruis te negeren.
   • Dit lost het probleem op van "missing realization artifacts" doordat het model direct wordt getraind op de gemeten "buckets" (signalen) in plaats van op een andere reconstructie die al vervormd kan zijn door de ontbrekende data.
4. Data Augmentatie: Door permutaties van de data-set toe te passen, wordt de hoeveelheid trainingsdata vermenigvuldigd, wat de robuustheid van het model verhoogt.

Belangrijkste Bijdragen

• Nieuwe Architectuur voor GI: N2G is de eerste methode die de principes van Noise2Noise (N2N) en Deep Image Prior (DIP) combineert om specifiek het probleem van ruis en ontbrekende realisaties in Ghost Imaging op te lossen.
• Onafhankelijkheid van Referentiegegevens: De methode elimineert de noodzaak voor schone trainingsdata, wat cruciaal is voor toepassingen waar alleen ruwe, ruisbeheerde metingen beschikbaar zijn.
• Wiskundige Formulering: Het artikel biedt een wiskundige afleiding die aantoont dat de gebruikte loss-functie de verwachte voorspelfout minimaliseert voor het signaal, terwijl de ruisvariatie als een constante term in de objectieve functie wordt behandeld en zo de gradiënt niet beïnvloedt.
• Open Source: De code is beschikbaar gesteld, wat reproduceerbaarheid bevordert.

Resultaten

De auteurs hebben N2G getest op zowel synthetische data (chromosoom-phantoms) als echte experimentele data (XRF-imaging van koperdraden bij het ESRF-synchrotron).

1. Synthetische Data:

   • N2G presteerde consistent beter dan bestaande methoden (Least Squares, TV, GIDC, INR, N2V, N2I) over een breed spectrum aan ruisniveaus.
   • Bij hoge ruis (lage fotonflux) behaalde N2G een hogere PSNR (Peak Signal-to-Noise Ratio) en SSIM (Structural Similarity Index) en behield het een betere ruimtelijke resolutie (gemeten via Fourier Ring Correlation).
   • Bij zeer lage fotonfluxen (1 foton per pixel) bleek N2G de enige methode die de structuur van het object nog herkenbaar kon reconstrueren zonder extreme vervorming.

2. Echte Data (XRF-GI):

   • In experimenten met röntgenfluorescentie werd de dosis kunstmatig verlaagd door het aantal geaccumuleerde fotonen te reduceren.
   • Zelfs bij een dosisreductie tot 2,6% van de oorspronkelijke dosis, leverde N2G de hoogste beeldkwaliteit op vergeleken met alle andere geteste algoritmen.
   • De methode slaagde erin om de ruis effectief te onderdrukken terwijl de fijne structuren van de koperdraden behouden bleven.

3. Dosisefficiëntie:

   • N2G maakt het mogelijk om GI-scans uit te voeren met een 1,5 tot 2 keer kortere opnametijd (of lagere dosis) voor dezelfde beeldkwaliteit vergeleken met de beste bestaande unsupervised methoden.
   • Dit vergroot het bereik waarin GI superieur is aan traditionele raster-scans (Pencil Beam), vooral voor dosisgevoelige samples.

Betekenis en Toekomstperspectief

De introductie van Noise2Ghost is een belangrijke stap naar de praktische toepasbaarheid van Ghost Imaging in cutting-edge wetenschappelijke toepassingen.

• Biomedische en Materiaalwetenschappen: Het stelt onderzoekers in staat om in-vivo en in-operando studies uit te voeren op biologische monsters en batterijen met een drastisch verminderde stralingsdosis, wat schade aan de monsters voorkomt.
• Snelheid en Stabiliteit: Door kortere opnametijden per realisatie kan de totale acquisitietijd worden verkort, wat sample-drift (verplaatsing van het monster tijdens de meting) minimaliseert.
• Toekomstige Ontwikkelingen: Hoewel N2G de ruis goed aanpakt, wordt er nog gewerkt aan het volledig elimineren van "missing realization artifacts" door complexere priors (zoals wavelet-minimalisatie) of multi-modale informatie te integreren.

Kortom, Noise2Ghost biedt de benodigde gereedschappen om de signaal-ruisverhouding (SNR) van Ghost Imaging te verbeteren in scenario's met weinig licht, waardoor deze techniek een haalbare oplossing wordt voor nanoschaal-imaging in de toekomst.