Solving the inverse problem of microscopy deconvolution with a residual Beylkin-Coifman-Rokhlin neural network

Probleemstelling

Optische deconvolutie in de lichtmicroscopie (LM) is het proces waarbij de oorspronkelijke objectdetails worden hersteld uit opgenomen beelden, om zo de "ground truth" van het monster te onthullen. Dit proces is wiskundig een inverse probleem: het beeld $I(x)$ is het resultaat van de convolutie van het object $o(x)$ met de Point Spread Function (PSF) van het microscoop-systeem, plus ruis ($\varepsilon$).

Traditionele methoden (zoals Richardson-Lucy) zijn expliciet en vereisen een nauwkeurige kennis van de PSF. In de praktijk falen deze methoden vaak vanwege:

1. Onnauwkeurige PSF-modellen.
2. Ruis en artefacten tijdens de beeldvorming.
3. Het ontbreken van PSF-informatie (blind deconvolutie).

Bestaande data-gedreven Deep Learning (DL) modellen (zoals U-Net, CARE, DDPM) presteren goed in het verwijderen van ruis en het verhogen van de resolutie, maar ze negeren vaak de onderliggende fysica van het deconvolutieproces. Dit leidt tot modellen die extreem groot zijn (veel parameters) en inefficiënt in rekentijd, terwijl ze soms artefacten introduceren die niet fysiek onderbouwd zijn.

Methodologie: m-rBCR Netwerk

De auteurs formuleren de deconvolutie als een inverse probleem voor een integraaloperator en introduceren een Physics-Informed Neural Network (PINN) genaamd Multi-Stage Residual-BCR Net (m-rBCR).

Kernconcepten:

• BCR-theorie: Het model is gebaseerd op de niet-standaardvormige golfklep-compressie (wavelet compression) van Beylkin, Coifman en Rokhlin (BCR). Deze theorie stelt dat integraaloperatoren (zoals de PSF) efficiënt kunnen worden benaderd door banded matrices in een golfklep-basis, wat de complexiteit verlaagt van $O(N \log N)$ naar $O(N)$.
• Inverse Operator Benadering: De inverse operator ($A^{-1}$) wordt benaderd als een pseudo-differentiaaloperator. In plaats van een directe mapping te leren, wordt de oplossing benaderd via de formule:
  $$\bar{o} \approx (K^T K + \varepsilon I)^{-1} K^T i$$
  Waarbij $K^T$ een cluster convoluties voorstelt en $(K^T K + \varepsilon I)^{-1}$ de pseudo-differentiaaloperator is.
• Residuele Structuur: Omdat microscopie-beelden sterk niet-lineair zijn en ruis bevatten, is de originele lineaire BCR-structuur te instabiel. De auteurs introduceren een Residueel Dense Netwerk (RDN) om stabiliteit en robuustheid te bieden.
• Multi-Stage Learning: Om het verlies door het afsnijden van decompositieniveaus (truncation) te compenseren, integreert het m-rBCR-model de input als "posteriors" op verschillende resolutieniveaus. Dit zorgt voor een betere herstel van het afgesneden signaal.

Architectuur:
Het netwerk bestaat uit twee hoofdcomponenten:

1. Forward Operator ($K^T$): Geïmplementeerd als een Sequence Convolution Block (SCB) met residuele blokken.
2. Pseudo-differentiaal Operator ($B$): Benaderd door een substructuur die de regularisatie toepast.
   De input wordt op meerdere niveaus gefuseerd om de herstelling te optimaliseren.

Belangrijkste Bijdragen

1. Fysica-gedreven Architectuur: De eerste toepassing van de BCR-golfklep-theorie in een deep learning architectuur specifiek voor microscopie-deconvolutie, waarbij de fysica van de optiek in het model is verankerd.
2. Efficiëntie: Het model gebruikt aanzienlijk minder parameters dan state-of-the-art (SOTA) modellen, terwijl het fysieke constraints respecteert.
3. Robuustheid: Door de residuele structuur en fysieke regularisatie is het model stabieler in de aanwezigheid van ruis en artefacten dan pure data-gedreven modellen.

Resultaten

Het model werd getest op vier datasets: twee gesimuleerde (BioSR en ImageNet) en twee echte microscopie-datasets (dSTORM en Widefield/Confocal). De prestaties werden vergeleken met Richardson-Lucy (RL) en 9 SOTA-neuraal-netwerkmodellen (o.a. U-Net, DDPM, ESRGAN, MIMO-U-Net).

Kernbevindingen:

• Prestaties (PSNR & SSIM):
  • BioSR (gesimuleerd): m-rBCR behaalde de beste scores (PSNR: 24.89, SSIM: 0.78), gevolgd door MIMO-U-Net.
  • Echte datasets (dSTORM & Widefield): m-rBCR presteerde het beste op beide echte datasets, met name in het herstellen van details zonder artefacten.
  • ImageNet (gesimuleerd): m-rBCR behaalde de tweede plaats, direct na MIMO-U-Net.
• Efficiëntie (Parameters & Tijd):
  • Parameters: m-rBCR heeft ~30 keer minder parameters dan MIMO-U-Net en ~210 keer minder dan ESRGAN.
  • Rekentijd: m-rBCR is ~3 keer sneller dan MIMO-U-Net en ~300 keer sneller dan DDPM.
• Kwaliteit: In tegenstelling tot modellen zoals DDPM (die ruis introduceerden) of RL (die faalde door ruis), herstelde m-rBCR hoogfrequente details zonder extra artefacten, zelfs bij zeer zwakke inputs.

Betekenis en Conclusie

Deze studie demonstreert dat het integreren van fysieke modellen (via de BCR-theorie) in neurale netwerken een krachtige strategie is voor inverse problemen in de microscopie.

• Vermindering van redundantie: Door gebruik te maken van de fysieke structuur van het probleem, hoeven de netwerken geen overbodige parameters te leren om de fysica te begrijpen.
• Hoge efficiëntie: Het resultaat is een model dat niet alleen beter presteert in kwaliteit, maar ook extreem lichtgewicht en snel is, wat essentieel is voor real-time toepassingen of toepassingen met beperkte rekenkracht.
• Toekomst: De auteurs wijzen erop dat verdere verbetering mogelijk is door geavanceerdere golfklep-fusiestrategieën, maar het huidige werk vestigt een nieuwe benchmark voor fysica-gedreven deconvolutie.

Kortom, m-rBCR biedt een superieur alternatief voor zowel traditionele methoden als moderne "black-box" deep learning modellen, door de balans te vinden tussen fysieke nauwkeurigheid en computationele efficiëntie.