A Relaxed Gradient Step Denoiser for Splitting Methods in Poisson Inverse Problems

Technische Samenvatting: Een Relaxed Gradient Step Denoiser voor Splitting-methoden in Poisson Inverse Problemen

Probleemstelling
Beeldherstel in wetenschappelijke velden zoals microscopie, astronomie en medische beeldvorming vereist vaak het herstellen van een schoon beeld $x^\star$ uit geobserveerde gegevens $g$ die gecorrumpeerd zijn door een lineaire vervaging $H$, achtergrond $b$ en Poisson-ruis. De standaardbenadering formuleert dit als een Maximum A Posteriori (MAP) schattingsprobleem, waarbij de Kullback–Leibler (KL) data-getrouwheidsterm wordt geminimaliseerd plus een regularisatieterm. Hoewel Plug-and-Play (PnP) methoden aanzienlijk succes hebben geboekt in situaties met Gaussische ruis door proximale operatoren te vervangen door geleerde denoisers, is hun toepassing op Poisson inverse problemen uitdagend. De niet-kwadratische aard van de KL data-getrouwheidsterm compliceert de convergentieanalyse, met name bij integratie met splitting-methoden zoals PnPSplit+, die afhankelijk zijn van specifieke eigenschappen van de denoiser, zoals Firm Non-Expansiveness (FNE).

Methodologie
Het paper stelt GSDSplit+ voor, een gestructureerde variant van het PnPSplit+-algoritme ontworpen voor Poisson-data. De kerninnovatie is de vervanging van de generieke PnP denoising-blok door een Relaxed Gradient Step Denoiser (GSD).

1. Algoritmisch Raamwerk: De methode maakt gebruik van een Alternating Direction Method of Multipliers (ADMM) schema. In tegenstelling tot standaard PnP, waarbij de denoiser een black box is, definieert GSDSplit+ de denoiser als:
   $$D_{\vartheta, \alpha}(x) = x - \alpha \nabla \psi_\vartheta(x)$$
   Hierbij is $\psi_\vartheta$ een geleerd convex potentiaal geparametriseerd door een Input Convex Neural Network (ICNN), en $\alpha$ is een relaxatieparameter. Deze structuur zorgt ervoor dat de denoising-residue een expliciet gradiëntveld is, wat splitting-schema's overbrugt met fixed-point formuleringen zoals RED-PRO.

2. Convergentievoorwaarden: De convergentie van GSDSplit+ berust op het feit dat de denoiser Firmly Non-Expansive (FNE) is. De auteurs stellen vast dat als $\psi_\vartheta$ convex en $L$-smooth is, de operator $D_{\vartheta, \alpha}$ FNE is, mits $\alpha L \leq 1$. Dit maakt het gebruik van netwerken met smoothness constanten $L > 1$ mogelijk door de relaxatieparameter $\alpha$ aan te passen.

3. Trainingsstrategie: De ICNN wordt getraind met een residuele Gaussische denoising loss. Om aan de theoretische vereisten te voldoen, bevat de training:

   • Een gesmoothde activatiefunctie (een differentieerbare benadering van LeakyReLU) om te garanderen dat het netwerk convex en differentieerbaar blijft.
   • Een smoothness-georiënteerde fine-tuning fase met een spectrale penalty op de Hessian van de potentiaal. Deze penalty stimuleert de Lipschitz-constante $L$ van de gradiënt om dicht bij 1 te liggen, wat de selectie van een geldige $\alpha$ vergemakkelijkt.

Belangrijkste Bijdragen

• Introductie van GSDSplit+: Het inbedden van een ICNN-gebaseerde Gradient Step Denoiser in het PnPSplit+-raamwerk voor Poisson beeldherstel.
• Theoretische Convergentie: Het afleiden van een convergentieresultaat dat de FNE-eigenschap van de denoiser koppelt aan de convexiteit en smoothness van de geleerde potentiaal en de relaxatieparameter $\alpha$.
• Op maat gemaakte Architectuur en Training: Het implementeren van een specifieke ICNN-architectuur met een aangepaste smooth activatie en een tweestaps trainingsstrategie (standaard denoising gevolgd door een Hessian spectrale penalty) om de noodzakelijke smoothness-condities te bevorderen.
• Empirische Validatie: Het leveren van bewijs dat de getrainde denoiser op validatiedata binnen een FNE-compatibel regime opereert wanneer $\alpha$ passend is gekozen (bijv. $\alpha = 0.9$).

Resultaten
Numerieke experimenten werden uitgevoerd op de DIV2K en BSD500 datasets met Gaussische vervaging en Poisson-ruis.

• Reconstructiekwaliteit: Wanneer zowel GSDSplit+ als de baseline PnPSplit+ (gebruikmakend van een standaard CNN denoiser) zijn afgestemd met hun optimale ADMM-parameters ($\gamma$), bereikt PnPSplit+ een iets hogere Peak Signal-to-Noise Ratio (PSNR) en SSIM.
• Robuustheid tegenover Hyperparameters: Het primaire voordeel van GSDSplit+ is de stabiliteit. Het is aanzienlijk minder gevoelig voor de keuze van de ADMM-parameter $\gamma$. Terwijl de prestaties van PnPSplit+ significant verslechteren (ongeveer 13,29 dB PSNR daling) wanneer $\gamma$ wordt overschat, vertoont GSDSplit+ minimale degradatie (ongeveer 1,50 dB daling).
• Generalisatie: De methode demonstreert robuustheid over verschillende vervagingsoperatoren (motion blur, out-of-focus) en variërende Poisson-ruisniveaus.
• Computationele Kosten: De robuustheid gaat gepaard met een computationele prijs. GSDSplit+ vereist het berekenen van de gradiënt van de ICNN bij elke iteratie, wat het trager maakt dan PnPSplit+, dat een standaard CNN forward pass gebruikt.

Betekenis en Claims
Het paper claimt dat GSDSplit+ een theoretisch onderbouwd alternatief biedt voor Poisson inverse problemen door de structuur van de denoiser expliciet te verbinden met convergentiegaranties. Hoewel het niet de piek reconstructiekwaliteit van optimaal getunede PnPSplit+ overtreft, biedt het stabiele reconstructies, zelfs wanneer de ADMM-parameter suboptimal of overschat is. Deze verminderde gevoeligheid voor hyperparameter-tuning wordt gepresenteerd als een aanzienlijk praktisch voordeel. De auteurs merken bescheiden op dat de methode effectief werkt, zelfs buiten het strikt empirisch ondersteunde FNE-bereik, hoewel convergentie in die gevallen niet gegarandeerd is. Toekomstig werk wordt gesuggereerd om deze strategie uit te breiden naar RED-PRO formuleringen en om adaptieve strategieën voor de relaxatieparameter $\alpha$ te onderzoeken.