Stabilizing Deep Reconstruction Operators with Contractive Anchoring

Technische Samenvatting: Stabiliseren van Diepe Reconstructie-operators met Contractieve Verankering

Probleemstelling
Pretrained diepe denoisers worden breed gebruikt in model-gebaseerde beeldreconstructie (IR) taken, zoals deblurring en super-resolutie, via Plug-and-Play (PnP) en Regularization-by-Denoising (RED) algoritmen. Deze methoden maken het mogelijk om krachtige, taak-agnostische denoisers te gebruiken zonder deze specifiek te hoeven hertrainen voor inverse problemen. Echter, een kritieke beperking ontstaat wanneer deze denoisers, die alleen getraind zijn voor single-step inferentie, worden ingezet als regularisatoren in iteratieve reconstructieschema's.

De auteurs identificeren een veelvoorkomende foutmodus die wordt aangeduid als "peak-and-collapse" (PC). In dit scenario verbetert de reconstructiekwaliteit (gemeten in PSNR) tijdens de vroege iteraties, bereikt een piek, en verslechtert vervolgens abrupt. Deze instabiliteit maakt standaard PnP en RED algoritmen onbetrouwbaar in de praktijk, aangezien het identificeren van het optimale stopmoment moeilijk is. Bestaande oplossingen vereisen vaak het hertrainen van denoisers met specifieke architecturale beperkingen (bijv. niet-expansiviteit) of het gezamenlijk optimaliseren van de denoiser met het reconstructiemodel, wat het hergebruik van bestaande, hoogwaardige pretrained netwerken beperkt.

Methodologie
Het artikel stelt een data-gedreven stabilisatieframework voor dat fungeert als een "drop-in" mechanisme, waarbij geen aanpassing of hertraining van de onderliggende pretrained denoiser of de proximale solver nodig is. De kernaanpak bestaat uit het beheersen van de instabiliteit van de IR-operator met behulp van een contractieve verankering (contractive anchor).

1. Stabiliteitsindex ($\eta$): Omdat de IR-operator $\mathcal{T}$ wordt behandeld als een black box, definiëren de auteurs een lokale stabiliteitsindex $\eta_p(\mathbf{x}, \mathcal{T})$ ten opzichte van een referentiepunt $\mathbf{p}$. Deze index meet de relatieve expansie of contractie die door de operator wordt veroorzaakt. Instabiliteit wordt gekenmerkt door $\eta > 1$.
2. Adaptieve Contractieve Verankering: De methode introduceert een contractieve operator $\mathcal{S}$ (de verankering) met een uniek vast punt $\mathbf{p}$. De instabiele operator $\mathcal{T}$ wordt vermengd met $\mathcal{S}$ om een gemiddelde operator $\mathcal{T}_\theta = (1-\theta)\mathcal{T} + \theta\mathcal{S}$ te vormen.
   • Theoretische Garantie: Lemma 1 en Theorem 1 laten zien dat het middelen met een contractie de stabiliteitsindex strikt vermindert. De auteurs leiden een expliciete drempelwaarde $\tilde{\theta}$ af die garandeert dat de stabiliteitsindex wordt teruggebracht naar een doelniveau $\xi$ (specifiek $\xi=1$).
   • Algoritme 1: Het voorgestelde algoritme berekent adaptief de menggewicht $\theta_k$ bij elke iteratie. Als $\eta > 1$, wordt $\theta_k$ ingesteld op de minimale waarde die vereist is om $\eta$ terug te brengen naar 1; anders is $\theta_k = 0$. Dit zorgt ervoor dat stabiliteit alleen wordt afgedwongen wanneer dat nodig is, waardoor de reconstructiekwaliteit die wordt gedreven door de originele operator $\mathcal{T}$ behouden blijft.
3. Constructie van de Contractieve Verankering: Om als de verankering $\mathcal{S}$ te dienen, ontwerpen de auteurs een lichtgewicht, ruis-bewuste denoiser $\mathcal{D}_\sigma$ die bij constructie contractief is.
   • De denoiser wordt gemodelleerd als een gradiëntstap-operator $\mathcal{D}(\mathbf{x}) = \mathbf{x} - \gamma \nabla \Phi(\mathbf{x})$.
   • De potentiaalfunctie $\Phi$ wordt geparametriseerd met leerbare convolutionele filters en spline-gebaseerde niet-lineariteiten waarvan de hellingen beperkt zijn tot $[0, 1]$.
   • Door middel van specifieke herparameterisering van de convolutionele gewichten en beperkingen op de stapgrootte $\gamma$ en de regularisatieparameter $\tau$, bewijzen de auteurs (Proposition 2 en 3) dat de resulterende operator een $\kappa$-contractie is ($\kappa < 1$) voor elke ruisniveau $\sigma$. Deze verankering wordt getraind als een standaard Gaussische denoiser, maar behoudt bewijsbaar contractieve eigenschappen.

Belangrijkste Bijdragen

1. Formalisering van de Stabiliteitsindex: De introductie van een lokale stabiliteitsindex $\eta$ die de expansiviteit van black-box IR-operators kwantificeert, wat detectie en controle van instabiliteit mogelijk maakt zonder interne kennis van het netwerk.
2. Adaptief Stabilisatie-algoritme: Een bewezen convergerend algoritme (Algoritme 1) dat de invloed van een contractieve verankering adaptief aanpast om divergentie te voorkomen. Het werkt als een volledige drop-in wrapper die geen hyperparameter-tuning vereist buiten de training van de verankering.
3. Trainbare Contractieve Verankering: Het ontwerp van een lichtgewicht, ruis-bewuste denoiser die bij constructie contractief is. Dit maakt het gebruik van onbeperkte trainingsprocedures mogelijk terwijl de wiskundige eigenschappen die vereist zijn voor het stabilisatieframework gegarandeerd blijven.

Experimentele Resultaten
Het framework is geëvalueerd over meerdere proximale solvers (PGD, HQS, ADMM, RED-GD), diverse denoiser-architecturen (CNN's zoals DnCNN/DRUNet, Diffusiemodellen, Transformers) en diverse beeldvormingstaken (motion deblurring, Gaussian deblurring, super-resolutie).

• Stabiliteit: De methode voorkomt consistent het "peak-and-collapse"-gedrag dat wordt waargenomen bij vanilla PnP en Equivariant PnP. Terwijl baseline-methoden vaak divergeren (aangegeven door $\times$ in de resultaten) of lijden onder significante PSNR-degradatie na de piek, behouden de gestabiliseerde varianten eindwaarden van de PSNR die dicht bij hun piekprestaties liggen.
• Prestaties: De gestabiliseerde methoden behalen concurrerende of superieure resultaten vergeleken met state-of-the-art pipelines zoals DPIR, GSPnP en DEAL. Zo bereikte de gestabiliseerde HQS+GS-DRUNet bij motion deblurring 30,70 dB, wat overeenkomt met DPIR (30,69 dB), terwijl standaard PnP-HQS divergeerde.
• Efficiëntie: De computationele overhead wordt gerapporteerd als ongeveer 20% vergeleken met vanilla PnP. De methode behoudt de reconstructiekwaliteit omdat het menggewicht $\theta$ klein blijft tijdens stabiele fasen, wat betekent dat de updates nog steeds primair worden gedreven door de hoogwaardige black-box operator.

Betekenis en Claims
Het artikel claimt dat dit framework een robuuste oplossing biedt voor de instabiliteit van diepe reconstructie-operators zonder de modulariteit van het PnP/RED-paradigma op te offeren. Door de stabilisatiemechanisme te ontkoppelen van de specifieke denoiser-architectuur, stellen de auteurs het betrouwbare gebruik van bestaande, krachtige pretrained modellen in iteratieve reconstructietaken mogelijk. De aanpak biedt bewijsbare garanties van begrensde iteraten en voorkomt de abrupte degradatie die momenteel de praktische inzetbaarheid van PnP-methoden beperkt. De auteurs positioneren dit als een stap naar inherent betrouwbare IR-systemen, waarbij zij opmerken dat toekomstig werk kan bestaan uit het integreren van deze principes direct in de training van IR-systemen.