Improving Diffusion Posterior Samplers with Lagged Temporal Corrections for Image Restoration

Technische Samenvatting: Verbetering van Diffusie-posterior-samplers met Uitgestelde Temporele Correcties (LAMP)

Probleemstelling

Diffusie-gebaseerde posterior-sampling (PS) heeft zich ontwikkeld tot een toonaangevend raamwerk voor het oplossen van inverse beeldproblemen (zoals ontvaging, super-resolutie en inpainting). Deze methoden combineren een geleerde diffusie-prior met meetbeperkingen om te samplen uit de posterior-verdeling $p(x_0|y)$, waarbij $y = Kx_0 + e$. Standaard PS-formuleringen, zoals DiffPIR en DDRM, werken door de huidige schatting $x_t$ iteratief bij te werken met behulp van een denoising-stap vanuit het diffusiemodel en een data-consistente correctie $D_t$.

Echter, de auteurs identificeren een fundamentele structurele beperking in deze standaardbenaderingen: ze vertrouwen op instantane, stap-voor-stap data-consistente schattingen ($D_t$) die bij elke omgekeerde iteratie opnieuw worden berekend. Dit ontwerp introduceert temporele variabiliteit en instabiliteit in de omgekeerde dynamica. Vanuit het perspectief van dynamische systemen corresponderen standaard PS-updates met een eerste-orde discretisatie van de diffusiedynamica plus een residu-correctieterm. Deze residu-term fungeert als een tijdsvariërende krachtkoppeling die de trajectorie verstoort, waardoor deze afwijkt van de gladde, goed gedefinieerde continue-tijdsdynamica die wordt aangenomen door hogere-orde oplosmethoden (zoals DPM-Solver) die worden gebruikt bij onvoorwaardelijke generatie. Bijgevolg leidt het gebrek aan temporeel geheugen in standaard PS-methoden tot inconsistente updates en suboptimale stabiliteit, met name in slecht gestelde regimes.

Methodologie: LAMP

Het artikel stelt LAMP (LAgged Multistep Posterior) voor, een modulaire plug-in-scheme die deze instabiliteiten aanpakt door een uitgestelde temporele correctie in te voeren.

1. Dynamische Herinterpretatie: De auteurs herinterpreteren de standaard PS-update als een eerste-orde discretisatie van een geforceerde diffusiedynamica. Zij tonen aan dat de update $x^{PS}_{t-\Delta t}$ kan worden ontbonden in een eerste-orde exponentiële stap gedreven door een meetbewuste doelstelling $D_t$ en een residu-correctieterm die evenredig is met het verschil $(D_t - \hat{x}_{0|t})$.
2. Tweede-orde Discretisatie: Om de stabiliteit te verbeteren, hanteert LAMP een tweede-orde discretisatie van de onderliggende dynamica. In tegenstelling tot standaard hogere-orde oplosmethoden die een gladde ODE veronderstellen, houdt LAMP expliciet rekening met de residu-afhankelijke krachtkoppeling die inherent is aan inverse problemen.
3. Mechanisme voor Uitgestelde Correctie: De kerninnovatie is de introductie van een temporele correctie gebaseerd op de variatie van opeenvolgende schattingen. De LAMP-update combineert de tweede-orde discretisatie met de residu-correctie:
   $$x^{LAMP}_{t-\Delta t} = x^{PS}_{t-\Delta t} + \alpha_{t-\Delta t} A_1(h) \gamma \frac{D_t - D_{t+\Delta t}}{h_{prev}}$$
   Hier fungeert de term $(D_t - D_{t+\Delta t})/h_{prev}$ als een discrete temporele afgeleide. Door een negatieve coëfficiënt $\gamma$ te kiezen, past de methode een uitgestelde correctie toe, waarbij de huidige schatting lichtjes naar eerdere schattingen wordt getrokken in plaats van te extrapoleren. Dit gladt de trajectorie en neutraliseert de variabiliteit die wordt veroorzaakt door instantane correcties.
4. Structuurbehoud: Cruciaal bewijzen de auteurs (Propositie 1) dat LAMP de standaard structuur van posterior-sampling behoudt. De update kan worden herschreven in de canonieke vorm $x_{t-\Delta t} = \alpha_{t-\Delta t} \tilde{D}_t + \sigma_{t-\Delta t} \epsilon_\Theta(x_t, t)$, waarbij $\tilde{D}_t$ een temporeel gefilterde schatting is gedefinieerd als een convexe combinatie van de huidige en de vorige data-consistente schattingen: $\tilde{D}_t = (1-\beta_t)D_t + \beta_t D_{t+\Delta t}$. Dit zorgt ervoor dat LAMP een modulaire extensie is die compatibel is met elke bestaande PS-ruggengraat (bijv. DiffPIR, DDRM) zonder de denoiser of het trainingsproces te wijzigen.

Theoretische Analyse

Het artikel biedt een risico-analyse voor één stap (Propositie 2) die de bias-variatie-trade-off van de uitgestelde correctie karakteriseert. De analyse toont aan dat LAMP de omgekeerde overgang verbetert wanneer de reductie in de variantie van de schattingsfout (door temporele gladting) opweegt tegen de bias die wordt geïntroduceerd door de vertraging (door de drift van het posterior-doel). De auteurs tonen aan dat deze voorwaarde doorgaans wordt voldaan in de latere stadia van het diffusieproces, wat een hybride strategie motiveert waarbij LAMP wordt geactiveerd na een korte warm-up-fase.

Belangrijkste Bijdragen

• Identificatie van Structurele Mismatch: De auteurs benadrukken dat standaard ODE-gebaseerde interpretaties van diffusie-oplosmethoden falen in het vastleggen van de residu-afhankelijke krachtkoppelingen die aanwezig zijn bij posterior-sampling voor inverse problemen, wat leidt tot temporele instabiliteit.
• LAMP-raamwerk: Zij stellen LAMP voor, een met tweede-orde gecorrigeerd schema dat een uitgestelde temporele correctie integreert in de posterior-sampling-update.
• Modulariteit en Compatibiliteit: LAMP is bewezen een geldige posterior-sampler te zijn die kan worden geïmplementeerd als een plug-in bovenop elke bestaande PS-methode (bijv. DiffPIR, DDRM) zonder hertraining of wijziging van het forward-model.
• Theoretische Rechtvaardiging: Een lokale foutanalyse stelt de voorwaarden vast waaronder de uitgestelde correctie het risico verlaagt, specifiek wanneer aangrenzende posterior-doelen zich soepel ontwikkelen ten opzichte van de schattingsruis.

Experimentele Resultaten

De auteurs evalueren LAMP op standaard lineaire inverse problemen (Gaussische ontvaging, bewegingsontvaging en super-resolutie) over drie datasets: FFHQ, ImageNet en CelebA. Zij vergelijken LAMP-verbeterde versies (DiffPIR-LAMP, DDRM-LAMP) met hun baselines en naïeve hogere-orde varianten (1M, 2M).

• Prestaties: LAMP verbetert consistent de reconstructiekwaliteit ten opzichte van sterke baselines. In de ruisige setting ($\sigma_y = 0.05$) bereikt DDRM-LAMP de beste algehele prestaties, met consistente winsten in PSNR, SSIM en LPIPS over alle taken. DiffPIR-LAMP toont ook verbeteringen, met name bij ontvaging en super-resolutie.
• Efficiëntie: Deze verbeteringen worden bereikt zonder het aantal denoising-evaluaties (NFE) te verhogen, waardoor de rekenkosten van de basis-methoden behouden blijven (bijv. 20 NFE voor DDRM, 100 NFE voor DiffPIR).
• Vergelijking met Naïeve Hogere-orde: Naïeve eerste- en tweede-orde ODE-discretisaties (zonder de specifieke residu-correctie) degraderen consistent de prestaties, wat bevestigt dat de voorgestelde uitgestelde residu-correctie de sleutelfactor is voor verbetering.
• Kwalitatieve Resultaten: Visuele vergelijkingen tonen aan dat LAMP gladdere texturen, scherpere grenzen en een betere behoud van fijne details produceert (bijv. haartextuur in CelebA, schubben in Iguana-afbeeldingen) in vergelijking met baselines, met een vermindering van korreligheid en wazigheidsartefacten.

Betekenis en Claims

Het artikel claimt dat temporele filtering van meetbewuste schattingen een kritiek, tot nu toe onderbelicht mechanisme is voor het stabiliseren van diffusie-gebaseerde inverse oplosmethoden. Door posterior-sampling te herformuleren als een dynamisch systeem met een residu-afhankelijke krachtkoppeling, tonen de auteurs aan dat een eenvoudige uitgestelde correctie de reconstructiekwaliteit en stabiliteit aanzienlijk kan verbeteren.

De betekenis ligt in de modulariteit van de aanpak: LAMP vereist geen nieuwe priors, hertraining of complexe conditioneringsstrategieën. In plaats daarvan biedt het een algemeen toepasbare, laagkostige verbetering voor bestaande state-of-the-art posterior-samplers. De auteurs merken bescheiden op dat LAMP de beperkingen van zijn ruggengraat-methoden erft (bijv. het kan fundamentele modelmismatches niet compenseren) en dat de effectiviteit ervan afhangt van het temporele gedrag van de correctieserie van de onderliggende sampler. De resultaten suggereren echter dat voor stabiele baselines LAMP een consistente en perceptueel betekenisvolle verbetering biedt in data-trouw, met name voor fijn-schalige structuren.