Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework

Deze paper introduceert ADMM-PnP met een AC-DC-ontruisingsmechanisme om de convergentie en prestaties van score-gebaseerde generatieve modellen in ADMM voor inverse problemen te verbeteren door een driestapsaanpak die de mismatch tussen trainingsmanifolden en iteraties oplost.

De kern

Stel je voor dat je een oude, beschadigde foto probeert te herstellen. Je hebt een wazig stukje van de foto (de meting) en je wilt de rest erbij reconstrueren. Dit is wat wiskundigen een "invers probleem" noemen: het terugrekenen van de oorzaak (de originele foto) vanuit het gevolg (de beschadigde foto).

Vroeger deden we dit met simpele regels, maar tegenwoordig gebruiken we slimme kunstmatige intelligentie (AI) die miljoenen foto's heeft gezien om te weten hoe een "normale" foto eruit moet zien. Deze AI's zijn vaak gebaseerd op diffusiemodellen (dezelfde technologie die achter AI-tekst-naar-beeld generators zit).

Deze paper, geschreven door Rajesh Shrestha en Xiao Fu, lost een groot probleem op bij het gebruik van deze slimme AI's voor fotoherstel. Hier is de uitleg in simpele taal:

1. Het Probleem: De "Taalbarrière" tussen de AI en de Wiskunde

Stel je voor dat je een zeer ervaren restaurator hebt (de AI) die gespecialiseerd is in het herstellen van foto's die net een beetje "ruis" (statistiek) hebben. Hij is getraind om foto's te zien die een specifieke, zachte wazigheid hebben.

Nu probeer je deze restaurator te gebruiken binnen een strikt wiskundig proces (ADMM) om een foto te herstellen. Het probleem is dat de foto's die door dit wiskundige proces worden gegenereerd, er heel anders uitzien dan de foto's waar de AI voor is getraind.

• De AI denkt: "Oh, dit is een foto met een beetje ruis, ik kan hem herstellen."
• De realiteit: "Nee, dit is een wiskundig construct dat eruitziet als een rare, vervormde vlek die de AI nog nooit heeft gezien."

Als je de AI direct op deze rare vlekken laat werken, gaat hij de boel verprutsen. De "ruis" in het wiskundige proces zit niet op de manier waarop de AI is getraind. Dit noemen de auteurs een manifold mismatch (een verschil in de vorm van de data).

2. De Oplossing: De AC-DC Denoiser (De "Taalvertaler")

De auteurs bedachten een slimme tussenstap, een soort talenvertaler genaamd de AC-DC Denoiser. In plaats van de AI direct op de rare wiskundige foto te laten werken, doen ze drie dingen:

1. AC (Auto-Correction) - "Het toevoegen van ruis":
   Ze doen bewust extra ruis (statistiek) over de wiskundige foto heen.

   • Analogie: Stel je voor dat de restaurator alleen kan werken als de foto een beetje stoffig is. Als de foto te schoon of te raar is, werkt hij niet. Dus, we strooien even wat extra stof (ruis) over de foto zodat de AI denkt: "Ah, dit is een foto zoals ik die ken!" Dit brengt de foto terug naar een gebied waar de AI zich thuis voelt.

2. DC (Directional Correction) - "De GPS-navigatie":
   Nu de foto "stoffig" genoeg is, gebruiken ze een slimme techniek (Langevin dynamics) om de foto stap voor stap in de juiste richting te duwen.

   • Analogie: De AI is nu in de buurt van de juiste plek, maar nog niet precies goed. De DC-stap werkt als een GPS die zegt: "Je bent een beetje naar links gedraaid, draai je nu weer naar rechts, maar houd de originele details van de foto vast." Het corrigeert de richting zonder de belangrijke informatie te verliezen.

3. Denoising - "Het daadwerkelijke herstellen":
   Pas nu, als de foto perfect is voorbereid en in de juiste "taal" is vertaald, laat je de AI haar werk doen en verwijdert hij de ruis om de scherpe, originele foto terug te krijgen.

3. Waarom is dit belangrijk? (De Wiskundige Garantie)

Tot nu toe was het gebruik van deze slimme AI's in wiskundige formules een beetje gokken. Wist je dat het zou werken? Wist je zeker dat het niet zou blijven hangen in een oneindige lus?

De auteurs bewijzen wiskundig dat hun methode altijd convergeert.

• Analogie: Het is alsof ze een garantie geven dat je auto, als je het gaspedaal (de stapgrootte) op de juiste manier bedient, altijd bij de bestemming aankomt en niet blijft hangen in een cirkel. Ze bewijzen dat hun methode stabiel is, zelfs als de wiskundige problemen erg moeilijk zijn.

4. De Resultaten

Ze hebben hun methode getest op allerlei moeilijke taken:

• Inpainting: Het invullen van grote zwarte blokken op een foto (alsof je een gat in een schilderij moet dichten).
• Ontwazigen: Het scherper maken van wazige foto's (door beweging of slechte lens).
• Super-resolutie: Het vergroten van een kleine, korrelige foto naar een grote, scherpe foto.

In al deze gevallen bleek hun methode (met de AC-DC tussenstap) veel betere resultaten te geven dan bestaande methoden. De foto's zien er natuurlijker uit, hebben minder ruis en kloppen beter met de originele meting.

Samenvatting in één zin

De auteurs hebben een slimme "tussenstap" bedacht die beschadigde wiskundige data eerst "op maat maakt" voor een AI, zodat de AI zijn beste werk kan leveren, en ze hebben wiskundig bewezen dat dit proces altijd werkt en stabiel blijft.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework", geschreven in het Nederlands.

Titel: Taming Score-Based Denoisers in ADMM: A Convergent Plug-and-Play Framework

Auteurs: Rajesh Shrestha en Xiao Fu (Oregon State University)
Publicatie: ICLR 2026

---

1. Probleemstelling

Inversproblemen (zoals beeldherstel, super-resolutie en faseherstel) vereisen het vinden van een onbekend signaal $x$ uit gemeten data $y$, vaak onder de invloed van ruis. Traditionele methoden gebruiken handgemaakte regularisatoren, maar moderne benaderingen maken gebruik van score-based generative models (diffusiemodellen) als krachtige priors.

Hoewel deze modellen veelbelovend zijn, blijft het integreren ervan in optimalisatie-algoritmen zoals ADMM (Alternating Direction Method of Multipliers) problematisch. De auteurs identificeren twee centrale uitdagingen:

1. Manifold-mismatch: Score-functies worden getraind op verstoord data-manifolds (gegenereerd door Gaussische ruis toe te voegen aan de data). De iteraties van een optimalisatie-algoritme (zoals ADMM) liggen echter niet noodzakelijk op deze specifieke manifolds, vooral niet door de invloed van dual variabelen. Dit leidt tot een geometrisch misverstand en slechte denoising-prestaties.
2. Gebrek aan convergentie-inzicht: Er is weinig theoretisch bewijs dat garandeert dat ADMM convergeert wanneer het wordt gecombineerd met score-based denoisers. Bestaande theorieën gelden vaak alleen voor primitieve algoritmen of specifieke denoisers, maar niet voor de complexiteit van primal-dual methoden met deze moderne priors.

2. Methodologie: De AC-DC Denoiser

Om deze problemen op te lossen, stellen de auteurs een nieuw kader voor: ADMM Plug-and-Play (ADMM-PnP) met een innovatieve AC-DC Denoiser. Deze denoiser bestaat uit drie fasen die de iteraties van ADMM voorbereiden op effectief gebruik van de score-functie:

1. Auto-Correction (AC):
   • Er wordt Gaussische ruis toegevoegd aan de huidige ADMM-iteratie ($z^{(k)}$).
   • Doel: Dit "trekt" de iteratie dichter naar de omgeving van de manifolds waarop de score-functie is getraind. Het lost het probleem op dat de input van de denoiser niet op de juiste ruisverdeling ligt.
2. Directional Correction (DC):
   • Er wordt gebruik gemaakt van conditionele Langevin-dynamica om de AC-gecorrigeerde iteratie verder te verfijnen.
   • Doel: Dit stap past de iteratie aan op de specifieke manifold $M_{\sigma(k)}$ zonder de informatie uit de metingen te verliezen. Het zorgt ervoor dat de input voor de daadwerkelijke denoising perfect aligneert met de trainingsverdeling van het model.
3. Score-based Denoising:
   • De gecorrigeerde iteratie wordt verwerkt door de score-functie (via de Tweedie's lemma benadering of een ODE-integratie) om het schone signaal te schatten.

Deze drie-staps structuur zorgt ervoor dat de input voor de score-functie consistent is met de aannames van het getrainde model, ondanks de aanwezigheid van dual variabelen in ADMM.

3. Belangrijkste Bijdragen

• Het AC-DC Kader: De introductie van een drie-staps denoiser die specifiek is ontworpen om de manifold-mismatch in ADMM te overbruggen. Dit maakt het mogelijk om score-based priors effectief te gebruiken in primal-dual optimalisatie.
• Convergentie-analyse (Statisch): De auteurs bewijzen dat, onder geschikte parameters, elke iteratie van ADMM een zwak niet-expansieve operator is. Dit garandeert convergentie naar een vaste punt-bol (fixed-point ball) met een constante stapgrootte, mits de verliesfunctie sterk convex is.
• Convergentie-analyse (Adaptief): Voor minder strikte voorwaarden (waarbij convexiteit niet gegarandeerd is), bewijzen ze dat het AC-AC denoiser een begrensde denoiser is. Dit leidt tot convergentie met hoge waarschijnlijkheid wanneer een adaptieve stapgrootte-schedulering wordt gebruikt.
• Uitbreiding van theorie: Ze breiden bestaande ADMM-PnP convergentietheorieën (zoals die van Ryu et al. en Chan et al.) uit naar de context van diffusie-gebaseerde score-functies.

4. Resultaten

De methode is getest op een breed scala aan inversproblemen, waaronder:

• Inpainting (willekeurige en rechthoekige maskers)
• Super-resolutie
• Gaussian en Motion deblurring
• Phase retrieval
• High Dynamic Range (HDR) herstel

Kwalitatieve resultaten:
De gereconstrueerde beelden tonen minder artefacten en ruis dan concurrenten. Methoden zoals DPS leiden vaak tot inconsistenties met de metingen, terwijl DiffPIR last heeft van ruis. De AC-DC methode levert scherpere en natuurlijker ogende resultaten.

Kwantitatieve resultaten:
Op datasets zoals FFHQ en ImageNet presteert de methode (in varianten "Ours-tweedie" en "Ours-ode") consequent het beste of tweede beste op alle metrics (PSNR, SSIM, LPIPS).

• De methode overtreft state-of-the-art baselines zoals DiffPIR, DPS, DDRM, RED-diff en DAPS aanzienlijk.
• Een ablatiestudie toont aan dat de Directional Correction (DC) stap cruciaal is; zonder deze stap (alleen AC) blijven er ernstige artefacten achter, vooral bij moeilijke taken zoals phase retrieval.

5. Betekenis en Impact

Dit paper is significant omdat het een langdurig theoretisch en praktisch probleem oplost: het veilig en effectief integreren van krachtige, maar gevoelige score-based generative models in robuuste primal-dual optimalisatieframeworks.

• Theoretische doorbraak: Het biedt de eerste rigoureuze convergentiebewijzen voor ADMM-PnP met score-based denoisers, wat een ontbrekende schakel was in de literatuur.
• Praktische toepasbaarheid: De methode is "plug-and-play" en werkt met bestaande getrainde diffusiemodellen zonder dat deze opnieuw hoeven te worden getraind voor specifieke taken.
• Flexibiliteit: Het kader toont aan dat ADMM, ondanks de complexiteit van dual variabelen, een ideaal platform kan zijn voor geavanceerde generatieve priors, mits de juiste correctiestappen (AC-DC) worden toegepast.

Kortom, de auteurs hebben een brug geslagen tussen de wereld van moderne generatieve AI en klassieke optimalisatietheorie, wat leidt tot superieure oplossingen voor complexe inversproblemen.