Stage-wise Distortion-Perception Traversal in Zero-shot Inverse Problems with Diffusion Models

Technische Samenvatting: Stapsgewijze Doorloop van Vervorming–Perceptie bij Zero-shot Inverse Problemen met Diffusiemodellen

Probleemstelling
Bayesiaanse inverse problemen, die erop gericht zijn oorspronkelijke signalen te reconstrueren uit gedegradeerde waarnemingen, worden fundamenteel beperkt door de afweging tussen vervorming en perceptie (D–P). Vervormingsprestaties meten de reconstructietrouw op steekproefniveau (bijvoorbeeld via MSE of PSNR), terwijl perceptieprestaties de visuele kwaliteit en de distributiesimilariteit met echte data weerspiegelen. Theoretisch werk heeft vastgesteld dat deze doelstellingen inherent in spanning staan: het verbeteren van het ene vereist vaak het verslechteren van het andere. Hoewel diffusiemodellen state-of-the-art (SOTA) resultaten hebben bereikt bij het oplossen van inverse problemen zonder taakspecifiek hertrainen, missen bestaande methoden principiële en computationeel efficiënte strategieën om de D–P-curve tijdens de inferentie te doorlopen. Huidige benaderingen, zoals het aanpassen van het aantal steekproefstappen of het middelen van steekproeven, zijn vaak heuristisch of computationeel duur, en de mechanismen voor het controleren van deze afweging in op diffusie gebaseerde zero-shot algoritmen blijven onvoldoende gekarakteriseerd.

Methodologie
De auteurs stellen een tweestapskader voor, genaamd MAP-RPS (Maximum A Posteriori - Re-noised Posterior Sampling), om flexibele D–P-doorloop mogelijk te maken met behulp van één vooraf getraind diffusiemodel. De methode wordt later uitgebreid naar de latente ruimte als LMAP-RPS om gebruik te maken van schaalbare latente diffusie-ruggengraten.

1. Stap 1: Initialisatie met lage vervorming (MAP-schatting)
   De eerste stap benadert de Minimum Mean Squared Error (MMSE)-oplossing, wat overeenkomt met het optimale vervormingspunt op de D–P-curve. De auteurs analyseren posterieuren die sterk log-concaaf zijn en stellen vast dat de MAP-schatter dient als een geldig surrogaat voor de MMSE-oplossing met een begrensde benaderingsfout. Zij leiden een hanteerbare gradiënt af voor de log-prior met behulp van de scorefunctie van het vooraf getrainde diffusiemodel op een specifiek tijdstip $t_1$, wat efficiënte MAP-schatting mogelijk maakt via stochastische gradiëntgebaseerde optimalisatie. Dit levert een startpunt met lage vervorming op ($x_{MAP}$).

2. Stap 2: Verbetering van de perceptuele kwaliteit (Re-noised Posterior Sampling)
   De tweede stap doorloopt de D–P-curve door de perceptuele kwaliteit progressief te verbeteren. De MAP-schatting wordt opnieuw verstoord tot een voorgeschreven tijdstip $t_0$, en posterior sampling wordt uitgevoerd vanuit deze verstoord initialisatie. Theoretisch tonen de auteurs aan dat de Wasserstein-2 ($W_2$)-afstand (een maatstaf voor perceptiefout) tussen de gegenereerde verdeling en de ware data-verdeling wordt gecontroleerd door het tijdstip van opnieuw verstoren $t_0$. Door $t_0$ te variëren, maakt de methode een continue interpolatie mogelijk tussen de MAP-oplossing met lage vervorming (waarbij $t_0=0$) en standaard posterior sampling (waarbij $t_0=T$).

Belangrijkste Bijdragen

• Theoretisch Kader: Het paper biedt theoretische analyses voor beide stappen. Het stelt een foutgrens vast voor het benaderen van de MMSE-oplossing met de MAP-schatter onder aannames van sterke log-concaafheid en leidt een bovengrens af voor de $W_2$-afstand voor de stap van re-noised posterior sampling, waarmee wordt bewezen dat de perceptiefout kan worden gecontroleerd door $t_0$ aan te passen.
• Algoritmedesign: De introductie van MAP-RPS en zijn variant in de latente ruimte, LMAP-RPS, biedt een computationeel efficiënt mechanisme voor D–P-doorloop. In tegenstelling tot methoden die herhaalde steekproeven of complexe hyperparameterafstelling vereisen, vereist deze aanpak slechts één MAP-schatting en één posterior sampling-proces.
• Extensie naar Latente Ruimte: Door het kader uit te breiden naar latente diffusiemodellen (LMAP-RPS), maken de auteurs gebruik van krachtige vooraf getrainde ruggengraten (bijvoorbeeld Stable Diffusion) voor bredere toepasbaarheid op real-world taken met hoge resolutie.

Experimentele Resultaten
Uitgebreide experimenten werden uitgevoerd op de FFHQ-dataset (voor D–P-curve-analyse) en de MS-COCO-dataset (voor near-real-world inverse problemen).

• D–P-doorloop: Op FFHQ-taken (ruisvermindering, superresolutie, inpainting, deblurring) behaalden zowel MAP-RPS als LMAP-RPS consistent curves dichter bij de ideale linkeronderhoek (optimale vervorming en perceptie) in vergelijking met bestaande methoden zoals VSDPS en PSCGAN.
• Real-world Prestaties: Op MS-COCO behaalde LMAP-RPS SOTA-prestaties op bijna alle taken en metrieken (PSNR, SSIM, LPIPS, FID) in vergelijking met negen recente baselines op basis van latente diffusie.
• Efficiëntie: LMAP-RPS toonde aanzienlijke computationele voordelen. Bij $t_0=0$ was het aanzienlijk sneller dan alle baselines. Zelfs bij $t_0=600$ bleef het computationeel efficiënt, waarbij het andere methoden vaak overtrof in snelheid terwijl het superieure reconstructiekwaliteit behield.

Betekenis en Claims
Het paper claimt dat MAP-RPS en LMAP-RPS een nieuw perspectief bieden voor het realiseren van D–P-doorloop in zero-shot inverse problemen. De auteurs benadrukken dat hun methode een principiële, theoretisch onderbouwde en computationeel efficiënte alternatief biedt voor bestaande heuristische strategieën. Door de vervormings- en perceptiedoelstellingen te ontkoppelen in twee distincte stappen, stelt het kader practitioners in staat om flexibel een reconstructie te selecteren die het beste past bij specifieke toepassingsvereisten zonder modellen te hertrainen. De auteurs benadrukken ook het sterke praktische potentieel van LMAP-RPS, met name het vermogen om SOTA-resultaten te leveren op complexe, real-world inverse problemen met een lagere computationele complexiteit dan huidige state-of-the-art algoritmen.

Beperkingen en Toekomstig Werk
De auteurs erkennen dat hun theoretische garanties berusten op de aanname van sterk log-concaaf (ongeveer unimodaal) posterieuren. Hoewel empirische resultaten suggereren dat de methode effectief blijft in meer algemene settings, vereist het gedrag onder complexe multimodale posterieuren verder onderzoek. Bovendien is de huidige implementatie afhankelijk van specifieke posterior sampling-algoritmen (zoals DPS) voor Stap 2, wat schattingsfouten kan introduceren; toekomstig werk zou asympotisch consistente posterior sampling-methoden kunnen integreren om de D–P-doorloop verder te verfijnen.