Technische Samenvatting: Noise Combination Sampling voor Lineaire Inverse Problemen

1. Probleemstelling

Vooraf getrainde diffusiemodellen (DM's) hebben aanzienlijk potentieel getoond bij het oplossen van inverse problemen (bijvoorbeeld image inpainting, deblurring, super-resolution en wetenschappelijke beeldvorming) op een zero-shot manier door observatie-informatie op te nemen in het generatieproces. Echter, bestaande methoden staan voor een inherent dilemma:

• Overmatige Integratie: Aggressief injecteren van observatiebeperkingen kan het generatieproces verstoren, waardoor de sampling-trajectorie van de geleerde data-manifold wordt geduwd en instabiliteit ontstaat.
• Onvoldoende Integratie: Zwakke integratie faalt om de door het inverse probleem opgelegde beperkingen adequaat af te dwingen, wat leidt tot slechte reconstructiekwaliteit.

Huidige oplossingen vertrouwen vaak op complexe hyperparameter-tuning, lange sampling-schema's of variational inference-benaderingen die dure zoektochten over meerdere parameters vereisen om deze beperkingen te compenseren. Bovendien, terwijl methoden zoals Denoising Diffusion Codebook Models (DDCM) efficiënte compressie bieden, vertrouwen ze vaak op greedy searches met exponentiële computationele complexiteit bij het combineren van meerdere ruisvectoren.

2. Methodologie: Noise Combination Sampling (NCS)

De auteurs stellen Noise Combination Sampling (NCS) voor, een kader dat de measurement score $\nabla_{x_t} \log p(y | x_t)$ benadert door een optimale ruisvector te synthetiseren vanuit een ruisonderruimte, in plaats van de denoising-update expliciet te wijzigen met externe gradiënten.

Kernmechanisme

In standaard Denoising Diffusion Probabilistic Models (DDPM) is de reverse update:
$$x_{t-1} = \mu(x_t, t) + \sigma_t \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, I)$$
Voor conditionele generatie wordt de ruis term $\epsilon_t$ vervangen door een gesynthetiseerde ruisvector $\epsilon^*_t$ die uitgelijnd is met de conditionele score-richting. NCS beperkt $\epsilon^*_t$ tot de span van een eindige set Gaussische ruisvectoren (een "ruis codebook") $\{\epsilon^i_t\}_{i=1}^K$:
$$\epsilon^*_t = \sum_{i=1}^K \gamma_i \epsilon^i_t$$
Het doel is om combinatieweegs $\gamma$ te vinden die de uitlijning maximaliseren tussen de gesynthetiseerde ruis en de conditionele score-richting $c = \nabla_{x_t} \log p(y | x_t)$.

Theoretische Formulering

In plaats van direct cosine-afstand te optimaliseren, hanteert NCS een op inproduct gebaseerde surrogaatdoelfunctie, die een computationeel efficiënte gesloten-vorm oplossing toestaat.

• Optimalisatie: Maximaliseer $\langle c, \sum \gamma_i \epsilon^i_t \rangle$ onder de voorwaarde $\|\gamma\|_2 = 1$.
• Gesloten-vorm Oplossing: Laat $E_t = [\epsilon^1_t, \dots, \epsilon^K_t]$. De optimale weegs zijn:
  $$\gamma^* = \frac{E_t^\top c}{\|E_t^\top c\|_2}$$
  Deze formulatie staat toe dat conditionele informatie natuurlijk wordt ingebed in de ruiscomponent, waardoor de denoising-structuur behouden blijft en de trajectorie op de geleerde manifold blijft.

Relatie tot Bestaande Methoden

NCS verenigt verschillende bestaande plug-and-play oplosmethoden (DPS, MPGD, $\Pi$GDM, DAPS) als speciale gevallen van optimale ruiscombinaties.

• DDCM Connectie: De auteurs tonen aan dat DDCM een speciaal geval is van NCS waarbij de combinatieweegs beperkt zijn tot one-hot (precies één ruisvector selecteren). NCS generaliseert dit door lineaire combinaties van meerdere vectoren toe te staan.
• Complexiteit: Waar DDCM vertrouwt op greedy search voor multi-vector combinaties (exponentiële complexiteit), bereikt NCS concurrerende prestaties met lineaire complexiteit $O(K)$ via de gesloten-vorm oplossing.

Parameterselectie

Het artikel analyseert de Signal-to-Noise Ratio (SNR) schaling van de gesynthetiseerde ruis. Het suggereert het kiezen van de codebook-grootte $K \approx \sqrt{n}$, waarbij $n$ de effectieve dimensie van de meetruimte is (vaak $n \ll d$ voor slecht gestelde problemen). Deze schaling zorgt voor effectieve begeleiding terwijl de Gaussische-achtige structuur van de ruis behouden blijft.

3. Belangrijkste Bijdragen

1. Nieuw Kader: Introductie van NCS, dat de benadering van de measurement score formuleert als een inproduct-minimalisatieprobleem met een gesloten-vorm oplossing, wat stabiele conditionele controle mogelijk maakt zonder stap-voor-stap hyperparameter-tuning.
2. Theoretische Vereniging: Aantonen dat NCS bestaande inverse probleem-oplosmethoden (DPS, MPGD, etc.) verenigt en DDCM generaliseert. Het bewijst dat DDCM een speciaal geval is van NCS onder een one-hot beperking.
3. Efficiëntie in Compressie: Toepassing van NCS op generatieve beeldcompressie, waarbij wordt aangetoond dat het concurrerende kwantisatiekwaliteit bereikt met lineaire tijdscomplexiteit in het aantal ruisvectoren $m$, wat de greedy search van DDCM significant overtreft.
4. Robuustheid en Prestaties: Uitgebreide experimenten tonen aan dat NCS de prestaties verbetert over diverse inverse problemen en sampling-regimes, met name in settings met weinig stappen ($T < 100$), met verwaarloosbare computationele overhead (minder dan 4% toename in inferentietijd).

4. Experimentele Resultaten

De auteurs evalueerden NCS op taakken voor beeldherstel (inpainting, super-resolution, deblurring) en wetenschappelijke inverse problemen (zwart gat-beeldvorming, inverse verstrooiing, gecomprimeerde sensing MRI) met behulp van FFHQ, ImageNet en gespecialiseerde wetenschappelijke datasets.

• Inverse Problemen: NCS-DPS en NCS-MPGD presteerden consistent beter dan hun baseline-tegenhangers en state-of-the-art methoden (bijvoorbeeld RED-Diff, DAPS) over diverse metrieken (PSNR, FID, LPIPS). Opmerkelijk is dat NCS superieure resultaten behaalde met minder diffusiestappen (bijvoorbeeld 20 of 100 stappen), waarbij baselines vaak worstelden met instabiliteit.
• Compressie: In experimenten met generatieve compressie bereikte NCS vergelijkbare rate-distortion prestaties als DDCM, terwijl het aantal diffusiestappen met een factor 10 werd gereduceerd (bijvoorbeeld van 1000 naar 100 stappen). Dit resulteerde in een 10x versnelling van de compressietijd met minimale reconstructiedegradatie.
• Computationele Kosten: De overhead geïntroduceerd door NCS is verwaarloosbaar. Op een NVIDIA RTX 4090 bedroeg de overhead per stap ongeveer 1–3ms vergeleken met een model-inferentietijd van ~130ms, wat resulteerde in een totale vertraging van slechts 1–4%.

5. Betekenis en Claims

Het artikel claimt dat NCS een fundamentele verschuiving biedt in hoe conditionele informatie wordt geïntegreerd in diffusiemodellen. Door begeleiding in te bedden in de ruisvector in plaats van de trajectorie direct te verstoren, doet NCS het volgende:

• Stabiliseert Generatie: Het vermijdt de instabiliteit die geassocieerd is met expliciete gradiëntbegeleiding, met name in regimes met weinig stappen.
• Elimineert Tuning: Het werkt effectief met één standaardinstelling, waardoor de behoefte aan complexe hyperparameter-zoektochten die door bestaande methoden worden vereist, wordt weggenomen.
• Versnelt Inferentie: Het maakt hoogwaardige reconstructie mogelijk met aanzienlijk minder diffusiestappen, waardoor diffusie-gebaseerde inverse oplosmethoden praktischer worden voor real-time toepassingen.
• Generaliseert Compressie: Het biedt een theoretisch onderbouwde, efficiënt alternatief voor DDCM voor generatieve compressie, waardoor de bottleneck van exponentiële complexiteit bij multi-vector selectie wordt opgelost.

De auteurs erkennen dat hoewel NCS-DPS in sommige specifieke gevallen beperkte verbetering toont ten opzichte van DAPS en kan stuiten op faalmodi die vergelijkbaar zijn met DPS (bijvoorbeeld instorting naar donkere afbeeldingen), het algehele kader een robuuste, verenigde en efficiënte aanpak biedt voor het oplossen van lineaire inverse problemen en generatieve compressie.