Technische Samenvatting: Conditionele Diffusie onder Lineaire Beperkingen

Probleemstelling

Het artikel behandelt het probleem van zero-shot conditionele sampling voor lineaire inverse problemen (bijvoorbeeld image inpainting, super-resolutie) met behulp van vooraf getrainde diffusiemodellen. In deze scenario's is een observatie $y$ gerelateerd aan een schoon signaal $Z$ via een lineaire operator $A$ zodanig dat $y = AZ$. Het doel is om te samplen uit de conditionele verdeling $\text{Law}(Z \mid AZ = y)$.

Bestaande projectiegebaseerde methoden (bijvoorbeeld DDRM, DDNM) handhaven meetconsistentie door analytisch de "normale" component van het signaal (het deel dat door $A$ wordt bepaald) te corrigeren tijdens het omgekeerde diffusieproces. De auteurs betogen echter dat meetconsistentie alleen onvoldoende is. Hoewel de normale component vaststaat door de observatie, blijft de "tangentiale" component (het deel in de nulruimte van $A$) onderbepaald. Standaard projectiegebaseerde methoden laten de tangentiale dynamiek volledig worden beheerst door de vooraf getrainde unconditionele score. Dit leidt tot een bias in de tangentiale ruimte, waarbij de waarschijnlijkheidsmassa onjuist wordt verdeeld over de realiseerbare affiene set, wat vaak resulteert in het accumuleren van fouten uit dominante modi van de unconditionele prior die irrelevant zijn voor de specifieke observatie.

Methodologie

De auteurs stellen een tweestaps samplingkader voor dat is gebaseerd op een normaal-tangentiale decompositie van de conditionele scorefunctie onder Gaussische ruis.

1. Normaal-Tangentiale Decompositie

Voor een variance-explosie (VE) diffusieproces $X_t = Z + W_t$ kan de conditionele score $s^*_t(x)$ worden ontleed in normale ($P_\perp$) en tangentiale ($P_\parallel$) componenten ten opzichte van de rijruimte van $A$:

• Normale Component: De normale score $P_\perp s^*_t(x)$ is beschikbaar in gesloten vorm via de formule van Tweedie en de observatie $b = P_\perp Z$. Deze wordt gegeven door $\frac{1}{t}P_\perp(b - x)$.
• Tangentiale Component: De tangentiale score $P_\parallel s^*_t(x)$ is onbekend. Projectiegebaseerde methoden benaderen deze door de unconditionele tangentiale score $P_\parallel s_t(x)$.

De auteurs identificeren dat de fout in standaard zero-shot sampling voortkomt uit het vervangen van de onbekende conditionele tangentiale score door de unconditionele. Deze benadering is het meest problematisch bij hoge ruisniveaus, waarbij de unconditionele score informatie aggregeert uit alle datamodi, wat het monster potentieel naar irrelevante clusters trekt.

2. Voorgestelde Sampler: Projected-Langevin Initialisatie + Geleide Ontruising

Om deze bias te mitigeren, stellen de auteurs een drie-staps algoritme voor (Algoritme 1):

1. Initialisatie bij Intermediair Ruisniveau ($t^*$): In plaats van het omgekeerde proces te starten bij het hoogste ruisniveau ($T$), start de sampler bij een intermediair "veilig" ruisniveau $t^*$. Op dit niveau wordt de normale component exact gesampled uit de conditionele wet $\text{Law}(P_\perp X_{t^*} \mid P_\perp Z = b)$.
2. Projectie-gebaseerde Ondergedempte Langevin Mixing: Voordat het omgekeerde ontruisen begint, voert de sampler een korte fase uit van projectie-gebaseerde ondergedempte Langevin-dynamica (met behulp van de BAOAB-integrator) die beperkt is tot de affiene set die wordt gedefinieerd door de ruizige normale component. Deze stap gebruikt de geprojecteerde unconditionele score $P_\parallel s_{t^*}$ om de tangentiale component te mixen. Het doel is om een initialisatie te produceren die al goed gemixt is langs het realiseerbare manifold en consistent is met de beperking, waardoor de accumulatie van fouten door tangentiale-score-mismatch wordt verminderd.
3. Geleide Omgekeerde Ontruising: Vanuit de geïnitieerde staat bij $t^*$ voert de sampler geleide omgekeerde ontruising uit tot $t=0$. De dynamica gebruiken de exacte normale drift (om de beperking af te dwingen) en de vooraf getrainde unconditionele tangentiale score (om de tangentiale richtingen te leiden).

Belangrijkste Bijdragen

Het artikel levert vier primaire bijdragen:

1. Theoretische Decompositie: Het leidt een rigoureuze normaal-tangentiale decompositie af voor affiene conditionele diffusie, en toont aan dat de normale score exact wordt bepaald door de meting, waardoor de tangentiale score wordt geïsoleerd als de enige bron van benaderingsfout in zero-shot settings.
2. Algorithmische Voorstel: Het introduceert een sampler die exacte normale correctie combineert met een fase van projectie-gebaseerde Langevin initialisatie. Deze fase mixt expliciet de tangentiale richtingen op een intermediair ruisniveau voordat geleide ontruising plaatsvindt, en adresseert hiermee de accumulatie van bias die wordt gezien in naïeve projectiemethoden.
3. Informatietheoretische Foutgrenzen: De auteurs bewijzen een padgebonden foutgrens (Stelling 4) die aantoont dat de Kullback-Leibler (KL) divergentie tussen het ideale conditionele pad en het surrogate-pad wordt begrensd door de conditionele wederzijdse informatie $I(Z_\parallel; Z_\perp \mid X_{t^*})$. Dit biedt een informatietheoretisch criterium: de methode is accuraat wanneer de resterende statistische afhankelijkheid tussen de tangentiale en normale componenten klein is op het gekozen ruisniveau.
4. Terminalle Garanties: Onder een aanname van een latente Gaussische-mengselmodel biedt het artikel een terminale KL-grens (Stelling 9) die de fout splitst in een initialisatieterm en een padgebonden term. Bovendien tonen de auteurs onder een scheidingsconditie op de latente codeboek (Stelling 11) aan dat beide fouttermen exponentieel afnemen met het scheidings-naar-ruisverhouding, waardoor regimes worden vastgesteld waarin de methode zeer accuraat is.

Experimentele Resultaten

De voorgestelde methode, genaamd LCDM-BAOAB, werd geëvalueerd op standaard lineaire beeldinverse problemen (inpainting en 8× super-resolutie) over de CelebA-HQ, LSUN Church en ImageNet datasets.

• Basislijnen: De methode werd vergeleken met DDNM, een sterke zero-shot projectiegebaseerde basislijn.
• Metrieken: Prestaties werden gemeten met de Fréchet Inception Distance (FID) en Learned Perceptual Image Patch Similarity (LPIPS) onder een gelijk berekeningsbudget (100 netwerkfunctiewaarde-bepalingen).
• Vondsten:
  • LCDM-BAOAB presteerde consistent beter dan DDNM over alle datasets en taken.
  • Verbeteringen waren het meest significant op ImageNet en voor 8× super-resolutie, settings die worden gekenmerkt door hoge tangentiale-ruimte ambiguïteit (veel hoogresolutie afbeeldingen die consistent zijn met dezelfde laagresolutie observatie).
  • Visuele resultaten toonden aan dat LCDM-BAOAB schonere, coherenter reconstructies produceerde met minder textuurartefacten in vergelijking met DDNM, met name in scenario's met hoge ambiguïteit.

Betekenis en Claims

Het artikel beweert dat het afdwingen van meetconsistentie in de normale richtingen niet voldoende is voor het oplossen van sterk slecht gestelde lineaire inverse problemen met diffusie-priors. De centrale belemmering is de tangentiale-ruimte ambiguïteit, waarbij de unconditionele score faalt om de waarschijnlijkheidsmassa correct te verdelen over de realiseerbare set.

De betekenis van dit werk ligt in:

• Identificatie van de Bron van Bias: Het isoleert de tangentiale-score-benadering als het specifieke mechanisme dat bias veroorzaakt in bestaande zero-shot methoden.
• Dimensievrije Garanties: De theoretische grenzen zijn dimensievrij, en hangen in plaats daarvan af van de conditionele wederzijdse informatie en de gevoeligheid van de tangentiale conditie voor de normale code.
• Praktische Effectiviteit zonder Fine-Tuning: De methode bereikt state-of-the-art zero-shot prestaties door gebruik te maken van conditionering tijdens inferentie en Langevin-mixing, zonder dat taakspecifiek fine-tuning of het leren van extra modellen vereist is.
• Theoretische Rechtvaardiging voor Tangentiale Mixing: Het biedt een theoretische rechtvaardiging voor waarom mixing in de tangentiale richtingen op intermediaire ruisniveaus de samplingkwaliteit verbetert, en koppelt deze verbetering aan de reductie van resterende statistische afhankelijkheid tussen geobserveerde en niet-geobserveerde componenten.