An Unconditional Representation of the Conditional Score in Infinite-Dimensional Linear Inverse Problems

Technische Samenvatting: Een Ondingeleerde Representatie van de Conditionele Score in Oneindig-Dimensionale Lineaire Inverse Problemen

Probleemstelling
Score-gebaseerde diffusiemodellen (SDM's) zijn uitgegroeid tot een krachtig hulpmiddel voor het bemonsteren van posterior-verdelingen in Bayesiaanse inverse problemen, waarbij ze flexibele prioren bieden die superieur zijn aan traditioneel handgemaakte regularisatoren. Echter, bestaande methoden voor posterior-bemonstering staan voor een kritieke afweging tussen computationele efficiëntie en schaalbaarheid.

1. Correctie-gebaseerde methoden (bijvoorbeeld het toevoegen van likelihood-gradiënten aan de score of het afdwingen van data-consistentie) vereisen herhaalde evaluaties van de voorwaartse operator $A$ tijdens het bemonsteringsproces. Dit creëert een onaanvaardbare computationele bottleneck voor grootschalige, hoogdimensionale problemen.
2. Directe conditionele trainingsmethoden leren een scorefunctie die is geconditioneerd op metingen ($s(x, t; \mu_y)$). Hoewel dit voorwaartse evaluaties tijdens het bemonsteren vermijdt, vergroot het drastisch de inputdimensie van het neurale netwerk (van $x$ naar $(x, y)$), wat uitgebreide trainingsdata en complexe architecturen vereist om de conditionele score nauwkeurig te benaderen, met name in oneindig-dimensionale settings.

Het artikel adresseert de uitdaging om efficiënte, schaalbare posterior-bemonstering in oneindig-dimensionale lineaire inverse problemen uit te voeren zonder de hoge online kosten van voorwaartse model-evaluaties of de hoge steekproefcomplexiteit van directe conditionele training te incasseren.

Methodologie: Ondingeleerde Representatie van de Conditionele Score (UCoS)
De auteurs stellen UCoS voor, een raamwerk dat de computationele last van conditionering verschuift van de online bemonsteringsfase naar een offline trainingsfase. Het kerninzicht is dat voor lineaire inverse problemen met Gaussisch ruis, de conditionele scorefunctie exact kan worden afgeleid uit een ondingeleerde scorefunctie van een gewijzigd, taakafhankelijk diffusieproces via affiene transformaties.

• Theoretische Grondslag:

  • De methode opereert in een scheidbare Hilbertruimte $\mathcal{H}$, wat discretisatie-invariantie garandeert.
  • In plaats van een netwerk te trainen om $s(x, t; \mu_y)$ te benaderen, definiëren de auteurs een nieuw diffusieproces $\tilde{X}_t$ waarvan de verdeling een mengsel is van de prior en een Gaussische term die afhankelijk is van de voorwaartse operator $A$.
  • Zij bewijzen (Stelling 3.7) dat de ware conditionele score $s(x, t; \mu_y)$ gerelateerd is aan de ondingeleerde score $\tilde{s}$ van dit nieuwe proces via de identiteit:
    $$s(x, t; \mu_y) = \lambda(t) \left( r(\xi_t(x, y)) - e^{-t/2}x \right)$$
    waarbij $r$ een getransformeerde versie is van de ondingeleerde score, $\lambda(t)$ een tijdsafhankelijke scalair is, en $\xi_t(x, y)$ een affiene transformatie is die de meting $y$ en de geadjungeerde operator $A^*$ omvat.
  • Cruciaal is dat de term $A^*\Gamma^{-1}y$ (waarbij $\Gamma$ de ruiscovariantie is) één keer kan worden berekend voordat de bemonstering begint. Het daaropvolgende bemonsteringsproces vereist alleen de evaluatie van het getrainde netwerk $r_\theta$ en eenvoudige vectoroptellingen, waardoor de noodzaak voor verdere toepassingen van $A$ of $A^*$ tijdens de omgekeerde diffusiestappen wordt geëlimineerd.

• Implementatie:

  • Offline Fase: Een neurale netwerk (specifiek een Fourier Neural Operator, FNO) wordt getraind om de functie $r$ te benaderen. De training maakt gebruik van een denoising score-matching doelstelling op het gewijzigde proces $\tilde{X}_t$. Deze fase vereist toegang tot $A$ en $A^*$, maar geen specifieke meetdata $y$.
  • Online Fase: Posterior-steekproeven worden gegenereerd door de reverse-time SDE op te lossen met de getransformeerde score. Het proces is "matrix-vrij" en vereist alleen de vooraf berekende verschuiving $A^*\Gamma^{-1}y$ en de netwerkevaluatie.

Belangrijkste Bijdragen

1. Exacte Identiteit in Oneindige Dimensies: Het artikel vestigt een rigoureuze theoretische identiteit (Stelling 3.7) die de conditionele score verbindt met een taakafhankelijke ondingeleerde score via affiene transformaties in oneindig-dimensionale Hilbertruimten. Dit generaliseert het principe voorbij specifieke eindig-dimensionale discretisaties.
2. Convergentie-analyse: De auteurs bieden een kwantitatieve foutgrens (Stelling 4.1) voor het generatieve proces, waarbij ze expliciet de foutbijdragen van de trainingsfout, numerieke discretisatie en initialisatie karakteriseren. Dit rechtvaardigt de convergentie van de methode naar de ware posterior-maat.
3. Schaalbaarheid en Efficiëntie: Door de conditionering te ontkoppelen van de bemonsteringslus, bereikt UCoS de computationele efficiëntie van ondingeleerde methoden (geen voorwaartse evaluaties tijdens bemonstering) terwijl het de nauwkeurigheid van conditionele methoden behoudt. Het vermijdt de vloek van de dimensionaliteit die geassocieerd is met het trainen van netwerken op de gezamenlijke ruimte $(x, y)$.

Experimentele Resultaten
De auteurs valideren UCoS op drie inverse problemen: image inpainting, sparse-view computed tomography (CT) en image deblurring.

• Inpainting (Gaussische Prior): In een setting waar de posterior Gaussisch is en scores in gesloten vorm kunnen worden berekend, presteert UCoS vergelijkbaar met de exacte conditionele methode en andere baselines, wat de theoretische identiteit bevestigt.
• CT-beeldvorming en Deblurring (Gestudeerde Priors): Met respectievelijk de LIDC-IDRI en CelebA datasets wordt UCoS vergeleken met SDE ALD, Diffusion Posterior Sampling (DPS), projectie-gebaseerde methoden (Proj) en directe conditionele training.
  • Nauwkeurigheid: UCoS produceert steekproeven met bias en standaardafwijking die vergelijkbaar zijn met of beter zijn dan ondingeleerde methoden en significant beter dan de conditionele methode bij gebruik van laag-complexe architecturen (bijvoorbeeld 32 knopen per laag).
  • Efficiëntie: UCoS komt de bemonsteringssnelheid van de conditionele methode overeen (beiden vermijden voorwaartse evaluaties), maar presteert significant beter dan correctie-gebaseerde methoden (DPS, Proj, SDE ALD) die herhaalde voorwaartse passes vereisen.
  • Robuustheid: De prestaties van de conditionele methode verslechteren merkbaar bij minder netwerkparameters vanwege de verhoogde complexiteit van het benaderen van de gezamenlijke verdeling, terwijl UCoS hoge kwaliteit behoudt met eenvoudigere architecturen.

Betekenis en Claims
Het artikel claimt dat UCoS een "het beste van twee werelden"-oplossing biedt: het elimineert de computationele bottleneck van voorwaartse model-evaluaties tijdens bemonstering (een beperking van correctie-gebaseerde methoden) terwijl het de hoge steekproefcomplexiteit en architecturale eisen van directe conditionele training vermijdt.

De auteurs benadrukken dat hun aanpak discretisatie-invariant is, waardoor het geschikt is voor oneindig-dimensionale inverse problemen waar prestatiegaranties vaak falen in hoogdimensionale eindig-dimensionale benaderingen. Zij erkennen dat de methode taakafhankelijk is, wat hertraining vereist als de voorwaartse operator $A$ verandert, en dat de exacte correspondentie berust op de lineariteit van het voorwaartse model en de Gaussiciteit van de likelihood (wat de stap van "kwadraat aanvullen" mogelijk maakt). Het werk wordt gepresenteerd als een bewijs van concept voor een nieuwe klasse van diffusie-gebaseerde samplers die conditioneringscomplexiteit verschuiven naar de trainingsfase zonder benaderingsfout in de theoretische formulering.