Technische Samenvatting: Unificatie van Diepe Stochastische Processen voor Beeldverbetering

Probleemstelling

Beeldverbetering omvat inverse problemen zoals superresolutie, verbetering van belichting, kleuring en het verwijderen van regen (deraining), waarbij het doel is om een hoogwaardige afbeelding ($x_0$) te herstellen uit een gedegradeerde observatie ($y$). Deze problemen zijn inherent slecht gesteld (ill-posed), aangezien één kwalitatief laagwaardige input overeenkomt met een distributie van plausibele hoogwaardige reconstructies. Bij consequent gebruik maken moderne systemen gebruik van generatieve modellering om complexe conditionele distributies te vangen in plaats van te vertrouwen op puntinschatting.

Hoewel diffusiemodellen een sterke baseline vormen, stelt een groeiend aantal werken alternatieve stochastische processen voor die de generatieve trajectorie expliciet conditioneren op de gedegradeerde input $y$ (bijv. ResShift, IR-SDE, BBDM). Deze methoden beogen te interpoleren tussen laagwaardige en hoogwaardige afbeeldingen, in plaats van te evolueren vanuit onconditionele ruis. Echter, de relatie tussen deze conditionele processen en standaard diffusiemodellen blijft onduidelijk. Bestaande methoden verschillen niet alleen in hun stochastische definities, maar ook in schedulers, samplers, discretisatiestrategieën en architecturen. Deze verstrengeling maakt het moeilijk om het effect van het onderliggende proces zelf te isoleren, wat leidt tot een gebrek aan eerlijke, directe vergelijkingen en een gebrekkig begrip van waarom bepaalde conditionele benaderingen wel of niet slagen.

Methodologie

De auteurs introduceren een verenigd perspectief door recente beeldverbeteringsmethoden te classificeren in drie families van continue-tijd processen: onconditionele diffusiemodellen, Ornstein–Uhlenbeck (OU) processen en diffusiebruggen. De kernbijdrage is het aantonen dat al deze benaderingen voortkomen uit één enkele Stochastische Differentiaalvergelijking (SDE) formulering:

$$d\mathbf{x}_t = f(\mathbf{x}_t, t, \mathbf{y}) dt + g(t) d\mathbf{w}_t$$

waarbij $\mathbf{x}_t$ de staat op tijdstip $t$ is, $\mathbf{y}$ de conditionele variabele (gedegradeerde afbeelding) is, en $\mathbf{w}_t$ een Wiener-proces is. De auteurs tonen aan dat ogenschijnlijk uiteenlopende methoden primair verschillen in hun:

1. Drift- en diffusietermen ($f$ en $g$).
2. Terminale distributies (basisdistributies op $t=1$).
3. Randvoorwaarden (hoe het proces start en eindigt).

Cruciaal is dat het framework de definitie van het stochastische proces ontkoppelt van implementatiekeuzes zoals schedulers, samplers en discretisatiestrategieën, waarbij deze laatste als orthogonale ontwerpkeuzes worden behandeld.

Theoretische Unificatie

• Onconditionele Processen: Standaard Diffusiemodellen (DM-VE, DM-VP) en Flow Matching (FM) worden getoond als instanties waarbij de input $\mathbf{y}$ niet voorkomt in de definitie van het voorwaartse proces, maar wordt geleverd als een aanvullende input aan het neurale netwerk. Flow Matching wordt geherformuleerd als een continu stochastisch proces waarvan de reverse-time ODE de oorspronkelijke flow herstelt.
• Ornstein–Uhlenbeck (OU) Processen: Methoden zoals IR-SDE, ResShift en InDI worden geïdentificeerd als gegeneraliseerde OU-processen waarbij de stationaire distributie gecentreerd is rond $\mathbf{y}$. De auteurs leiden gesloten analytische oplossingen af voor deze processen (bijv. voor ResShift en InDI), waarmee de discrete, numeriek berekende schedulers uit de originele implementaties worden vervangen door continue-tijd formuleringen.
• Diffusiebruggen: Methoden zoals BBDM, DDBM, I2SB, GOUB en UniDB worden verenigd via de Doob's h-transformatie. De auteurs demonstreren dat BBDM, DDBM-VE en I2SB wiskundig equivalent zijn, waarbij ze enkel verschillen in hun keuze van de noise scheduler. UniDB wordt getoond als een generalisatie die een terminale kostenparameter ($\gamma$) introduceert om de afweging tussen endpoint-nauwkeurigheid en padgladheid te maken.

Kernbijdragen

1. Verenigd SDE-framework: Een continue-tijd formulering die onconditionele modellen, flow-gebaseerde methoden, OU-processen en diffusiebruggen generaliseert, waarbij de methode-definities expliciet worden gescheiden van schedulers en samplers.
2. Gecontroleerde Empirische Studie: Een grootschalige evaluatie over vier taken (superresolutie, verbetering van belichting, kleuring en deraining) met identieke backbone-architecturen (UNet en DiT), trainingsprotocollen en verliesfuncties (MSE).
3. Identificatie van Prestatiefactoren:
   • Temperatuur: De auteurs identificeren lage-temperatuurinstellingen in OU-gebaseerde methoden als een cruciale faalfactor. Een lage temperatuur induceert sterke collineariteit tussen intermediaire toestanden en de input, waardoor het netwerk eenvoudige extrapolatie leert in plaats van de werkelijke score te modelleren, wat leidt tot een gebrekkig herstel van details.
   • Deterministische Sampling: De studie onthult dat deterministische samplers (bijv. Euler ODE) toegepast op diffusiebruggen systematisch overmatige smoothing (oversmoothing) veroorzaken. Door de enige bron van stochastiek (Brownse beweging) te elimineren, dwingen deze samplers de trajectorieën om rechte lijnen te volgen tussen $\mathbf{y}$ en $\mathbf{x}_0$, wat convergeert naar een gemiddelde grondwaarheid.
4. ItoVision Library: De release van een modulaire PyTorch-bibliotheek die het verenigde framework implementeert, wat reproduceerbare vergelijkingen en snelle prototyping van stochastische beeldverbeteringsmethoden mogelijk maakt.

Resultaten

De gecontroleerde experimenten laten zien dat er geen consistent dominante methode is over alle taken heen.

• Prestatiegelijkwaardigheid: Wanneer ze onder identieke protocollen zijn getraind, bereiken de meeste methoden een opmerkelijk vergelijkbare prestatie. In veel gevallen evenaren of overtreffen plain onconditionele diffusiemodellen zelfs gespecialiseerde OU- of brug-gebaseerde benaderingen.
• Taakspecifieke Trends:
  • Superresolutie & Lage Belichting: Onconditionele processen (DM-VP) vertoonden lichte voordelen.
  • Kleuring: Diffusiebruggen waren het meest effectief.
  • Deraining: Zowel onconditionele als brug-gebaseerde methoden waren competitief.
• Specifieke Bevindingen:
  • ResShift presteerde iets beter dan standaard diffusie in geaggregeerde resultaten, maar dit was gevoelig voor de temperatuurinstellingen.
  • De slechte prestatie van InDI was direct gelinkt aan de standaard lage-temperatuurinstelling ($\tau=0.06$); het verhogen van de temperatuur verbeterde de resultaten aanzienlijk.
  • UniDB presteerde beter dan GOUB in bijna alle taken, toegeschreven aan de regularisatie via de parameter $\gamma$, die overshooting voorkomt en trajecten binnen de goed gemodelleerde regio's van de datamanifold houdt.
  • Ancestral sampling (stochastisch) bleek de meest consistente sampler, terwijl deterministische samplers hoge LPIPS-scores opleverden (wat duidt op oversmoothing) voor diffusiebruggen.

Betekenis en Claims

Het artikel beweert een nieuwe baseline te hebben gevestigd voor een eerlijke en interpreteerbare evaluatie van stochastische beeldverbeteringsmethoden. Door de theoretische fundamenten te verenigen, tonen de auteurs aan dat de waargenomen superioriteit van conditionele stochastische processen vaak een artefact is van implementatiekeuzes (zoals schedulers, temperatuur en samplers) in plaats van de intrinsieke aard van het proces zelf.

Het werk daagt de algemene aanname uit dat het conditioneren van het stochastische traject inherent leidt tot betere restauratiekwaliteit. In plaats daarvan suggereren zij dat architecturale en trainingskeuzes vaak de methodespecifieke verschillen domineren. De release van ItoVision is bedoeld om toekomstig onderzoek te ondersteunen door een gestandaardiseerd, uitbreidbaar fundament te bieden dat de theoretische definities ontkoppelt van numerieke implementaties, wat de ontwikkeling van nieuwe benaderingen faciliteert zonder de verwarrende variabelen van uiteenlopende experimentele opstellingen.