Technische Samenvatting: Triadische Dynamiek-bewuste Diffusie Posterior Sampling voor Inverse Problemen

1. Probleemstelling

Inverse problemen in beeldvorming hebben als doel een onbekend signaal $x_0$ te herstellen uit ruisbeïnvloede metingen $y = Ax_0 + n$, waarbij $A$ een bekende voorwaartse operator is en $n$ ruis. Waar klassieke methoden vertrouwen op handgemaakte priors, maken recente paradigma's gebruik van generatieve priors uit diffusiemodellen en flow matching om deze slecht gestelde problemen op te lossen.

Posterior sampling in deze context vertrouwt doorgaans op drie kerncomponenten om het omgekeerde diffusieproces te sturen:

1. Data Consistentie (DC) Guidance: Dwingt uitlijning af tussen het geschatte signaal en de metingen ($Ax \approx y$).
2. Classifier-Free Guidance (CFG): Stuurt de sampling-trajectorie naar een conditionerende tekstprompt om semantische priors te benutten.
3. Stochasticiteit: Injecteert ruis tijdens het omgekeerde proces om diversiteit te behouden en mode-collapse te voorkomen.

Bestaande werken behandelen deze componenten vaak met tijd-onafhankelijke (constante) schema's of passen ze slechts gedeeltelijk aan (bijvoorbeeld alleen DC variëren). Dit leidt tot suboptimale prestaties omdat de interacties tussen deze componenten dynamisch zijn. Specifiek kan agressieve CFG vroeg in het proces conflicteren met DC-guidance, en excessieve guidance zonder stochasticiteit kan trajecten wegduwen van hoog-waarschijnlijke gebieden van het data-manifold.

2. Methodologie: TriPS

De auteurs stellen TriPS (Triadic Dynamics Aware Posterior Sampling) voor, een kader dat posterior sampling herformuleert als een tijdsvariërend controleprobleem. Het kerninzicht is dat de drie componenten een gekoppeld "triadisch systeem" vormen dat gecoördineerde, tijd-afhankelijke schema's vereist.

2.1 Analyse van Triadische Koppelingsdynamiek

Het artikel stelt drie belangrijke theoretische en empirische bevindingen vast:

• Vroege-stadium Guidance-conflict: Er is een inherent conflict tussen DC-guidance en CFG in de vroege, hoog-ruisige stadia van sampling. Hoge CFG-schalen ($\lambda(t)$) vroeg kunnen de richting van DC-guidance tegenwerken, wat de minimalisatie van het meetresidu vertraagt en semantische hallucinaties veroorzaakt.
• Stochasticiteit als Regularisator: Stochasticiteit fungeert als een regularisator die het "off-manifold"-fenomeen tegenwerkt. Terwijl sterke DC en CFG sampling-trajecten naar lager-waarschijnlijke gebieden kunnen duwen, trekt een passend geschaalde stochasticiteit ($\eta(t)$) het traject terug naar het hoog-waarschijnlijke data-manifold.
• Triadisch Schema-trend: Gebaseerd op het bovenstaande volgt de optimale strategie een specifieke trend:
  • DC Guidance ($\beta(t)$): Monotoon afnemend. Hoog vroeg om structuur af te dwingen, laag laat om overfitting op ruis te voorkomen.
  • CFG ($\lambda(t)$): Monotoon toenemend. Laag vroeg om conflict met DC te vermijden, hoog laat om semantiek en details te verfijnen zodra de globale structuur is gevestigd.
  • Stochasticiteit ($\eta(t)$): Monotoon afnemend. Hoog vroeg om het traject te regulariseren, laag laat om precieze convergentie naar de doelverdeling te garanderen.

2.2 Optimalisatiekader

Om deze schema's te realiseren, hanteert TriPS twee complementaire strategieën:

1. Sjabloon-gebaseerde Schema-zoek (TriPST):

   • Zoekt in een discrete ruimte van functionele priors (Lineair, Exponentieel, Logaritmisch) die voldoen aan de monotonie-beperkingen.
   • Gebruikt een grid-search op een kleine kalibratieset om een nuttigheidsfunctie te maximaliseren die vervorming (PSNR) en perceptuele kwaliteit (LPIPS) in evenwicht brengt.
   • Biedt een robuuste basislijn en een warm-start voor verdere optimalisatie.

2. GRPO-gebaseerde Schema-optimalisatie (TriPSG):

   • Gebruikt Group Relative Policy Optimization (GRPO), een reinforcement learning-kader, om complexe, niet-functionele temporele curves te ontdekken die vaste sjablonen overstijgen.
   • Parametrisatie: Schema's worden gemodelleerd als continue curves met behulp van Bernstein-polynomen, met coëfficiënten die worden bemonsterd uit leerbare Beta-verdelingen. Dit zorgt ervoor dat de schema's binnen fysiek geldige grenzen blijven.
   • Beloning: Een hybride beloningsfunctie combineert vervormingsmetrieken (PSNR) en perceptuele metrieken (LPIPS, CLIP-IQA+, Q-Align) om de afweging tussen perceptie en vervorming te navigeren.
   • Beleidswijziging: Het beleid wordt bijgewerkt met een afgeknepen surrogaatdoel met groepsgebonden beloningsstandaardisatie, waardoor de noodzaak voor een waardenfunctie wordt vermeden.

3. Belangrijkste Bijdragen

• Analyse van Triadische Koppeling: Het artikel identificeert en formaliseert het conflict tussen vroege-stadium CFG en DC-guidance, en karakteriseert stochasticiteit als een noodzakelijke regularisator om uitlijning met het data-manifold te behouden.
• Triadisch Schema-kader: Stelt een unificerend schema-trend voor (afnemende DC/Stochasticiteit, toenemende CFG) die overeenkomt met de grof-naar-fijn aard van diffusiesampling.
• Dual Optimalisatie-paradigma's: Introduceert een tweestaps-optimalisatiebenadering: een sjabloon-gebaseerde zoek voor robuuste basislijnen en een GRPO-gebaseerde methode voor fijnkorrelige, taak-specifieke schema-aanpassing.
• Generaliseerbaarheid: Demonstreert de toepasbaarheid van het kader over verschillende generatieve backbones (Flow Matching en Diffusiemodellen) en diverse inverse problemen (Super-Resolution, Ontwarring, Inpainting).

4. Experimentele Resultaten

De auteurs evalueerden TriPS op hoog-resolutie benchmarks (FFHQ, DIV2K) over meerdere lineaire inverse problemen: Super-Resolution (8x, 12x), Bewegingsontwarring, Gaussische Ontwarring en Inpainting.

• Kwantitatieve Prestaties:

  • TriPS (zowel TriPST- als TriPSG-varianten) presteerde consistent beter dan state-of-the-art basislijnen (bijv. ReSample, FlowChef, FlowDPS, FLAIR, PSLD, DDPG) in zowel vervormingsmetrieken (PSNR, SSIM) als perceptuele metrieken (FID, LPIPS, KID, MUSIQ).
  • Bijvoorbeeld, bij Super-Resolution 8x op FFHQ met Flow Matching, behaalde TriPSG een PSNR van 28,55 en een LPIPS van 0,107, waarmee het de vorige beste (FLAIR) overtrof die een PSNR van 28,88 had maar een aanzienlijk hogere LPIPS van 0,123.
  • De methode toonde sterke overdraagbaarheid; schema's geoptimaliseerd voor SR 8x generaliseerden effectief naar SR 12x en Ontwarringstaken.

• Kwalitatieve Resultaten:

  • Visuele vergelijkingen toonden aan dat TriPS structurele artefacten en semantische hallucinaties vermindert die gebruikelijk zijn bij basislijnen met vaste of slecht geschema-gestuurde guidance.
  • De GRPO-geoptimaliseerde schema's (TriPSG) maakten flexibele controle mogelijk over de afweging tussen perceptie en vervorming, waardoor varianten mogelijk werden die scherpe texturen prioriteren (perceptie-georiënteerd) of structurele fideliteit (vervormings-georiënteerd).

• Ablatiestudies:

  • Gecombineerde optimalisatie van alle drie componenten (DC, CFG, Stochasticiteit) leverde superieure resultaten op vergeleken met het optimaliseren van slechts één of twee componenten terwijl de anderen vast werden gehouden.
  • De GRPO-gebaseerde aanpak leerde succesvol complexe temporele curves die afweken van eenvoudige sjablonen, wat de noodzaak van flexibele schema-optimalisatie bewijst.

5. Betekenis en Claims

Het artikel claimt dat het voorgestelde TriPS-kader een robuuste basis biedt voor adaptieve controle in generatieve modellering voor inverse problemen. Door expliciet de tijdsvariërende interacties tussen dataconsistentie, semantische guidance en stochasticiteit te modelleren, bereikt de methode restauratie met hoge fideliteit en verbeterde perceptuele realisme.

De auteurs benadrukken dat hun werk nieuwe theoretische inzichten biedt in de dynamiek van posterior sampling, specifiek de rol van stochasticiteit als regularisator tegen guidance-conflicten. Zij stellen dat deze bevindingen brede praktische bruikbaarheid hebben in velden zoals medische beeldvorming, wetenschappelijke reconstructie en remote sensing, zonder ethische bezwaren betreffende de technologie zelf te rijzen. Het werk richt zich op het verbeteren van reconstructie-accuraatheid zonder nadelige maatschappelijke gevolgen.