Spectral Collapse in Diffusion Inversion

Titel: Spectral Collapse in Diffusion Inversion

Auteurs: Nicolas Bourriez, Alexandre Véline, Auguste Genovesio (École Normale Supérieure PSL, Parijs)

1. Het Probleem: Spectrale Ineenstorting (Spectral Collapse)

Het artikel adresseert een fundamenteel probleem bij het gebruik van conditionele diffusiemodellen voor ongekoppelde beeld-naar-beeld vertaling (unpaired image-to-image translation), met name in scenario's waar het bron-domein "spectraal schaars" is ten opzichte van het doeldomein.

• Context: Taken zoals super-resolutie (bijv. van lage naar hoge resolutie in microscopie) of sketch-naar-beeld vertaling. Hierin bevat de invoer (bijv. een lage resolutie afbeelding of een schets) strikt minder informatie dan de gewenste uitvoer.
• De Uitdaging: Om nieuwe details (hoge frequenties/texturen) te genereren die niet in de invoer aanwezig zijn, moet het model de latente ruisrepresentatie ($z_T$) van de invoer afleiden via een deterministische inversie (bijv. DDIM).
• Het Verschijnsel: De auteurs ontdekken dat standaard deterministische inversie faalt in deze scenario's. De gerecupereerde latente ruiskaart is geen isotrope Gaussische verdeling, maar vertoont een spectrale ineenstorting:
  • De ruis behoudt een zichtbaar laag-frequent residu van de invoerstructuur.
  • Er ontbreekt hoge-frequentie energie (stochastische variantie).
  • Gevolg: Bij het genereren van het doelbeeld resulteert dit in overgegladde, textuurloze output ("oversmoothed generations") omdat het model geen stochastische variatie heeft om nieuwe texturen te "hallucineren".

2. Methodologie: Orthogonal Variance Guidance (OVG)

Om de afweging tussen structuurbehoud en textuurreconstructie op te lossen, stellen de auteurs Orthogonal Variance Guidance (OVG) voor. Dit is een inferentie-methode die de dynamica van de ODE (Ordinary Differential Equation) corrigeert.

• Analyse van de Oorzaak: De auteurs tonen aan dat het probleem verergerd wordt door het trainingsdoel van het model. Modellen die trainen op het voorspellen van ruis ($\epsilon$-prediction, zoals standaard DDIM) zijn kwetsbaarder voor deze ineenstorting dan modellen die trainen op het voorspellen van het schone signaal ($x_0$-prediction, zoals EDM).
• De OVG Oplossing: OVG injecteert hoge-frequentie variantie strikt binnen de nul-ruimte (null-space) van de structurele gradiënt van de invoer. Dit zorgt ervoor dat textuur wordt hersteld zonder de semantische structuur te verstoren.
  • Twee Losses:
    1. Hoge-frequentie Loss ($L_{HF}$): Straft afwijkingen van de theoretische ruisenergie (norm) af om Gaussische eigenschappen te herstellen.
    2. Laag-frequentie Loss ($L_{LF}$): Straft afwijkingen in de reconstructie van de lage-frequentie structuur (de invoerconditie) af om drift te voorkomen.
  • Orthogonale Projectie: Wanneer de gradiënten van deze twee doelen conflicteren (wat vaak het geval is), projecteert OVG de updates orthogonaal op elkaar. Dit betekent dat de correctie voor textuur (hoge frequenties) alleen plaatsvindt in de richtingen die orthogonaal staan op de structuurgradiënt. Hierdoor wordt de "Gaussianity gap" opgevuld zonder de "structural drift" te veroorzaken.

3. Belangrijkste Bijdragen

1. Empirische Analyse: Een systematische analyse van diffusie-inversie over diverse domeinen (Super-Resolutie, sketch-to-image) waarbij spectrale ineenstorting wordt geïdentificeerd als de primaire bottleneck voor vertaalkwaliteit.
2. Theoretisch Inzicht: Het aantonen dat het $x_0$-voorspellingsdoel (zoals in het EDM-framework) inherent robuuster is tegen deze ineenstorting dan het klassieke $\epsilon$-voorspellingsregime (DDIM), maar dat dit op zichzelf nog steeds leidt tot structurele drift.
3. Nieuwe Methode (OVG): De introductie van Orthogonal Variance Guidance, een plug-and-play methode die de ODE-dynamica corrigeert om de theoretische Gaussische ruisgrootte te handhaven binnen de nul-ruimte van de structurele gradiënt.
4. Validatie: Uitgebreide experimenten op microscopie-data (BBBC021) en schets-data (Edges2Shoes) die bewijzen dat OVG fotorealistische texturen herstelt terwijl de structurele trouw behouden blijft.

4. Resultaten

De auteurs evalueren hun methode tegenover state-of-the-art baselines (DDIM, Null-Class, ReNoise, TABA) op twee datasets:

• BBBC021 (Microscopie Super-Resolutie):
  • Deterministische methoden leiden tot sterk overgegladde beelden (lage SHF-score, hoge SDC-score).
  • Stochastische methoden (zoals TABA) herstellen textuur maar veroorzaken vaak structurele drift (lage SLF-score).
  • OVG bereikt de beste balans: het herstelt hoge-frequentie texturen (hoge SHF) terwijl de structuur van de lage-resolutie invoer strikt wordt behouden (hoge SLF).
• Edges2Shoes (Sketch-naar-beeld):
  • OVG produceert realistische schoenen met textuur die precies aligneren met de ingevoerde lijntekening, terwijl baselines ofwel vaag zijn of onrealistische structurele hallucinaties vertonen.
• Ablatie Studies:
  • Het probleem treedt op bij zowel CNN-architecturen (U-Net) als Transformer-architecturen (DiT), wat aangeeft dat het een fundamenteel probleem van de inversie-dynamica is en niet van de architectuur.
  • Het probleem treedt op in zowel pixel-ruimte als latente ruimte (VAE).
  • Het gebruik van $x_0$-prediction verbetert de textuur, maar OVG is noodzakelijk om de structuur te behouden.

5. Betekenis en Impact

Dit werk is significant omdat het een fundamentele beperking van deterministische diffusie-inversie blootlegt die eerder onopgemerkt was gebleven in de context van "spectraal schaarse" vertalingen.

• Theoretische Bijdrage: Het koppelt het falen van inversie aan de spectrale bias van neurale netwerken en de lineariteitsaanname in de ODE-oplossers.
• Praktische Toepassing: OVG biedt een oplossing voor kritische toepassingen zoals medische beeldvorming (super-resolutie van microscopie) en creatieve tools (schets-naar-foto), waar het behoud van de originele structuur even belangrijk is als het genereren van realistische details.
• Paradigmaverschuiving: Het suggereert dat voor complexe inversietaken, puur deterministische paden ontoereikend zijn en dat gerichte stochastische injectie (via orthogonale projectie) noodzakelijk is om de balans tussen trouw en realisme te vinden.

Kortom, het paper introduceert een elegante wiskundige correctie (OVG) die het "spectrum" van de latente ruis herstelt, waardoor diffusiemodellen opnieuw kunnen hallucineren van texturen zonder de oorspronkelijke vorm te verliezen.