Iris: Bringing Real-World Priors into Diffusion Model for Monocular Depth Estimation

Probleemstelling

Monoculaire diepsschatting (MDE) is een fundamentele taak in computer vision, maar kampt met twee hoofdproblemen:

1. Beperkingen van traditionele feed-forward methoden: Methoden zoals Depth Anything V2 (DAv2) bereiken goede resultaten door enorme hoeveelheden trainingsdata te gebruiken. Echter, ze missen vaak fijne details en scherpe randen, en hun prestaties zijn afhankelijk van een enorme schaal van trainingsdata, wat rekenkundig duur en moeilijk te repliceren is.
2. Beperkingen van bestaande diffusion-based methoden: Diffusiemodellen kunnen fijne details beter reconstrueren dankzij generatieve priors, maar ze kampen met een "synthetic-to-real" domeinverschil. Ze generaliseren vaak slecht naar echte scènes en presteren minder goed dan DAv2 op realistische benchmarks, tenzij ze op grote schaal worden getraind.

De centrale vraag is: Hoe kunnen we een model bouwen dat fijne details behoudt, sterk generaliseert van synthetische naar echte scènes, en competitief is met modellen die op enorme datasets zijn getraind, maar dit doet met beperkte data en rekenkracht?

Methodologie: Het Iris Framework

De auteurs stellen Iris voor, een deterministisch diffusion-gebaseerd framework dat real-world prioren integreert in het diffusiemodel. In plaats van het traditionele stochastische, iteratieve sampling-proces, gebruikt Iris een feed-forward architectuur.

Het kernidee is een tweestaps Priors-to-Geometry Deterministic (PGD) schema dat het leerproces ontkoppelt in twee fasen die dezelfde gewichten delen, maar op verschillende tijdstappen (timesteps) opereren:

1. Priors-fase (High Timestep / Low-SNR)

• Doel: Het overbrengen van betrouwbare, laagfrequente prioren (globale lay-out en schaal) uit echte afbeeldingen.
• Methode: De predictor werkt op een hoge tijdstap ($t_{high}$), wat overeenkomt met een regime met een laag signaal-ruisverhouding (Low-SNR).
• Techniek: Spectral-Gated Distillation (SGD).
  • Een bevroren "teacher"-model (getraind op echte data) levert pseudo-labels. Deze labels zijn betrouwbaar voor laagfrequente structuur maar bevatten ruis in hoogfrequente details.
  • SGD leert een lichtgewicht, differentieerbare laagdoorlaatpoort (low-pass gate) in het Fourier-domein.
  • Deze poort dempt de hoogfrequente componenten van de teacher (om artefacten te voorkomen) en laat alleen de betrouwbare laagfrequente informatie door naar de student.
  • Hoogfrequente details blijven in deze fase onbeperkt, zodat ze niet worden onderdrukt.

2. Geometry-fase (Low Timestep / High-SNR)

• Doel: Het verfijnen van de geometrie en het toevoegen van scherpe randen en fijne details.
• Methode: De predictor schakelt over naar een lage tijdstap ($t_{low}$), wat overeenkomt met een regime met een hoge signaal-ruisverhouding (High-SNR).
• Techniek: Spectral-Gated Consistency (SGC).
  • De output van de eerste fase (die verrassend scherpe randen bleek te genereren ondanks de laagdoorlaat-training) dient als leidraad.
  • SGC gebruikt een hoogdoorlaatpoort (high-pass gate) om de tweede fase af te stemmen op de eerste fase in het hoogfrequente spectrum.
  • Een extra constraint voorkomt over-activatie in de eerste fase, wat zorgt voor stabiele detail-overdracht.
  • Deze fase wordt getraind op synthetische ground-truth data voor nauwkeurige metriek-calibratie.

Aanvullende Construcies

• Deterministische Architectuur: Het model voert geen iteratieve sampling uit; het is een directe mapping van input naar output, wat de inferentie-efficiëntie drastisch verhoogt.
• Reconstructieverlies: Om te voorkomen dat het model de fijne detailcapaciteit van de onderliggende Stable Diffusion-architectuur verliest (catastrophic forgetting), wordt een aanvullend beeldreconstructieverlies toegevoegd.

Belangrijkste Bijdragen

1. Iris Framework: Een deterministisch diffusion-framework dat real-world prioren integreert, wat leidt tot sterke cross-domein generalisatie en hoge nauwkeurigheid op echte benchmarks, binnen beperkte data- en rekenbudgetten.
2. PGD Schema: Een innovatieve tweestaps-aanpak (Prior Alignment gevolgd door Geometry Refinement) die gradient-interferentie tussen lage- en hoogfrequente signalen elimineert.
3. Spectral-Gated Distillation (SGD) & Consistency (SGC): Nieuwe technieken die frequentie-gated mechanismen gebruiken om respectievelijk betrouwbare laagfrequente prioren over te dragen en hoogfrequente details te behouden en te verfijnen.
4. Efficiëntie: Het verwijderen van iteratieve sampling maakt het model veel sneller dan traditionele diffusion-methoden.

Resultaten

• Kwantitatieve Prestaties: Iris behaalt de beste prestaties op alle geteste benchmarks (KITTI, NYUv2, ETH3D, ScanNet, DIODE) in vergelijking met zowel traditionele feed-forward modellen (zoals DAv2) als eerdere diffusion-methoden.
  • Het presteert beter dan DAv2 op de meeste datasets, ondanks dat DAv2 getraind is op 62,6 miljoen afbeeldingen, terwijl Iris slechts 59K synthetische en 100K realistische (pseudo-gelabelde) afbeeldingen gebruikt.
  • Het behaalt een lagere AbsRel (Absolute Relative Error) en een hogere $\delta_1$ (nauwkeurigheid binnen 1.25 factor) dan concurrenten.
• Inferentie-efficiëntie: Iris is aanzienlijk sneller dan multi-step diffusion-methoden (bijv. Marigold) en zelfs sneller dan DAv2 (1.3s vs 2.2s op een A100 GPU).
• Kwalitatieve Resultaten: De dieptekaarten tonen een uitstekende balans tussen globale schaalnauwkeurigheid en het behoud van fijne details, scherpe randen en texturen, zelfs in "in-the-wild" scènes.

Betekenis

Dit paper is significant omdat het de kloof overbrugt tussen de detailrijke maar trage diffusion-modellen en de snelle maar detailarme feed-forward modellen. Door het gebruik van spectrale gating en een ontkoppelde trainingsstrategie, toont Iris aan dat het mogelijk is om de kracht van real-world prioren te benutten zonder de nadelen van grote datasets of iteratieve sampling. Het biedt een nieuwe richting voor data-efficiënte, robuuste en nauwkeurige diepsschatting die direct toepasbaar is in toepassingen zoals autonoom rijden en 3D-reconstructie.