Iris: Bringing Real-World Priors into Diffusion Model for Monocular Depth Estimation

1. Il Problema

La stima della profondità monoculare (MDE) è fondamentale per applicazioni come la guida autonoma e la ricostruzione 3D. Tuttavia, le metodologie attuali affrontano due sfide principali:

• Metodi Feed-Forward Convenzionali: (es. Depth Anything V2) richiedono enormi quantità di dati di addestramento reali. Anche se scalano bene, spesso perdono dettagli fini e precisione sui bordi a causa della supervisione imperfetta dei dataset reali (mappe di profondità rumorose o incomplete).
• Metodi Basati su Diffusione: Sfruttano i priors generativi ricchi dei modelli di diffusione (come Stable Diffusion) per ottenere dettagli fini, ma faticano a trasferire le conoscenze dal dominio sintetico a quello reale (synthetic-to-real transfer) e spesso richiedono un campionamento iterativo costoso.

L'obiettivo è creare un modello che, con risorse di calcolo e dati limitati, preservi i dettagli fini, generalizzi bene dai dati sintetici a quelli reali e mantenga un'accuratezza competitiva rispetto ai modelli addestrati su dataset massicci.

2. Metodologia: Il Framework Iris

Iris introduce un framework deterministico basato sulla diffusione che integra i "priors del mondo reale" direttamente nel processo di stima della profondità. La soluzione si basa su un approccio innovativo chiamato Priors-to-Geometry Deterministic (PGD).

A. Architettura PGD (Due Stadi)

Invece di un singolo passaggio, Iris utilizza uno schedule temporale "dall'alto verso il basso" (high-to-low timestep) condiviso tra due stadi che condividono gli stessi pesi del modello (U-Net):

1. Stadio di Allineamento dei Priors (High Timestep / Basso SNR):
   • Il modello opera a un timestep elevato, corrispondente a un regime a basso rapporto segnale-rumore.
   • L'obiettivo è allineare la struttura globale e la scala metrica utilizzando i priors del mondo reale (forniti da un modello "teacher" congelato addestrato su immagini reali).
   • In questa fase, i dettagli ad alta frequenza (texture fini) vengono lasciati liberi di essere appresi successivamente.
2. Stadio di Rifinitura Geometrica (Low Timestep / Alto SNR):
   • Il modello opera a un timestep basso, ad alto SNR.
   • Qui viene applicata la supervisione con ground truth sintetico (dati perfetti) per affinare la geometria ad alta frequenza, i bordi precisi e le strutture sottili.

B. Componenti Chiave: Filtri Spettrali

Per gestire il conflitto tra i priors reali (affidabili a basse frequenze ma rumorosi ad alte frequenze) e i dati sintetici (perfetti ma privi di contesto reale), Iris introduce due meccanismi basati sulla trasformata di Fourier:

1. Distillazione a Cancellazione Spettrale (Spectral-Gated Distillation - SGD):
   • Utilizzata nello stadio 1.
   • Applica una porta a basso passaggio (low-pass gate) differenziabile e leggera sul segnale del teacher.
   • Questo permette di trasferire solo le informazioni affidabili a bassa frequenza (layout globale, scala) dal teacher, ignorando i dettagli ad alta frequenza rumorosi o artefatti specifici del teacher.
2. Coerenza a Cancellazione Spettrale (Spectral-Gated Consistency - SGC):
   • Utilizzata nello stadio 2.
   • Sfrutta l'osservazione che lo stadio 1, pur essendo allineato a bassa frequenza, produce spesso bordi più nitidi e texture migliori rispetto allo stadio 2 puro.
   • Applica una porta ad alto passaggio (high-pass gate) per allineare lo stadio 2 allo stadio 1 nella banda di alta frequenza.
   • Include un vincolo di "sovrattivazione" (over-activation constraint) per stabilizzare il trasferimento dei dettagli senza amplificare il rumore.

C. Obiettivo di Addestramento

Il framework combina:

• Perdita di profondità (su dati sintetici).
• Perdita SGD (distillazione dai priors reali).
• Perdita SGC (coerenza tra gli stadi).
• Una perdita di ricostruzione dell'immagine ausiliaria per preservare la capacità del modello di base (Stable Diffusion) di generare dettagli fini, prevenendo l'oblio catastrofico delle capacità generative.

3. Contributi Chiave

1. Iris: Un framework deterministico basato sulla diffusione che integra priors reali, offrendo una forte generalizzazione cross-dominio e alta accuratezza con budget di dati e calcolo ridotti.
2. Framework PGD: Una separazione decoupled tra allineamento dei priors (timestep alto) e rifinitura geometrica (timestep basso), che mitiga l'interferenza dei gradienti tra segnali reali e sintetici.
3. SGD e SGC: Nuovi meccanismi di gate spettrale che filtrano selettivamente le frequenze per trasferire in modo sicuro i priors reali (bassa frequenza) e i dettagli sintetici (alta frequenza).
4. Efficienza: Eliminazione del campionamento iterativo stocastico, rendendo il modello feed-forward e molto più veloce rispetto ai metodi di diffusione tradizionali.

4. Risultati Sperimentali

Iris è stato valutato su benchmark zero-shot (senza addestramento specifico sul dataset di test) su dataset reali come KITTI, NYUv2, ETH3D, ScanNet e DIODE.

• Performance Quantitativa: Iris ottiene il miglior punteggio complessivo tra tutti i metodi testati (sia feed-forward che basati su diffusione). Supera i modelli basati su diffusione precedenti (come Marigold e Lotus) e compete o supera i modelli feed-forward addestrati su 62 milioni di immagini (Depth Anything V2), pur essendo addestrato su soli 59k immagini sintetiche + 100k immagini reali con pseudo-label.
• Qualità Visiva: I risultati mostrano una migliore preservazione dei dettagli fini, bordi più nitidi e una migliore fedeltà geometrica rispetto ai metodi esistenti.
• Efficienza di Inferenza: Iris è significativamente più veloce dei metodi di diffusione multi-step (es. Marigold richiede ~377s, Iris ~1.3s) e più veloce anche di Depth Anything V2 (2.2s vs 1.3s).

5. Significato e Impatto

Il lavoro di Iris risolve il compromesso storico tra l'uso di grandi dataset reali (che danno generalizzazione ma perdono dettagli) e l'uso di dati sintetici (che danno dettagli ma scarsa generalizzazione).

• Efficienza dei Dati: Dimostra che non è necessario addestrare su centinaia di milioni di immagini per ottenere risultati SOTA; una strategia intelligente di distillazione dei priors è sufficiente.
• Unificazione: Unifica la stima della profondità e la normalità della superficie in un unico modello deterministico, condividendo i priors tra i task.
• Praticità: Offre un modello pronto all'uso, veloce e robusto per applicazioni reali, superando i limiti dei metodi attuali sia in termini di accuratezza che di costi computazionali.

In sintesi, Iris rappresenta un passo avanti significativo nel rendere i modelli di diffusione pratici per la visione artificiale densa, combinando la ricchezza dei priors del mondo reale con la precisione dei dati sintetici attraverso un controllo intelligente delle frequenze spettrali.