CFSR: Geometry-Conditioned Shadow Removal via Physical Disentanglement

1. Il Problema

La rimozione delle ombre è un compito fondamentale nella visione artificiale, essenziale per applicazioni di alto livello come il rilevamento di oggetti, il tracciamento e la guida autonoma. Tuttavia, gli approcci esistenti basati sul deep learning presentano diverse limitazioni critiche:

• Mappatura "Black-Box" Deterministica: La maggior parte delle reti attuali tratta la rimozione delle ombre come una semplice mappatura "immagine-immagine" (2D RGB) senza interpretazione fisica. Questo approccio spesso non riesce a bilanciare il recupero dei dettagli locali (texture) con la coerenza dell'illuminazione globale.
• Mancanza di Interpretazione Fisica: Operando esclusivamente nel dominio 2D, questi metodi ignorano la geometria 3D sottostante. Di conseguenza, faticano a distinguere tra texture intrinsecamente scure e ombre reali, portando a artefatti visivi e incoerenze nell'illuminazione.
• Natura Mal Postiata: Il problema è intrinsecamente mal posto (ill-posed); senza vincoli fisici, le reti tendono a compromettere la consistenza globale per recuperare i dettagli locali, generando risultati che non rispettano la fisica della luce e della materia.

2. Metodologia: CFSR

Gli autori propongono CFSR, un framework guidato da prior multi-modali che riformula la rimozione delle ombre come un processo di inversione di degradazione vincolata dalla fisica. L'architettura integra strettamente cue geometrici 3D e semantica di modelli fondazionali (Foundation Models).

L'architettura si articola in quattro fasi principali:

A. Stima dei Prior 3D ed Estrazione Semantica

Prima dell'elaborazione principale, il sistema estrae informazioni fisiche e semantiche dall'immagine in ombra ($I_{in}$):

• Campo Geometrico Fisico: Utilizza un estimatore di profondità monoculare pre-addestrato per generare una mappa di profondità pseudo ($D$) e un campo di normali superficiali ($N$). Questi vengono convertiti in un punto cloud 3D denso ($P$) per modellare le vincoli strutturali dell'illuminazione.
• Varietà Semantica: Utilizza un encoder DINOv2 congelato per estrarre caratteristiche semantiche robuste a livello di regione ($F_{dino}$), invarianti all'illuminazione.

B. Inizializzazione delle Caratteristiche Multi-Modali (Spazio HVI)

Per disaccoppiare l'illuminazione dalla crominanza e ridurre il rumore nelle zone d'ombra profonde, l'input viene proiettato in uno spazio colore personalizzato HVI:

• Meccanismo di Collasso dell'Intensità (ICM): Viene introdotta una trasformazione non lineare apprendibile che sopprime dinamicamente il rumore del sensore nelle regioni scure (dove il valore di intensità $V \to 0$), prevenendo l'amplificazione del rumore durante l'estrazione delle caratteristiche.
• Le caratteristiche HVI vengono fuse con i prior geometrici 3D per creare un embedding iniziale robusto.

C. Estrazione di Caratteristiche Guidata dalla Fisica (GSGA)

Il cuore del modello è il modulo Geometric & Semantic Dual Explicit Guided Attention (GSGA). A differenza delle attention implicite, questo meccanismo modula esplicitamente la matrice di affinità dell'attenzione utilizzando due guide:

1. Guida Geometrica: Basata sulle normali superficiali 3D. Secondo la teoria della riflettanza lambertiana, regioni con orientamenti simili sotto la stessa luce dovrebbero avere degradazioni correlate. Questo vincolo impedisce la fusione errata di caratteristiche attraverso bordi geometrici netti (es. bordi di occlusione).
2. Guida Semantica: Basata sulle feature di DINO. Preserva la fedeltà della texture, evitando che la guida geometrica appiattisca texture distinte che si trovano sullo stesso piano.

• Iniezione Semantica Globale (CLIP): Per le regioni con perdita di informazioni irreversibile, un encoder CLIP congelato inietta un token semantico globale nel collo di bottiglia della rete (U-Net) tramite un'attenzione cross-modale, permettendo alla rete di "allucinare" texture plausibili basandosi sulla comprensione olistica della scena.

D. Decodifica Collaborativa in Frequenza (FCRM)

Il modulo Frequency Collaborative Reconstruction Module (FCRM) risolve il compromesso tra bordi nitidi e illuminazione liscia disaccoppiando il processo di decodifica:

• Ramo Alta Frequenza: Utilizza blocchi CNN densi per recuperare dettagli strutturali nitidi e bordi di occlusione.
• Ramo Bassa Frequenza: Utilizza un Mini Transformer U-Net integrato con trasformate wavelet (Haar) per modellare le dipendenze a lungo raggio e ripristinare l'illuminazione globale coerente.
• Fusione Condizionata: Le due branche vengono fuse collaborativamente, mantenendo i vincoli delle normali 3D per garantire che i gradienti ripristinati aderiscano rigorosamente alla geometria planare.

3. Contributi Chiave

1. Formulazione Consapevole della Fisica: Spostamento da una mappatura 2D non vincolata a un processo di inversione di degradazione vincolato dalla fisica, utilizzando uno spazio colore HVI personalizzato e un meccanismo di collasso dell'intensità.
2. Guida Esplicita Geometrica e Semantica: Proposta del meccanismo GSGA, che inietta vincoli fisici e strutturali direttamente nella matrice di affinità dell'attenzione, colmando il divario tra dominio 2D e 3D.
3. Decodifica Collaborativa Condizionata alla Geometria: Progettazione del modulo FCRM che disaccoppia la sintesi in rami ad alta e bassa frequenza, bilanciando fedeltà della texture e consistenza fisica dell'illuminazione, supportato da prior semantici globali (CLIP).

4. Risultati Sperimentali

Il modello è stato valutato su sei benchmark di riferimento (ISTD, ISTD+, SRD, INS, WSRD+, Ambient6K):

• Prestazioni Quantitativi: CFSR ha ottenuto risultati State-of-the-Art (SOTA) sulla maggior parte dei dataset. Ad esempio, su ISTD ha raggiunto un PSNR di 30.91 dB e un SSIM di 0.979. Su Ambient6K (un dataset complesso con illuminazione multipla e indiretta), ha superato significativamente gli approcci esistenti con un PSNR di 23.62 dB.
• Generalizzazione Cross-Dataset: Il modello dimostra una forte capacità di generalizzazione quando addestrato su un dataset e testato su un altro senza fine-tuning (es. trasferimento da INS a WSRD+), superando i metodi SOTA concorrenti.
• Analisi Qualitativa: Le immagini ripristinate mostrano una consistenza cromatica superiore, assenza di artefatti ai bordi e una migliore preservazione delle texture rispetto ai metodi basati su GAN o Transformer puri.
• Studio di Ablazione: Le analisi confermano che i prior semantici (DINO/CLIP) sono cruciali per la fedeltà globale e la texture, mentre i prior geometrici (normali/depth) sono essenziali per la coerenza strutturale su superfici curve. La combinazione di entrambi è necessaria per le prestazioni ottimali.

5. Significato e Impatto

Il lavoro di CFSR rappresenta un cambio di paradigma nella rimozione delle ombre. Invece di trattare il problema come una regressione di pixel cieca, introduce un framework che rispetta le leggi fisiche dell'interazione luce-materia.

• Interpretabilità Fisica: Il metodo offre una soluzione interpretabile che bilancia dettagli locali e coerenza globale, risolvendo il dilemma fondamentale dei metodi attuali.
• Integrazione 2D-3D: Dimostra come l'integrazione esplicita di prior geometrici 3D e semantica di modelli fondazionali possa superare i limiti intrinseci della ricostruzione monoculare.
• Versatilità: L'approccio è robusto sia per ombre dure che per scenari di illuminazione ambientale complessa, offrendo un modello promettente per future applicazioni di visione artificiale a basso livello.

In sintesi, CFSR stabilisce un nuovo standard per la rimozione delle ombre, dimostrando che l'incorporazione di vincoli fisici espliciti e prior semantici globali è la chiave per ottenere ripristini di immagini fotorealistici e fisicamente coerenti.