PhaSR: Generalized Image Shadow Removal with Physically Aligned Priors

1. Il Problema

La rimozione delle ombre dalle immagini è una sfida fondamentale nella visione artificiale, cruciale per applicazioni come il rilevamento remoto, la segmentazione, il tracciamento e la ricostruzione 3D. Le difficoltà principali risiedono in tre aree:

• Ambiguità Intrinseca: Distinguere un'ombra (una variazione di illuminazione) dalla scurezza intrinseca di un materiale (es. un oggetto nero) è difficile, portando spesso a distorsioni cromatiche vicino ai bordi.
• Generalizzazione: I metodi esistenti funzionano bene su ombre dirette generate da una singola fonte di luce, ma falliscono in scenari complessi con illuminazione ambientale multi-sorgente, cambi di colore e illuminazione indiretta diffusa (tipici degli interni).
• Disallineamento dei Priors: Le tecniche attuali che integrano priors geometrici (come la profondità) e semantici (come il riconoscimento degli oggetti) spesso non riescono ad allinearli correttamente. I segnali geometrici sono sensibili alle variazioni locali di ombreggiatura, mentre quelli semantici sono stabili; senza un allineamento fisico, il rumore geometrico può disturbare la coerenza semantica o viceversa.

2. Metodologia: PhaSR

Il authors propongono PhaSR (Physically Aligned Shadow Removal), un framework che affronta il problema attraverso un allineamento dei priors a due livelli. L'architettura non richiede maschere di ombra esplicite e si basa su due componenti principali:

A. Normalizzazione Allineata Fisicamente (PAN)

Questa è una fase di pre-processing "model-free" (senza parametri apprendibili) che corregge l'illuminazione in modo chiuso (closed-form) prima dell'elaborazione della rete neurale. Si basa sulla teoria di Retinex e include tre passaggi:

1. Normalizzazione del Colore (Gray-world): Corregge i bias cromatici globali causati dalla temperatura della luce (es. luce calda interna vs luce diurna fredda).
2. Decomposizione di Retinex nel Dominio Logaritmico: Separa l'immagine in componenti di riflettanza ($R$) e illuminazione ($S$) trasformando il modello moltiplicativo in additivo tramite logaritmi.
3. Ricombinazione Dinamica: Ricombina le componenti per produrre un'immagine normalizzata che preserva i dettagli di riflettanza mentre sopprime le variazioni di illuminazione.

B. Attenzione di Rettifica Geometrico-Semantica (GSRA)

Questa è la componente centrale della rete, progettata per allineare i priors estratti da modelli pre-addestrati:

• Input: Utilizza embedding semantici da DINO-v2 (per la stabilità dell'identità dell'oggetto) e mappe di profondità/normale da DepthAnything-v2 (per la precisione geometrica locale).
• Meccanismo: Estende il concetto di "Differential Attention". Invece di fondere semplicemente le modalità, calcola una mappa di attenzione rettificata ($A_{rect}$) sottraendo l'attenzione geometrica da quella semantica:
  $$A_{rect} = A_{sem} - \lambda \cdot A_{geo}$$
  Questo meccanismo agisce come un "cancello" fisico: sopprime il rumore geometrico nelle regioni uniformemente illuminate (dove la semantica domina) ma preserva la precisione geometrica ai veri bordi delle ombre.
• Obiettivo: Risolvere i conflitti tra le modalità per disaccoppiare efficacemente la riflettanza dall'illuminazione, sia in ombre dirette che in illuminazione ambientale complessa.

3. Contributi Chiave

1. Introduzione di PAN: Un modulo di pre-processing a forma chiusa che migliora sistematicamente le architetture esistenti (fino a +0.34 dB) sopprimendo i bias cromatici senza parametri apprendibili.
2. GSRA (Geometric-Semantic Rectification Attention): Una nuova architettura di attenzione che allinea esplicitamente la geometria derivata dalla profondità con le embedding semantiche, risolvendo il problema della disallineamento dei priors in scenari di illuminazione multi-sorgente.
3. Generalizzazione Robusta: Il metodo dimostra capacità di generalizzazione eccezionale, passando dalle ombre dirette all'aperto all'illuminazione ambientale indiretta e multi-sorgente negli interni, mantenendo un'efficienza computazionale superiore rispetto ai modelli basati su Diffusion.

4. Risultati Sperimentali

Il paper valuta PhaSR su diversi dataset standard (ISTD, ISTD+, INS, WSRD+) e su benchmark di illuminazione ambientale complessa (Ambient6K).

• Prestazioni Quantitative:
  • Su WSRD+ (interno, singola luce), PhaSR raggiunge un PSNR di 28.44, superando lo stato dell'arte (SOTA) come DenseSR (26.28) e OmniSR (26.07).
  • Su Ambient6K (interno, multi-sorgente, luce diffusa), PhaSR ottiene un PSNR di 23.32, superando significativamente i metodi specializzati per la normalizzazione della luce ambientale (IFBlend: 21.44, RLN2-Lf: 21.71).
• Efficienza:
  • Nonostante l'uso di priors esterni, PhaSR ha il numero più basso di FLOPs (55.63 G) e il secondo numero più basso di parametri tra i modelli confrontati.
  • Il tempo di inferenza è di 87.9 ms per immagine (640x480), rendendolo molto più veloce delle approcci basati su Diffusion (es. ShadowDiffusion: 506.9 ms).
• Analisi di Generalizzazione:
  • Gli esperimenti cross-dataset (addestramento su Ambient6K e test su ISTD, e viceversa) mostrano che PhaSR degrada meno rispetto agli altri metodi, confermando che l'allineamento fisico dei priors aiuta l'apprendimento di caratteristiche robuste su diverse distribuzioni di illuminazione.

5. Significato e Impatto

PhaSR rappresenta un passo avanti significativo nel campo della rimozione delle ombre perché:

• Supera i limiti dei benchmark tradizionali: Non si limita a gestire ombre dirette semplici, ma affronta realisticamente l'illuminazione ambientale complessa, un problema spesso trascurato.
• Integrazione Fisica: Dimostra che l'integrazione esplicita di principi fisici (normalizzazione Retinex) e l'allineamento di priors geometrici e semantici sono più efficaci delle semplici fusioni di feature.
• Efficienza Pratica: Offre prestazioni SOTA con una complessità computazionale ridotta, rendendolo adatto per applicazioni in tempo reale o su dispositivi embedded, a differenza dei modelli pesanti basati su Diffusion.
• Limitazioni: Il paper riconosce che le prestazioni calano su materiali intrinsecamente scuri (dove l'ombra e il materiale sono ambigui) e su superfici speculari, indicando direzioni future per la modellazione della riflettanza non-Lambertiana.

In sintesi, PhaSR stabilisce un nuovo standard per la rimozione delle ombre generalizzata, combinando rigore fisico e apprendimento profondo per gestire la complessità del mondo reale.