Sintesi Tecnica: RTE-FM-Dehazer

Problematica

La de-hazing (rimozione della foschia) da singola immagine mira a recuperare una scena nitida da un'osservazione velata, ma rimane un problema mal posto. Gli approcci esistenti affrontano due limitazioni primarie:

1. Dipendenza da Prior Fisici Semplificati: I metodi prevalenti utilizzano il Modello di Scattering Atmosferico (ASM). L'ASM assume uno scattering singolo e un mezzo omogeneo, assunzioni frequentemente violate negli scenari reali dove la foschia è spazialmente non uniforme e la luce subisce scattering multiplo. Ciò porta a foschia residua, deriva cromatica e artefatti di sovra-esaltazione.
2. Scarsità di Dati e Limitazioni della Sintesi: La raccolta di dataset accoppiati reali su larga scala (hazy/clear) è impraticabile. I metodi di sintesi esistenti si affidano spesso alle stesse restittive assunzioni ASM, fallendo nel riprodurre la piena complessità della foschia naturale (ad esempio, scattering anisotropo, attenuazione dipendente dalla profondità). Inoltre, i recenti approcci generativi (Diffusion, VQGAN) introducono artefatti stocastici, come la deriva del colore o il patch grafting, a causa della loro mancanza di vincoli fisici.

Metodologia: RTE-FM-Dehazer

Gli autori propongono RTE-FM-Dehazer, un framework che riformula la de-hazing come un compito di Flow Matching ispirato alla fisica e regolarizzato dall'Equazione del Trasferimento Radiativo (RTE).

1. Regolarizzazione Ispirata alla Fisica (RTE vs. ASM)

Invece dell'ASM, il metodo impiega l'RTE, che tiene conto congiuntamente di scattering e assorbimento, adattandosi naturalmente a mezzi non omogenei e a scattering multiplo.

• Formulazione di Flow Matching: Il processo di de-hazing è modellato come una traiettoria continua da uno stato latente velato ($z_0$) a uno stato latente pulito ($z_1$). Una rete neurale ($v_\theta$) predice un campo di velocità per evolvere l'immagine tramite un'equazione differenziale ordinaria (ODE).
• Regolarizzatore derivato dall'RTE: Gli autori traggono una similitudine strutturale tra il termine di diffusione-assorbimento dell'RTE e l'ODE nel flow matching. Derivano un termine di velocità da un'RTE ridotta:
  $$\mathbf{v}_{\text{RTE}}(\mathbf{z}) \triangleq -D\nabla^2\mathbf{z} + \mu_a\mathbf{z}$$
  Qui, $-D\nabla^2\mathbf{z}$ modella la diffusione spaziale (smoothing dei gradienti), e $\mu_a\mathbf{z}$ modella l'assorbimento del mezzo (decadimento esponenziale della radianza).
• Loss Combinata: La rete è addestrata per minimizzare una funzione di perdita combinata che allinea la velocità predetta sia con la direzione del trasporto ottimale ($z_1 - z_0$) sia con la velocità derivata dall'RTE:
  $$\mathcal{L} = \|\mathbf{v}_{\theta} - (\mathbf{z}_1 - \mathbf{z}_0)\|^2 + \lambda \|\mathbf{v}_{\theta} - \mathbf{v}_{\text{RTE}}\|^2$$
  Ciò assicura che la traiettoria generata sia fisicamente plausibile (soddisfacendo la dinamica RTE) pur rimanendo guidata dai dati.

2. Pipeline di Dati Scalabile (P-HAZE)

Per affrontare la mancanza di dati accoppiati reali, gli autori introducono una pipeline per generare un dataset su larga scala, P-HAZE (50.000 coppie):

• Generazione guidata da VLM: Sfruttando i modelli Vision-Language (es. Qwen2.5-VL, Gemini-2-Flash), il sistema genera immagini velate realistiche partendo da riferimenti puliti tramite prompt testuali. Questo cattura distribuzioni di aerosol complesse e non stazionarie (es. fumo vorticoso) senza mappe di profondità predefinite.
• Allineamento Geometrico: Poiché gli output dei VLM possono presentare lievi distorsioni geometriche, la pipeline estrae keypoint densi e stima un'omografia planare per deformare l'immagine velata in un allineamento pixel-per-pixel con il riferimento pulito.
• Filtraggio: Una strategia di filtraggio a due stadi (segmentazione SAM2 + human-in-the-loop) rimuove gli artefatti semantici.

3. Architettura e Addestramento

• Spazio Latente: Il modello opera nello spazio latente di Stable Diffusion v2.1 (64x64x4) per ridurre il costo computazionale preservando al contempo la texture.
• Rete: Un backbone U-Net predice il campo di velocità.
• Inferenza: L'immagine pulita viene recuperata risolvendo l'ODE tramite integrazione Euler multi-step (raccomandata >10 step) per simulare la transizione graduale da velato a pulito.

Contributi Chiave

1. Flow Matching Regolarizzato da RTE: Gli autori riformulano la de-hazing da singola immagine integrando l'Equazione del Trasferimento Radiativo come un prior morbido nel framework di flow matching. Questo sostituisce l'ASM restrittivo, allineando la traiettoria generativa con le dinamiche fisiche del trasporto della luce per risultati più stabili e realistici.
2. Generazione Deterministica: Rimuovendo i prior di rumore stocastico e regolarizzando il flow con un termine di diffusione-assorbimento, il metodo produce una traiettoria latente deterministica che preserva meglio la distribuzione del colore originale rispetto ai baseline a campionamento casuale.
3. Dataset P-HAZE: Viene proposta una pipeline scalabile, guidata da VLM, per sintetizzare 50.000 coppie velate/pulite realistiche, consentendo un addestramento robusto senza dipendere da scarsi dati del mondo reale.

Risultati Sperimentali

Il modello è stato addestrato esclusivamente sul dataset sintetico P-HAZE ed è stato valutato su cinque diversi benchmark del mondo reale (I-HAZE, D-HAZE, SMOKE, NH-HAZE, RESIDE-6K).

• Prestazioni Quantitative: RTE-FM-Dehazer ha ottenuto il PSNR più alto su quattro dataset e il LPIPS più basso su cinque dei sei benchmark. In particolare, sul complesso dataset NH-HAHE, ha superato il concorrente più forte (LHTD) di +3.9 dB in PSnr e ha ridotto il LPIPS del 37%.
• Generalizzazione: A differenza dei metodi supervisionati che degradano sui dati reali a causa dello shift di dominio, RTE-FM-Dehazer ha dimostrato una forte generalizzazione cross-domain, mantenendo le prestazioni in scene indoor, outdoor e cariche di fumo.
• Analisi Qualitativa: I confronti visivi mostrano che il metodo rimuove efficacemente la foschia spazialmente variabile e le derive di colore preservando al contempo le texture fini e le strutture di illuminazione originali. Evita la foschia residua dei metodi CNN/Transformer e la deriva del colore/artefatti dei baseline generativi (GAN/Diffusion).
• Studi di Ablazione: Rimuovere il regolarizzatore RTE (Vanilla FM) o disaccoppiare i suoi componenti (solo Assorbimento o solo Diffusione) ha portato a cali significativi delle prestazioni, confermando che la formulazione integrata di assorbimento-diffusione è critica per gestire la foschia non uniforme.

Significato e Rivendicazioni

Il paper afferma che RTE-FM-Dehazer affronta le limitazioni fondamentali degli attuali metodi di de-hazing colmando il divario tra i modelli generativi basati sui dati e le leggi fisiche. Integrando l'RTE direttamente nel campo di velocità del flow matching, il metodo ottiene un "equazione di trasporto regolarizzata fisicamente" che produce risultati più nitidi, coerenti nel colore e privi di artefatti. Gli autori sostengono che questo approccio offre una soluzione robusta per la de-hazing nel mondo reale senza richiedere dati di addestramento accoppiati reali, sfruttando la similitudine strutturale tra il trasferimento radiativo e il flow matching per guidare il processo generativo.

Il lavoro futuro, come notato dagli autori, prevede il passaggio dallo spazio latente allo spazio dei pixel per eliminare la perdita di informazioni del VAE e l'investigazione di solver numerici efficienti per l'elaborazione a piena risoluzione.