Cross-Scenario Deraining Adaptation with Unpaired Data: Superpixel Structural Priors and Multi-Stage Pseudo-Rain Synthesis

Titolo: Adattamento Cross-Scenario per la Rimozione della Pioggia con Dati Non Appaiati: Prie Strutturali Superpixel e Sintesi Multi-Stadio Pseudo-Piovosa

1. Il Problema

La rimozione della pioggia (deraining) è un compito fondamentale nella visione artificiale a basso livello, essenziale per applicazioni come la sorveglianza esterna e la guida autonoma. Sebbene i metodi basati sul deep learning abbiano ottenuto risultati eccellenti in ambienti controllati (domini sorgente), soffrono di un grave degrado delle prestazioni quando applicati a scenari non visti in precedenza (Out-of-Distribution o OOD).
Il problema principale risiede nella discrepanza di dominio significativa tra i dataset di addestramento sintetici (dove la pioggia viene sovrapposta artificialmente) e la dinamica fisica complessa della pioggia reale (variazioni di illuminazione, occlusioni, nebbia). Inoltre, l'acquisizione di dataset reali appaiati (immagini piovose e le corrispondenti immagini pulite) è estremamente costosa e difficile a causa delle condizioni meteorologiche imprevedibili. Di conseguenza, i modelli addestrati su dati sintetici falliscono spesso nel generalizzare a nuovi scenari, producendo artefatti, striature residue o distorsioni testurali.

2. Metodologia

Il paper propone un framework di adattamento cross-scenario innovativo che non richiede osservazioni piovose appaiate nel dominio target. Il metodo utilizza esclusivamente immagini di sfondo pulite del dominio target per generare dati di addestramento pseudo-appaiati. Il framework si compone di tre moduli principali:

• A. Generazione Superpixel (Sup-Gen):

  • Utilizza l'algoritmo SLIC (Simple Linear Iterative Clustering) per segmentare le immagini pulite del dominio sorgente in "superpixel".
  • Trasforma le immagini nello spazio colore CIELAB e combina le coordinate spaziali $(x, y)$ con i valori cromatici $(l, a, b)$ per creare vettori di feature a 5 dimensioni.
  • Questo processo estrae prior strutturali stabili e coerenti dal dominio sorgente, preservando le informazioni testurali e strutturali essenziali.

• B. Fusione Adattiva alla Risoluzione (Resolution-adaptive Fusion):

  • Esegue un matching locale bidirezionale tra i superpixel estratti dal dominio sorgente e le immagini pulite pseudo del dominio target.
  • Utilizza una finestra scorrevole per trovare le regioni con la massima similarità testurale (minimizzando l'Errore Quadratico Medio - MSE).
  • Applica una strategia di fusione $\alpha$-blending e una matrice di maschera casuale ($M_{random}$) per fondere le strutture del dominio sorgente sullo sfondo del dominio target, creando un'immagine target arricchita di informazioni ($I_{fuse}^{target}$). Questo garantisce che la distribuzione di fondo intrinseca del target sia preservata mentre si introducono prior strutturali.

• C. Re-Sintesi Pseudo-Etichetta (Pseudo-label Re-Synthesis):

  • Genera strati di pioggia realistici su tre stadi per simulare la dinamica fisica della pioggia:
    1. Rumore Sale e Pepe: Creazione di una base di rumore puntiforme.
    2. Sfocatura Gaussiana: Trasformazione in patch con gradienti ottici.
    3. Sfocatura da Movimento: Conversione finale in striature lineari di pioggia.
  • Le striature vengono sovrapposte al canale di luminanza (spazio YUV) dell'immagine target fusa utilizzando un coefficiente di fusione $\beta$, generando infine un'immagine piovosa sintetica ($I_{fuse}^{input}$).
  • Il risultato è un set di dati pseudo-appaiati $(I_{fuse}^{input}, I_{fuse}^{target})$ ad alta fedeltà.

Il framework è progettato come un modulo plug-and-play che può essere integrato in qualsiasi architettura di deraining esistente.

3. Contributi Chiave

• Primo Framework Cross-Scenario senza Dati Appaiati Target: Elimina la necessità di immagini piovose reali nel dominio target, rendendo il metodo altamente scalabile e fattibile per il deployment reale.
• Meccanismi di Estrazione e Augmentation Unsupervisionati: Combina prior strutturali superpixel (tramite SLIC) con il matching testurale per fondere strutture sorgente su sfondi target in modo naturale, aumentando la diversità dei dati pseudo.
• Flessibilità Plug-and-Play: Il metodo non richiede modifiche alle architetture di deraining esistenti.
• Sintesi Fisica Realistica: L'approccio multi-stadio per la generazione della pioggia simula meglio le dinamiche fisiche rispetto alla semplice sovrapposizione casuale.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su modelli state-of-the-art (NeRD-Rain, DRSformer, FADformer, DFSSM) utilizzando dataset come Rain200L (sorgente) e Rain200H, DID-Data, DDN-Data (target OOD).

• Miglioramento delle Prestazioni: Il metodo ha dimostrato guadagni significativi nelle metriche di qualità dell'immagine in scenari OOD:
  • Aumento del PSNR fino al 32% - 59% rispetto ai modelli base senza adattamento.
  • Miglioramenti sostanziali in SSIM, FSIM e riduzione di LPIPS (indicatore di percezione).
  • Riduzione dei valori NIQE e PI, indicando una maggiore naturalità delle immagini ricostruite.
• Efficienza di Addestramento: Il framework accelera notevolmente la convergenza. Ad esempio, su NeRD-Rain, il numero di epoche necessarie per raggiungere la migliore prestazione è stato ridotto da 84 a 15 (un miglioramento di 5.6x).
• Qualità Visiva: Le immagini derainate mostrano una migliore preservazione dei dettagli di sfondo e delle texture, con meno artefatti rispetto ai metodi esistenti.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti cruciale verso l'applicazione pratica della rimozione della pioggia in scenari reali e non allineati.

• Superamento del Gap Sintetico-Reale: Risolve il problema fondamentale della generalizzazione cross-scenario riducendo la dipendenza da dati reali appaiati, che sono rari e costosi.
• Versatilità: Essendo un modulo indipendente dall'architettura, può essere adottato immediatamente dalla comunità di ricerca per migliorare qualsiasi modello esistente.
• Impatto Pratico: Offre una soluzione robusta per sistemi critici come la guida autonoma e la sorveglianza, dove le condizioni meteorologiche sono imprevedibili e i dati di addestramento specifici per ogni scenario sono spesso inesistenti.

In sintesi, il paper introduce un paradigma di adattamento di dominio che utilizza prior strutturali intelligenti e sintesi fisica per colmare il divario tra dati sintetici e scenari reali complessi, ottenendo risultati superiori sia in termini di accuratezza che di efficienza computazionale.