D2-CDIG: Controlled Diffusion Remote Sensing Image Generation with Dual Priors of DEM and Cloud-Fog

Riepilogo Tecnico: D2-CDIG

Enunciato del Problema
I metodi esistenti per la generazione controllata di immagini di telerilevamento si basano principalmente su tecniche tradizionali come la segmentazione di oggetti terrestri e il rilevamento dei bordi. Sebbene questi approcci forniscano dati geografici, non riescono a sfruttare appieno le strutture complesse del terreno o le condizioni atmosferiche. Di conseguenza, le immagini generate spesso mancano di accuratezza e naturalezza quando simulano terreni complessi e fenomeni atmosferici come nuvole, nebbia e cambiamenti climatici. I modelli attuali faticano a catturare le intricate interazioni tra le caratteristiche superficiali e gli effetti atmosferici, portando a output irrealistici che non supportano compiti a valle ad alta precisione o l'addestramento di grandi modelli.

Metodologia
Il documento propone D2-CDIG (Generazione Controllata di Immagini di Telerilevamento tramite Diffusione con Doppie Priorità di DEM e Nuvole-Nebbia), un framework che integra modelli di diffusione con un meccanismo di controllo a doppia priorità. Costruito sull'architettura di Stable Diffusion v1.5, il metodo introduce un design ControlNet a due rami per disaccoppiare la generazione del terreno e quella atmosferica:

1. Conoscenza a Doppia Priorità: Il sistema incorpora due segnali di controllo distinti:
   • Modello Digitale del Terreno (DEM): Funziona come priorità di base per controllare la struttura del terreno.
   • Informazioni su Nuvole-Nebbia: Funziona come priorità atmosferica per controllare le condizioni meteorologiche.
2. Architettura a Doppio Ramo:
   • Ramo Terrestre: Utilizza un encoder basato su CNN (ResNet-18) per elaborare i dati DEM. Inietta segnali di controllo nei blocchi U-Net di livello inferiore e medio (blocchi 2, 4, 6, 8) per guidare la geometria locale del terreno, i bordi e le texture.
   • Ramo Atmosferico: Utilizza un encoder basato su Transformer (ViT-Small) per elaborare le maschere di nuvole e nebbia. Inietta segnali nei blocchi U-Net di livello superiore (blocchi 10, 12, 14, 16) per governare la composizione globale, la struttura semantica e la morfologia delle nuvole.
3. Strategia di Iniezione Stratificata: I segnali di controllo vengono iniettati a specifici livelli di caratteristica per garantire la coerenza fisica. Le caratteristiche del terreno ancorano la generazione nelle fasi iniziali del processo, mentre le caratteristiche atmosferiche modulano l'output in seguito, permettendo al modello di considerare l'illuminazione globale e la topografia durante il rendering degli effetti atmosferici.
4. Controllo Raffinato delle Nuvole: Viene introdotto un "regolatore di densità delle nuvole" ($\delta \in [0, 1]$), calibrato tramite una funzione di legge di potenza ($C_{cov} = 0.95 \cdot \delta^{0.85} \times 100\%$) per mappare l'input dell'utente in percentuali precise di copertura nuvolosa fisica.
5. Obiettivo di Addestramento: Il modello viene addestrato utilizzando una funzione di perdita congiunta che combina la perdita standard di previsione del rumore di diffusione con perdite percettive per la coerenza del terreno ($L_{ground}$) e la similarità atmosferica ($L_{atmosphere}$), pesate dagli iperparametri $\alpha=0.6$ e $\beta=0.4$.

Contributi Chiave

• Generazione Controllata a Doppia Priorità: L'introduzione di un metodo che considera simultaneamente le caratteristiche superficiali (tramite DEM) e i cambiamenti atmosferici (tramite nuvole-nebbia) utilizzando una rete di controllo a doppio ramo, colmando il vuoto di ricerca nella combinazione del controllo del terreno e di quello atmosferico.
• Processo di Generazione Disaccoppiato: La progettazione di rami paralleli Terrestre e Atmosferico che permettono un controllo indipendente ma coordinato, garantendo transizioni naturali tra condizioni del terreno e meteorologiche.
• Meccanismo di Controllo Preciso delle Nuvole: Lo sviluppo di un regolatore di densità delle nuvole e di un sistema di parametri meteorologici che consente agli utenti di regolare in modo flessibile e preciso lo spessore, la forma e la distribuzione delle nuvole durante l'inferenza.
• Iniezione Stratificata: Una strategia di addestramento in cui i segnali terrestri e atmosferici vengono iniettati a diversi livelli di caratteristica (basso livello per il terreno, alto livello per l'atmosfera) per garantire un'integrazione senza soluzione di continuità.

Risultati Sperimentali
Gli autori hanno valutato D2-CDIG rispetto a baseline dello stato dell'arte (SD v1.5, DiffusionSat, ControlNet, CRS-Diff, T2I-Adapter) su tre compiti: Da Testo a Immagine, Da DEM a Immagine e Generazione Multi-Condizionale.

• Prestazioni Quantitative: D2-CDIG ha ottenuto i migliori risultati su tutte le metriche. Nella generazione guidata da DEM, ha raggiunto un SSIM di 0,303, un PSNR di 16,930 dB e un FID di 59,974, superando significativamente il secondo metodo migliore (CRS-Diff).
• Robustezza: Il modello ha dimostrato una stabilità superiore su vari livelli di copertura nuvolosa (dal 5% al 70%). Al 50% di copertura nuvolosa, D2-CDIG ha mantenuto un SSIM di 0,321 e un FID di 63,175, mentre i metodi baseline hanno mostrato un degrado significativo.
• Utilità a Valle: Nei compiti di segmentazione della copertura del suolo utilizzando un modello DeepLabV3+ addestrato su dati aumentati, le immagini generate da D2-CDIG hanno prodotto un mIoU di 0,678, quasi uguale alle prestazioni dei modelli addestrati su dati reali (0,683) e significativamente superiori ad altre strategie di aumento.
• Trasferibilità: Il framework ha dimostrato trasferibilità zero-shot ai dati Sentinel-2 (risoluzione 10m), con prestazioni che sono migliorate sostanzialmente dopo il fine-tuning.

Significato e Affermazioni
Il documento afferma che D2-CDIG offre una soluzione flessibile e precisa per la generazione di immagini di telerilevamento, affrontando le limitazioni dei metodi tradizionali che trascurano i fenomeni atmosferici. Disaccoppiando la generazione del terreno e quella atmosferica, il metodo produce immagini con maggiore ricchezza di dettagli, realismo e coerenza fisica. Gli autori dichiarano che D2-CDIG fornisce una base dati di alta qualità per l'addestramento di grandi modelli di telerilevamento e per compiti a valle. Inoltre, il metodo è progettato per essere agnostico rispetto al sensore, basandosi su input DEM e nuvole-nebbia universalmente disponibili piuttosto che su bande specifiche del sensore, rendendolo applicabile su diverse piattaforme di telerilevamento. Il lavoro mira a colmare il divario tra domanda e offerta di dati, aiutando scienziati e decisori politici a prendere decisioni informate riguardo alla superficie e all'atmosfera in cambiamento del pianeta.