Generating Satellite Imagery Data for Wildfire Detection through Mask-Conditioned Generative AI

Titolo: Generazione di Immagini Satellitari per il Rilevamento degli Incendi Boschivi tramite IA Generativa Condizionata da Maschere

1. Il Problema

La scarsità di dati satellitari etichettati di alta qualità rappresenta un collo di bottiglia fondamentale per i sistemi di monitoraggio degli incendi boschivi basati sul Deep Learning (DL). Gli eventi di incendio sono geograficamente sparsi, concentrati stagionalmente e variano spettralmente in base al tipo di vegetazione e alla gravità. Sebbene esistano grandi volumi di immagini satellitari pubbliche, la creazione di dataset etichettati richiede processi manuali o semi-automatici intensivi per allineare le acquisizioni pre e post-incendio e generare maschere binarie. Le tecniche di augmentation tradizionali (rotazioni, crop, cambi di colore) offrono benefici limitati nel telerilevamento perché non alterano il contenuto semantico sottostante, mentre la necessità di espandere i dati di training senza nuova annotazione manuale richiede approcci generativi capaci di sintetizzare nuovi esempi semanticamente plausibili.

2. Metodologia

Lo studio indaga se un modello fondazionale basato su diffusione per l'Osservazione della Terra (EO), chiamato EarthSynth, possa sintetizzare realisticamente immagini RGB Sentinel-2 post-incendio, condizionato da maschere di bruciatura esistenti, senza un riaddestramento specifico per il task.

• Dataset: I dati provengono da CalFireSeg-50, utilizzando tessere RGB pre-incendio e le relative maschere di bruciatura. Sono stati selezionati 10 campioni di test stratificati per rapporto di bruciatura (<20% a >80%) e 40 campioni per il calcolo delle statistiche di colore.
• Modello Generativo: È stato utilizzato EarthSynth, un modello di diffusione latente basato su Stable Diffusion v1.5 con un modulo ControlNet. Questo permette un controllo spaziale fine tramite maschere semantiche e controllo semantico tramite prompt testuali, mantenendo il backbone pre-addestrato fisso.
• Configurazioni Sperimentali: Sono stati progettati sei esperimenti controllati (E1-E6) per isolare tre fattori:
  1. Architettura della Pipeline: Confronto tra Full Generation (generazione dell'intera tessera da zero basata solo sulla maschera, E1/E4/E6) e Inpainting (rigenerazione solo della regione mascherata preservando il contesto pre-incendio, E2/E3/E5).
  2. Strategia di Prompting: Confronto tra tre prompt creati manualmente (P1: minimale, P2: strutturato, P3: contestuale ai dati) e un prompt generato da un Vision Language Model (VLM) (Qwen2-VL).
  3. Post-processing: Applicazione di un passo di color matching regionale per allineare le statistiche RGB generate a quelle reali (E3 ed E4).
• Metriche di Valutazione:
  • Burn IoU: Misura l'allineamento spaziale tra la regione "bruciata" inferita (basata sull'oscurità) e la maschera ground truth.
  • $\Delta C_{burn}$: Distanza euclidea del colore medio nella regione bruciata rispetto all'immagine reale.
  • Darkness Contrast: Differenza di luminosità media tra aree intatte e bruciate (valori più alti indicano un contrasto realistico).
  • Spectral Plausibility: Coerenza della media colore con le statistiche del dataset di riferimento.

3. Contributi Chiave

• Framework di Augmentation Generativa: Un approccio che utilizza maschere di bruciatura esistenti come input di condizionamento per sintetizzare nuove immagini post-disastro.
• Adattamento Senza Riaddestramento: Dimostrazione che EarthSynth può essere adattato al dominio degli incendi boschivi (caratterizzato da toni di carbone e cenere) senza fine-tuning specifico, sfruttando solo il condizionamento.
• Analisi Sperimentale Controllata: Valutazione sistematica di sei configurazioni che isolano l'impatto dell'architettura (inpainting vs. generazione completa), della strategia di prompt e del post-processing.
• Valutazione Quantitativa e Qualitativa: Un'analisi approfondita attraverso metriche specifiche e ispezione visiva su diversi rapporti di bruciatura.

4. Risultati

I risultati mostrano che le pipeline basate su inpainting superano costantemente la generazione completa su tutte le metriche:

• Performance dell'Inpainting: La configurazione E2 (Inpainting con prompt strutturato P2) ha ottenuto il miglior allineamento spaziale (Burn IoU = 0.456) e il miglior contrasto di oscurità (Darkness Contrast = 20.44). Al contrario, la generazione completa (E1) ha spesso prodotto texture non coerenti (es. vegetazione verde all'interno della maschera) e contrasti negativi.
• Impatto del Prompt: Il prompt strutturato (P2) ha massimizzato l'allineamento spaziale, mentre il prompt contestuale ai dati (P3) ha ottenuto la minima distanza di colore ($\Delta C_{burn}$) nella configurazione di inpainting.
• Effetto del Color Matching: L'applicazione del color matching (E3 ed E4) ha ridotto drasticamente la distanza di colore (fino a 63.22), migliorando la fedeltà spettrale. Tuttavia, questo ha comportato un trade-off negativo: riduzione del contrasto di oscurità (Darkness Contrast vicino a zero o negativo) e diminuzione dell'allineamento spaziale, rendendo le immagini meno "salienti" come bruciature.
• Prompting con VLM: L'uso di prompt generati dal VLM (E5) è stato competitivo con i prompt manuali nel contesto di inpainting, ottenendo un Burn IoU di 0.425. Tuttavia, nel contesto di generazione completa (E6), i risultati sono stati scarsi, confermando che il prompting automatico non risolve il problema della mancanza di contesto spaziale nella generazione da zero.

5. Significato e Conclusioni

Questo lavoro stabilisce una base fondamentale per l'integrazione dell'augmentation generativa nei pipeline di rilevamento degli incendi. Le conclusioni principali sono:

1. Il contesto spaziale è cruciale: L'inpainting, che preserva il contesto pre-incendio, è essenziale per generare immagini realistiche, specialmente quando il modello non è stato addestrato specificamente su quel dominio.
2. Trade-off Spettrale vs. Spaziale: Correggere i colori per adattarli alle statistiche reali migliora la fedeltà cromatica ma può appiattire il contrasto necessario per distinguere visivamente l'area bruciata.
3. Validità dell'IA Generativa: È possibile generare immagini satellitari post-incendio realistiche senza riaddestramento, ma la qualità dipende fortemente dalla strategia di generazione (inpainting preferibile) e dalla qualità del prompt.
4. Implicazioni Future: Per un utilizzo pratico nell'augmentation, le configurazioni basate su inpainting sono le più promettenti, sebbene sia necessaria un'ispezione qualitativa per filtrare artefatti. Il lavoro suggerisce anche la necessità futura di un fine-tuning specifico del modello e l'estensione a bande spettrali multispettrali (NIR, SWIR) per migliorare il contrasto reale tra vegetazione bruciata e intatta.

In sintesi, lo studio dimostra che i modelli di diffusione condizionati da maschere possono essere strumenti efficaci per superare la carenza di dati etichettati nel monitoraggio degli incendi, a patto di adottare un'architettura che preservi il contesto spaziale circostante.