Riepilogo Tecnico: Mind the Gap: Quantificare il Gap di Dominio nella Super-Risoluzione Cross-Sensor tramite Diffusione

Definizione del Problema

Le applicazioni di telerilevamento, come il monitoraggio degli incendi boschivi e la gestione delle risorse, affrontano un critico dilemma della risoluzione spaziale. Missioni disponibili gratuitamente come Sentinel-2 offrono un'alta frequenza temporale ma una risoluzione moderata (10 m/pixel), mentre sistemi commerciali come PlanetScope forniscono una risoluzione più elevata (3 m/pixel) a un costo sostenuto. La Super-Risoluzione (SR) mira a colmare questo divario ricostruendo immagini ad alta risoluzione (HR) a partire da osservazioni a bassa risoluzione (LR).

Tuttavia, persiste una sfida fondamentale: l'assenza di osservazioni accoppiate LR–HR reali provenienti da sensori diversi. Di conseguenza, la maggior parte dei modelli di SR viene addestrata su dati degradati sinteticamente (ad esempio, tramite downsampling bicubico di immagini HR). Ciò crea un gap di dominio significativo quando questi modelli vengono applicati a immagini cross-sensor reali. I dati di addestramento sintetici non riescono a catturare le complesse proprietà spettrali, radiometriche e geometriche dei sensori reali, portando a prestazioni instabili e a un potenziale degrado della qualità dell'immagine durante l'implementazione su dati satellitari effettivi. Sebbene i modelli basati sulla diffusione abbiano raggiunto risultati allo stato dell'arte nella SR di immagini naturali, le loro capacità di generalizzazione in questo specifico contesto di telerilevamento cross-sensor rimangono ampiamente non quantificate.

Metodologia

Costruzione del Dataset

Gli autori hanno costruito un dataset su larga scala, geometricamente e temporalmente allineato, comprendente 175 regioni degli USA, accoppiando immagini Sentinel-2 (10 m) e PlanetScope (3 m).

• Allineamento: Le coppie sono state acquisite tramite PlanetHub con allineamento geometrico sub-pixel.
• Prossimità Temporale: Le coppie sono state filtrate per minimizzare l'evoluzione della scena, con la maggior parte che rientra in una finestra di ±15 giorni.
• Allineamento Spettrale: Per garantire la validità fisica, sono stati selezionati sei canali spettrali sovrapposti (Coastal Blue, Blue, Green, Red, Red Edge, NIR) da entrambi i sensori, evitando l' "allucinazione" di informazioni spettrali.
• Configurazioni Sperimentali: Lo studio ha utilizzato tre distinti setup:
  1. Caso I (Baseline Sintetica): Addestramento e test su dati PlanetScope degradati sinteticamente (PlanetLR → PlanetHR).
  2. Caso II (Quantificazione del Gap di Dominio): Addestramento su dati PlanetScope sintetici, ma test su dati Sentinel-2 reali (SentinelLR → PlanetHR).
  3. Caso III (Mappatura Diretta): Addestramento e test direttamente su coppie reali Sentinel-2 a PlanetScope (SentinelLR → PlanetHR).

Modelli di Benchmark

Cinque architetture di SR basate sulla diffusione allo stato dell'arte sono state valutate in condizioni identiche utilizzando un backbone U-Net unificato (30M di parametri) per isolare gli effetti della formulazione di diffusione:

1. DDPM: Modello probabilistico di diffusione di denoising standard.
2. Flow Matching (FM): Un paradigma generativo deterministico che apprende un campo vettoriale.
3. Image-to-Image Schrödinger Bridge (I2SB): Traduzione di frame come ponte stocastico tra distribuzioni.
4. ResShift: Riparametrizza la catena di Markov per spostare i residui tra immagini HR e LR.
5. UniDB: Generalizza i ponti di diffusione utilizzando il Controllo Ottimale Stocastico.

Metriche di Valutazione

Lo studio ha impiegato metriche standard (PSNR, SSIM, LPIPS) e ha introdotto una metrica innovativa:

• LPIPSSat: Una metrica percettiva adattata al dominio basata su un backbone ResNet-50 pre-addestrato in modalità auto-supervisionata su dati RGB di Sentinel-2. A differenza della LPIPS standard (addestrata su ImageNet), LPIPSSat è progettata per le caratteristiche spettrali e testurali delle immagini di osservazione terrestre.

Task a Valle (Downstream Task)

Per valutare l'utilità pratica, le immagini potenziate dalla SR sono state valutate in un compito di delimitazione del cambiamento dell'area bruciata utilizzando una U-Net addestrata sul dataset CaBuAr. Questo ha testato se i modelli di SR preservano le informazioni rilevanti per il task o introducono artefatti che ostacolano la segmentazione.

Risultati Chiave

Prestazioni Quantitative

• Successo Sintetico, Fallimento Reale (Caso I vs. Caso II): I modelli addestrati su dati sintetici (Caso I) hanno ottenuto punteggi elevati (PSNR > 45 dB). Tuttavia, quando applicati a dati cross-sensor reali (Caso II), le prestazioni sono crollate catastroficamente. Il PSNR è sceso a circa 16,7 dB e le metriche percettive hanno indicato che i modelli stavano attivamente degradando l'input imponendo prior sintetici (ad esempio, nitidezza di tipo bicubico) che non corrispondevano alla realtà fisica dei dati Sentinel-2.
• Adattamento Limitato (Caso III): L'addestramento direttamente su dati cross-sensor reali (Caso III) ha permesso un parziale recupero delle prestazioni. Le metriche percettive sono migliorate significativamente rispetto al Caso II, ma i risultati sono rimasti molto al di sotto della baseline sintetica (Caso I). L'alta varianza nei dati reali (dovuta a illuminazione e differenze tra sensori) ha ostacolato un'ottimizzazione coerente tra le architetture.
• Sensibilità della Metrica: LPIPSSat si è dimostrata più sensibile alle discrepanze spettrali e strutturali rispetto alla LPIPS standard, riflettendo meglio i fallimenti negli scenari reali.

Impatto sul Task a Valle

• Modelli Sintetici (Caso II): Utilizzati come fase di pre-processing per il task dell'area bruciata, i modelli addestrati sinteticamente hanno fornito miglioramenti modesti ma costanti rispetto alla baseline, probabilmente perché hanno potenziato le caratteristiche visive senza introdurre complessi artefatti specifici del dominio.
• Modelli del Mondo Reale (Caso III): I modelli addestrati su dati reali hanno introdotto "artefatti distruttivi" e allucinazioni che hanno degradato la performance della segmentazione a valle. Il duplice obiettivo di apprendere sia la super-risoluzione che l'adattamento del dominio simultaneamente si è rivelato instabile, portando a output meno utili per il task specifico rispetto agli input a bassa risoluzione originali.

Contributi Chiave

1. Quantificazione Sistematica: Il primo studio sistematico che quantifica il gap di generalizzazione da sintetico a reale nella SR basata sulla diffusione per il telerilevamento, dimostrando che l'addestramento sintetico non prepara i modelli per le sfide cross-sensor reali.
2. Metrica LPIPSSat: Introduzione di una nuova metrica percettiva adattata al dominio basata su feature auto-supervisionate di Sentinel-2, offrendo una valutazione più fedele delle immagini di osservazione terrestre rispetto alle metriche generiche.
3. Dataset su Larga Scala: Costruzione di un dataset accoppiato di Sentinel-2 e PlanetScope, rigorosamente allineato e su larga scala, che consente una rigorosa valutazione della SR cross-sensor.

Significato e Assertività

Il paper sostiene che l'attuale affidamento sull'addestramento sintetico per la SR satellitare sia un "limite chiave" del settore. Sebbene l'addestramento sintetico offra una baseline stabile, esso fallisce completamente quando trasferito in scenari cross-sensor reali. Al contrario, l'addestramento diretto su dati reali introduce difficoltà di ottimizzazione (SR + adattamento del dominio) che risultano in output instabili e pieni di artefatti.

Gli autori concludono che il campo affronta un dilemma: l'addestramento sintetico è stabile ma limitato nell'utilità, mentre l'addestramento reale è necessario per l'adattamento ma attualmente troppo instabile per l'implementazione pratica. Essi postulano che la ricerca futura debba concentrarsi sul disaccociare la super-risoluzione dall'adattamento del dominio, suggerendo che le attuali architetture non possono adattarsi completamente alla diversità fisica e radiometrica dei sensori reali senza nuovi approcci metodologici. Questo lavoro funge da fondamento per lo sviluppo di metodi di generalizzazione cross-sensor robusti piuttosto che per il semplice miglioramento delle architetture dei modelli.