Landsat-Sentinel-2 Algal Bloom Mapping Using Vision Transformers: Model Description, Implementation, and Examples

Sintesi Tecnica: Mappatura delle fioriture algali Landsat-Sentinel-2 mediante Vision Transformers

Definizione del problema
Il monitoraggio delle fioriture algali costiere richiede osservazioni frequenti, spazialmente dettagliate e globalmente coerenti. Sebbene i sensori a risoluzione grossolana del colore dell'oceano (es. MODIS, OLCI) forniscano una copertura sinottica ampia, la loro risoluzione spaziale moderata (30–250 m) limita il rilevamento di piccole fioriture frammentate o a bassa concentrazione che spesso si formano come ammassi o zattere inferiori a un singolo pixel. Inoltre, il recupero accurato della riflettanza dell'acqua nelle zone costiere è complicato dalla riflettanza del fondo, dai carichi elevati di sedimenti sospesi e dagli effetti di adiacenza terrestre. I metodi bio-ottici tradizionali e gli indici spettrali (es. NDVI, FAI, MCI) si affidano a soglie empiriche e spesso non riescono a distinguere le fioriture algali da artefatti atmosferici come nuvole e riflesso solare (sun glint), o da caratteristiche non algali con firme spettrali simili. Sebbene l'apprendimento profondo (Deep Learning, DL) abbia mostrato potenziale, la sua applicazione alla mappatura delle fioriture algali utilizzando dati Landsat-8/9 e Sentinel-2 a media risoluzione (30 m) è ancora emergente, con una mancanza di prodotti di riflettanza armonizzati, protocolli di etichettatura standardizzati e dataset di riferimento pubblicamente disponibili.

Metodologia
Questo studio presenta un framework completo per la mappatura delle fioriture algali costiere a 30 m utilizzando dati armonizzati Landsat-8/9 OLI e Sentinel-2 MSI.

• Armonizzazione dei dati e pre-elaborazione: Gli autori hanno utilizzato la pipeline AQUAVis per generare un prodotto di riflettanza remota ($R_{rs}$) armonizzato. Questa pipeline applica la correzione atmosferica (6SV), la mitigazione del riflesso solare e dell'effetto adiacenza, e regolazioni del passabanda spettrale specifiche per il sensore. L'output consiste in quattro bande spettrali (Blu, Verde, Rosso, NIR) a 30 m di risoluzione, insieme a una banda di controllo qualità (QA) per la mascheratura di nuvole e ombre.
• Generazione del dataset: È stato creato un dataset distribuito globalmente da 225 hotspot di fioritura identificati.
  • Addestramento: 660 immagini del 2023 sono state elaborate in 24.265 patch di addestramento (256×256 pixel).
  • Validazione: 186 immagini del 2024 sono state elaborate in 12.255 patch di validazione per valutare la trasferibilità temporale.
  • Etichettatura: È stato impiegato un workflow semi-automatico. Le maschere iniziali sono state generate tramite una soglia NDVI dinamica e il rilevamento di oggetti non supervisionato. Queste sono state rifinite manualmente utilizzando compositi a falsi colori (Rosso, NIR, Verde) per correggere l'instabilità degli indici spettrali e garantire che le etichette riflettessero le strutture morfologiche delle fioriture (es. pattern filamentosi) piuttosto che solo la magnitudo spettrale. Le caratteristiche di input includevano le quattro bande $R_{rs}$ più NDVI e l'indice di alghe galleggianti (FAI) come canali aggiuntivi.
• Architetture dei modelli: Sono stati implementati e confrontati cinque modelli di deep learning:
  1. ResUNet: Un encoder-decoder basato su CNN con codifica del contesto e connessioni residue (baseline).
  2. Vanilla Vision Transformer (ViT): Una standard architettura transformer con meccanismi di self-attention.
  3. Swin Transformer: Un ViT gerarchico che utilizza l'attenzione auto-esplicativa multi-testa basata su finestre per ridurre la complessità computazionale e catturare il contesto locale.
  4. SegFormer: Un modello ibrido che combina un encoder Mix Transformer (MiT) con un decoder leggero.
  5. Prithvi (MAE): Un modello fondazionale (IBM/NASA) pre-addestrato su dati Landsat-Sentinel armonizzati, perfezionato con un decoder SegFormer.
• Strategia di addestramento: I modelli sono stati addestrati con ottimizzatori AdamW, funzioni di perdita composte (Dice, Cross-Entropy, IoU) e mappe di ponderazione basate sulla distanza per enfatizzare i bordi. Pesi pre-addestrati (ImageNet-1k o Prithvi) sono stati utilizzati per facilitare la convergenza.

Contributi chiave

1. Prima applicazione dei ViT: Questo è il primo studio ad applicare le architetture Vision Transformer (Vanilla ViT, Swin, SegFormer) alla segmentazione di fioriture algali costiere a 30 m.
2. Dataset di riferimento globale: Lo sviluppo di un dataset di maschere di fioritura algale a 30 m distribuito globalmente (36.520 patch) che copre diversi tipi di acque ottiche e morfologie di fioritura, accompagnato da un workflow di etichettatura semi-automatico scalabile.
3. Framework operativo: L'istituzione di una pipeline per il monitoraggio costante delle fioriture a media risoluzione utilizzando la costellazione virtuale Harmonized Landsat-Sentinel (HLS), andando oltre gli approcci specifici per regione.

Risultati

• Prestazioni dei modelli: Tutti i modelli di deep learning hanno dimostrato forti capacità nel rilevare le fioriture algali galleggianti.
  • ResUNet ha ottenuto il punteggio F1 complessivo più alto (0,58) con errori bilanciati di omissione (9,88%) e commissione (56,59%).
  • Swin Transformer ha ottenuto prestazioni comparabili a ResUNet (F1-score 0,57) e ha mostrato una superiore robustezza nella gestione della frammentazione spaziale.
  • SegFormer ha raggiunto il recall più elevato (0,92) ma ha sofferto di alti errori di commissione (64,96%), indicando una tendenza alla sovra-segmentazione.
  • Vanilla ViT e Prithvi (MAE) hanno mostrato prestazioni inferiori, con Prithvi che esibisce l'errore di omissione più elevato (33,26%), probabilmente a causa del disallineamento tra il suo dominio di pre-addestramento (osservazione della Terra generale) e le specifiche caratteristiche spettrali/spaziali delle fioriture acquatiche.
• Robustezza ambientale: I modelli Swin Transformer e ResUNet hanno mantenuto le prestazioni attraverso diversi tipi di acque ottiche (OWT), incluse acque torbide e limpide. Fondamentalmente, in condizioni atmosferiche difficili (nuvole sottili e intenso riflesso solare), i modelli di deep learning hanno evitato efficacemente i falsi positivi che hanno afflitto gli indici spettrali tradizionali (NDVI e FAI), i quali hanno prodotto ampie false rilevazioni nelle aree colpite dal riflesso.
• Vantaggio di risoluzione: I confronti con i prodotti derivati da MODIS a 1 km hanno rivelato che i modelli a 30 m possono rilevare strutture di fioritura frammentate e irregolari invisibili ai sensori più grossolani. Mentre MODIS forniva una stima del limite inferiore dell'estensione della fioritura, le mappe a 30 m hanno rivelato pattern spaziali significativamente più dettagliati.

Significato e rivendicazioni
Gli autori affermano che questo studio stabilisce una nuova frontiera per l'apprendimento profondo nell'osservazione remota acquatica. Dimostrando che i Vision Transformer possono delineare con successo le caratteristiche fini delle fioriture in ambienti costieri dinamici, il lavoro supporta la transizione dal monitoraggio globale grossolano a sistemi operativi a media risoluzione scalabili. Lo studio evidenzia come i modelli di deep learning, sfruttando il contesto spettrale-spaziale, possano superare i limiti degli indici tradizionali basati su soglie, in particolare nel distinguere le vere fioriture dal rumore atmosferico e superficiale. Gli autori posizionano il loro framework come un passo fondamentale verso un potenziale sistema operativo di mappatura delle fioriture algali a 30 m, offrendo migliori capacità di allerta precoce e valutazioni ecologiche per la gestione costiera. Riconoscono che, sebbene i modelli funzionino bene, è necessario un lavoro futuro per sviluppare modelli fondazionali specifici per il dominio addestrati su dataset acquatici per migliorare ulteriormente la generalizzazione e ridurre la dipendenza da modelli pre-addestrati provenienti da domini non acquatici.