Landsat-Sentinel-2 Algal Bloom Mapping Using Vision Transformers: Model Description, Implementation, and Examples

Technische Samenvatting: Landsat-Sentinel-2 Algenbloei-mapping met Vision Transformers

Probleemstelling
Monitoring van kustalgenbloei vereist frequente, ruimtelijk gedetailleerde en globaal consistente observaties. Hoewel grovere oceaankleur-sensoren (bijv. MODIS, OLCI) brede synoptische dekking bieden, beperkt hun matige ruimtelijke resolutie (30–250 m) de detectie van kleine, gefragmenteerde of laag-geconcentreerde bloeien die vaak voorkomen als klonten of rafts kleiner dan een enkele pixel. Bovendien is het ophalen van nauwkeurige waterreflectie in kustzones uitdagend vanwege bodemreflectie, hoge concentraties zwevend sediment en land-nabijheidseffecten (land adjacency effects). Traditionele bio-optische methoden en spectrale indices (bijv. NDVI, FAI, MCI) vertrouwen op empirische drempelwaarden en falen vaak om algenbloei te onderscheiden van atmosferische artefacten zoals wolken en zonnegloed (sun glint), of van niet-algenkenmerken met vergelijkbare spectrale signaturen. Hoewel deep learning (DL) veelbelovend is gebleken, blijft de toepassing ervan voor het in kaart brengen van algenbloei met medium-resolutie (30 m) Landsat-8/9 en Sentinel-2 data nog in een pril stadium, met een gebrek aan geharmoniseerde reflectieproducten, gestandaardiseerde labelingsprotocollen en publiekelijk beschikbare referentiedatasets.

Methodologie
Deze studie presenteert een uitgebreid framework voor 30-m kustalgenbloei-mapping met behulp van geharmoniseerde Landsat-8/9 OLI en Sentinel-2 MSI data.

• Data-harmonisatie en Pre-processing: De auteurs gebruikten de AQUAVis-pipeline om een geharmoniseerd remote sensing reflectance ($R_{rs}$) product te genereren. Deze pipeline past atmosferische correctie (6SV), mitigatie van zonnegloed en nabijheidseffecten, en sensorspecifieke spectrale bandbreedte-aanpassingen toe. De output bestaat uit vier spectrale banden (Blauw, Groen, Rood, NIR) op 30-m resolutie, samen met een kwaliteitswaarborgingsband (QA) voor wolk/schaduw-maskering.
• Dataset Generatie: Een wereldwijd verspreide dataset werd gecreëerd vanuit 225 geïdentificeerde bloei-hotspots.
  • Training: 660 afbeeldingen uit 2023 werden verwerkt tot 24.265 trainingspatches (256×256 pixels).
  • Validatie: 186 afbeeldingen uit 2024 werden verwerkt tot 12.255 validatiepatches om de temporele overdraagbaarheid te beoordelen.
  • Labeling: Er werd een semi-automatische workflow toegepast. Initiële maskers werden gegenereerd met een dynamische NDVI-drempelwaarde en ongesuperviseerde objectdetectie. Deze werden handmatig verfijnd met false-color composieten (Rood, NIR, Groen) om te corrigeren voor spectrale index-instabiliteit en om te garanderen dat de labels de morfologische bloei-structuren (bijv. filamenteuze patronen) weerspiegelden in plaats van enkel de spectrale magnitude. De inputfeatures bevatten de vier $R_{rs}$-banden plus NDVI en de Floating Algae Index (FAI) als aanvullende kanalen.
• Model Architecturen: Vijf deep learning modellen werden geïmplementeerd en vergeleken:
  1. ResUNet: Een CNN-gebaseerde encoder-decoder met context-encoding en residuele verbindingen (baseline).
  2. Vanilla Vision Transformer (ViT): Een standaard transformer-architectuur met self-attention mechanismen.
  3. Swin Transformer: Een hiërarchische ViT die gebruikmaakt van window-based multi-head self-attention om computationele complexiteit te verminderen en lokale context te vangen.
  4. SegFormer: Een hybride model dat een Mix Transformer (MiT) encoder combineert met een lichtgewicht decoder.
  5. Prithvi (MAE): Een fundamenteel model (IBM/NASA) dat is voorgetraind op Harmonized Landsat-Sentinel data, gefinetuned met een SegFormer decoder.
• Trainingsstrategie: Modellen werden getraind met AdamW optimizers, samengestelde loss-functies (Dice, Cross-Entropy, IoU) en afstand-gebaseerde weighting maps om grenzen te benadrukken. Pre-trained gewichten (ImageNet-1k of Prithvi) werden gebruikt om convergentie te faciliteren.

Belangrijkste Bijdragen

1. Eerste Toepassing van ViTs: Dit is de eerste studie die Vision Transformer-architecturen (Vanilla ViT, Swin, SegFormer) toepast op 30-m kustalgenbloei-segmentatie.
2. Globale Referentie Dataset: De ontwikkeling van een wereldwijd verspreide, 30-m algenbloei-masker dataset (36.520 patches) die diverse optische watertypes en bloei-morfologieën dekt, vergezeld van een schaalbare semi-automatische labeling workflow.
3. Operationeel Framework: De vestiging van een pipeline voor consistente, medium-resolutie bloei-monitoring met behulp van de Harmonized Landsat-Sentinel (HLS) virtuele constellatie, bewegend voorbij regio-specifieke benaderingen.

Resultaten

• Modelprestaties: Alle deep learning modellen vertoonden sterke capaciteiten bij het detecteren van drijvende algenbloei.
  • ResUNet behaalde de hoogste algemene F1-score (0,58) met een gebalanceerde missie- (9,88%) en commissiefout (56,59%).
  • Swin Transformer presteerde vergelijkbaar met ResUNet (F1-score 0,57) en toonde superieure robuustheid in het afhandelen van ruimtelijke fragmentatie.
  • SegFormer behaalde de hoogste recall (0,92) maar leed onder hoge commissiefouten (64,96%), wat wijst op een neiging tot over-segmentatie.
  • Vanilla ViT en Prithvi (MAE) vertoonden lagere prestaties, waarbij Prithvi de hoogste missiefout (33,26%) vertoonde, waarschijnlijk door de mismatch tussen het pre-training domein (algemene aardobservatie) en de specifieke spectrale/ruimtelijke kenmerken van aquatische bloei.
• Omgevingsrobuustheid: De Swin Transformer en ResUNet modellen behielden hun prestaties over diverse Optical Water Types (OWTs), inclusief troebel en helder water. Cruciaal is dat onder uitdagende atmosferische omstandigheden (dunne wolken en intense zonnegloed) de deep learning modellen effectief foutieve detecties voorkamen die traditionele spectrale indices (NDVI en FAI) teisteren, welke wijdverspreide foutieve detecties produceerden in door glint beïnvloede gebieden.
• Resolutievoordeel: Vergelijkingen met 1-km MODIS-afgeleide producten toonden aan dat de 30-m resolutie modellen gefragmenteerde en onregelmatige bloei-structuren konden detecteren die onzichtbaar zijn voor grovere sensoren. Terwijl MODIS een ondergrens bood voor de omvang van de bloei, onthulden de 30-m kaarten aanzienlijk meer gedetailleerde ruimtelijke patronen.

Significantie en Claims
De auteurs stellen dat deze studie een nieuwe grens vormt voor deep learning in aquatische remote sensing. Door aan te tonen dat Vision Transformers succesvol fijne schaal bloei-kenmerken kunnen afbakenen in dynamische kustomgevingen, ondersteunt dit werk de transitie van grove, globale monitoring naar schaalbare, medium-resolutie operationele systemen. De studie benadrukt dat deep learning modellen, door gebruik te maken van spectrale-ruimtelijke context, de beperkingen van traditionele drempelwaarde-indices kunnen overwinnen, met name bij het onderscheiden van echte bloei van atmosferische en oppervlakte-ruis. De auteurs positioneren hun framework als een fundamentele stap naar een potentieel operationeel 30-m algenbloei-mapping systeem, dat verbeterde vroegtijdige waarschuwingsmogelijkheden en ecologische beoordelingen biedt voor kustbeheer. Zij erkennen dat hoewel de modellen goed presteren, toekomstig werk nodig is om domeinspecifieke foundation modellen te ontwikkelen die getraind zijn op aquatische datasets om de generalisatie te verbeteren en de afhankelijkheid van pre-trained modellen uit niet-aquatische domeinen te verminderen.