Fusing Multi- and Hyperspectral Satellite Data for Harmful Algal Bloom Monitoring with Self-Supervised and Hierarchical Deep Learning

Technische Samenvatting: Fusie van multi- en hyperspectrale satellietgegevens voor de monitoring van schadelijke algenbloei met behulp van zelfgesuperviseerd en hiërarchisch diep leren

Probleemstelling
Schadelijke algenbloei (harmful algal blooms, HABs) vormen een aanzienlijk risico voor mariene ecosystemen, de volksgezondheid en kusteconomieën. Traditionele satellietgebaseerde monitoring vertrouwt op gespecialiseerde, instrument-specifieke retrieval-algoritmen die uitgebreide grondwaarheid-labels en handmatige parameterinstellingen vereisen. Deze methoden hebben moeite met de heterogeniteit van sensordata (variërende spectrale, ruimtelijke en temporele resoluties) en zijn vaak beperkt door de schaarste aan gelabelde datasets, met name in complexe kustwateren. Bovendien missen bestaande statistische gap-filling methoden vaak de geospatiale context, terwijl supervised deep learning-benaderingen grote vooraf bestaande labelsets vereisen die zelden beschikbaar zijn voor de wereldwijde aquatische biogeochemie.

Methodologie: Het SIT-FUSE Framework
De auteurs presenteren SIT-FUSE (Segmentation, Instance Tracking, and data Fusion Using multi-SEnsor imagery), een zelfgesuperviseerd machine learning-framework ontworpen om HABs te detecteren, in kaart te brengen en te specificeren zonder dat er per-instrument gelabelde datasets nodig zijn. De methodologie verloopt via vier primaire stadia:

1. Zelfgesuperviseerde representatieleer: Het framework maakt gebruik van encoders, waarbij specifiek prioriteit wordt gegeven aan Deep Belief Networks (DBNs) vanwege hun parameterefficiëntie (~2 miljoen parameters) vergeleken met grotere architecturen. Deze encoders leren generieke oceaankleurpatronen van ruwe oppervlaktereflectantiegegevens (Level-3, atmosferisch gecorrigeerd) van meerdere instrumenten (VIIRS, MODIS, OLCI en PACE-OCI) en Solar-Induced Fluorescence (SIF) data van TROPOMI. De encoders mappen pixel-nabijheden (3x3 ruimtelijke context) naar een latente embedding-ruimte, waarbij spectrale en ruimtelijke vingerafdrukken worden vastgelegd zonder semantische labels.
2. Hiërarchisch Diep Clustering: Om de latente embeddings te segmenteren in interpreteerbare klassen, gebruikt het framework Invariant Information Clustering (IIC). Dit vervangt traditionele agglomeratieve clustering door een boomstructuur met twee niveaus. De wortelnode verdeelt de data in grove klassen (bijv. 800 initiële clusters), terwijl de kindnodes deze verfijnen naar subklassen (bijv. 100 per ouder). Deze structuur maakt het mogelijk om geneste habitatregimes te onderscheiden, waarbij brede watertypen worden onderscheiden van specifieke HAB-patronen met een hoge biomassa.
3. Context Toewijzing: Ecologische betekenis wordt toegekend aan de contextvrije clusters met behulp van in-situ data van de California HABMAP en de Florida Fish and Wildlife Conservation Commission (FWRI). Het proces omvat het genereren van histogrammen van de overlap tussen clusterlabels en gebinde phytoplankton-cel abundantie (bijv. Karenia brevis, Pseudo-nitzschia spp., totale phytoplankton) bij meetstations. Een lookup-tabel wordt gegenereerd om clusterlabels te mappen aan abundantie-bins, een proces dat hiërarchisch wordt toegepast om de specificiteit te verfijnen van Laag 1 (brede aanwezigheid) naar Laag 2 (soort/ernst).
4. Data Fusie en Productgeneratie: Het systeem genereert afzonderlijke contextvrije segmentatiekaarten voor elke datastroom (individuele sensoren, SIF-alleen, en gefuseerde OC+SIF). Deze worden samengevoegd tot dagelijkse en maandelijkse producten, vergezeld van een Data Quality Indicator (DQI) die de bron van de data voor elke pixel bijhoudt.

Belangrijkste Bijdragen

• Label Efficiëntie: Het framework heeft succesvol aangetoond dat zelfgesuperviseerd leren in staat is om HAB-ernst en soortspecifieke producten te genereren met behulp van enorme hoeveelheden ongelabelde data, waardoor de noodzaak voor arbeidsintensieve, instrument-specifieke labeling wordt omzeild.
• Multi-Sensor Fusie: SIT-FUSE integreert heterogene datastromen (multispectraal en hyperspectraal) en verschillende resoluties (bijv. 7km TROPOMI SIF gefuseerd met 4km oceaankleur) in een verenigde representatie, wat continue monitoring mogelijk maakt zelfs wanneer individuele sensoren gaten vertonen.
• Hiërarchische Specificatie: Door een boomgestructureerde clustering-aanpak te gebruiken, kan het systeem het verschil maken tussen de totale phytoplankton-abundantie en specifieke taxa (bijv. P. delicatissima versus P. seriata) en ernstniveaus in kaart brengen zonder expliciete soorten-trainingsdata.
• Operationele Schaalbaarheid: Het gebruik van compacte DBN-architecturen zorgt ervoor dat het framework computationeel efficiënt genoeg is voor de routinematige verwerking van meerjarige, wereldwijde datasets, waarbij rekening wordt gehouden met energie- en middelenbeperkingen voor operationele inzet.

Resultaten
Het framework werd gevalideerd tegen in-situ data in twee regio's: de Golf van Mexico (2018–2019, 2024–2025) en Zuid-Californië (2018–2019, 2024–2025).

• Golf van Mexico: Voor K. brevis (2018–2019) bereikte SIT-FUSE een sterke overeenkomst met in-situ observaties (F1 = 0,97). Misclassificaties waren voornamelijk fouten in aangrenzende bins of valse positieven in klassen met lage abundantie, toegeschreven aan sub-pixel variabiliteit.
• Zuid-Californië: Voor totale phytoplankton, P. delicatissima en P. seriata (2018–2019) behaalde het framework F1-scores van respectievelijk 0,95, 0,96 en 0,96. Fouten vertoonden een lichte onderschatting-bias voor bins met een hoge abundantie in complexe kustwateren.
• PACE-OCI (Hyperspectraal): Eerste testen met NASA's PACE-OCI data (2024–2025) leverden veelbelovende resultaten op ondanks beperkte matchups (F1-scores variërend van 0,84 tot 0,99). De resultaten suggereren dat de methodologie effectief overdraagbaar is naar hyperspectrale instrumenten.
• Operationele Vergelijking: Een binaire vergelijking met het operationele C-HARM model in Zuid-Californië liet een hoge overeenkomst zien (F1 0,72–0,77), waarbij discrepanties toenamen nabij de kust waar de systeemvariabiliteit het hoogst is.

Betekenis en Claims
Het artikel claimt dat SIT-FUSE een cruciale stap vertegenwoordigt naar de operationalisering van zelfgesuperviseerd leren voor de wereldwijde aquatische biogeochemie. Door de extractie van kenmerken te ontkoppelen van specifieke instrumentconfiguraties en gelabelde datasets, maakt het framework monitoring van HABs op schaal mogelijk in datarme omgevingen. De auteurs benadrukken dat het vermogen van het systeem om diverse sensordata te fuseren en hiërarchische clustering uit te voeren, de creatie van gedetailleerdere, frequentere en soortspecifieke kaarten van de evolutie van algenbloei mogelijk maakt. Hoewel de studie beperkingen erkent met betrekking tot kleine steekproeven bij de PACE-validatie en de noodzaak voor verdere kalibratie van per-pixel onzekerheden, laten de resultaten zien dat zelfgesuperviseerd deep learning effectief traditionele, resource-intensieve retrieval-algoritmen kan vervangen of aanvullen, wat een flexibel pad biedt voor toekomstige sensorintegratie en wereldwijde monitoring.