Cross-modal learning for plankton recognition

Probleemstelling

Plankton is essentieel voor het ecosysteem (zuurstofproductie, koolstofbinding) en fungeert als een gevoelige indicator voor milieuveranderingen. Hoewel geautomatiseerde beeldvormingsinstrumenten (zoals de CytoSense) nu in staat zijn om miljoenen planktonafbeeldingen te verzamelen, vormt de annotatie van deze data een groot knelpunt.

• Afhankelijkheid van gelabelde data: Bestaande methoden voor automatische planktonherkenning zijn voornamelijk gebaseerd op supervised learning, wat dure en tijdrovende expertannotatie vereist.
• Onderschatting van multimodale data: Moderne instrumenten verzamelen niet alleen beelden, maar ook optische meetgegevens (zoals verstrooiings- en fluorescentieprofielen). Deze aanvullende data wordt momenteel nauwelijks gebruikt in herkenningsmodellen, hoewel het waardevolle complementaire informatie bevat.
• Generalisatieproblemen: Modellen getraind op specifieke datasets (bijv. laboratoriumculturen) presteren vaak slecht op data uit de natuur (in-situ) vanwege variaties in soortensamenstelling en omstandigheden.

Methodologie

De auteurs stellen een zelftoezichtend (self-supervised) cross-modaal leerframework voor, geïnspireerd door Contrastive Language-Image Pre-training (CLIP), maar aangepast voor plankton. Het doel is om een gedeelde inbeddingsruimte te leren zonder gebruik te maken van klasselabels, maar wel gebruikmakend van de natuurlijke koppeling tussen een beeld en het bijbehorende optische profiel van hetzelfde deeltje.

Het proces bestaat uit twee hoofdfasen:

1. Contrastieve Pre-training (Image-Profile Alignment):

   • Input: Paarsgewijze data bestaande uit een grijswaardenafbeelding (bright-field) en een optisch profiel (6 kanalen: Forward Scatter, Sideward Scatter, en 4 fluorescentiekanalen).
   • Architectuur: Twee specifieke encoders (één voor beelden, één voor profielen) worden getraind om deze modaliteiten naar een gedeelde vectorruimte te projecteren.
   • Verliesfunctie: Er wordt gebruikgemaakt van InfoNCE loss (en in sommige experimenten Sigmoid loss). Het model leert dat een beeld en het bijbehorende profiel van hetzelfde deeltje dicht bij elkaar in de ruimte moeten liggen, terwijl niet-gekoppelde paren ver uit elkaar moeten liggen.
   • Data Augmentatie: Specifieke augmentaties worden toegepast om consistentie tussen de modaliteiten te behouden (bijv. synchronisch horizontaal spiegelen, random amplitude scaling voor profielen).

2. Klassificatie via K-NN:

   • Na pre-training wordt een kleine, gelabelde "gallery" (verzameling) van bekende planktonsoorten gebruikt.
   • Voor classificatie wordt een k-Nearest Neighbors (k-NN) zoekopdracht uitgevoerd in de geleerde inbeddingsruimte.
   • Flexibiliteit: Het systeem kan werken met alleen beelden, alleen profielen, of een combinatie van beide tijdens de inferentie. De voorspelling is gebaseerd op een meerderheidsstemming van de dichtstbijzijnde buren.

Kernbijdragen

1. Multimodaal Herkenningsframework: Een nieuw framework voor CytoSense-data dat helderveldbeelden en optische profielen combineert via contrastief leren, zonder afhankelijk te zijn van handmatige labels voor het trainen van de representaties.
2. Nieuwe Dataset (SYKE-plankton_CytoSense_2025): De auteurs hebben een publiek beschikbare multimodale dataset gepubliceerd die bestaat uit drie delen:
   • LAB: Gelabelde data uit laboratoriumculturen (24 klassen).
   • SEA: Gelabelde data uit de Oostzee (38 klassen, onbalans).
   • UTO: Ongelabelde data uit de Oostzee (32.930 samples), uitsluitend gebruikt voor self-supervised pre-training.
3. Label-vrije Strategie: Een strategie die aantoont dat men hoge herkenningsniveaus kan bereiken met slechts een minimale hoeveelheid gelabelde afbeeldingen voor de gallery, terwijl het grootste deel van de training plaatsvindt op ongelabelde data.

Resultaten

De experimenten tonen de volgende resultaten aan:

• In-domein prestaties: Op de LAB-dataset bereikte het beste model (ViT-Tiny voor beelden, CNN voor profielen, InfoNCE loss) een nauwkeurigheid van 96,01% wanneer zowel beelden als profielen beschikbaar waren. Zelfs bij wisseling van modaliteit (bijv. gallery met beelden, query met profielen) bleef de nauwkeurigheid hoog, wat wijst op effectieve uitlijning.
• Cross-domein generalisatie: Modellen getraind op de ongelabelde UTO-data (natuurlijke omgeving) generaliseerden beter naar de SEA-dataset dan modellen getraind op de gecontroleerde LAB-data. Dit benadrukt het belang van ongelabelde in-situ data voor robuustheid.
• Vergelijking met baselines: Het voorgestelde multimodale model presteerde significant beter dan een beeld-only self-supervised baseline (DINO), zelfs wanneer het model alleen met beelden werd getest. Dit toont aan dat multimodale pre-training de kwaliteit van visuele representaties verbetert.
• Invloed van galerijgrootte: De nauwkeurigheid steeg consistent naarmate de grootte van de gelabelde gallery toenam, wat aantoont dat het systeem schaalbaar is en profiteert van meer referentievoorbeelden.

Betekenis en Impact

Dit onderzoek is van groot belang voor de ecologische monitoring:

• Efficiëntie: Het reduceert de afhankelijkheid van dure expertannotatie door gebruik te maken van de enorme hoeveelheden ongelabelde data die moderne instrumenten genereren.
• Robuustheid: Door gebruik te maken van zowel beeld- als optische data, zijn de modellen robuuster tegen variaties in beeldkwaliteit en soortelijke verschillen dan beeld-only modellen.
• Toekomstperspectief: De methode biedt een pad naar schaalbare, real-time monitoring van planktongemeenschappen in veranderende klimaatomstandigheden, waarbij modellen kunnen worden bijgewerkt met nieuwe, ongelabelde data uit de natuur zonder volledige hertraining met gelabelde sets.

Kortom, het paper bewijst dat cross-modaal contrastief leren een krachtige strategie is om planktonherkenning te automatiseren, waarbij de combinatie van verschillende sensoren leidt tot superieure prestaties en generalisatievermogen.