PlankFormer: Robust Plankton Instance Segmentation via MAE-Pretrained Vision Transformers and Pseudo Community Image Generation

Probleemstelling

Het monitoren van plankton is essentieel voor het beoordelen van aquatische ecosystemen, maar de huidige methoden zijn beperkt door de arbeidsintensieve aard van handmatige microscopische analyse. Het automatiseren van de segmentatie van plankton uit "drukte-afbeeldingen" (community images) – beelden met meerdere individuen, puin en overlappingen – staat voor twee grote uitdagingen:

1. Schaarste aan geannoteerde data: Er bestaat geen publieke dataset met pixel-niveau annotaties voor plankton in dergelijke complexe beelden. Het handmatig labelen van elk individu is te tijdrovend en kostbaar.
2. Moeilijkheid van onderscheid: Conventionele methoden op basis van Convolutional Neural Networks (CNN's) hebben moeite om plankton te onderscheiden van puin en elkaar overlappende individuen. Dit komt doordat CNN's voornamelijk lokale kenmerken gebruiken, terwijl plankton grote variaties in grootte heeft en vaak gedeeltelijk bedekt is door puin of andere organismen.

Methodologie

De auteurs stellen PlankFormer voor, een nieuw raamwerk voor instance-segmentatie dat bestaat uit twee kerncomponenten: een strategie voor data-generatie en een geavanceerd modelarchitectuur.

1. Generatie van Pseudo Community Images (PCI)

Om het probleem van gebrek aan trainingsdata op te lossen, ontwikkelen de auteurs een methode om gelabelde "Pseudo Community Images" (PCI) automatisch te genereren:

• Synthese: Ze combineren individuele planktonafbeeldingen (met pixel-niveau maskers) met diverse achtergronden.
• Achtergronden: De achtergronden bestaan uit zowel echte, niet-planktonische gebieden uit microscopische beelden als synthetische achtergronden gegenereerd door generatieve modellen (StyleGAN3 en DDPM), die zijn gefinetuned op echte achtergronden.
• Augmentatie: Tijdens de synthese worden individuen willekeurig geflipped, geroteerd en geschaald. Er wordt ook een Gaussische blur toegepast op de achtergrond om de onscherpte van echte microscopische opnamen na te bootsen.
• Labeling: De ground-truth labels worden automatisch gegenereerd door de transformaties toe te passen op de individuele maskers. Voor de klassen worden taxonomische labels op het niveau van "Familie" gebruikt om de model te leren over globale vormkenmerken zonder te overfitten op te fijne details.

2. Modelarchitectuur: PlankFormer

Het segmentatiemodel is gebaseerd op de Mask2Former architectuur, maar met cruciale aanpassingen:

• Backbone: In plaats van een CNN, gebruiken ze een Vision Transformer (ViT-Large) als encoder. ViT's zijn beter in het extraheren van globale structurele kenmerken, wat essentieel is voor het begrijpen van overdekte objecten.
• Self-Supervised Pre-training (MAE): Om het model robuust te maken voor vormvariaties en overlappingen, pre-trainen ze de ViT-encoder met Masked Autoencoders (MAE). Hierbij wordt het model getraind op een grote set van ongeannoteerde individuele planktonafbeeldingen om de structuur en vorm van plankton te leren door ontbrekende pixels te reconstrueren.
• Fine-tuning: Na de pre-training wordt de encoder gecombineerd met een geïnitieerde decoder en gefinetuned op de gegenereerde PCI-dataset.

Belangrijkste Bijdragen

1. PCI-Generatie Pipeline: Een innovatieve aanpak om grote datasets te creëren door individuele beelden te synthetiseren op zowel echte als generatieve achtergronden, wat de noodzaak van handmatige annotatie van volledige community-beelden elimineert.
2. MAE-Pretraining voor Plankton: Het toepassen van self-supervised learning (MAE) op ongeannoteerde planktonafbeeldingen om een robuuste ViT-encoder te creëren die beter omgaat met occlusie en vormvariatie dan conventionele CNN's.
3. PlankFormer Framework: De integratie van een MAE-voorgereed ViT-encoder met een Mask2Former-decoder, specifiek ontworpen voor de complexe omstandigheden van planktonmonitoring.

Resultaten

De methode is geëvalueerd op twee real-world datasets: Biwako (veel puin, kleine individuen, complexe achtergrond) en Tsuruike (helder, grote individuen, weinig puin).

• Prestaties: PlankFormer presteerde significant beter dan state-of-the-art methoden zoals Mask R-CNN en Mask2Former (met ResNet-50 backbone), vooral op de uitdagende Biwako-dataset.
  • Op de Biwako-dataset verbeterde de mAP (mean Average Precision) aanzienlijk door MAE-pretraining (van 0.0440 naar 0.0738).
  • De methode toonde een betere detectie van kleine individuen (APS) en individuen in de middenmaat (APM), wat wijst op het vermogen om globale context te gebruiken in plaats van alleen lokale kenmerken.
• Vergelijking Pre-training: MAE-pretraining bleek superieur aan andere methoden zoals UrFound, MoCo of pre-training via classificatietaken.
• Kwalitatieve resultaten: Visuele inspectie toont aan dat PlankFormer minder false positives (verkeerd identificeren van puin) en minder false negatives (missen van overlappende individuen) produceert dan conventionele methoden.

Betekenis en Conclusie

Dit paper biedt een oplossing voor de kritieke beperkingen in geautomatiseerde planktonmonitoring. Door de combinatie van synthetische data-generatie (PCI) en self-supervised pre-training (MAE) op Vision Transformers, kunnen hoge precisiesegmentaties worden bereikt met minimale handmatige annotatiekosten.

De resultaten tonen aan dat deze aanpak niet alleen de nauwkeurigheid verbetert, maar vooral de robuustheid in moeilijke omstandigheden (veel puin, overlappingen) vergroot. Dit maakt het mogelijk om duurzame, hoogwaardige monitoring van aquatische ecosystemen te realiseren zonder afhankelijk te zijn van een afnemend aantal gespecialiseerde experts voor handmatige analyse. Toekomstig werk richt zich op het overbruggen van het domeinverschil bij heldere beelden en het uitbreiden naar gedetailleerde multi-class classificatie.