How many labels do you need? A decision framework for cross-habitat marine species recognition

Technische Samenvatting: Een Besluitvormingskader voor Cross-Habitat Marien Soortenherkenning

Probleemstelling
Ecologische monitoringsprogramma's, met name die gericht op koraalriffen, genereren enorme hoeveelheden beeldmateriaal (bijv. >100.000 afbeeldingen per jaar voor het Groot Barrièrerif) die deskundige annotatie vereisen voor soortidentificatie. Menselijke annotatie vormt een bottleneck, beperkt door doorvoersnelheid (50–100 afbeeldingen/uur) en inter-observer variabiliteit. Hoewel deep learning-modellen hoge nauwkeurigheid (>90%) hebben bereikt op specifieke, enkelvoudige locatieset-datasets, lijden ze aan een kritieke beperking: een gebrekkige generalisatie naar nieuwe locaties. Modellen die getraind zijn op één habitat falen vaak bij inzet elders omdat ze "habitat-specifieke shortcuts" leren (bijv. waterkleur, achtergrondtextuur) in plaats van soorten-diagnostische kenmerken. Gevolgd wordt de ecologist hiermee in het gebrek aan onderbouwde richtlijaties over de arbeidskosten (aantal gelabelde afbeeldingen) die nodig zijn om betrouwbare geautomatiseerde herkenning op een nieuwe, onbekende locatie te implementeren.

Methodologie
De auteurs hebben een systematisch cross-ecosysteem benchmark en evaluatiekader geconstrueerd om dit gat te adresseren.

• Datasets: De studie maakte gebruik van vijf publiekelijk beschikbare mariene datasets verspreid over drie oceanen en drie taxonomische groepen (vissen, koralen, ongewervelden):

  • DeepFish: 20 verschillende rifhabitats langs het Groot Barrièrerif (bron voor de meeste transfers).
  • AQUA20: Gemengde tropische/subtropische mariene soorten.
  • Moorea Corals: Benthische quadranten uit Frans-Polynesië.
  • Coralscapes: Rode Zee benthische segmentatie.
  • Brackish: Koud-temperaat fjord-beeldmateriaal uit Denemarken.
    Deze datasets definiëren een "transfer-moeilijkheidsgradiënt" variërend van binnen-habitat transfer (makkelijkst) tot cross-taxon, cross-oceaan transfer met sterke klasse-imbalans (moeilijkst).

• Modellen: Vier backbone-architecturen werden geëvalueerd:

  • Foundation Models: DINOv2-Base (self-supervised ViT) en CLIP-Base (language-image ViT).
  • CNN Baselines: ResNet-50 en EfficientNet-B4 (supervised ImageNet pretraining).

• Adaptatiestrategieën: De modellen werden getest onder vier adaptatieregimes:

  • Linear Probe: Frozen backbone met een trainbare lineaire classifier.
  • Low-Rank Adaptation (LoRA): Parameter-efficiënte fine-tuning van attention layers.
  • Visual Prompt Tuning (VPT): Leerbare tokens die worden toegevoegd aan transformer layers.
  • Full Fine-tuning: Updaten van alle parameters (toegepast op CNN baselines).

• Experimentele Protocollen:

  1. Protocol A (Binnen-Habitat): Leave-one-habitat-out evaluatie over 20 DeepFish locaties om generalisatie binnen een enkel rifsysteem te testen.
  2. Protocol B (Cross-Dataset): Open-set transfer van DeepFish naar de overige vier datasets om de prestatiedegradatie over geografische en ecologische grenzen te meten.
  3. Protocol C (Few-Shot): Systematische variatie van gelabelde doel-samples per klasse ($k=0$ tot $100$) om de minimale annotatie-inspanning te bepalen die nodig is voor betrouwbare inzet.

Belangrijkste Resultaten

• Superioriteit van Frozen Foundation Models: Bij binnen-habitat transfer (Protocol A) bereikte een frozen DINOv2-Base backbone met een lineaire classifier (slechts 1.538 trainbare parameters) de hoogste gemiddelde macro F1 (0,70). Deze prestatie was statistisch vergelijkbaar met volledig fine-tuned CNN's (EfficientNet-B4, 17,6M parameters) en parameter-efficiënte methoden zoals LoRA, ondanks het gebruik van vier ordes van grootte minder trainbare parameters.
• Kenmerk-analyse: t-SNE visualisaties toonden aan dat DINOv2 features clusteren op basis van soortidentiteit ongeacht de habitat, wat wijst op het leren van habitat-invariante representaties. Daarentegen clusterden CNN baselines (ResNet-50) op basis van habitat, wat bevestigt dat zij vertrouwen op achtergrondkenmerken die falen in nieuwe omgevingen.
• Cross-Habitat Robuustheid: Foundation modellen degradeerden meer geleidelijk dan CNN's bij transfer tussen ecosystemen. Hoewel de prestaties afnamen langs de moeilijkheidsgradiënt, behield DINOv2 zijn nut bij cross-taxon transfers waar CNN's de niveaus van toeval benaderden.
• Few-Shot Efficiëntie (Protocol C): De studie kwantificeerde de "labelling effort vs. accuracy" trade-off.
  • Zero-shot classificatie (CLIP, $k=0$) bood een baseline, maar werd beperkt door vocabulaire-mismatches in taxonomische labels.
  • Het toevoegen van slechts 10–20 gelabelde afbeeldingen per soort was voldoende om betrouwbare herkenning op nieuwe locaties te implementeren.
  • DINOv2 met een linear probe bereikte 80% van zijn maximale balanced accuracy met ongeveer 11 gelabelde samples per klasse, wat aanzienlijk beter presteerde dan andere configuraties qua sample-efficiëntie.

Betekenis en Claims
Het artikel claimt het eerste systematische, onderbouwde besluitvormingskader te bieden voor cross-habitat mariene soortherkenning. De primaire bijdragen zijn:

1. Een Benchmark: Een multi-dataset evaluatie die tropische tot temperaat omgevingen en vissen tot koraal-taxa beslaat, waarmee een moeilijkheidsgradiënt wordt vastgesteld voor toekomstig onderzoek.
2. Operationele Richtlijn: De bevinding dat ecologen betrouwbare geautomatiseerde systemen op nieuwe locaties kunnen inzetten door een frozen, open-source foundation model (DINOv2) te combineren met een eenvoudige lineaire classifier en slechts 10–20 afbeeldingen per soort te annoteren. Dit vermindert de annotatie-inspanning met ongeveer een orde van grootte vergeleken met conventionele training-from-scratch benaderingen.
3. Methodologische Inzicht: De demonstratie dat foundation modellen soort-diagnostische, habitat-invariante representaties leren, terwijl traditionele CNN's habitat-specifieke shortcuts coderen. Dit suggereert dat voor ecologische monitoring de "visuele ervaring" verworven tijdens grootschalige self-supervised pretraining waardevoller is dan taakspecifieke fine-tuning op kleine, locatie-specifieke datasets.

De auteurs concluderen dat dit kader monitoringprogramma's in staat stelt om de labelling effort te budgetteren tegen de verwachte nauwkeurigheid wanneer zij uitbreiden naar andere locaties, ecosystemen of beeldvormingsplatforms, toepasbaar op elk ecologisch monitoringsysteem dat generalisatie vereist met beperkte gelabelde data.