ReefNet: A Large-Scale Dataset and Benchmark for Fine-Grained Coral Reef Recognition

Probleemstelling

Koraalriffen staan wereldwijd onder zware druk door antropogene factoren zoals klimaatverandering, overbevissing en verzuring. Effectief monitoring, behoud en herstel vereisen gedetailleerde analyse van riffen, wat traditioneel afhankelijk is van handmatige annotatie door experts. Dit proces is echter arbeidsintensief, niet schaalbaar en leidt tot beperkte ruimtelijke en temporele dekking.

Hoewel diep learning (DL) veelbelovend is voor automatisering, wordt de vooruitgang in koraalherkenning gehinderd door twee hoofdproblemen:

1. Gebrek aan grote, gestandaardiseerde datasets: Bestaande datasets zijn vaak klein, geografisch beperkt, of bevatten inconsistent taxonomisch labelen (bijv. vermenging van soort-, geslachts- en familielabels).
2. Domeinverschuiving (Domain Shift): Modellen die op één locatie zijn getraind, presteren vaak slecht op nieuwe locaties door verschillen in beeldvormingscondities, lokale soorten en annotatieconventies.
3. Moeilijkheid van fine-grained classificatie: Het onderscheiden van koraalgenera op basis van visuele kenmerken is extreem lastig, vooral bij zeldzame soorten of morfologisch vergelijkbare taxa.

Methodologie: De ReefNet Dataset

De auteurs introduceren ReefNet, een groot openbaar dataset en benchmark voor fijnmazige koraalherkenning. De dataset is opgebouwd via een meervoudig gefaseerd, expert-gestuurd curatieproces:

1. Data Collectie:

   • Bronnen: De dataset unificeert beelden van 76 zorgvuldig geselecteerde CoralNet-bronnen (wereldwijd) en een nieuw verzameld dataset van Al-Wajh Lagoon in de Rode Zee (Saudi-Arabië).
   • Omvang: Totaal ongeveer 925.000 punt-annotaties op geslachtsniveau (genus-level) voor steenkoralen (Scleractinia), verspreid over 181.223 afbeeldingen.
   • Taxonomische Standaardisatie: Alle annotaties zijn gemapped naar de World Register of Marine Species (WoRMS) taxonomie. Dit lost het probleem van inconsistente labels op door een uniforme AphiaID-structuur te gebruiken.

2. Kwaliteitscontrole en Filtering:

   • Expert Verificatie: Een team van mariene biologen verifieerde een gestratificeerde steekproef van 8.962 annotaties.
   • Filtercriteria: Alleen labels die ten minste 100 keer voorkomen, in minimaal 3 bronnen aanwezig zijn, en een hoge expert-akkoordgraad hebben, werden behouden.
   • Resultaat: Een hoogwaardige "benchmark subset" met 92% expert-akkoord over 39 koraalgenera (38 geslachten + 1 familie).

3. Benchmark Opzet:
   ReefNet biedt een uitgebreide evaluatieframework voor verschillende scenario's:

   • Within-source: Trainen en testen binnen dezelfde bron (39 klassen).
   • Cross-source: Trainen op ReefNet en testen op het onafhankelijke Al-Wajh-dataset (13 overlappende klassen) om generalisatie te meten.
   • Zero-shot: Evaluatie zonder training, puur op basis van tekstuele prompts.
   • Few-shot: Adaptatie met zeer weinig voorbeelden (k=1, 5, 10, 20 per klasse).

Belangrijkste Bijdragen

1. ReefNet Dataset: De grootste tot nu toe beschikbare publieke dataset voor machine learning op koraalriffen, met bijna 1 miljoen annotaties die strikt zijn afgestemd op WoRMS.
2. Uitgebreide Benchmark: Een gestandaardiseerde evaluatie die zero-shot, few-shot, en full fine-tuning scenario's omvat, specifiek ontworpen om generalisatieproblemen en class-imbalance in ecologische data te bestuderen.
3. Systematische Analyse: Uitgebreide experimenten met Vision-Language Models (VLMs), Multimodal Large Language Models (MLLMs) en vision-only backbones, die inzicht geven in de grenzen van huidige AI-modellen voor biodiversiteitsmonitoring.

Resultaten

De auteurs hebben diverse state-of-the-art modellen getest, waaronder VLMs (BioCLIP2, CLIP), MLLMs (Qwen3-VL, LLaVA) en vision-only modellen (ViT, ResNet).

• Zero-Shot Prestaties:
  • Algemene MLLMs presteren zeer slecht (Macro Recall ~2-5%), wat aangeeft dat ze geen gedetailleerde morfologische kennis van koraal hebben.
  • BioCLIP2 (een model getraind op biologische data) presteert significant beter (~23% op binnen-bron, ~43% op cross-bron), wat het belang van domeinspecifieke pre-training benadrukt.
• Few-Shot Adaptatie:
  • Prestaties verbeteren sterk met meer voorbeelden, maar er blijft een grote kloof tussen binnen-bron en cross-bron prestaties.
  • Vision-only modellen en CLIP-varianten passen zich beter aan dan MLLMs in few-shot scenario's.
• Full Fine-Tuning:
  • Vision-only modellen (ViT-B/16) bereiken de beste resultaten (~80% Macro Recall binnen-bron).
  • Klasse-Imbalans: Prestaties zijn hoog voor veelvoorkomende genera (Head), maar dalen drastisch voor zeldzame genera (Tail), zelfs na volledige training.
  • Cross-Domain Gap: Er is een aanzienlijke daling in prestaties bij cross-source evaluatie (Al-Wajh), wat wijst op de uitdaging van domeinverschuiving.
• Foutanalyse: Verwarring treedt vaak op tussen morfologisch vergelijkbare genera (bijv. Acropora vs. Pocillopora) of bij zeldzame soorten met weinig trainingsdata.

Significantie en Impact

ReefNet is een mijlpaal voor ecologische computer vision:

• Standaardisatie: Het lost het probleem van inconsistente taxonomie op, waardoor vergelijkend onderzoek tussen verschillende studies en regio's mogelijk wordt.
• Schalbaarheid: Het biedt de basis voor schaalbare, geautomatiseerde monitoringssystemen die essentieel zijn voor het behoud van koraalriffen.
• Onderzoeksgids: De resultaten tonen aan dat algemene multimodale modellen nog niet klaar zijn voor fijnmazige biologische taken zonder domeinspecifieke aanpassing. Het benadrukt de noodzaak van grote, hoogwaardige datasets en gerichte strategieën voor langstaart-distributies (long-tail learning).
• Open Science: De dataset, code en getrainde modellen worden openbaar gemaakt, wat de gemeenschap in staat stelt om verdere innovaties te ontwikkelen voor mariene biodiversiteit.

Kortom, ReefNet verschuift de focus van het verzamelen van losse datasets naar het creëren van een robuust, gestandaardiseerd ecosysteem voor het trainen en evalueren van AI-modellen in complexe mariene omgevingen.