Technische Samenvatting: ShellfishNet

Probleemstelling

Het beheer van kustecosystemen en het behoud van mariene biodiversiteit zijn sterk afhankelijk van de accurate identificatie van benthische organismen, met name schelpdieren. Traditionele monitoringmethoden zijn arbeidsintensief en vereisen gespecialiseerde taxonomische expertise voor morfologische identificatie, wat een schaalbaarheidsknelpunt creëert voor brede ecologische beoordelingen. Hoewel kunstmatige intelligentie (KI) en computervisie potentie bieden voor geautomatiseerde monitoring, zijn bestaande mariene datasets niet geschikt voor implementatie in de echte wereld. Huidige benchmarks bevatten vaak samples die onder gecontroleerde, ideale omstandigheden zijn vastgelegd, en houden geen rekening met de complexiteit van onderwater- en kustomgevingen, zoals variabele belichting, watertrubheid, diverse houdingen van soorten en complexe habitatachtergronden. Bovendien vertonen algemene fundamentele modellen vaak "tekortkomingen in domeinkennis" wanneer ze worden geconfronteerd met de hoge variatie binnen een klasse en de minimale variatie tussen klassen die kenmerkend zijn voor mariene weekdieren. Er is een kritisch gebrek aan hoogwaardige, domeinspecifieke benchmarks die de visuele variabiliteit van praktische ecologische monitoring weerspiegelen.

Methodologie

Om deze gaten op te vullen, hebben de auteurs ShellfishNet opgezet, een uitgebreide domeinspecifieke benchmark die is ontworpen voor visuele herkenning en beschrijving van mariene weekdieren.

Datasetconstructie

• Scope: De dataset omvat 8.691 afbeeldingen die 32 distincte taxa van schelpdieren bestrijken die veelvuldig worden aangetroffen in kustbehoud, aquacultuur en monitoring.
• Data Bronnen: Afbeeldingen zijn verzameld via een combinatie van gecontroleerde veldfotografie (gestandaardiseerde opnamen van specimens tegen schone achtergronden) en web scraping (afbeeldingen uit de wilde natuur).
• Curatie: Een meerstaps curatieproces heeft irrelevante of gedegradeerde samples verwijderd. Taxonomische labels zijn geverifieerd tegen zichtbare morfologische bewijzen en gecontroleerd door meerdere annotatoren om labelruis te minimaliseren.
• Complexiteit uit de Echte Wereld: Om de fysieke beperkingen van monitoring in de echte wereld te simuleren, hebben de auteurs een offline data-augmentatiepijplijn toegepast. Dit omvatte geometrische transformaties (willekeurige rotatie, bijsnijden) om variërende gezichtspunten na te bootsen en fotometrische aanpassingen (belichtingsvariaties, wazigheid) om weersomstandigheden en watertrubheid te simuleren.
• Multimodale Annotatie: Een gecureerde subset van 500 afbeeldingen is voorzien van beschrijvende bijschriften door menselijke experts, bijgestaan door een black-box commerciële LLM. Deze bijschriften waren gestructureerd om vier professionele dimensies te dekken: Morfologie, Kleur & Textuur, Anatomische Kenmerken, en Omgeving & Achtergrond. Menselijke experts behielden volledige controle om hallucinaties uit te sluiten.

Benchmark Framework

De auteurs hebben twee primaire benchmarktaken vastgesteld:

1. Schelpdierclassificatie: Een systematische evaluatie van 80 representatieve neurale netwerkmodellen, waaronder Convolutional Neural Networks (CNN's), Vision Transformers (ViT's), State Space Models (SSM's), Self-Supervised Learning (SSL) frameworks, en Fine-Grained Visual Categorization (FGVC) modellen.
2. Schelpdierbeeldbijschriften: Een evaluatie van 13 state-of-the-art Multimodale Grote Taalmodellen (MLLM's) (waaronder Qwen, LLaVA, InternVL, IDEFICS2, Gemini en GPT-varianten) op de gecureerde subset voor bijschriften.

Evaluatiemetrics

• Classificatie: Nauwkeurigheid werd gemeten op schone data en onder 15 soorten beeldcorrupties (ruis, wazigheid, weer, digitale vervormingen) om robuustheid te beoordelen. Ook werd prestatie op de lange staart geanalyseerd voor de vijf minst frequente klassen.
• Bijschriften: Evaluatie gebruikte een multidimensionale aanpak:
  • Lexicaal/Syntactisch: BLEU, METEOR, ROUGE-L, CIDEr (waarbij wordt opgemerkt dat deze lijden onder "straffen voor lange teksten").
  • Semantische Equivalentie: BERTScore (Precisie, Recall, F1) om diepe semantische gelijkenis te meten.
  • Cross-Modale Uitlijning: CLIP Score om visuele gronding te verifiëren.
• Robuustheid: Gemiddelde Prestatie onder Corruptie (mPC) en Gemiddelde Corruptiefout (mCE) werden berekend ten opzichte van een ResNet-50-baseline.

Belangrijkste Resultaten

Classificatieprestaties

• Architecturale Superioriteit: Hiërarchische Vision Transformers (bijv. MViTv2-T met 95,66%) en moderne macro-architecturale ontwerpen (bijv. MambaOut met 96,47%) toonden superieure prestaties ten opzichte van vroege isotrope modellen (bijv. ViT met 88,35%) en legacy CNN's (bijv. VGG met 89,43%).
• Evolutie van CNN's: Gemoderniseerde CNN's (bijv. ConvNeXt, ConvFormer-S18) hebben het prestatieverschil met Vision Transformers effectief verkleind, met nauwkeurigheden rond de 95,12%.
• Robuustheid: Onder ernstige visuele degradaties (corrupties) vertoonden modellen zoals MViTv2-T (mPC 72,19%) en MambaOut (mPC 69,73%) de hoogste absolute robuustheid. Daarentegen leden legacy-modellen zoals VGG aan catastrofale storingen (bijv. nauwkeurigheid die daalde tot 7,37% onder impulsruis). Opmerkelijk is dat sommige Self-Supervised Learning-modellen (bijv. MoCoV3) een hogere nauwkeurigheid op schone data lieten zien, maar aanzienlijk minder robuust waren dan hun toezicht-gebaseerde tegenhangers.

Bijschriftenprestaties

• Semantische Uitlijning: Propriëtaire modellen Gemini 3.1 Pro (BERTScore-F1: 0,9006) en GPT-5.4 (0,8880) behaalden de hoogste semantische equivalentie. Onder de modellen met open gewichten presteerden Qwen2.5-7B (0,8750) en InternVL2.5-4B (0,8712) het beste.
• Beperkingen van Metrics: Traditionele n-gram-metrics (BLEU, CIDEr) leverden universeel lage scores op voor alle modellen (bijv. CIDEr < 0,11 voor topmodellen), wat wijst op een ernstige "straf voor lange teksten" en evaluatievervorming. De auteurs concluderen dat semantische metrics zoals BERTScore betrouwbaarder zijn voor het evalueren van gedetailleerde ecologische beschrijvingen.
• Foutpatronen: Kwalitatieve analyse toonde aan dat zelfs goed presterende modellen last hebben van visuele hallucinaties (bijv. beweren dat schelpen leeg zijn terwijl ze weefsel bevatten) en logische fouten (bijv. hallucinaties tellen zoals "vijf schelpen in een 2x2-rooster").

Betekenis en Bijdragen

Het artikel positioneert ShellfishNet als een kritieke resource voor de vooruitgang van intelligente monitoring in de mariene ecologie. De primaire bijdragen zijn:

1. Een Uitgebreide Multi-Scenario Benchmark: ShellfishNet biedt een datafundament dat het volledige spectrum van visuele complexiteiten in kustbeheer weerspiegelt, van natuurlijke veldobservaties tot aquacultuur en post-oogstbehandeling. Het adresseert het gebrek aan domeinspecifieke data voor fijnmazige benthische herkenning.
2. Gedetailleerde Model Evaluatie: Door robuuste baselines te vestigen over 80 diverse architecturen, verduidelijkt het werk welke modelparadigma's (hiërarchische aandacht, moderne macro-architecturen) het meest geschikt zijn voor fijnmazige mariene herkenning en robuustheid tegen omgevingsdegradatie.
3. Verkenning van Multimodale Ecologische Rapportage: De opname van een subset voor bijschriften faciliteert onderzoek naar visueel-taaluitlijning voor ecologische taken. Het toont het potentieel van MLLM's voor het genereren van gedetailleerde omgevingsrapporten, terwijl het tegelijkertijd huidige beperkingen in visuele redenering en controle van hallucinaties benadrukt.

De auteurs concluderen dat hoewel huidige modellen veelbelovend zijn, het veld verdere ontwikkeling vereist om domeinspecifieke kennisachterstanden en visuele hallucinaties te mitigeren. Zij identificeren de implementatie van lichtgewicht modellen op randapparatuur (edge sensors) als een veelbelovende toekomstrichting voor continue, kostenefficiënte ecologische monitoring.