MATANet: A Multi-context Attention and Taxonomy-Aware Network for Fine-Grained Underwater Recognition of Marine Species

Technische Samenvatting: MATANet voor Gedetailleerde Onderwaterherkenning

Probleemstelling
Gedetailleerde visuele herkenning (FGVC) van mariene organismen is cruciaal voor ecologisch onderzoek, biodiversiteitsmonitoring en behoudsbeleid. Bestaande benaderingen vertrouwen echter vaak sterk op object- of Region of Interest (ROI)-gerichte representaties, die mogelijk de interacties tussen doelorganismen en hun omringende omgeving niet adequaat vastleggen. Bovendien wordt de hiërarchische structuur van biologische taxonomie in representatieleren vaak onvoldoende benut. Deze beperkingen hinderen de discriminerende prestaties in uitdagende onderwaterscènes waar visueel vergelijkbare organismen zich onder diverse omgevingscondities voordoen. Daarnaast vereist het gebrek aan taxonomen die betrouwbare handmatige identificatie kunnen uitvoeren, robuuste, geautomatiseerde systemen voor schaalbare analyse.

Methodologie
De auteurs stellen MATANet (Multi-context Attention and Taxonomy-Aware Network) voor, een raamwerk dat is ontworpen om deskundige taxonomische identificatiepraktijken na te bootsen door morfologie op organismenniveau, omgevingscontext en taxonomische hiërarchie gezamenlijk te modelleren. De architectuur bestaat uit twee primaire modules:

1. Multi-Context Environmental Attention Module (MCEAM):

   • Input: De module verwerkt de primaire ROI (doelorganisme) naast meerdere ROI-gecentreerde contextuele gebieden op verschillende schalen (bijv. 3×, 5× en volledige beeldschalen).
   • Mechanisme: Met behulp van een gedeelde Vision Transformer (ViT)-backbone (geïnitieerd met DINOv2-weights) maakt MCEAM gebruik van een cross-attention-mechanisme. De ROI-embedding dient als query, terwijl patch-embeddings van de multi-schaal contextgebieden dienen als keys en values.
   • Functie: Hierdoor kan het model selectief aandacht besteden aan informatieve omgevingsaanwijzingen (zoals substraat, nabijgelegen organismen en habitatconfiguraties), geconditioneerd op de representatie van het doelorganisme. De resulterende contextbewuste kenmerken worden samengevoegd met de ROI-embedding en geprojecteerd naar een uniforme latente ruimte.

2. Hierarchy-Aware Representation Learning Module (HRLM):

   • Mechanisme: HRLM gebruikt taxonomische hiërarchie (bijv. Orde, Familie, Geslacht) als aanvullende supervisie tijdens het trainen. Het fungeert niet als een hiërarchische classifier voor de uiteindelijke inferentie, maar werkt als een regularisator voor de embeddingruimte.
   • Functie: Een getransformeerde embedding wordt ingevoerd in levelspecifieke aanvullende classifiers. De module berekent een hiërarchische verliesfunctie ($L_{hier}$) op basis van geldige hogere taxonomische niveaus, waardoor de geleerde embeddings worden aangemoedigd om taxonomische relaties over niveaus heen te reflecteren zonder harde voorspellingsbeperkingen op de uiteindelijke output af te dwingen.
   • Doel: Het totale trainingsdoel combineert de hoofdclassificatieverliesfunctie ($L_{cls}$) op het fijnste beschikbare doellabel met de aanvullende hiërarchische verliesfunctie ($L_{total} = L_{cls} + \lambda L_{hier}$).

Belangrijkste Bijdragen

• MCEAM: Introduceert een mechanisme om cross-attention te modelleren tussen het primaire objectgebied en multi-schaal omgevingscontext, waarmee de beperkingen van ROI-centric pipelines worden aangepakt door lokale morfologische details te integreren met habitatniveau-aanwijzingen.
• HRLM: Ontwerpt een strategie voor representatieleren die taxonomische hiërarchie gebruikt als levelspecifieke aanvullende supervisie om de embeddingruimte te regulariseren, waardoor semantisch gestructureerde representaties worden bevorderd die biologische relaties weerspiegelen.
• Uitgebreide Evaluatie: Uitgebreide experimenten worden uitgevoerd op FathomNet2025 en LifeCLEF2015-Fish (mariene datasets) en FAIR1M (remote sensing dataset) om prestaties te evalueren over diverse resoluties, omgevingscomplexiteiten en labelstructuren.
• Benchmarksucces: De voorgestelde methode behaalde de eerste plaats in de FathomNet 2025 Challenge op de CVPR 2025 FGVC12 workshop.

Experimentele Resultaten

• FathomNet2025: MATANet behaalde de laagste Hiërarchische Afstand (HD) op zowel de Publieke als Privé testsets, met een gewogen gemiddelde HD van 1.658 (M4-configuratie) en 1.54 (M5-configuratie met een grotere backbone), en presteerde beter dan sterke baselines waaronder ResNet, Swin Transformer en gespecialiseerde FGVC-modellen zoals MSDBN en TransFG.
• LifeCLEF2015-Fish: Het model toonde consistente verbeteringen, met een Nauwkeurigheid (ACC) van 0.787 en een HD van 1.144, en presteerde beter dan alle benchmarkmodellen. Het prestatieverschil bleek kleiner dan bij FathomNet2025, waarschijnlijk vanwege de lagere resolutie en eenvoudigere taxonomische structuur van deze dataset.
• FAIR1M (Cross-Domain): In een niet-onderwateromgeving behaalde MATANet de hoogste ACC (0.7395) en de laagste HD (0.973) onder vergeleken modellen, wat de toepasbaarheid van het raamwerk buiten mariene beelden suggereert, hoewel het voordeel van contextuele aanwijzingen minder uitgesproken was vanwege de beperkte achtergronddiversiteit in de dataset.
• Ablatiestudies:
  • Contextuele informatie (MCEAM) verminderde de HD aanzienlijk in vergelijking met ROI-only baselines.
  • HRLM verbeterde de prestaties verder door de embeddingruimte te structureren, en presteerde beter dan andere hiërarchiebewuste strategieën zoals HXE en SoftLabel wanneer deze werden gebruikt als aanvullende supervisie in plaats van een vervanging voor de hoofdverliesfunctie.
  • Visualisatie via t-SNE bevestigde dat HRLM de vorming van compacte, taxonomiebewuste clusters in de embeddingruimte bevordert.

Betekenis en Claims
Het artikel claimt dat MATANet effectief de uitdagingen van gedetailleerde mariene herkenning aanpakt door voorbij geïsoleerde objectkenmerken te gaan en de ecologische context en biologische taxonomie te incorporeren die experts gebruiken. De auteurs stellen dat:

1. Context cruciaal is: Omgevingscontext levert aanvullende aanwijzingen die discriminatie verbeteren, vooral voor contextgevoelige soorten, hoewel het voor sommige categorieën ambiguïteit kan introduceren.
2. Structuur telt: Het gebruik van taxonomische hiërarchie als aanvullende supervisie, in plaats van slechts een voorspellingsdoel, helpt gestructureerdere en discriminerendere kenmerkrepresentaties te leren.
3. Praktische impact: Het succes van het raamwerk in de FathomNet 2025 Challenge demonstreert de levensvatbaarheid voor grootschalige, geautomatiseerde biodiversiteitsbeoordeling.

De auteurs erkennen bescheiden beperkingen, waarbij zij opmerken dat de methode momenteel afhankelijk is van bestaande ROI-annotaties (waarbij een detectiestap vereist is in 'in-the-wild'-scenario's) en dat vaste contextschalen mogelijk niet optimaal zijn voor alle datasets. Zij merken ook op dat contextuele aanwijzingen niet universeel gunstig zijn en soms ruis of ambiguïteit kunnen introduceren.