An interpretable framework using foundation models for fish sex identification

Dit artikel introduceert FishProtoNet, een interpreteerbaar en niet-invasief computervisie-framework dat foundation modellen en prototype-netwerken combineert om het geslacht van de bedreigde delta-koornvis (Hypomesus transpacificus) met succes te identificeren tijdens de voortplantingsfasen.

De kern

🐟 De "Vis-Boer" die niet hoeft te knippen: Hoe AI het geslacht van vissen raadt

Stel je voor dat je een viskwekerij runt met een heel zeldzame en kwetsbare vissoort: de Delta Smelt. Deze vis is zo belangrijk voor het ecosysteem, maar ook zo kwetsbaar, dat je ze niet mag verwonden.

Het probleem:
Om deze vissen succesvol te kweken, moet je weten welke mannetjes en welke vrouwtjes het zijn. Normaal gesproken doen biologen dit door de vis open te snijden of een cameraatje in te brengen. Dat is als het openen van een cadeau voordat je het mag geven: het verpest de verrassing en doet de vis pijn. Veel vissen sterven hierdoor.

De oplossing:
De onderzoekers hebben een slimme computerprogramma bedacht, genaamd FishProtoNet. Dit is een soort "super-oog" dat naar een foto van de vis kijkt en zegt: "Ah, dit is een mannetje!" of "Ah, dit is een vrouwtje!" – zonder de vis aan te raken.

Hier is hoe het werkt, vertaald in alledaagse termen:

1. De "Schaar" en de "Lijm" (Het uitsnijden van de vis)

Stel je voor dat je een foto hebt van een vis in een troebel aquarium. De achtergrond is rommelig: er zijn stenen, algen en schaduwen. Als je een gewone computer laat kijken, denkt die misschien: "O, deze vis is een mannetje omdat hij op een bruine steen ligt," in plaats van omdat hij echt een mannetje is. De computer leert dan de achtergrond te herkennen, niet de vis.

Om dit op te lossen, gebruiken de onderzoekers twee nieuwe, superkrachtige hulpmiddelen (Foundation Models):

• Grounding DINO: Dit is als een slimme hond die op commando "Vind de vis!" roept. Hij wijst precies aan waar de vis zit, zelfs als je hem nog nooit eerder hebt gezien.
• SAM2 (Segment Anything Model): Dit is als een digitale schaar die precies om de vis heen knipt en de rest van de foto (de rommelige achtergrond) weggooit.

Het resultaat: De computer krijgt alleen een schone foto van de vis, zonder afleiding.

2. De "Kleurenverf" (Data Augmentatie)

Omdat ze niet genoeg foto's hebben van deze zeldzame vis, moeten ze de computer slim trainen. Ze nemen de foto's van de vis en doen er een beetje "toverij" mee:

• Ze draaien de vis een beetje.
• Ze spiegelen hem.
• Ze veranderen de helderheid of verbergen een klein stukje van de vis (alsof er een vlek op de foto zit).

Dit is alsof je iemand leert een gezicht herkennen door hem te laten zien in verschillende hoeken, met een pet op, of met een bril. Zo leert de computer echt de kenmerken van de vis te zien, en niet alleen de foto zelf.

3. De "Vergelijkingskaart" (Interpretabel Leren)

Dit is het meest interessante deel. De meeste AI-modellen zijn een "zwarte doos": ze geven een antwoord, maar je weet niet waarom. Dat is gevaarlijk voor biologen; ze willen weten of de AI echt naar de buik van de vis kijkt of naar een vlekje op de achtergrond.

FishProtoNet werkt anders. Het gebruikt een prototype-netwerk.

• De Analogie: Stel je voor dat je een kind leert dieren te herkennen. Je laat het een foto van een "echte mannetjesvis" zien en een "echte vrouwtjesvis".
• De computer maakt in zijn hoofd een ideale kaart (een prototype) van hoe een mannetje eruit moet zien en hoe een vrouwtje eruit moet zien.
• Als er een nieuwe vis voorbijkomt, vergelijkt de computer deze niet met een duizend andere foto's, maar met die ideale kaart.
• "Hoeveel lijkt deze vis op mijn ideale mannetje-kaart?" vraagt de computer.
• Omdat de computer laat zien waar hij kijkt (bijvoorbeeld: "Ik zie dat de buik iets voller is, dus dit is een vrouwtje"), kunnen biologen dit controleren. Het is alsof de computer zijn werkblad laat zien in plaats van alleen het antwoord.

Wat leerden ze?

• Het werkt goed: Voor vissen die al volwassen zijn (tijdens of na het paaien), werkt het heel goed. De computer raadt het geslacht in ongeveer 80% van de gevallen goed. De verschillen tussen man en vrouw zijn dan duidelijk zichtbaar.
• Het is lastig voor baby's: Voor jonge vissen (subadulten) is het nog lastig. Dat is logisch: jonge kinderen lijken vaak op elkaar, of het nu een jongetje of een meisje is. Pas als ze opgroeien, komen de echte verschillen naar voren.

Conclusie

De onderzoekers hebben een manier bedacht om de geslachten van zeldzame vissen te tellen zonder ze te verwonden. Ze gebruiken slimme AI die eerst de vis "uitsnijdt" uit de rommelige achtergrond, en dan vergelijkt met een ideale voorbeeldkaart. Het is een stap voorwaarts om bedreigde diersoorten te beschermen en te kweken, zonder dat er een visje pijn hoeft te lijden.

Kortom: Een digitale schaar, een paar verdraaide foto's en een slimme vergelijkingstest, zodat we de natuur kunnen helpen zonder haar te beschadigen.

Technische samenvatting

Probleemstelling

Het nauwkeurig identificeren van het geslacht van vissen is cruciaal voor het optimaliseren van kweekstrategieën in de aquacultuur, vooral voor bedreigde soorten zoals de delta-voorn (Hypomesus transpacificus). Bestaande methoden voor geslachtsbepaling zijn vaak invasief (zoals biopsie, dissectie of endoscopie), wat stress veroorzaakt en de sterfte bij deze kwetsbare populaties kan verhogen.

Bestaande computerzicht- en AI-methoden (zoals diep leeren) hebben echter twee belangrijke beperkingen:

1. Achtergrondruis: Modellen neigen om te focussen op achtergrondbias (bijv. het uiterlijk van de tankbodem) in plaats van op de intrinsieke morfologische verschillen tussen mannetjes en vrouwtjes.
2. Gebrek aan interpretatie: Traditionele diepe neurale netwerken werken als "black boxes". Voor biologen en aquacultuur-specialisten is het essentieel om te begrijpen waarom een model een bepaald geslacht voorspelt, om de voorspellingen te kunnen valideren en vertrouwen te krijgen.

Bovendien zijn de morfologische verschillen tussen mannetjes en vrouwtjes bij delta-voorn in vroege levensstadia (subadult) zeer subtiel, wat de classificatie extra moeilijk maakt.

Methodologie: FishProtoNet

De auteurs stellen FishProtoNet voor, een robuust, niet-invasief raamwerk dat drie kernmodules combineert om geslachtsbepaling uit te voeren:

1. ROI-extractie met Visuele Foundation Modellen (Zero-Shot):

   • Om achtergrondruis te elimineren en zich te concentreren op de vis zelf, wordt een combinatie van Grounding DINO en SAM2 (Segment Anything Model 2) gebruikt.
   • Grounding DINO detecteert de vis in de afbeelding op basis van een tekstprompt ("fish") zonder dat het model specifiek voor deze vissoort getraind hoeft te zijn (zero-shot).
   • De gegenereerde bounding boxes worden gebruikt als visuele prompts voor SAM2, dat een nauwkeurige segmentatiemas (mask) van de vis genereert.
   • Dit resulteert in een schone "Region of Interest" (ROI) die alleen de vis bevat, waardoor achtergrondbias wordt geminimaliseerd.

2. Data Augmentatie:

   • Om overfitting te voorkomen en de robuustheid te vergroten (gezien de beperkte dataset), worden diverse augmentatietechnieken toegepast op de geëxtraheerde ROI's.
   • De optimale strategie omvat: random rotatie, horizontale spiegeling, random cropping en random erasing. Random erasing is specifiek nuttig om onvolledige segmentaties of storende elementen (zoals VIA-tags voor identificatie) te maskeren.

3. Interpreteerbare Geslachtsvoorspelling (Prototype Learning):

   • In plaats van een standaard "black box" classifier, gebruikt FishProtoNet een Deep Neural Decision Tree gebaseerd op prototype learning.
   • Een ResNet-50 (vooraf getraind op ImageNet) extraheren hoogwaardige semantische kenmerken uit de vis-ROI's.
   • Deze kenmerken worden vergeleken met geleerde prototypen (representatieve voorbeelden) voor elk geslacht in een metriekruimte.
   • Het model maakt voorspellingen door de afstand tussen de input en deze prototypen te berekenen via een zachte beslissingsboom. Dit maakt het proces transparant: het model kan aantonen op welk visueel kenmerk (het prototype) de beslissing is gebaseerd.

Belangrijkste Bijdragen

1. Zero-Shot ROI Extractie: Het succesvol toepassen van foundation models (Grounding DINO + SAM2) om categorie-agnostische vis-ROI's te genereren, wat de afhankelijkheid van handmatige annotatie voor objectdetectie elimineert en achtergrondbias reduceert.
2. Interpreteerbaarheid: De ontwikkeling van een prototype-gebaseerd netwerk dat de besluitvorming transparant maakt voor domeinexperts, in tegenstelling tot traditionele diepe leermodellen.
3. Robuustheid door Augmentatie: Systematische selectie van data-augmentatiestrategieën (met name random erasing) om de modelprestaties te verbeteren ondanks imperfecties in de ROI-extractie en variaties in de omgeving.

Resultaten

Het model werd getest op een dataset van delta-voorn bestaande uit drie levensstadia: subadult (Session 1), vroege paaitijd (Session 2) en na de paaitijd (Session 3).

• Prestaties per stadium:
  • Session 2 (Vroege paaitijd): 74,40% nauwkeurigheid en 74,27% F1-score.
  • Session 3 (Na de paaitijd): 81,16% nauwkeurigheid en 79,43% F1-score.
  • Session 1 (Subadult): 54,76% nauwkeurigheid. Dit stadium blijft uitdagend vanwege de geringe morfologische verschillen tussen mannetjes en vrouwtjes in deze vroege fase.
• Vergelijking met Baselines:
  • FishProtoNet presteerde beter dan een standaard ResNet-50 in alle stadia.
  • Hoewel een Vision Transformer (ViT) model iets hogere nauwkeurigheid boekte in de volwassen stadia (Session 2 en 3), bood FishProtoNet aanzienlijk meer transparantie in de besluitvorming. De auteurs suggereren dat het vervangen van de ResNet-backbone door een ViT in de toekomst de prestaties verder kan verbeteren.
• Interpretatie: De visualisatie van de prototypen toont aan dat het model zich richt op relevante morfologische kenmerken (zoals vorm en textuur) in plaats van op achtergrondelementen.

Betekenis en Conclusie

FishProtoNet biedt een veelbelovende, niet-invasieve oplossing voor het monitoren van bedreigde vispopulaties. Door foundation models te combineren met interpreteerbaar AI, overbrugt het de kloof tussen geavanceerde computerzicht en de praktische behoeften van biologen.

De studie benadrukt dat hoewel AI geslachtsbepaling in volwassen stadia effectief kan uitvoeren, de subtiele verschillen in vroege levensstadia nog steeds een uitdaging vormen. Toekomstig werk zal gericht zijn op het integreren van multimodale data (zoals infrarood of echografie) om de nauwkeurigheid in deze vroege stadia te verbeteren. De open-source code is beschikbaar gesteld, wat de reproduceerbaarheid en verdere ontwikkeling in de aquacultuur bevordert.