Automated morphometry and weight prediction of juvenile Chinook Salmon leveraging open-source deep learning models

Dit artikel beschrijft een geautomatiseerd, open-source deep learning-systeem dat gebruikmaakt van het Segment Anything Model om de gewichtspredictie van jonge Chinook-zalm te optimaliseren door minimale hantering en beeldsegmentatie te combineren, wat resulteert in een zeer nauwkeurige wegingschatting.

De kern

Stel je voor dat je een heel klein, kwetsbaar visje wilt meten om te zien hoe gezond het is. Normaal gesproken moet je het visje uit het water halen, op een droge schaal leggen en met een liniaal meten. Dit is stressvol voor het visje en kan zelfs gevaarlijk zijn voor bedreigde soorten zoals de jonge Chinook-zalm.

Deze paper beschrijft een slimme, nieuwe manier om dit te doen: "HandsFreeFishing" (Vissen zonder handen). Het is alsof je een digitale fotograaf hebt die niet alleen een foto maakt, maar ook direct de maten van het visje uit die foto haalt, terwijl het visje nog lekker in het water zwemt.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Camera die "Ziet" (De Segmentation)

Stel je voor dat je een foto maakt van een visje in een bak water. Normaal zou een computer niet weten waar het visje begint en waar het water eindigt. Maar deze onderzoekers gebruiken een superkrachtige, gratis kunstmatige intelligentie genaamd SAM (Segment Anything Model).

• De Analogie: Stel je voor dat SAM een heel slimme kleuter is die een potlood heeft. Als je hem een foto geeft en zegt: "Teken een kader om dat visje", dan tekent hij precies de omtrek van het visje in één klap, zonder dat je zelf hoeft te tekenen. Hij maakt een masker van het visje, alsof je het uit de foto hebt uitgeknipt.

2. De "Vinnen" die Verdwijnen

Visjes hebben vinnen die ze kunnen bewegen (omhoog, omlaag, naar voren). Als een vin omhoog staat, lijkt het visje groter dan het eigenlijk is. Voor het meten van het gewicht willen we alleen de "stam" van het visje zien.

• De Analogie: Het is alsof je een poppetje meet, maar de poppetje heeft losse armen die hij kan zwaaien. Als hij zwaait, meet je de armen ook mee en wordt de meting verkeerd. De computer van dit programma is zo slim dat hij de vinnen herkent en ze virtueel "weglaat" uit de meting. Hij kijkt alleen naar het hoofd en het lichaam, alsof de vinnen er niet zijn.

3. Van Foto naar Gewicht (De Rekenkunst)

Hoe weet de computer nu hoe zwaar het visje is, als hij het niet heeft gewogen? Hij maakt een slimme gok op basis van de vorm.

• De Analogie: Stel je voor dat je een ei hebt. Als je weet hoe lang en hoe breed het ei is, kun je redelijk goed schatten hoeveel het weegt, omdat eieren een vaste vorm hebben. De computer doet hetzelfde. Hij denkt: "Dit visje lijkt op een 3D-ei (een ellipsoïde)."
  • Hij meet de lengte en de breedte van het visje op de foto.
  • Hij rekent uit hoeveel ruimte dat "ei" inneemt (het volume).
  • Omdat visjes ongeveer even zwaar zijn per stukje ruimte (dichtheid), kan hij het gewicht afleiden.

Het resultaat is verbazingwekkend nauwkeurig: de computer raadt het gewicht bijna perfect, met een foutmarge van slechts 12%. Dat is alsof je het gewicht van een appel raadt door alleen naar de foto te kijken, en je raadt het binnen een paar gram.

4. Waarom is dit belangrijk?

Vroeger moest een onderzoeker het visje vastpakken, wat stressvol is en tijd kost. Nu kan de onderzoeker gewoon een foto maken van het visje in het water.

• De Metaphor: Het is het verschil tussen een chirurg die een operatie moet doen om een patiënt te meten, versus een arts die gewoon een foto maakt en de metingen direct uit de foto haalt. Het is sneller, goedkoper en, het allerbelangrijkste: het visje blijft gezond en stressvrij.

Samenvatting

Dit onderzoek toont aan dat we met gratis software en een simpele camera de gezondheid van bedreigde vissoorten kunnen bewaken zonder ze ooit aan te raken. Het is een voorbeeld van hoe technologie (kunstmatige intelligentie) kan helpen om de natuur te beschermen, in plaats van haar te storen.

Kortom: Een foto is genoeg om te weten hoe zwaar een visje is, en dat is een groot feest voor zowel de wetenschappers als de vissen.

Technische samenvatting

Probleemstelling

De populaties van jonge Chinook-zalm (Oncorhynchus tshawytscha) aan de kust van Californië staan onder druk door overbevissing en habitatverlies. Het monitoren van deze bedreigde soorten vereist vaak het meten van morfometrische gegevens (zoals lengte, gewicht en conditie-factor) om de gezondheid van de populatie te beoordelen.

• Huidige uitdaging: Traditionele methoden vereisen dat de vissen uit het water worden gehaald, handmatig worden gewogen en gemeten. Dit proces is tijdrovend, vatbaar voor menselijke fouten en veroorzaakt aanzienlijke stress voor de vissen, wat hun gezondheid kan schaden.
• Bestaande automatisering: Eerdere pogingen tot automatisering vereisten nog steeds veel handmatige invoer van gebruikers (bijvoorbeeld het markeren van meetpunten op elke afbeelding), wat een knelpunt vormt in de dataverwerking.

Methodologie

De auteurs hebben het "HandsFreeFishing" programma ontwikkeld, een geautomatiseerd systeem dat gebruikmaakt van open-source deep learning om morfometrische gegevens en gewichtsschattingen te genereren vanuit één 2D-zijaanzicht van een vis, terwijl deze nog in het water blijft.

1. Data-acquisitie:

• Afbeeldingen worden gemaakt met een digitale camera van vissen in een speciale "viewer" (een bak met water en een 5x5mm raster voor schaalreferentie).
• De vissen blijven ondergedompeld; na het fotograferen worden ze direct teruggezet in hun tank.

2. Verwerkingspiplijn:

• Minimale gebruikersinvoer: De gebruiker tekent slechts één omlijnd vlak (bounding box) rond de vis en geeft de oriëntatie op (links/rechts, rechtop/omgekeerd).
• Segmentatie (SAM): Het model gebruikt Meta's Segment Anything Model (SAM), een krachtige, open-source deep learning-tool, om een masker van de vis te genereren.
• Contourverwerking: Een gladde contour wordt berekend via elliptische Fourier-analyse.
• Verwijdering van vinnen: Omdat vinnen in verschillende posities kunnen staan en de oppervlakteberekening (en dus de gewichtsschatting) kunnen verstoren, worden de vinnen (staart, rug, borst, buik, anaal en vetvin) geautomatiseerd gedetecteerd en uit het segmentatiemasker verwijderd. Dit resulteert in een "vinnenloos" (no-fin) masker dat beter correleert met het lichaamsvolume.
• Schaalconversie: Het raster in de achtergrond wordt gebruikt om pixels om te rekenen naar millimeters via template matching.

3. Kenmerkextractie:
Het systeem berekent automatisch:

• Vorklengte (Fork Length): Van snuit tot het midden van de staartvork.
• Oppervlakte (Surface Area): De 2D-projectie van het lichaam zonder vinnen.
• Oogdiameter: Op basis van een gesegmenteerd oogmasker.
• Landmarkpunten: 16 automatisch geplaatste punten voor truss-metingen (lengtes tussen punten).
• Ellipsfitting: Het past een ellips aan de contour om de halve assen $a$ (lengte) en $b$ (hoogte) te bepalen.

4. Gewichtspredictie:
Het gewicht wordt geschat door het lichaam van de vis te modelleren als een 3D-ellipsoïde.

• Aannames: Het volume ($V$) is evenredig met het gewicht. Als de omtrek (girth) evenredig is met de hoogte ($b$), dan geldt $V \propto \text{Oppervlakte} \times b$.
• Verschillende lineaire en meervoudige lineaire regressiemodellen (MLR) werden getraind op een dataset van 149 vissen (gewicht 0,31g - 7,74g) met gebruik van Python en Scikit-Learn.

Belangrijkste Resultaten

Het model werd getest op een dataset van 149 jonge Chinook-zalmen (vorklengte 27-90mm).

• Beste Model (Model 1): Een lineaire regressie gebaseerd op de variabele $V_1 = \text{Oppervlakte} \times b$ (waarbij $b$ de verticale halve as is).
  • $R^2$ (Determinatiecoëfficiënt): 0,99 (op de volledige dataset).
  • Gemiddelde Absolute Fout (MAE): 0,16 gram.
  • Gemiddelde Absolute Percentage Fout (MAPE): 12%.
• Vergelijking: Zelfs met een "opgeschoonde" dataset (109 beelden met perfecte segmentatie) bleef de prestatie hoog, maar het model presteerde ook goed op de ruwe dataset, wat aantoont dat het robuust is tegen kleine segmentatiefouten.
• Andere modellen: Modellen die puur op oppervlakte ($SA^{3/2}$) of op vermenigvuldigde landmarke-lengtes gebaseerd waren, presteerden iets minder goed of vereisten complexere aannames over de verhoudingen van de vis.

Bijdragen

1. Minimale Handling: Het systeem elimineert de noodzaak om vissen uit het water te halen voor metingen, wat stress voor bedreigde soorten drastisch vermindert.
2. Volledige Automatisering: Het verwijdert de knelpunten van handmatige datapunten-markering. Na het trekken van één doosje en het opgeven van de oriëntatie is de rest van de verwerking volledig geautomatiseerd.
3. Open Source & Reproduceerbaar: De software is open-source (beschikbaar op GitHub) en maakt gebruik van het open-source SAM-model, waardoor het voor andere onderzoekers en soorten aanpasbaar is.
4. Nieuwe Metingen: Het systeem kan niet alleen gewicht voorspellen, maar ook andere morfometrische kenmerken zoals oogdiameter en gesegmenteerde lichaamsdelen extraheren, wat nieuwe inzichten mogelijk maakt in de visbiologie.

Betekenis en Toekomstperspectief

Deze studie biedt een praktische, kosteneffectieve en ethisch verantwoorde oplossing voor het monitoren van vispopulaties. Door de combinatie van goedkope hardware (een simpele viewer) en geavanceerde AI (SAM), kunnen onderzoekers snel en consistent grote hoeveelheden data verzamelen zonder de gezondheid van de vissen in gevaar te brengen.

De methode is niet beperkt tot Chinook-zalm; het raamwerk is ontworpen om eenvoudig te worden aangepast voor andere vissoorten en levensstadia. Toekomstig werk richt zich op het verzamelen van grotere datasets om complexere modellen te trainen en het verfijnen van de anatomische landmark-plaatsing voor nog nauwkeurigere metingen. Dit is een belangrijke stap in de richting van duurzaam en niet-invasief visbeheer.