An interpretable framework using foundation models for fish sex identification

Die Studie stellt FishProtoNet vor, ein interpretierbares, nicht-invasives Framework auf Basis von Foundation Models zur zuverlässigen Geschlechtsbestimmung der gefährdeten Delta-Männchen (Hypomesus transpacificus) im Aquakulturkontext, das insbesondere für die Laich- und Nachlaichphasen hohe Genauigkeitswerte erzielt.

Das Wesentliche

🐟 FishProtoNet: Der digitale Geschlechter-Detektiv für bedrohte Fische

Stellen Sie sich vor, Sie sind ein Biologe, der versuchen muss, bei einer winzigen, silbernen Fischart namens Delta-Spitzmausfisch (Delta Smelt) herauszufinden, wer männlich und wer weiblich ist. Das ist extrem wichtig, um diese vom Aussterben bedrohte Art zu retten und in Aquarien zu züchten.

Das Problem? Diese Fische sehen fast identisch aus. Die Unterschiede zwischen den Geschlechtern sind so winzig, dass selbst ein menschliches Auge sie kaum erkennen kann. Und wenn man sie anfassen oder operieren würde, um das zu prüfen, könnten sie sterben. Das ist wie bei einem sehr zerbrechlichen Porzellanpüppchen, das man nicht einmal anfassen darf.

Hier kommt FishProtoNet ins Spiel – ein neuer, intelligenter Computer-Algorithmus, der wie ein super-scharfer Detektiv arbeitet, ohne den Fisch jemals zu berühren.

1. Der "Suche-und-Zerstöre"-Modus (Hintergrundrauschen entfernen)

Stellen Sie sich vor, Sie versuchen, einen Freund auf einem Foto zu erkennen, aber das Foto ist voller Ablenkungen: ein verschwommener Hintergrund, andere Leute, seltsame Lichtreflexionen. Ein normaler Computer würde sich vielleicht auf den Hintergrund konzentrieren und denken: "Aha, der Hintergrund sieht aus wie ein Aquarium, also ist das ein Fisch!" – was falsch ist.

FishProtoNet nutzt zwei moderne KI-Werkzeuge, die wie ein Laserpointer und ein Scherenschneider funktionieren:

• Grounding DINO (der Laserpointer): Er schaut sich das Bild an und sagt: "Da ist ein Fisch!" und zeichnet einen Kasten darum.
• SAM2 (der Scherenschneider): Er nimmt diesen Kasten und schneidet den Fisch exakt aus dem Hintergrund heraus.

Das Ergebnis: Der Computer sieht nur noch den Fisch, sauber und frei von Ablenkungen. Er ignoriert den Boden des Aquariums oder das Wasser und konzentriert sich nur auf das, was zählt.

2. Der "Trainings-Coach" (Daten-Augmentierung)

Da es nur wenige Bilder dieser Fische gibt, würde ein Computer normalerweise schnell "vergessen", was er gelernt hat, oder sich nur auf zufällige Details merken (wie ein Schüler, der nur die Lösungen auswendig lernt, ohne den Stoff zu verstehen).

Um das zu verhindern, trainiert FishProtoNet den Computer mit einem Trick-Coach:

• Er dreht die Bilder, spiegelt sie, ändert die Farben (heller/dunkler) und löscht sogar kleine Teile des Bildes zufällig aus (wie wenn man einen Klecks Tinte auf ein Foto macht).
• Das zwingt den Computer, sich auf die wahren Merkmale des Fisches zu konzentrieren, nicht auf zufällige Flecken. Es ist, als würde man einem Schüler verschiedene Aufgaben stellen, damit er das Prinzip versteht und nicht nur eine einzige Lösung auswendig lernt.

3. Der "Erklärungs-Experte" (Interpretierbarkeit)

Das ist das Geniale an FishProtoNet. Die meisten modernen KI-Systeme sind wie eine Blackbox: Sie geben ein Ergebnis aus ("Das ist ein männlicher Fisch"), aber niemand weiß, warum. Das ist für Biologen frustrierend, weil sie nicht wissen, ob die KI sich auf die richtige Stelle am Fisch konzentriert.

FishProtoNet ist anders. Es ist wie ein Lehrer mit einem Whiteboard:

• Es lernt "Muster" (Prototypen) für männliche und weibliche Fische.
• Wenn ein neuer Fisch kommt, vergleicht der Computer ihn mit diesen Mustern.
• Und das Beste: Er zeigt genau an, wo er hingeschaut hat. Er sagt: "Ich habe diesen Fisch als männlich erkannt, weil hier an der Bauchflosse eine winzige Formänderung ist, die dem männlichen Muster entspricht."
• Das gibt den Wissenschaftlern das Vertrauen, dass die KI nicht zufällig rät, sondern tatsächlich die biologischen Unterschiede sieht.

Was hat es gebracht?

Die Ergebnisse sind vielversprechend, aber nicht perfekt:

• Bei erwachsenen Fischen (während der Laichzeit): Die KI ist sehr gut! Sie erkennt das Geschlecht zu über 80 % richtig. Die Unterschiede sind dann einfach größer.
• Bei jungen Fischen (Subadult): Hier stolpert die KI noch. Die Fische sehen einfach zu ähnlich aus, selbst für die KI. Das ist wie wenn man versucht, bei Babys das Geschlecht nur an der Kleidung zu erraten, bevor sie ihre Erwachsenenkörper entwickelt haben.

Fazit

FishProtoNet ist wie ein unermüdlicher, nicht-invasiver Assistent. Er schneidet den Fisch aus dem Bild, trainiert sich selbst durch Tricks, um robuster zu werden, und erklärt dann seine Entscheidung Schritt für Schritt. Er hilft uns, bedrohte Fischarten zu schützen, ohne sie zu verletzen, und gibt uns Einblicke in die Geheimnisse der Fischbiologie, die wir mit bloßem Auge nie gesehen hätten.

Die Zukunft sieht so aus: Wenn man noch mehr Daten und vielleicht sogar andere Kameraarten (wie Infrarot) hinzufügt, wird diese KI auch bei den ganz jungen Fischen zum perfekten Detektiv werden.

Technische Zusammenfassung

Titel: Ein interpretierbares Framework unter Verwendung von Foundation-Modellen zur Geschlechtsidentifizierung bei Fischen

1. Problemstellung

Die genaue Geschlechtsbestimmung bei Fischen ist für die Optimierung von Zucht- und Managementstrategien in der Aquakultur, insbesondere bei bedrohten Arten, von entscheidender Bedeutung.

• Herausforderungen bestehender Methoden: Herkömmliche Verfahren wie Gonadenbiopsie, Dissektion, Endoskopie oder Ultraschall sind invasiv, verursachen Stress und können zu zusätzlicher Mortalität führen, was für gefährdete Populationen (wie den Delta Smelt, Hypomesus transpacificus) inakzeptabel ist.
• Limitationen aktueller KI-Ansätze: Bestehende Computer-Vision-Methoden (Deep Learning) leiden oft unter zwei Hauptproblemen:
  1. Hintergrundrauschen: Modelle neigen dazu, sich auf Hintergrundmerkmale (z. B. Tankboden) zu stützen, anstatt auf die intrinsischen morphologischen Unterschiede zwischen den Geschlechtern.
  2. Mangelnde Interpretierbarkeit: Herkömmliche Deep-Learning-Modelle sind „Blackboxen". Nachträgliche Erklärungsmethoden (wie Grad-CAM) sind oft unzuverlässig und stimmen nicht mit den tatsächlichen Entscheidungsregionen überein, was die Akzeptanz bei Biologen und Wissenschaftlern erschwert.
• Spezifisches Ziel: Entwicklung einer nicht-invasiven, robusten und interpretierbaren Lösung zur Geschlechtsbestimmung des Delta Smelt über seinen gesamten Lebenszyklus hinweg, trotz oft nur subtiler morphologischer Unterschiede, besonders in frühen Entwicklungsstadien.

2. Methodik: FishProtoNet

Die Autoren stellen FishProtoNet vor, ein Framework, das aus drei Hauptmodulen besteht:

A. ROI-Extraktion (Region of Interest) mittels Foundation Models
Um Hintergrundrauschen zu eliminieren, werden keine geschlossenen, artspezifischen Detektoren verwendet, sondern Open-Vocabulary-Visual-Foundation-Modelle im Zero-Shot-Modus:

• Grounding DINO: Ein Objektdetektor, der auf Text-Prompts (z. B. „fish") trainiert ist, um Bounding Boxes um die Fische zu generieren, ohne spezifische Trainingsdaten für diese Art zu benötigen.
• SAM2 (Segment Anything Model 2): Die von Grounding DINO generierten Bounding Boxes dienen als visuelle Prompts für SAM2, um präzise Segmentierungsmasken der Fische zu erstellen.
• Ergebnis: Reine Fisch-ROIs werden extrahiert, wodurch der Einfluss des Hintergrunds minimiert wird.

B. Daten-Augmentierung
Um Overfitting bei kleinen Datensätzen zu verhindern und die Robustheit zu erhöhen, werden verschiedene Augmentierungsstrategien auf die ROIs angewendet:

• Basisoperationen: Größenanpassung, Normalisierung, Padding.
• Erweiterte Operationen: Zufällige Rotation (±15°), horizontales Spiegeln, Farb-Jittering (Helligkeit, Kontrast, Sättigung), zufälliges Beschneiden und Random Erasing.
• Besonderheit: Random Erasing hilft, fehlende Informationen (z. B. durch unvollständige Masken) zu kompensieren und potenzielle Verzerrungen durch Identifikations-Tags (VIA-Tags) zu eliminieren.

C. Feature-Extraktion und Interpretierbare Vorhersage

• Feature-Extraktion: Ein auf ImageNet vortrainiertes ResNet-50 (ohne Fully-Connected-Layer) extrahiert hochdimensionale semantische Merkmale aus den Fisch-Masken.
• Klassifikator (FishProtoNet): Anstelle eines klassischen Klassifikators wird ein Deep Neural Decision Tree basierend auf Prototype Learning verwendet.
  • Das Modell lernt repräsentative „Prototypen" (visuelle Muster) für jedes Geschlecht.
  • Die Vorhersage erfolgt durch den Vergleich der Eingabemerkmale mit diesen gelernten Prototypen im metrischen Raum (Euklidische Distanz).
  • Die Struktur ist ein weicher Entscheidungsbaum, der Pfade durch interne Knoten (Prototypen) zu Blattknoten (Geschlechtswahrscheinlichkeiten) verfolgt.
  • Vorteil: Jeder Entscheidungsschritt ist nachvollziehbar, da die zugrunde liegenden Prototypen visuell dargestellt werden können.

3. Wichtige Beiträge

1. Zero-Shot ROI-Extraktion: Kombination von Grounding DINO und SAM2 zur generierung artspezifischer Masken ohne manuelle Annotation, was Hintergrundverzerrungen effektiv reduziert.
2. Interpretierbarkeit durch Prototypen: Entwicklung eines Modells, das die Entscheidungsfindung transparent macht, indem es auf visuellen Prototypen basiert, die für Biologen verständlich sind (im Gegensatz zu Blackbox-Modellen).
3. Systematische Daten-Augmentierung: Identifikation optimaler Augmentierungsstrategien (insbesondere Random Erasing und Rotation), um die Robustheit des Modells gegenüber Unsicherheiten in der ROI-Extraktion und variablen Lichtverhältnissen zu erhöhen.

4. Ergebnisse

Das Framework wurde am FCCL Delta Smelt Dataset getestet, das drei Lebensstadien abdeckt:

• Session 1 (Subadult): Vor der Laichzeit (geringe morphologische Unterschiede).
• Session 2 (Frühe Laichzeit): Beginnende Geschlechtsdifferenzierung.
• Session 3 (Nach der Laichzeit): Ausgeprägte morphologische Unterschiede.

Leistungsmetriken (Genauigkeit / F1-Score):

• Session 1 (Subadult): 54,76 % / 54,62 % (Schwierig aufgrund fehlender Merkmale).
• Session 2 (Frühe Laichzeit): 74,40 % / 74,27 %.
• Session 3 (Nach der Laichzeit): 81,16 % / 79,43 %.

Vergleich:

• FishProtoNet übertraf ein standardmäßiges ResNet-50 in allen Phasen.
• Im Vergleich zum Vision Transformer (ViT) erzielte FishProtoNet in Session 2 und 3 leicht niedrigere Genauigkeiten (ViT: ~85,5 %), bietet jedoch deutlich mehr Transparenz in der Entscheidungsfindung.
• Die Analyse der Daten-Augmentierung zeigte, dass die Kombination aus Rotation, Spiegelung, Beschneiden und Random Erasing die beste Leistung erbrachte.

5. Bedeutung und Fazit

• Praktische Relevanz: FishProtoNet bietet eine nicht-invasive, kosteneffiziente Methode zur Geschlechtsbestimmung, die für den Schutz gefährdeter Arten wie des Delta Smelt essenziell ist.
• Vertrauenswürdigkeit: Durch die Interpretierbarkeit des Modells können Biologen und Züchter die Entscheidungen der KI validieren und verstehen, welche morphologischen Merkmale (Prototypen) zur Klassifizierung führen.
• Limitationen und Ausblick: Die Genauigkeit bei subadulten Fischen bleibt begrenzt, da die phänotypischen Unterschiede in diesem Stadium zu gering sind. Zukünftige Arbeiten könnten multimodale Daten (z. B. Infrarot oder Ultraschall) integrieren, um auch frühe Entwicklungsstadien genauer zu erfassen.

Zusammenfassend demonstriert das Paper, wie die Kombination von Foundation Models (für robuste Eingabeverarbeitung) und Prototype Learning (für interpretierbare Entscheidungen) einen neuen Standard für die KI-gestützte aquatische Biologie setzen kann.