An interpretable framework using foundation models for fish sex identification

Ce papier présente FishProtoNet, un cadre de vision par ordinateur interprétable et non invasif basé sur des modèles de fondation, conçu pour identifier le sexe du poisson delta (Hypomesus transpacificus) avec une grande précision tout au long de son cycle de vie, en particulier aux stades de reproduction.

L'essentiel

🐟 Le Défi : Qui est le mâle, qui est la femelle ?

Imaginez que vous êtes un gardien de zoo, mais au lieu de lions, vous gérez une espèce de poisson en danger critique d'extinction : le Delta Smelt (un petit poisson argenté de Californie).

Pour sauver cette espèce, les scientifiques doivent élever ces poissons en captivité. Mais pour que la reproduction fonctionne, il faut séparer les mâles des femelles. Le problème ? Ces poissons sont extrêmement discrets. À l'œil nu, un mâle et une femelle se ressemblent comme deux gouttes d'eau, surtout quand ils sont jeunes.

Les méthodes traditionnelles sont soit trop brutales (il faut ouvrir le poisson pour regarder ses organes, ce qui le tue ou le stresse), soit trop lentes (il faut un expert humain pour deviner).

🤖 La Solution : FishProtoNet, le "Super-Inspecteur"

Les chercheurs de l'Université de Californie ont créé un système d'intelligence artificielle appelé FishProtoNet. Voici comment il fonctionne, en utilisant des analogies simples :

1. Le Filtre Magique : "Enlever le bruit de fond"

Imaginez que vous essayez de reconnaître un ami dans une photo de foule prise dans un stade bondé. Si vous regardez tout le stade, vous vous perdrez dans les couleurs des maillots et les gradins. Vous devez vous concentrer uniquement sur le visage de votre ami.

• Le problème : Les anciennes IA regardaient tout l'image (le poisson + l'eau + le fond du réservoir). Elles apprenaient parfois à dire "C'est un mâle" juste parce que le fond de l'image était bleu, et non parce que le poisson avait une forme spécifique.
• La solution (Foundation Models) : Le système utilise deux outils très puissants (Grounding DINO et SAM2) qui agissent comme un couteau suisse visuel.
  • L'un dit : "Tiens, je vois un poisson !" (il dessine un cadre autour).
  • L'autre dit : "Super, je vais découper exactement la forme du poisson et jeter tout le reste."
  • Résultat : L'IA ne regarde plus le fond de l'eau, elle ne regarde que le poisson, comme si on l'avait découpé et posé sur une table blanche.

2. L'Entraînement : "Le Jeu des Différences"

Une fois le poisson isolé, l'IA doit apprendre à le distinguer. Mais comme les différences sont minuscules, on utilise une technique de "Data Augmentation" (augmentation des données).

• L'analogie : Imaginez que vous entraînez un chien de police à reconnaître une odeur spécifique. Pour qu'il soit très fort, vous lui faites sentir l'odeur dans différents contextes : avec du vent, sous la pluie, ou en cachant un peu l'odeur.
• Dans le papier : Les chercheurs prennent les photos de poissons et les modifient numériquement : on les tourne, on les retourne, on change la luminosité, et on cache même des parties de l'image (comme si une tache d'eau cachait une partie du poisson). Cela force l'IA à apprendre les vraies différences (la forme du corps, la texture) et non pas à tricher en regardant des détails inutiles.

3. Le Cerveau Transparent : "L'Arbre de Décision"

C'est la partie la plus géniale de ce projet. La plupart des IA modernes sont des "boîtes noires" : elles donnent une réponse ("C'est un mâle !") mais personne ne sait pourquoi. C'est effrayant pour les biologistes qui doivent faire confiance à cette machine.

• L'analogie : Imaginez un détective qui résout un crime.
  • L'IA classique (Boîte noire) dit : "Le coupable est X." (Sans explication).
  • FishProtoNet (Arbre de décision) dit : "Je regarde le poisson. Je vois une tache ici (prototype A). Je compare avec mes souvenirs. Je vois une forme de nageoire ici (prototype B). En combinant ces indices, je conclus que c'est un mâle."
• Comment ça marche ? Le système utilise des "prototypes". Ce sont comme des modèles de référence appris par l'IA. Quand il voit un nouveau poisson, il dit : "Tiens, ce poisson ressemble beaucoup à mon modèle de 'mâle' sur la nageoire, et moins à mon modèle de 'femelle'".
• Le résultat : Les chercheurs peuvent voir exactement sur quelle partie du poisson l'IA s'est basée pour prendre sa décision. C'est transparent et rassurant.

📊 Les Résultats : Comment ça s'est passé ?

Les chercheurs ont testé leur système sur trois périodes de la vie du poisson :

1. Jeunesse (Subadulte) : C'est le plus dur. Les poissons sont trop jeunes, les différences sont invisibles même pour l'IA. Le système a eu du mal (environ 55% de réussite, comme un lancer de pièce).
2. Début de la reproduction : Là, les poissons commencent à changer. L'IA devient très bonne (74% de réussite).
3. Fin de la reproduction : Les différences sont marquées. L'IA est excellente (81% de réussite).

🌟 En Résumé

Ce papier nous dit que l'on peut sauver des espèces en danger en utilisant l'IA, mais à deux conditions :

1. Être intelligent : Ne pas regarder le fond de l'image, mais isoler le poisson (grâce aux nouveaux outils de vision par ordinateur).
2. Être honnête : Ne pas être une boîte noire. L'IA doit pouvoir expliquer pourquoi elle a fait son choix, comme un professeur qui corrige un devoir en montrant les erreurs.

C'est une victoire pour la conservation : une méthode non invasive (on ne touche pas le poisson), rapide et compréhensible par les humains.

Résumé technique

1. Problématique et Contexte

L'identification précise du sexe des poissons est cruciale pour optimiser les stratégies d'élevage et de gestion en aquaculture, en particulier pour les espèces menacées comme le delta smelt (Hypomesus transpacificus), une espèce endémique de la baie de San Francisco en Californie.

Les défis majeurs identifiés sont :

• Limites des méthodes actuelles : Les techniques traditionnelles (biopsie, dissection, endoscopie, échographie) sont invasives, stressantes et peuvent entraîner une mortalité supplémentaire, ce qui est inacceptable pour les populations en danger critique d'extinction.
• Limites de l'IA existante : Bien que les méthodes de vision par ordinateur (Deep Learning) aient progressé, elles souffrent de deux problèmes majeurs :
  1. Biais de fond : Les modèles ont tendance à mémoriser les caractéristiques de l'arrière-plan (ex: le fond du réservoir) plutôt que les différences morphologiques intrinsèques entre les sexes.
  2. Manque d'interprétabilité : Les modèles de type "boîte noire" (comme les réseaux de neurones convolutifs standards) ne permettent pas aux biologistes de comprendre pourquoi une décision a été prise, ce qui limite leur adoption par les experts du domaine.
• Difficulté morphologique : Les différences morphologiques entre les mâles et les femelles de delta smelt sont subtiles, surtout aux stades juvéniles (sous-adultes), rendant la tâche difficile même pour l'œil humain.

2. Méthodologie : Le Framework FishProtoNet

Les auteurs proposent FishProtoNet, un cadre d'IA interprétable et robuste, composé de trois modules clés :

A. Extraction de régions d'intérêt (ROI) via des Modèles Fondationnels

Pour éliminer le bruit de fond et se concentrer uniquement sur le poisson, l'équipe utilise une approche "Zero-shot" (sans réentraînement spécifique sur les données d'entraînement) combinant deux modèles fondationnels :

1. Grounding DINO : Un modèle de détection d'objets à vocabulaire ouvert. Il utilise un prompt textuel ("fish") pour générer des boîtes englobantes (bounding boxes) autour des poissons, sans nécessiter d'entraînement préalable sur cette espèce spécifique.
2. SAM2 (Segment Anything Model 2) : Utilisé comme modèle de segmentation. Les boîtes générées par Grounding DINO servent de "prompts visuels" à SAM2 pour extraire le masque précis du poisson.

• Résultat : Une isolation parfaite du sujet, réduisant drastiquement l'influence du bruit de fond.

B. Augmentation des Données (Data Augmentation)

Pour pallier la petite taille du jeu de données et améliorer la robustesse, plusieurs techniques d'augmentation sont appliquées sur les ROIs extraites :

• Rotation aléatoire, retournement horizontal, recadrage aléatoire.
• Random Erasing : Masquage aléatoire de zones rectangulaires pour simuler des informations manquantes ou masquer des tags d'identification (VIA tags) qui pourraient biaiser le modèle.
• Jitter de couleur (luminosité, contraste, saturation) pour simuler les variations d'éclairage en aquaculture.

C. Extraction de Caractéristiques et Prédiction Interprétable

• Extraction de features : Un backbone ResNet-50 (pré-entraîné sur ImageNet) est utilisé pour extraire les caractéristiques morphologiques des masques de poissons.
• Classification Interprétable (Prototype Learning) : Au lieu d'une couche fully-connected classique, le modèle utilise un arbre de décision neuronale basé sur des prototypes (inspiré de ProtoTree).
  • Le modèle apprend des "prototypes" visuels (représentations typiques) pour chaque sexe.
  • La prédiction se fait en comparant les caractéristiques de l'image de test avec ces prototypes appris dans un espace métrique.
  • Interprétabilité : Le processus de décision est visualisable. Chaque nœud de l'arbre correspond à un prototype spécifique (ex: forme de la nageoire, coloration), permettant de voir exactement quelles parties de l'image ont conduit à la décision finale.

3. Contributions Clés

1. Utilisation de Modèles Fondationnels pour la Segmentation : Combinaison innovante de Grounding DINO et SAM2 pour une extraction de ROI précise et générique (Zero-shot), évitant le besoin d'annotations massives pour chaque espèce.
2. Modèle Interprétable (Explainable AI) : Développement d'un réseau basé sur l'apprentissage par prototypes qui offre une transparence totale du processus de décision, répondant au besoin critique des biologistes de valider les critères morphologiques utilisés par l'IA.
3. Stratégies d'Augmentation Systématiques : Identification et validation d'une combinaison optimale d'augmentations de données pour améliorer la robustesse face aux variations de posture et d'éclairage.

4. Résultats Expérimentaux

Le modèle a été évalué sur un jeu de données de delta smelt couvrant trois stades de vie :

• Session 1 (Sous-adulte) : Difficile en raison de différences morphologiques faibles.
• Session 2 (Début de frai) : Différences plus marquées.
• Session 3 (Post-frai) : Différences les plus prononcées.

Performance de FishProtoNet :

• Session 2 (Début de frai) : Précision de 74,40 % et score F1 de 74,27 %.
• Session 3 (Post-frai) : Précision de 81,16 % et score F1 de 79,43 %.
• Session 1 (Sous-adulte) : Performance limitée (54,76 %), confirmant que les différences morphologiques à ce stade sont trop subtiles pour la vision par ordinateur actuelle.

Comparaison :

• FishProtoNet surpasse systématiquement un modèle de base ResNet-50 standard.
• Bien que légèrement moins performant qu'un Vision Transformer (ViT) en termes de pure précision brute (surtout aux stades 2 et 3), FishProtoNet offre une transparence décisionnelle que le ViT ne possède pas, ce qui est un avantage décisif pour l'acceptation scientifique.

5. Signification et Perspectives

Signification :
Ce travail démontre qu'il est possible de créer des outils d'aide à la décision non invasifs et interprétables pour la conservation d'espèces menacées. En combinant les capacités de généralisation des modèles fondationnels (SAM2, Grounding DINO) avec l'interprétabilité de l'apprentissage par prototypes, FishProtoNet offre un compromis optimal entre performance et confiance scientifique.

Limites et Travaux Futurs :

• La difficulté persistante à identifier le sexe des poissons sous-adultes suggère que les différences morphologiques visibles sont insuffisantes à ce stade.
• Les auteurs proposent d'intégrer des données multimodales (imagerie infrarouge, échographie) pour capturer des signaux physiologiques supplémentaires et améliorer la précision aux stades précoces du développement.
• L'intégration d'un backbone ViT dans FishProtoNet pourrait encore améliorer la capacité de représentation des caractéristiques.

En résumé, FishProtoNet représente une avancée significative vers une aquaculture durable et éthique, où l'IA aide à la gestion des populations menacées sans compromettre leur bien-être.