Video-based Locomotion Analysis for Fish Health Monitoring

Cet article présente un système de surveillance de la santé des poissons basé sur l'analyse vidéo de leurs mouvements, utilisant un suivi multi-objets avec un détecteur YOLOv11 pour estimer la direction et la vitesse de nage, et validé sur un jeu de données de poissons-riz de Sulawesi.

L'essentiel

Imaginez que vous êtes un gardien de zoo, mais au lieu de lions ou de girafes, vous surveillez des milliers de petits poissons dans un aquarium. Votre mission ? S'assurer qu'ils sont en bonne santé. Le problème, c'est que les poissons sont rapides, ils se cachent les uns derrière les autres, et ils n'ont pas de badges avec leur nom. Comment savoir si un poisson est stressé ou malade juste en le regardant nager ?

C'est exactement le défi que relève cette recherche, et voici comment ils l'ont résolu, expliqué simplement :

1. Le Problème : Des Poissons qui ressemblent à des fantômes

Les poissons de l'espèce étudiée (le poisson-riz de Sulawesi) sont petits, transparents et nagent en bancs très denses. C'est comme essayer de suivre une personne spécifique dans une foule compacte où tout le monde porte le même manteau gris et court dans tous les sens.

• Le défi : Les caméras classiques ont du mal. Si un poisson passe derrière un autre, la caméra le perd de vue. Si le poisson bouge trop vite, il devient flou.
• Le symptôme de maladie : Un poisson en bonne santé nage généralement de manière fluide et horizontale. Un poisson malade (par exemple, à cause d'un courant électrique défectueux ou d'un problème de vessie natatoire) commence à faire des mouvements bizarres : il monte et descend frénétiquement, comme un ascenseur en panne.

2. La Solution : Donner des "lunettes à vision temporelle" à l'ordinateur

Habituellement, les caméras d'ordinateur regardent une image à la fois (une photo). C'est comme essayer de comprendre une histoire en regardant une seule page d'un livre à la fois.
Les chercheurs ont eu une idée brillante : donner à l'ordinateur plusieurs pages du livre en même temps.

Ils ont modifié un logiciel de détection d'objets très populaire (appelé YOLO, qui signifie "You Only Look Once", ou "Tu ne regardes qu'une fois") pour qu'il ne regarde pas seulement l'image actuelle, mais aussi les images qui ont été prises juste avant et juste après.

• L'analogie : Imaginez que vous essayez de repérer un ami dans une foule. Si vous ne regardez qu'une seule photo, vous pouvez le confondre avec quelqu'un d'autre. Mais si vous regardez une courte vidéo de 3 secondes, vous voyez son mouvement. Vous vous dites : "Ah, c'est lui, il venait de gauche et il va vers la droite". C'est exactement ce que fait l'ordinateur : il utilise le mouvement pour mieux identifier les poissons.

3. L'Expérience : Un laboratoire de poissons

Les chercheurs ont créé un jeu de données (une sorte de manuel d'entraînement) avec des vidéos de ces poissons. Ils ont annoté manuellement (en dessinant des cadres autour de chaque poisson) pour apprendre à l'ordinateur à les reconnaître.
Ils ont ensuite testé différentes configurations :

• Regarder 1 image (la méthode classique).
• Regarder 3 images (le passé, le présent, le futur).
• Regarder 5 images en sautant quelques-unes (comme regarder les pages 1, 3 et 5 d'un livre).

4. Les Résultats : La magie de la "mémoire"

Les résultats ont été surprenants et très utiles :

• Mieux voir : En donnant à l'ordinateur plusieurs images à la fois, il a beaucoup mieux réussi à repérer les poissons, même quand ils se cachaient les uns derrière les autres. C'est comme si l'ordinateur avait développé une "mémoire" à court terme.
• Suivre le mouvement : Une fois que l'ordinateur suit bien les poissons, il peut calculer leur vitesse et leur direction.
• Le verdict santé : Même si la détection n'est pas parfaite à 100 %, le système est capable de dire : "Hé, ce banc de poissons fait des mouvements verticaux étranges". Cela suffit pour alerter les aquaculteurs qu'il y a un problème de santé ou d'environnement (comme un courant électrique dangereux).

En résumé

Cette recherche est comme donner un super-pouvoir de vision aux caméras de surveillance des piscicultures. Au lieu de simplement compter les poissons, l'ordinateur apprend à comprendre leur "danse". Si la danse devient chaotique (beaucoup de montées et de descentes), le système sonne l'alarme pour que les humains puissent intervenir rapidement.

C'est une victoire pour le bien-être animal : grâce à l'intelligence artificielle, nous pouvons détecter la maladie avant même que le poisson ne montre des signes visibles, garantissant une aquaculture plus saine et durable. Et la bonne nouvelle ? Les chercheurs ont rendu leur jeu de données public, pour que d'autres puissent continuer à améliorer ces "yeux numériques".

Résumé technique

1. Problématique et Contexte

Le suivi de la santé des poissons en aquaculture est crucial pour la détection précoce des maladies, le bien-être animal et la durabilité des pratiques. Les conditions physiologiques et pathologiques peuvent être déduites de l'analyse des activités locomotrices (vitesse, direction, bursts, orientation). Par exemple, des comportements de nage anormaux (montées/descentes verticales erratiques) peuvent indiquer un stress, une infection de la vessie natatoire ou des blessures neuromusculaires causées par des courants de fuite électriques.

Bien que les approches basées sur la vision soient attractives (faible coût, non invasives), le suivi de poissons individuels dans des bancs denses pose des défis majeurs :

• Occlusions fréquentes et interactions entre les poissons.
• Déformations morphologiques continues (corps non rigide).
• Similarité visuelle élevée entre les individus, rendant la discrimination difficile.
• Manque de jeux de données adaptés pour l'évaluation de ces systèmes complexes.

L'objectif est de développer un système capable d'estimer les activités locomotrices à partir de vidéos pour surveiller la santé, en particulier en détectant les mouvements verticaux anormaux.

2. Méthodologie

L'approche proposée repose sur un cadre Tracking-By-Detection (TbD) amélioré, combinant détection multi-objets et analyse de trajectoire.

A. Architecture de Détection (YOLOv11 Multi-Frame)

Au lieu d'utiliser une seule image, les auteurs modifient l'architecture YOLOv11 pour accepter des entrées temporelles multiples :

• Extension des canaux d'entrée : La première couche convolutive est adaptée pour concaténer $n$ images consécutives (fenêtre temporelle), transformant l'entrée de $(N, M, 3)$ à $(N, M, 3 \times n)$.
• Configurations de fenêtre : Ils testent des fenêtres symétriques (ex: $xXx$ : 1 frame avant, 1 frame après, frame centrale) et asymétriques, ainsi que des stratégies d'omission de frames adjacentes pour capturer le contexte temporel sans encombrer le modèle.
• Modèles testés : Les variantes Nano, Medium et Large de YOLOv11 sont évaluées.

B. Suivi (Tracking)

Les détections sont propagées dans le temps à l'aide de deux algorithmes TbD éprouvés :

• ByteTrack et BoT-SORT.
• Ces méthodes utilisent un filtre de Kalman pour la prédiction de mouvement et associent les détections basées sur les scores de confiance et les caractéristiques d'apparence (ou uniquement les scores pour ByteTrack/BoT-SORT standard).

C. Extraction des Métriques de Santé

À partir des trajectoires obtenues :

• Direction de nage : Calculée à partir des déplacements par frame. Les angles sont normalisés sur un axe vertical (de -90° à +90°) pour éliminer la direction horizontale et isoler les mouvements verticaux.
• Analyse de distribution : Une distribution des angles de nage est générée pour le banc. Une nage saine est principalement horizontale (pic à 0°), tandis que des pics éloignés du centre indiquent des mouvements verticaux anormaux.
• Filtrage : Les trajectoires de moins de 5 frames sont rejetées pour réduire le bruit.

3. Contributions Clés

1. Nouveau Jeu de Données : Création d'un jeu de données annoté à la main pour le poisson Oryzias celebensis (poisson-riz de Célèbes). Il contient des vidéos en haute résolution (2448x2048) avec des masques de segmentation pixel par pixel et des identités de suivi, couvrant des scénarios complexes (occlusions, changements de direction rapides).
2. Évaluation Qualitative des Adaptations Multi-Frame : Analyse de l'impact de l'intégration de frames contextuelles dans YOLOv11 pour le suivi de poissons, comparant différentes tailles de fenêtres et échelles de modèles.
3. Pipeline de Caractéristiques Locomotrices : Développement d'une méthode pour dériver des indicateurs de santé quantitatifs (direction et vitesse) à partir des trajectoires de suivi.

4. Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données de poissons-riz avec deux séquences vidéo (A et B).

• Détection :
  • L'utilisation de fenêtres temporelles (notamment la configuration $xXx$ avec omission des frames adjacentes) améliore généralement la précision de détection par rapport à une seule frame.
  • Le modèle Medium avec la configuration $xXx$ offre souvent le meilleur compromis.
  • L'initialisation avec des poids pré-entraînés sur le jeu de données spécifique ($xXx$ pt) a considérablement amélioré la précision (mAP50-95 passant de ~61% à 76,6%), bien que le rappel n'ait augmenté que marginalement.
• Suivi (Tracking) :
  • L'amélioration de la détection se traduit par de meilleures performances de suivi (IDF1, MOTA, HOTA) pour ByteTrack et BoT-SORT.
  • Le modèle Medium avec la fenêtre $xXx$ surpasse systématiquement les autres configurations, en particulier sur la vidéo B (banc dense).
  • Le modèle Large a tendance à surajuster (overfitting) et performe parfois moins bien que le modèle Nano, malgré une meilleure validation pendant l'entraînement.
  • Il existe un écart de performance significatif par rapport au suivi basé sur les détections "Ground Truth" (HOTA ~85% vs ~40-50% pour les modèles), soulignant que la qualité de la détection est le goulot d'étranglement principal.
• Analyse de la Direction de Nage :
  • Malgré les erreurs de suivi, les distributions des angles de nage estimées par les modèles sont très proches de la vérité terrain.
  • Même le suivi sur une seule frame suffit à capturer la tendance globale (dominance de la nage horizontale). L'amélioration de la détection via des fenêtres temporelles n'a que peu d'impact sur la précision de l'estimation de la direction globale, ce qui valide l'approche pour le monitoring de santé.

5. Signification et Conclusion

Cette étude démontre la faisabilité de l'utilisation de la vision par ordinateur pour surveiller la santé des poissons en aquaculture.

• Impact Pratique : Le système permet de détecter des comportements pathologiques (comme la nage verticale excessive) de manière non invasive.
• Innovation Technique : L'adaptation de YOLOv11 pour l'entrée multi-frame est une méthode efficace et légère pour améliorer la détection d'objets petits et déformables dans des environnements denses.
• Limites et Perspectives : Bien que les méthodes TbD actuelles soient suffisantes pour estimer les directions globales, la précision absolue reste inférieure à celle des annotations manuelles. Les auteurs prévoient de déployer le système dans une ferme piscicole réelle et d'intégrer la modélisation explicite du flou de mouvement pour améliorer la précision pendant l'exposition de la caméra.

En résumé, ce travail fournit une base solide (données + méthode) pour transformer l'analyse vidéo en un outil de diagnostic précoce pour le bien-être animal en aquaculture.