📄 other

A Lightweight Appearance-Guided Association Module for Underwater Multi-Fish Tracking

Cet article propose un module d'association guidé par l'apparence, léger et basé sur XGBoost, qui intègre des descripteurs de couleur, de gradient et de morphologie dans le cadre de SORT afin de réduire considérablement les changements d'identité et d'améliorer la précision du suivi pour les poissons en stock dense lors de la surveillance sous-marine en temps réel.

Auteurs originaux : Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

Publié 2026-07-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Yanan Zhou, Dlxat Turgun, Jianhua Cao, Zhenyu Zhang, Qian Long

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de suivre un ami spécifique dans un couloir bondé et brumeux. Tout le monde porte le même uniforme, se déplace à la même vitesse et se bouscule constamment. Si vous ne regardez que l'endroit où les gens marchent et à quelle vitesse ils vont, vous pourriez perdre votre ami dès qu'il se retrouve coincé derrière quelqu'un d'autre. C'est la lutte quotidienne du « suivi multi-objets » en vision par ordinateur : apprendre à une caméra à maintenir une étiquette d'identification unique sur chaque chose en mouvement, même lorsqu'elles se ressemblent toutes et qu'elles se cachent les unes derrière les autres. Dans le monde de l'aquaculture intelligente, c'est particulièrement complexe. Sous l'eau, l'eau est souvent trouble, la lumière est étrange et des milliers de poissons de la même espèce nagent en un banc serré et chaotique. Si l'ordinateur perd la trace de quel poisson est lequel, les fermiers ne peuvent ni les compter, ni étudier leur comportement, ni savoir s'ils sont malades. L'objectif est de construire un système assez rapide pour regarder en temps réel, mais assez intelligent pour repérer les infimes différences entre deux poissons qui se ressemblent exactement.

Ce document présente une solution ingénieuse et légère à ce chaos sous-marin. Les chercheurs ont construit un nouveau « module d'assistance » qui agit comme un arbitre hyper observateur pour un jeu de suivi de poissons. Au lieu de s'appuyer sur des cerveaux informatiques lourds et lents (réseaux d'apprentissage profond) pour analyser chaque poisson, ils ont créé un système qui observe des indices simples et rapides : le motif de couleur du poisson, la texture de ses écailles et sa forme générale. Ils ont appris à un décideur rapide et efficace appelé XGBoost à utiliser ces indices pour deviner : « Est-ce le même poisson que j'ai vu il y a une seconde ? »

Voici le tour de magie : le système ne se contente pas de deviner ; il joue à un jeu de « faire confiance mais vérifier ». Lorsque deux poissons sont éloignés, le système se contente d'observer leur mouvement, ce qui est facile. Mais lorsque les poissons se chevauchent ou croisent leurs trajectoires, le système active soudainement son « radar d'apparence ». Il calcule un score de probabilité : « Quelle est la probabilité que ces deux formes qui se chevauchent soient en réalité le même poisson ? » Il mélange ensuite ce score de probabilité avec les données de mouvement pour prendre une décision finale. Cela se produit en une fraction de seconde, permettant au système de maintenir l'étiquette d'identification correcte sur un poisson, même après qu'il a été caché derrière un voisin pendant longtemps.

L'équipe a testé cela sur un ensemble de données appelé MFT25, qui contient des vidéos de vrais poissons nageant dans des réservoirs. Ils ont comparé leur nouvelle méthode à l'algorithme standard « SORT » (qui ne regarde que le mouvement et le chevauchement des boîtes) et ont constaté que leur approche changeait la donne. En utilisant ces indices visuels simples, ils ont réduit le nombre de fois où le système s'est trompé et a échangé les identités des poissons de près de 45 % (passant de 1 513 erreurs à seulement 833). Ils ont également amélioré la précision globale du maintien de la cohérence des identités de 53,75 % à 65,49 %. Le plus impressionnant est peut-être que, malgré tout ce raisonnement supplémentaire, le système est incroyablement rapide, fonctionnant à plus de 700 images par seconde (en excluant le temps nécessaire pour simplement trouver les poissons). Cela prouve que vous n'avez pas besoin d'un cerveau informatique massif et lent pour résoudre des problèmes de suivi complexes ; parfois, quelques indices intelligents et légers sont tout ce dont vous avez besoin pour maintenir l'ordre dans le banc de poissons.

Résumé Technique : Un module d'association léger guidé par l'apparence pour le suivi multi-poissons sous l'eau

Énoncé du problème

L'article traite du défi du suivi multi-objets (MOT) pour les poissons de forte densité dans les environnements d'aquaculture sous-marine à caméra fixe. Bien que les données de trajectoire continues soient essentielles pour l'estimation de la population et l'analyse du comportement, le suivi individuel des poissons est entravé par :

Similitude Visuelle : Les individus d'une même espèce partagent souvent des apparences presque identiques.
Dynamique Complexe : Des changements de direction fréquents, des croisements, des occlusions mutuelles et des chevauchements spatiaux substantiels se produisent.
Dégradation Environnementale : Les conditions sous-marines introduisent des variations d'illumination, de la turbidité et une réduction du contraste, ce qui dégrade la qualité de l'image.

Limites des méthodes existantes :

Suiveurs basés sur le mouvement/IoU (ex: SORT) : Ils reposent sur des indices spatiotemporels (prédiction de Kalman et Intersection over Union). Lorsque les poissons se chevauchent ou se croisent, leurs états spatiaux et de mouvement deviennent indiscernables, entraînant des taux élevés de changements d'identité (IDSW) et de fragmentation de trajectoire.
Suiveurs basés sur l'apparence profonde (ex: DeepSORT) : Bien qu'ils utilisent l'apprentissage profond pour la ré-identification, ils engendrent une charge de calcul significative. De plus, les caractéristiques profondes entraînées sur des jeux de données de piétons échouent souvent à se généraliser aux scènes sous-marines à faible contraste et à occlusion partielle, et elles peinent lorsque les régions de détection sont contaminées par des poissons adjacents.

Le problème central est le besoin d'une méthode d'association légère et en temps réel capable d'exploiter les subtiles différences d'apparence pour compléter les indices spatiotemporels sans le coût de calcul élevé des réseaux de neurones profonds.

Méthodologie

Les auteurs proposent un module d'association léger guidé par l'apparence intégré au cadre Simple Online and Realtime Tracking (SORT). La méthode opère selon un paradigme de « tracking-by-detection » sans modifier le détecteur d'objets sous-jacent.

1. Extraction de caractéristiques d'apparence artisanales

Au lieu d'utiliser l'apprentissage profond, le module extrait trois types de caractéristiques artisanales à faible coût de chaque région de poisson détectée :

Histogramme de couleur HSV : La région est convertie de BGR en HSV. Les canaux H, S et V sont quantifiés respectivement en 16, 8 et 8 bacs, résultant en un vecteur de dimension 1024.
Histogramme d'orientation de gradient : Basé sur le principe de l'Histogramme de Gradients Orientés (HOG), la région en niveaux de gris est divisée en une grille 2×2. Les orientations de gradient non signées dans [0°, 180°) sont quantifiées en 9 bacs par sous-région, créant un vecteur de dimension 36.
Descripteur morphologique : Un vecteur de dimension 3 capturant le rapport d'aspect ( $w/h$ ), l'aire logarithmique ( $\log(w \times h)$ ) et la longueur de la diagonale normalisée.

Ces éléments sont concaténés en un vecteur d'apparence unifié de dimension 1063 ( $f_i$ ).

2. Modèle de correspondance d'identité basé sur XGBoost

L'association entre une piste existante et une détection actuelle est formulée comme un problème de classification binaire (même poisson vs poisson différent).

Entrée : Un vecteur de caractéristiques de dimension 2128 ( $x_{ij}$ $x_{ij}$ ) construit par la concaténation de :
- La caractéristique d'apparence de référence de la piste existante.
- La caractéristique d'apparence de la détection actuelle.
- L'IoU entre les boîtes englobantes prédite et détectée.
- La distance de centre normalisée entre elles.
Modèle : Un classificateur XGBoost (50 arbres, profondeur max 3) estime la probabilité ( $p_{ij}$ ) que la paire corresponde au même poisson.
Stratégie d'entraînement : Les échantillons positifs sont des paires du même poisson dans des images adjacentes (filtrées pour exclure les occlusions à fort chevauchement). Les échantillons négatifs sont des paires d'identités différentes dans la même image.

3. Association de données adaptative

L'innovation centrale réside dans la manière dont la probabilité d'apparence est fusionnée avec la matrice de coût standard de SORT :

Pondération adaptative : Le coût d'association ( $C_{ij}$ $C_{ij}$ ) est une somme pondérée du coût IoU et du coût d'apparence.
- $w_{IoU} = \max(0, 1 - \alpha \cdot IoU)$
- $w_{XGB} = 1 - w_{IoU}$
- $C_{ij} = w_{IoU}(1 - IoU) + w_{XGB}(1 - p_{ij})$
Logique : Lorsque l'IoU est faible (le chevauchement spatial est petit), le système repose principalement sur les indices de mouvement/spatiaux. À mesure que l'IoU augmente (indiquant un chevauchement ou une ambiguïté potentielle), le poids bascule vers la probabilité d'apparence XGBoost pour résoudre les conflits d'identité.
Efficacité : Les paires avec un IoU < 0,1 sont immédiatement écartées sans inférence XGBoost pour économiser le calcul.

Contributions clés

Module léger : Propose un module combinant des caractéristiques de couleur, de gradient et morphologiques avec XGBoost, évitant le coût de calcul et les problèmes de décalage de domaine des réseaux de ré-identification profonds.
Stratégie de fusion adaptative : Introduit un mécanisme pour incorporer de manière adaptative les probabilités d'apparence dans la matrice de coût de SORT en fonction du chevauchement spatial, permettant aux indices d'apparence de compléter les informations spatiotemporelles spécifiquement lorsque l'ambiguïté est élevée.
Validation des performances : Démontre des améliorations significatives de la préservation de l'identité sur le jeu de données Multiple Fish Tracking 2025 (MFT25) tout en maintenant des vitesses de traitement en temps réel.

Résultats expérimentaux

Les expériences ont été menées sur sept séquences du jeu de données MFT25 en utilisant une stratégie de validation croisée de type Leave-One-Video-Out (LOVO).

Changements d'identité (IDSW) : La méthode proposée a réduit le nombre total d'IDSW de 1 513 (SORT) à 833, soit une réduction de 44,94 %.
Score F1 d'identité (IDF1) : Est passé de 53,75 % (SORT) à 65,49 %.
MOTA : A augmenté de 98,52 % à 98,82 %.
Vitesse : En excluant la détection d'objets, la vitesse de suivi a dépassé 700 FPS (comparé à 714 FPS pour SORT), démontant que le traitement de l'apparence ajouté induit un surcoût négligeable.
Études d'ablation :
- L'utilisation de XGBoost uniquement comme correction post-traitement (V1) n'a réduit l'IDSW que de 5,49 %.
- L'intégration des probabilités dans la matrice de coût avant l'assignation de Hungarian (V2) était cruciale, atteignant la pleine réduction de 44,94 %.
- La méthode a montré sa transférabilité lorsqu'elle est appliquée au cadre ByteTrack, réduisant l'IDSW de 42,64 % par rapport à la ligne de base ByteTrack.
Analyse visuelle : Les résultats qualitatifs ont montré que si SORT échangeait fréquemment les identités après un chevauchement sévère, la méthode proposée maintenait des identités cohérentes, réduisant le nombre d'identités prédites assignées à un seul poisson de vérité terrain (par exemple, de 14 à 1 dans la séquence BT-001).

Signification et affirmations

L'article affirme que le module proposé résout avec succès le compromis entre cohérence de l'identité et efficacité de calcul dans le suivi de poissons sous l'eau. En exploitant des caractéristiques d'apparence artisanales subtiles et un classificateur de boosting de gradient efficace, la méthode améliore considérablement la préservation de l'identité lors des croisements et des occlusions fréquentes sans nécessiter d'infrastructure d'apprentissage profond.

Les auteurs déclarent que ces résultats indiquent le potentiel du module pour le suivi de poissons en temps réel dans l'aquaculture intelligente, fournissant des données de trajectoire fiables pour des tâches en aval telles que l'estimation de la population et la reconnaissance de comportements anormaux. Ce travail est présenté comme une solution pratique pour les scénarios où les modèles d'apparence profonds sont trop coûteux ou peu fiables en raison des conditions d'imagerie sous-marine.