A Probabilistic Framework for Improving Dense Object Detection in Underwater Image Data via Annealing-Based Data Augmentation

1. Problématique

Les modèles de détection d'objets actuels, notamment ceux basés sur des architectures CNN comme YOLO, fonctionnent généralement bien dans des environnements contrôlés (aquariums, fermes aquacoles) avec un éclairage stable et une faible densité d'objets. Cependant, leur performance se dégrade considérablement dans les environnements sous-marins naturels réels, caractérisés par :

• Une grande variabilité des conditions d'éclairage et de clarté de l'eau.
• Des occlusions fréquentes.
• La densité élevée des populations de poissons (phénomène de « crowding »), un défi spécifique que la plupart des modèles existants ne traitent pas efficacement.

De plus, les jeux de données disponibles (comme DeepFish) souffrent d'un déséquilibre : ils contiennent trop peu d'images montrant des groupes denses de poissons, ce qui empêche les modèles de généraliser correctement à des scènes encombrées.

2. Méthodologie

L'approche proposée combine la préparation de données, l'augmentation de données probabiliste et l'entraînement d'un modèle de détection.

A. Préparation des Données (DeepFish)

• Source : Utilisation du jeu de données DeepFish, qui contient des images de poissons dans leur habitat naturel avec des masques de segmentation.
• Transformation : Comme le jeu de données original ne fournissait pas de boîtes englobantes (bounding boxes) pour la détection, les auteurs ont généré ces annotations automatiquement à partir des masques de segmentation en utilisant la fonction connected-components de OpenCV (cv2).
• Test Réel : Un ensemble de test indépendant a été créé à partir de 50 images extraites d'un flux vidéo en direct (live-stream) d'un habitat naturel aux Keys de Floride, annoté manuellement. Cet ensemble contient des populations de poissons denses, sous-représentées dans les données d'entraînement originales.

B. Algorithme d'Augmentation de Données : PSADA

Les auteurs proposent un nouvel algorithme d'augmentation nommé PSADA (Pseudo-Simulated Annealing Data Augmentation), inspiré de la stratégie « copy-paste » de Deng et al., mais profondément modifié pour s'adapter aux spécificités des poissons.

1. Sélection des centres de groupes (Distribution de Poisson) :

   • Contrairement à l'approche originale qui échantillonnait le nombre de groupes uniformément, PSADA utilise une distribution de Poisson ($\lambda = 3$) pour déterminer le nombre de groupes de poissons à insérer. Cela permet de modéliser statistiquement l'arrivée de bancs de poissons dans l'image, compensant le manque d'images multi-objets dans le jeu de données d'origine.
   • Les centres de ces groupes sont échantillonnés aléatoirement dans les dimensions de l'image de base, et non à partir d'objets existants.

2. Génération de groupes et placement (Recuit Simulé Pseudo) :

   • Pour chaque centre, un groupe d'objets est généré.
   • Taille des objets : Suit une distribution gaussienne autour de la taille du centre.
   • Placement des coordonnées : Au lieu d'un placement purement aléatoire, les coordonnées $(x, y)$ sont affinées itérativement en utilisant une logique de recuit simulé.
   • Mécanisme de température : Une température $T$ décroît géométriquement ($T \leftarrow T \cdot 0.95$) à chaque itération. Initialement, la probabilité d'accepter un placement éloigné du centre est élevée (favorisant la diversité), puis elle diminue pour favoriser des regroupements réalistes et denses. Cela permet de créer des images avec à la fois des poissons isolés et des bancs denses.

C. Modèle de Détection

• Architecture : YOLOv10.
• Entraînement : Deux modèles sont comparés :
  1. Un modèle de base entraîné uniquement sur les données DeepFish originales.
  2. Le modèle PSADA entraîné sur les données DeepFish augmentées avec l'algorithme proposé.

3. Contributions Clés

• Création d'un jeu de données de détection : Transformation des masques de segmentation du jeu de données DeepFish en boîtes englobantes pour l'entraînement de modèles de détection.
• Algorithme PSADA : Développement d'une méthode d'augmentation de données probabiliste qui simule des scénarios de poissons denses réalistes en combinant une distribution de Poisson pour le nombre de groupes et une optimisation de type recuit simulé pour le placement spatial.
• Validation sur données réelles : Évaluation rigoureuse sur un jeu de données de test provenant d'un flux vidéo en direct des Keys de Floride, un environnement naturel complexe et dense, plutôt que sur des données synthétiques ou de laboratoire.

4. Résultats Expérimentaux

Les résultats démontrent une amélioration significative de la performance du modèle PSADA par rapport au modèle de base :

• Convergence : Le modèle PSADA atteint un minimum de perte (box loss) plus rapidement (en 28 époques contre 50 pour le modèle de base) et avec une meilleure stabilité.
• Métriques de Précision : Sur l'ensemble de test des Keys de Floride :
  • Le modèle PSADA détecte plus du double de poissons par rapport au modèle de base.
  • Le modèle de base ne détecte que moins d'un quart des poissons présents (par rapport à la vérité terrain), tandis que PSADA en détecte près de la moitié.
• Performance en Densité : Le modèle PSADA excelle spécifiquement dans la détection de poissons dans des bancs denses, là où le modèle de base échoue souvent (taux de faux négatifs élevé).
• Score IoU (Intersection over Union) : La distribution des scores IoU pour PSADA est décalée vers la droite (valeurs plus élevées) par rapport au modèle de base, indiquant une localisation plus précise des boîtes englobantes.

5. Signification et Limites

Signification :
Ce travail prouve que l'augmentation de données probabiliste, conçue pour imiter la structure statistique des bancs de poissons, est cruciale pour améliorer la robustesse des modèles de vision par ordinateur dans des environnements sous-marins naturels. Cela ouvre la voie à une surveillance plus efficace des écosystèmes marins et de la santé des récifs coralliens.

Limites et Perspectives :

• Spécificité des espèces : Le modèle a été entraîné sur des poissons australiens (DeepFish) mais testé sur des espèces des Keys de Floride (requins, barracudas), ce qui a limité la détection de certaines espèces non vues lors de l'entraînement.
• Densité extrême : Bien que PSADA soit meilleur, il rate encore près de la moitié des poissons dans les zones de densité maximale, suggérant que l'augmentation actuelle n'est pas encore suffisante pour couvrir tous les cas de figure d'encombrement.
• Calcul : Les contraintes de calcul (GPU) ont limité la durée d'entraînement.
• Futur : Les auteurs suggèrent d'ajouter une tâche de classification pour identifier les espèces et d'affiner l'algorithme d'augmentation pour gérer des densités encore plus élevées.