Résumé Technique : Comptage de Pièces de Machine

Définition du Problème

L'article aborde le défi du comptage d'objets densément packagés au sein d'images, en se concentrant spécifiquement sur les pièces de machines laveuses industrielles. Bien que les systèmes de détection d'objets aient progressé, les auteurs notent que les modèles de détection les plus avancés peinent avec les scènes à haute densité en raison du chevauchement des objets, des occlusions, des échelles variables et des conditions d'éclairage. L'ensemble de données spécifique comprend 8 100 images de paquets de rondelles capturées sous neuf angles différents, avec une moyenne d'environ 26 objets par image. La difficulté principale réside dans la distinction des pièces circulaires individuelles lorsqu'elles sont fortement occluses ou regroupées, un scénario où les méthodes de comptage traditionnelles et les architectures de détection standard échouent souvent.

Méthodologie

Les auteurs proposent une approche basée sur l'apprentissage profond qui étend l'architecture FamNet [12], un modèle de régression à quelques exemples conçu pour apprendre une carte de densité pour le comptage d'objets. La méthodologie implique plusieurs composants clés :

1. Architecture du Réseau et Adaptation

Le modèle de base utilise un backbone ResNet-50 pré-entraîné sur ImageNet pour l'extraction de caractéristiques multi-échelles. Contrairement au FamNet original, qui utilise quelques boîtes englobantes d'exemplaires pour s'adapter à différentes classes au moment du test, cette implémentation est conçue pour une seule classe (pièces de rondelles). Par conséquent, le modèle reçoit toutes les boîtes englobantes pour les rondelles dans une image plutôt que quelques exemplaires. Ces boîtes subissent un pooling ROI sur les cartes de caractéristiques convolutives pour générer des caractéristiques multi-échelles, qui sont ensuite alimentées dans un module de prédiction de densité composé de cinq blocs convolutifs et de trois couches de suréchantillonnage pour produire une carte de densité 2D. Le nombre final d'objets est obtenu en sommant les valeurs de cette carte de densité.

2. Construction de la Densité de Vérité Terrain

Pour générer des cartes de densité de vérité terrain, les auteurs s'écartent des annotations ponctuelles utilisées dans les travaux précédents. Au lieu de cela, ils ancrent les annotations ponctuelles au centre de masse des polygones d'objets. Une taille de fenêtre dynamique pour le lissage gaussien est calculée en fonction de la distance moyenne entre chaque point et son 1-voisin le plus proche, garantissant que la carte de densité s'adapte à la distribution spatiale spécifique des pièces de rondelles.

3. Perte de Désaccord (Mismatch Loss)

Une contribution novatrice est l'introduction d'une fonction de Perte de Désaccord (Mismatch Loss). La perte d'erreur quadratique moyenne (MSE) standard dans FamNet ne pénalise que l'erreur totale entre les cartes de densité prédites et de vérité terrain. La Perte de Désaccord proposée pénalise spécifiquement les pixels dans la carte de densité prédite qui correspondent à des zones de l'image où aucun objet n'existe (basé sur des masques binaires dérivés des annotations). Formellement, cette perte somme les valeurs de densité prédites là où le masque de vérité terrain indique l'absence d'un objet. Cette perte est combinée avec la perte MSE de densité standard en utilisant un hyperparamètre de pondération $\lambda = 10^{-9}$.

4. Agrégation par Angle

Puisque l'ensemble de données inclut neuf angles de vue différents pour chaque scène, les auteurs emploient une étape de post-traitement pour agréger les prédictions. Ils expérimentent les méthodes d'agrégation max, min et moyenne sur les neuf angles. Les résultats empiriques ont indiqué que la prise de la moyenne des comptes prédits a donné les meilleures performances.

5. Approches Alternatives (Séparation par Profondeur)

L'article explore également la séparation basée sur la profondeur pour gérer les occlusions, tentant de diviser les images en couches de profondeur en utilisant le Seuillage Otsu Multi-Niveau et les Transformateurs de Prédiction Dense (DPT). Cependant, ces expériences ont été largement infructueuses en raison de l'incapacité à séparer proprement les objets se chevauchant basés sur l'intensité en niveaux de gris ou les cartes de profondeur, conduisant à des comptages en double et à une augmentation de l'erreur.

Contributions Clés

• Adaptation de FamNet : Adaptation réussie d'un modèle de comptage à quelques exemples à une tâche de comptage industriel à haute densité et à classe unique en modifiant le mécanisme d'entrée pour utiliser des ensembles complets de boîtes englobantes.
• Perte de Désaccord : Proposition d'une fonction de perte supplémentaire conçue pour pénaliser les faux positifs dans la carte de densité (prédire des objets là où il n'y en a pas), bien que son efficacité ait été limitée dans le contexte spécifique de cet ensemble de données.
• Agrégation Multi-Angle : Démonstration que la moyenne des prédictions sur plusieurs angles de vue d'un même paquet d'objets réduit considérablement l'erreur de comptage par rapport aux prédictions mono-vue.
• Comparaison Complète de Références : Évaluation de la méthode proposée par rapport aux pipelines de traitement d'images traditionnels (Transformée de Hough) et à la segmentation d'instances (Mask-RCNN), mettant en évidence les limites de ces approches dans les scénarios denses.

Résultats

La performance des modèles a été évaluée en utilisant l'Erreur Absolue Moyenne (MAE) et l'Erreur Quadratique Moyenne Racine (RMSE) sur un ensemble de test retenu.

• Références :
  • Traitement d'Image Traditionnel : A atteint un MAE de 29,01, peinant avec le bruit et les fausses détections.
  • Mask-RCNN (Pré-entraîné) : A atteint un MAE de 26,20.
  • Mask-RCNN (Affiné) : S'est considérablement amélioré pour atteindre un MAE de 3,79, démontrant la nécessité d'un entraînement spécifique au domaine.
• Méthode Proposée :
  • FamNet (Référence) : A atteint un MAE de 2,60.
  • FamNet + Perte de Désaccord : A résulté en un MAE de 2,97, indiquant que la fonction de perte n'a pas amélioré les performances sur cet ensemble de données spécifique et a peut-être introduit du bruit.
  • FamNet + Agrégation par Angle (Moyenne) : A atteint les meilleures performances avec un MAE de 1,96 et un RMSE de 2,70.

Les auteurs ont observé que, bien que la Perte de Désaccord ait été conçue pour réduire le sur-comptage, les erreurs de sur-comptage dans cet ensemble de données se produisaient principalement dans les régions occluses où les objets étaient déjà partiellement prédits, rendant la perte inefficace. À l'inverse, la stratégie d'agrégation par angle s'est avérée hautement efficace.

Importance et Revendications

L'article conclut que les réseaux d'apprentissage profond, en particulier les modèles d'estimation de densité basés sur la régression comme FamNet, sont hautement efficaces pour le comptage de pièces de machines densément packagées, atteignant une précision de MAE inférieure à 2. Les auteurs affirment que, bien que leur modèle spécifique soit robuste pour l'ensemble de données de rondelles, sa généralisabilité à d'autres tâches est actuellement limitée par la nature spécifique des données d'entraînement (fond noir uni, échelle d'objet uniforme).

L'importance du travail réside dans la démonstration que :

1. Le comptage basé sur la régression surpasse à la fois le traitement d'images traditionnel et la segmentation d'instances pour les objets industriels denses.
2. L'agrégation multi-vue est une étape de post-traitement critique pour améliorer la précision dans les ensembles de données avec plusieurs perspectives.
3. La Perte de Désaccord peut ne pas être universellement bénéfique, en particulier lorsque les erreurs proviennent d'occlusions plutôt que de faux positifs dans des régions vides, suggérant que la conception de la fonction de perte doit être adaptée aux modes d'erreur spécifiques de l'ensemble de données.

Les auteurs suggèrent modestement que le travail futur pourrait impliquer des techniques de séparation par profondeur plus efficaces ou l'exploitation de la nature multi-vue des données pour générer des représentations de scènes 3D (par exemple, en utilisant NeRF) pour une précision encore plus élevée.