HaDR: Applying Domain Randomization for Generating Synthetic Multimodal Dataset for Hand Instance Segmentation in Cluttered Industrial Environments

Cette étude présente HaDR, une approche utilisant la randomisation de domaine pour générer un jeu de données synthétique multimodal (RGB-D) permettant d'entraîner des modèles de segmentation d'instances de mains robustes et agnostiques à la couleur dans des environnements industriels encombrés, surpassant ainsi les performances des modèles entraînés sur des jeux de données réels existants.

L'essentiel

🤖 Le Défi : Apprendre aux robots à voir les mains dans le chaos

Imaginez que vous voulez enseigner à un robot comment attraper des outils ou aider un humain dans une usine. Le problème ? Les usines sont des endroits chaotiques. Il y a des lumières qui changent, des outils partout, et surtout, les ouvriers portent des gants de différentes couleurs (rouge, vert, blanc, jaune).

Les robots actuels, comme ceux qui utilisent la technologie MediaPipe, sont un peu comme des gens qui ont appris à reconnaître les mains uniquement en regardant des photos de peaux humaines. Si vous mettez un gant rouge, le robot se trompe : il ne voit plus la main, ou il la confond avec un objet rouge. C'est comme si vous ne reconnaissiez votre ami que s'il portait son manteau bleu, et que vous ne le reconnaissiez plus s'il portait un manteau rouge.

🎨 La Solution : La "Domaine Randomization" (Le Chaos Contrôlé)

Les chercheurs de l'Université technique d'Ostrava ont eu une idée géniale : au lieu d'essayer de créer une simulation parfaite et réaliste, ils ont créé un monde totalement fou et déjanté.

Ils utilisent une technique appelée "Domaine Randomization" (Randomisation du Domaine). Voici l'analogie pour comprendre :

Imaginez que vous voulez apprendre à un enfant à reconnaître un chat.

• L'approche classique (Réaliste) : Vous montrez des photos de chats réalistes, avec de la fourrure douce, dans des salons bien éclairés. L'enfant apprendra à reconnaître le chat... mais seulement dans ces conditions.
• L'approche de ce papier (Randomisation) : Vous montrez à l'enfant des chats dessinés avec des couleurs néon, sur des fonds de jungle, de désert, de l'espace, avec des taches de peinture, des ombres bizarres, et parfois même des chats qui flottent.

En voyant toutes ces variations impossibles, le cerveau de l'enfant (ou le réseau de neurones du robot) arrête de se focaliser sur les détails inutiles (comme la couleur de la fourrure ou la lumière). Il se concentre sur l'essentiel : la forme du chat.

Dans ce papier, les chercheurs ont fait pareil avec les mains :

1. Ils ont créé un simulateur vidéo (CoppeliaSim).
2. Ils ont mis des mains 3D, mais avec des textures bizarres, des lumières folles, et plein d'objets distrayants (des outils, des formes géométriques) qui bougent partout.
3. Ils ont généré 117 000 images de ce chaos, avec les "bonnes réponses" (les masques) générées automatiquement par l'ordinateur. Pas besoin d'humains pour annoter !

👁️ Les Yeux du Robot : Couleur + Profondeur

Pour aider le robot à mieux voir, ils ne lui ont pas donné juste une photo (couleur), ni juste une image de profondeur (comme un radar). Ils lui ont donné les deux en même temps (RGB-D).

C'est comme si le robot avait des yeux humains (pour voir les couleurs) ET des yeux de chauve-souris (pour voir la distance).

• Si un gant blanc se fond dans un mur blanc, l'œil humain est perdu.
• Mais l'œil "chauve-souris" voit que le gant est en avant du mur.
  En combinant les deux, le robot devient beaucoup plus fort.

🏆 Les Résultats : Qui gagne le match ?

Les chercheurs ont entraîné leurs robots uniquement avec ces images "fouilles" générées par ordinateur, sans jamais montrer une seule vraie photo d'usine pendant l'entraînement. Ensuite, ils les ont testés dans une vraie usine avec de vrais ouvriers et de vrais gants.

Le verdict est sans appel :

1. Meilleur que les modèles classiques : Les modèles entraînés sur leur "monde fou" battent les meilleurs modèles existants (entraînés sur de vraies photos ou d'autres simulations réalistes).
2. Meilleur que MediaPipe : Le célèbre système MediaPipe (utilisé par beaucoup d'applications) échoue souvent avec des gants de couleur. Le modèle de ces chercheurs, lui, voit la main quelle que soit la couleur du gant ou la lumière.
3. La combinaison gagnante : Le modèle qui utilise à la fois la couleur et la profondeur (RGB-D) est le champion incontesté.

💡 Pourquoi est-ce important ?

C'est un peu comme si on apprenait à un pilote à piloter un avion non pas seulement par temps de soleil, mais en le faisant voler dans des tempêtes de neige, des orages, avec des instruments défectueux et des paysages qui changent toutes les 5 secondes.

Résultat ? Quand le vrai pilote (le robot) se retrouve dans une situation normale (l'usine), il est incroyablement robuste. Il ne panique pas, il ne se trompe pas de couleur, et il fonctionne parfaitement.

En résumé :
Au lieu de passer des années à prendre des milliers de photos réelles et à les annoter à la main (ce qui est cher et lent), les chercheurs ont créé un "bac à sable" numérique où tout est randomisé. Cela force l'intelligence artificielle à apprendre la vraie structure de la main, et non pas juste à mémoriser des couleurs. C'est une méthode plus rapide, moins chère, et surtout, beaucoup plus efficace pour les environnements industriels réels.

Résumé technique

1. Problématique

L'objectif principal est de développer une interface de interaction humain-robot (IHR) robuste pour les environnements industriels non structurés. Le défi majeur réside dans la localisation de la main (segmentation d'instances) lorsque les travailleurs portent des gants de protection de couleurs variées, ce qui rend la détection basée uniquement sur la couleur de la peau (comme dans les solutions standard type MediaPipe) inefficace.

Les obstacles spécifiques identifiés sont :

• Le biais de couleur : Les modèles entraînés sur des données réelles tendent à sur-spécialiser sur la couleur de la peau, échouant avec des gants.
• Le coût de l'annotation : La création de jeux de données réels annotés au niveau des pixels (segmentation d'instances) est coûteuse et longue.
• Le "Reality Gap" : Les modèles entraînés sur des données synthétiques réalistes échouent souvent sur des données réelles en raison de différences subtiles de texture et d'éclairage.
• Limitations des jeux de données existants : La plupart des jeux de données publics supposent que la main est l'objet le plus proche, centrée dans l'image, et sans objets distracteurs, ce qui ne correspond pas à la réalité industrielle.

2. Méthodologie : HaDR (Hand Domain Randomization)

L'approche proposée, nommée HaDR, repose sur la génération d'un jeu de données entièrement synthétique utilisant la Randomisation de Domaine (Domain Randomization - DR) plutôt que la recherche de photoréalisme.

A. Génération de données synthétiques

• Plateforme : Utilisation de CoppeliaSim pour créer un environnement de simulation.
• Stratégie de Randomisation : Au lieu de simuler un environnement réaliste, le système introduit délibérément des variations non réalistes pour forcer le réseau de neurones à apprendre les caractéristiques essentielles (la forme de la main) plutôt que des détails superficiels.
  • Objets distracteurs : Ajout aléatoire d'outils de travail génériques et de formes géométriques avec des textures aléatoires.
  • Conditions d'éclairage : Variation du nombre, de la position et de l'intensité des sources lumineuses.
  • Textures : Textures non réalistes appliquées aux mains et aux objets d'arrière-plan.
  • Gestes et positions : Les mains (modèles 3D) sont placées selon une grille couvrant tout le champ de vision, avec des orientations semi-aléatoires mais contraintes pour rester dans le champ de la caméra.
• Données Multimodales : Le jeu de données généré inclut des images RGB (couleur) et Depth (profondeur), ainsi que les masques de vérité terrain (ground truth) générés automatiquement.
• Volume : 117 000 images générées, avec jusqu'à 2 instances de mains par image (simulant un seul utilisateur).

B. Entraînement des modèles

• Architectures : Deux modèles de pointe pour la segmentation d'instances ont été entraînés : Mask R-CNN et SOLOv2.
• Backbones : Utilisation de ResNet-50 et ResNet-101.
• Modalités testées : Entraînement séparé sur RGB, Depth, et RGB-D (fusion des deux).
• Contrainte : Les modèles sont entraînés uniquement sur les données synthétiques HaDR, sans aucun ajustement fin (fine-tuning) sur des données réelles.

3. Contributions Clés

1. Jeu de données synthétique multimodal (HaDR) : Un nouveau jeu de données RGB-D conçu spécifiquement pour la segmentation de mains en environnement industriel encombré, utilisant la randomisation de domaine pour assurer l'indépendance vis-à-vis de la couleur (gants de toutes couleurs).
2. Preuve de concept "Synthétique vers Réel" : Démonstration qu'un modèle entraîné uniquement sur des données synthétiques non réalistes peut surpasser des modèles entraînés sur des jeux de données réels ou synthétiques photoréalistes existants.
3. Analyse de la synergie multimodale : Évaluation approfondie de l'apport de la profondeur (Depth) combinée à la couleur (RGB) pour améliorer la robustesse dans des conditions de faible contraste ou de mélange de couleurs.
4. Benchmarking complet : Comparaison avec des jeux de données existants (EgoHands, RHD, ObMan, HandSeg) et avec la solution industrielle standard MediaPipe Hands.

4. Résultats

Les modèles ont été évalués sur un jeu de données réel complexe (706 images) provenant d'un environnement industriel avec des gants de différentes couleurs (rouge, vert, blanc, jaune).

Métriques d'évaluation

• AP (Average Precision) : Métrique standard COCO (IoU 0.5:0.95).
• PDQ (Probability-based Detection Quality) : Métrique pénalisant à la fois les faux positifs et les faux négatifs, plus adaptée aux applications robotiques.

Principaux résultats

• Performance globale : Les modèles entraînés sur le jeu de données HaDR surpassent significativement ceux entraînés sur les jeux de données existants (y compris EgoHands et RHD) et la solution MediaPipe.
  • Le meilleur modèle (Mask R-CNN ResNet50 sur RGB-D) atteint un AP de 45,5 et un PDQ de 0,1576.
  • En comparaison, MediaPipe atteint un AP de 18,1 et un PDQ de 0,0836 sur le même test.
• Impact de la modalité :
  • Contrairement à l'intuition initiale, l'ajout de la profondeur (RGB-D) n'a pas toujours augmenté l'AP par rapport au RGB seul (le RGB seul a obtenu le meilleur AP de 52,3 pour Mask R-CNN), mais il a considérablement amélioré la qualité de détection (PDQ) et la robustesse qualitative.
  • Les modèles RGB-D ont montré une meilleure capacité à distinguer les mains des arrière-plans complexes et à gérer les gants de couleurs difficiles (ex: gants verts ou blancs se fondant dans le décor), là où les modèles RGB seuls échouaient souvent (faux positifs).
• Comparaison avec MediaPipe : MediaPipe échoue fréquemment avec des gants, en particulier les gants verts, en raison de son biais vers la couleur de la peau. Le modèle HaDR, étant "agnostique à la couleur", détecte les mains de manière stable quelle que soit la couleur du gant.
• Analyse des seuils de confiance : Les modèles Mask R-CNN maintiennent une haute précision même avec des seuils de confiance très élevés (jusqu'à 0,95), contrairement aux modèles SOLOv2 dont la performance chute plus rapidement.

5. Signification et Conclusion

Cette étude démontre que la Randomisation de Domaine est une stratégie supérieure à la recherche de photoréalisme pour entraîner des modèles de vision par ordinateur destinés à des environnements industriels spécifiques.

• Avantages : Élimination du besoin d'annotation manuelle coûteuse, génération de données illimitées, et création de modèles robustes aux variations de couleur et d'environnement.
• Impact Industriel : La solution permet une interaction humain-robot fiable sans dépendre de la couleur des gants de sécurité, un critère essentiel pour la sécurité et la flexibilité en usine.
• Limitations et Perspectives : Les auteurs notent que le générateur actuel utilise un nombre limité de maillages de mains et ne simule pas encore les interactions complexes main-outil. Les travaux futurs viseront à enrichir la variété des maillages et à simuler des interactions physiques pour réduire encore l'écart avec la réalité.

En résumé, HaDR fournit une méthode efficace pour créer des modèles de segmentation d'instances de mains hautement performants et généralisables, prouvant que des données synthétiques bien conçues peuvent remplacer avantageusement les données réelles pour des tâches de perception robotique spécifiques.