Train, Test, Re-evaluate: Schedule-Sensitive Evaluation of Generative Data for Hand Detection

Résumé technique : Évaluation sensible au calendrier des données génératives pour la détection de la main

Énoncé du problème
Dans le cadre de la surveillance de la sécurité au travail, une détection robuste de la main est cruciale pour garantir le respect des protocoles de sécurité. Cependant, les jeux de données publics pour la détection de la main sont majoritairement composés de mains nues, ne représentant pas la variation visuelle introduite par l'équipement de protection individuelle (EPI) tel que les gants, les bandages, les tatouages et les bijoux. Cela crée un décalage de distribution significatif entre les données d'entraînement et les scénarios de déploiement en conditions réelles, particulièrement dans des contextes critiques pour la sécurité où la détection de mains accessoirisées est essentielle. Bien que la génération de données synthétiques pour combler cette lacune soit une solution prometteuse, les méthodes existantes peinent souvent avec le fossé « simulation-vers-réel » (simulation-to-real gap), et l'utilité des données synthétiques pour les tâches centrées sur les objets reste une question scientifique ouverte.

Méthodologie
Les auteurs proposent un cadre pour évaluer si l'inpainting génératif — l'édition de la région de la main de photographies réelles pour ajouter des accessoires tout en préservant l'arrière-plan — peut effectivement combler ce décalage de distribution.

1. Construction du jeu de données :

   • Données réelles : Un jeu de données comprenant 6 507 images d'entraînement, 2 085 de validation et 3 591 de test en format RGB avec des annotations au format YOLO.
   • Données synthétiques : En utilisant l'outil open-source SemProbe, les auteurs ont généré des images appariées synthétiques. Le pipeline segmente la région de la main (via GroundingDINO et SAM2) et utilise un transformateur à flux rectifié (FLUX.2) pour réaliser l'inpainting d'accessoires (gants, bijoux, tatouages) basés sur des invites textuelles. L'arrière-plan reste pixel par pixel identique à l'original.
   • Évaluation de la qualité : Cinq métriques d'images appariées ont été calculées pour valider les données synthétiques :
     • Pixels/Structure : PSNR, SSIM et LPIPS (calculés sur les images complètes et les découpes de la main).
     • Anatomie : Taux de détection MediaPipe Hands, confiance et déviation des points de repère (landmarks).
     • Frontières : Rapport de gradient de bordure pour détecter les coutures visibles entre la main inpainted et l'arrière-plan d'origine.

2. Conception expérimentale :
   L'étude a entraîné des détecteurs YOLOv8n sous six régimes (Expériences A–F), chacun répété avec trois graines aléatoires pour l'analyse statistique :

   • Exp A (Base de référence) : Entraînement sur données réelles, test sur données réelles.
   • Exp B (Sonde de robustesse) : Évaluation des modèles de l'Exp A sur des ensembles de test de gants synthétiques et de gants réels (sans réentraînement).
   • Exp C (Augmentation à deux étapes) : Entraînement sur Réel $\cup$ Synthétique, puis ajustement fin (fine-tuning) sur Réel uniquement avec un taux d'apprentissage plus faible.
   • Exp D (Synthétique uniquement) : Entraînement exclusivement sur données synthétiques.
   • Exp E (Apprentissage curriculaire à trois étapes) : Entraînement Réel $\to$ Réel $\cup$ Synthétique $\to$ Réel-Gants, avec des taux d'apprentissage progressivement décroissants.
   • Exp F (Méta-analyse) : Agrège les résultats pour calculer les métriques de l'écart signé.

Résultats clés

• Qualité de l'image : Les métriques d'image complète (PSRS/SSIM) suggéraient une grande similitude, mais les métriques de la région de la main ont révélé des différences significatives, confirmant que l'inpainting a réussi à modifier la région cible. L'analyse du gradient de bordure a montré un rapport moyen de 1,088, indiquant des coutures principalement invisibles avec une minorité d'artefacts visibles.
• Performance de détection (mAP@0.5) :
  • L'Exp C (Deux étapes) a atteint le mAP@0.5 le plus élevé sur l'ensemble de test réel standard (0,954) et sur l'ensemble hors distribution (OOD) de gants réels (0,921), surpassant la base de référence réelle de 0,867 et réduisant l'écart OOD de +18,1 points.
  • L'Exp E (Trois étapes) a atteint le mAP@0.5:0.95 le plus élevé (0,628 sur réel, 0,374 sur gants), démontant une meilleure précision de la boîte englobante (box-tightness), bien qu'avec un léger compromis sur le mAP@0.5 par rapport à l'Exp C.
  • L'Exp D (Synthétique uniquement) a atteint 71,5 % du mAP@0.5 de la base de référence, prouvant que les données synthétiques seules sont insuffisantes mais viables en tant que supplément.
• Signification statistique : Les tests t appariés (n=3) et l'analyse du d de Cohen ont indiqué que l'amélioration de l'Exp C par rapport à la base de référence sur le mAP@0.5 était un effet important (d=2,06), bien que la valeur p (0,071) n'ait pas strictement atteint le seuil de 0,05 en raison de la petite taille de l'échantillon. L'Exp E a significativement surpassé l'Exp C sur le mAP@0.5:0.95 (p=0,012, d=5,29).

Signification et affirmations
L'article affirme que l'utilité des données synthétiques pour la détection de la main dans des contextes de sécurité critique est déterminée par la procédure d'entraînement plutôt que par les données seules.

• Sensibilité au calendrier : Les programmes d'entraînement multi-étapes simples (spécifiquement « augmenter puis ajuster » et « apprentissage curriculaire ») extraient des bénéfices substantiels pour le déploiement réel à partir de données d'accessoires inpainted.
• Réduction de l'écart : Ces méthodes réduisent considérablement le décalage de distribution entre les données d'entraînement de mains nues et les scénarios de déploiement de mains accessoirisées.
• Limites : Malgré les améliorations, un écart « tenace » subsiste dans la performance de l'IoU stricte (mAP@0.5:0.95) pour les mains réelles avec gants. Les auteurs attribuent cela à la difficulté de maintenir la précision de la boîte englobante sur les mains accessoirisées, suggérant que les améliorations futures pourraient nécessiter d'affiner le pipeline de génération synthétique lui-même plutôt que de simplement ajuster les calendriers d'entraînement.

L'étude conclut que bien que l'inpainting génératif introduise des signatures détectables par la machine, il constitue une stratégie viable pour l'augmentation de données dans la sécurité au travail, à condition qu'il soit intégré via des régimes d'entraînement multi-étapes soigneusement conçus.