A Two-Stage Lightweight Framework for Real Time Static Hand Gesture Recognition for Smart-Home Control

Imaginez un salon où vous pouvez allumer les lumières, régler le thermostat ou lancer l'aspirateur simplement en levant la main. Pas de télécommande, pas de commande vocale, aucun contact physique n'est requis. Cette vision d'une interaction fluide et sans contact est l'objectif de la technologie de la maison intelligente, mais faire en sorte que cela fonctionne de manière fiable dans une véritable maison est étonnamment difficile. La main humaine est une forme complexe qui change constamment, et elle existe dans un monde rempli de distractions : des meubles de couleur chair, des ombres mouvantes et des arrière-plans encombrés qui peuvent facilement tromper une caméra. Pour qu'un ordinateur comprenne un geste, il doit d'abord trouver la main clairement sur ce fond bruyant, puis décider exactement de ce que fait cette main. Si le système confond un objet en arrière-plan avec une main, il pourrait allumer les lumières alors que vous vouliez simplement faire un signe de la main. S'il est trop lent, l'interaction semble décalée et peu naturelle. Le défi consiste à construire un système qui soit à la fois assez précis pour faire la différence entre une main et un mur, et assez rapide pour répondre instantanément, tout en fonctionnant sur du matériel abordable.

Des chercheurs de l'Université de science et technologie de Pékin ont développé une nouvelle méthode pour résoudre ce problème, créant un système en deux étapes conçu spécifiquement pour le contrôle domestique en temps réel. Leur approche sépare la tâche de trouver la main de la tâche de reconnaître le geste, en les traitant comme deux tâches distinctes qui travaillent ensemble. D'abord, le système agit comme un monteur très habile, découpant la main du reste de l'image avec une précision extrême. Ensuite, un second programme informatique spécialisé observe cette main isolée et décide de la commande qu'elle représente. En divisant le travail de cette manière, les chercheurs ont pu construire un système qui est à la fois incroyablement précis et assez léger pour fonctionner rapidement sur des appareils standards.

La première étape de leur système se concentre sur la segmentation, qui est le processus de séparation de la main de l'arrière-plan. Les chercheurs ont créé un jeu de données personnalisé de 8 000 images présentant 16 catégories différentes, incluant neuf nombres de doigts, diverses formes de mains ouvertes et fermées, ainsi qu'une catégorie spéciale « absence de geste ». Cette dernière catégorie est cruciale ; elle apprend à l'ordinateur à reconnaître lorsqu'une main est absente ou n'est que partiellement dans le cadre, empêchant le système de déclencher accidentellement des commandes lorsqu'une personne passe simplement à côté. Pour entraîner l'ordinateur à trouver la main, ils ont utilisé une version modifiée d'un réseau d'analyse d'images bien connu appelé U-Net. Ils ont épuré ce réseau, en supprimant les parties inutiles pour le rendre beaucoup plus petit et plus rapide sans perdre sa capacité à voir les détails. Le résultat est un modèle capable d'isoler une main d'un arrière-plan complexe en moins de huit millisecondes, une vitesse suffisante pour une interaction en temps réel. Lors de tests sur un ensemble d'images plus difficile, prises d'une perspective à la première personne avec une occlusion importante, le système a tout de même réussi à identifier la main correctement dans près de 90 pour cent des cas, prouvant qu'il peut gérer la réalité désordonnée d'un environnement domestique.

Une fois la main isolée, la seconde étape prend le relais pour identifier le geste spécifique. Les chercheurs ont conçu un nouveau réseau de classification léger appelé EdgeHandCNN. Contraà les modèles plus anciens et plus simples qui confondaient souvent des gestes d'apparence similaire, cette nouvelle architecture est construite pour se concentrer sur les détails fins qui comptent : le nombre de doigts étendus, la direction vers laquelle ils pointent et la forme de la paume. Elle prête une attention particulière aux détails à haute fréquence, tels que les bords nets des extrémités des doigts et les contours de la paume, qui sont les différences clés entre un « pouce levé » et un signe « OK ». Lors des tests, ce réseau spécialisé a atteint un taux de réussite de près de 99,6 pour cent, identifiant correctement le geste dans presque tous les cas. Il l'a fait en moins de deux millisecondes, rendant l'ensemble du processus de reconnaissance quasi instantané.

Les chercheurs ont combiné ces deux étapes en un prototype complet pour tester son fonctionnement en pratique. Ils ont construit une interface logicielle capable de prendre un flux vidéo en direct, de recadrer la zone où se trouve l'utilisateur, de trouver la main, puis de traduire le geste en une commande. Le système comprend une vérification de sécurité : si la caméra voit moins de 3 % d'une main, elle suppose qu'aucun geste n'est effectué et ignore l'image, évitant ainsi les fausses alertes. Lors de leurs tests, l'ensemble du processus, de la capture de l'image à l'émission de la commande, a pris entre 30 et 40 millisecondes. Cette vitesse est suffisamment rapide pour paraître immédiate pour un utilisateur humain, permettant une expérience fluide où la maison répond dès que la main bouge. L'ensemble du système nécessite très peu de mémoire et de puissance de calcul, ce qui le rend réalisable sur des ordinateurs domestiques standards ou de futurs appareils de bord (edge devices) sans avoir besoin de serveurs coûteux et gourmands en énergie.

L'étude démontre qu'en séparant soigneusement le problème de la recherche de la main de celui de la compréhension de celle-ci, il est possible de créer un système de reconnaissance de gestes qui soit à la fois robuste et efficace. Les chercheurs ont montré que leur méthode filtre efficacement le bruit de l'arrière-plan et gère les variations d'un véritable foyer, tout en restant assez rapide pour un contrôle interactif. Ils ont constaté que leur réseau personnalisé surpassait nettement les modèles plus anciens et plus superficiels, qui peinaient à faire la distinction entre des gestes similaires. Bien que le travail actuel se concentre sur les gestes statiques — maintenir une pose pendant un moment — les chercheurs notent que les travaux futurs pourraient étendre cela pour inclure des gestes en mouvement et améliorer la capacité du système à s'adapter à différentes personnes et conditions d'éclairage. Pour l'instant, ce travail prouve qu'une approche en deux étapes et légère peut fournir l'interaction fiable et à faible latence nécessaire pour faire du contrôle domestique sans contact une réalité pratique.