UniCon-Former: Unified Convolution Transformer is All You Need for Hand Gesture Recognition

Imaginez que vous essayiez d'apprendre à un robot à comprendre les gestes de la main humaine, comme un signe de la main pour dire bonjour ou un signe « stop ». C'est un travail délicat pour un ordinateur car il doit voir deux choses à la fois : les détails minuscules et spécifiques de vos doigts (les caractéristiques locales) et la vue d'ensemble de la façon dont votre bras entier se déplace dans le temps (le contexte global). Pendant longtemps, les ordinateurs ont utilisé deux outils différents pour résoudre cela. Un outil, appelé Réseau de Neurones Convolutifs (CNN), était comme un détective extrêmement minutieux capable de repérer une seule empreinte digitale, mais qui se perdait si on lui demandait de comprendre une histoire entière. L'autre outil, un Transformer, était comme un grand conteur capable de relier chaque point de l'intrigue d'un roman, mais qui était submergé et devenait lent lorsqu'il essayait d'examiner chaque lettre du livre. Les chercheurs ont tenté de construire un robot qui soit à la fois un détective perspicace et un conteur brillant, mais combiner les deux a souvent fait en sorte que le robot devienne trop lourd et lent pour être utile.

C'est ici que commence l'histoire de « UniCon-Former ». Les auteurs, Mallika Garg, Debashis Ghosh et Pyari Mohan Pradhan, voulaient construire un robot plus intelligent et plus léger, capable de reconnaître des gestes de la main dynamiques — des mouvements qui se produisent au fil du temps — sans s'enliser dans trop de calculs mathématiques. Ils n'ont pas simplement assemblé les deux outils ; ils ont inventé une nouvelle façon de les faire travailler comme une équipe unifiée. En utilisant une structure astucieuse en « pyramide », ils ont créé un système capable de zoomer sur les détails et de dézoomer pour voir l'image globale, tout en utilisant moins de ressources que les modèles précédents. Leur travail suggère que cette nouvelle approche pourrait rendre les jeux contrôlés par gestes, la réalité virtuelle et la traduction de la langue des signes beaucoup plus rapides et précises, prouvant qu'on n'a pas besoin d'un cerveau géant pour comprendre un simple signe de la main.

Le Problème : Le Détective contre Le Conteur

Pour comprendre pourquoi les auteurs ont conçu l'UniCon-Former, nous devons regarder les deux personnages principaux du monde de la vision par ordinateur.

D'abord, il y a le CNN (Réseau de Neurones Convolutifs). Considérez cela comme un détective avec une loupe. Il est incroyable pour examiner une petite zone d'une image et dire : « Je vois un pouce ici, une articulation là. » Il est excellent pour repérer les détails locaux. Cependant, sa loupe a une portée limitée. Il a du mal à comprendre comment votre main se déplace sur tout l'écran ou comment le geste change sur plusieurs secondes. C'est comme un détective qui peut identifier la chaussure d'un suspect, mais qui ne peut pas vous dire où le suspect se trouvait une heure auparavant.

Ensuite, il y a le Transformer. C'est le grand conteur. Il utilise un mécanisme appelé « auto-attention » (self-attention) pour examiner chaque partie de la séquence d'entrée (comme chaque image d'une vidéo) et comprendre comment elles sont toutes liées entre elles. Il peut facilement comprendre que votre main montant dans la première image est liée au fait que votre main descend dans la dixième image. Mais, il y a un piège : être un conteur coûte cher. Pour connecter chaque morceau d'information à tous les autres, il doit effectuer une quantité massive de calculs. C'est comme essayer de présenter chaque personne d'un stade à toutes les autres personnes ; l'effort devient si énorme que l'ordinateur devient lent et consomme trop d'énergie.

Les auteurs soutiennent que, bien que les Transformers soient puissants, ils souffrent d'une « redondance élevée ». Ils comparent trop de choses qui n'ont pas besoin d'être comparées, gaspillant ainsi du temps et de l'énergie. À l'inverse, les CNN sont efficaces mais passent à côté de la vue d'ensemble. L'objectif était de construire un modèle qui tire le meilleur des deux mondes sans les inconvénients.

La Solution : La Pyramide de Focalisation

Les auteurs proposent un nouveau modèle appelé UniCon-Former (Unified Convolution Transformer). Au lieu de laisser le Transformer lutter avec l'intégralité de la vidéo à la fois, ils introduisent une structure en « pyramide ».

Imaginez que vous regardez une montagne. Si vous essayez de voir chaque rocher de la montagne depuis le sommet, c'est accablant. Mais si vous commencez à la base et que vous grimpez, vous pouvez vous concentrer sur les détails des rochers proches de vous, puis reculer pour voir la forme de la falaise, et enfin atteindre le sommet pour voir toute la chaîne de montagnes. L'UniCon-Former fait exactement cela avec les images vidéo.

Voici comment la magie opère :

1. La Configuration : La vidéo d'un geste de la main est d'abord traitée par un CNN standard (ResNet-18) pour obtenir les caractéristiques de base.
2. La Pyramide : Le modèle est divisé en étapes. Au début de chaque étape, le modèle utilise un « Bloc de Convolution » spécial (C-Block) pour réduire la taille des données. C'est comme prendre une photo haute résolution et la compresser légèrement avant de la passer au niveau suivant. Cela crée une forme de pyramide où les données deviennent plus petites et plus concentrées à mesure qu'elles s'enfoncent dans le réseau.
3. Le Mélange : Avant que les données n'entrent dans la partie « attention » du Transformer (où il cherche les connexions), elles passent par ce C-Block. Ce bloc utilise une « convolution séparable en profondeur » (depthwise separable convolution), une façon sophistiquée de dire qu'il traite l'image efficacement en examinant d'abord les détails locaux.
4. Le Résultat : En réduisant les données à chaque étape, le modèle apprend des caractéristiques à différentes échelles. Il apprend les détails minuscules des doigts au début, et le mouvement plus large du bras plus tard. Cela permet au Transformer de faire son travail de connexion des points sans être submergé par trop de données.

Les auteurs expliquent que cette approche aide le modèle à apprendre des « caractéristiques multi-échelles ». Comme les mains ont des tailles et des formes différentes, et que les gestes peuvent être rapides ou lents, être capable de voir l'image à différents niveaux de zoom est crucial. La structure pyramidale réduit également le coût de calcul, rendant le modèle plus léger et plus rapide qu'un Transformer standard.

L'Expérience : Tester les Mains

Pour voir si leur idée fonctionnait, l'équipe a testé l'UniCon-Former sur deux ensembles de données célèbres : NVGesture et Briareo. Ces ensembles de données contiennent des vidéos de personnes effectuant des gestes de la main, capturées avec différents types de caméras. Certaines caméras voient seulement les couleurs (RGB), d'autres voient la profondeur (la distance), d'autres l'infrarouge (la chaleur), et d'autres encore le « flux optique » (le mouvement des pixels).

Les chercheurs ont entraîné leur modèle sur ces vidéos et l'ont comparé à d'autres modèles célèbres, incluant le Transformer « vanilla » (standard) et divers modèles basés sur les CNN. Ils ont utilisé une technique de « fusion tardive » (late fusion), ce qui signifie qu'ils ont entraîné le modèle sur chaque type de données de caméra séparément, puis combiné les prédictions finales pour obtenir la meilleure réponse.

Qu'ont-ils trouvé ?
Les résultats étaient très prometteurs. Sur l'ensemble de données NVGesture, l'UniCon-Former a battu le Transformer standard dans presque toutes les catégories.

• En observant uniquement les images en couleurs, il a atteint une précision de 81,67 %, dépassant les 76,50 % du Transformer standard.
• Avec les images de profondeur, il a atteint 85,27 %, contre 83,00 % pour le Transformer.
• Lorsqu'ils ont combiné plusieurs types de données (comme la couleur, la profondeur et l'infrarouge), le modèle s'est encore amélioré, atteignant 87,97 % de précision.

Sur l'ensemble de données Briareo, les résultats étaient encore plus impressionnants.

• En utilisant uniquement des images infrarouges, le modèle a atteint 97,92 % de précision, tandis que le Transformer standard obtenait 95,10 %.
• En combinant couleur, infrarouge et flux, il a atteint 98,61 %, ce qui est le score le plus élevé enregistré.

Les auteurs ont noté que le modèle performait particulièrement bien lorsqu'il utilisait plusieurs types de données (multimodal). Ils ont observé que l'ajout de plus de types d'entrées (comme ajouter des « normales » ou du « flux optique » au mélange) améliorait généralement la précision, suggérant que le modèle pouvait utiliser efficacement toute l'information disponible pour comprendre le geste.

Efficacité : Faire Plus avec Moins

L'une des découvertes les plus importantes n'était pas seulement l'exactitude, mais aussi l'efficacité. Les auteurs ont comparé leur modèle aux autres en se basant sur le nombre de « paramètres » (les cellules cérébrales de l'IA) et de « MACs » (opérations mathématiques) nécessaires.

• L'UniCon-Former possède 19,58 millions de paramètres et nécessite 60,25 Giga MACs.
• Le Transformer standard utilisé pour la comparaison possédait 24,30 millions de paramètres et 62,92 Giga MACs.
• D'autres modèles lourds comme NAS1 possédaient 93,90 millions de paramètres.

Cela signifie que l'UniCon-Former est non seulement plus précis, mais aussi plus petit et moins coûteux en termes de calcul. C'est comme construire une voiture qui consomme moins d'essence et va plus vite que la concurrence. Les auteurs suggèrent que cette efficacité rend le modèle flexible et adapté aux applications du monde réel où la puissance de calcul peut être limitée.

Ce qu'il faut retenir

L'article conclut que l'UniCon-Former est une tentative réussie d'unifier les forces des CNN et des Transformers. En créant une structure pyramidale qui traite les données à différentes échelles, le modèle peut apprendre à la fois les détails locaux et le contexte global de manière efficace. Les expériences suggèrent que cette approche mène à des résultats de pointe en reconnaissance de gestes de la main, surpassant les méthodes existantes avec moins de ressources.

Bien que les auteurs soient confiants dans leurs résultats basés sur les données des ensembles NVGesture et Briareo, ils présentent cela comme une validation solide de leur conception plutôt que comme une solution finale et immuable. Ils soulignent que leur modèle offre un meilleur compromis entre complexité et performance, suggérant une nouvelle voie pour rendre la reconnaissance de gestes plus rapide, moins coûteuse et plus précise pour tout le monde.