Human action recognition based on cascade graph convolutional network
Cet article propose un réseau de convolution de graphes en cascade (CGCN) qui utilise une matrice d'adjacence hiérarchique sensible au mouvement pour modéliser dynamiquement les corrélations entre les articulations et une architecture en cascade par étapes pour classifier progressivement les actions avec une complexité croissante, atteignant ainsi un équilibre supérieur entre la précision de la reconnaissance et l'efficacité computationnelle sur plusieurs ensembles de données.
Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Pour comprendre comment un ordinateur peut reconnaître une action humaine, il faut d'abord comprendre comment il voit une personne. L'analyse vidéo traditionnelle repose souvent sur les couleurs et les formes d'une scène, tentant d'identifier une personne par ses vêtements ou le décor dans lequel elle se trouve. Cette approche est fragile ; un changement de luminosité ou une foule dense peut confondre la machine. Une méthode plus robuste se concentre sur le squelette lui-même, une carte squelettique du corps définie par les positions des articulations comme les épaules, les coudes et les genoux. En suivant ces points au fil du temps, un ordinateur peut ignorer les distractions de l'environnement et se concentrer purement sur le mouvement. C'est le fondement de la reconnaissance d'actions basée sur le squelette, un domaine qui est passé de la simple application de règles à des systèmes d'apprentissage complexes. Parmi ceux-ci, un type d'intelligence artificielle connu sous le nom de réseau de neurones convolutifs sur graphes est devenu un outil standard. Il traite le corps humain comme un graphe connecté, où les articulations sont des nœuds et les os qui les relient sont des arêtes, permettant à l'ordinateur d'apprendre comment le mouvement d'une partie du corps influence une autre.
Malgré ces avancées, un goulot d'étranglement important subsiste. La plupart des systèmes existants traitent chaque mouvement comme s'il nécessitait la carte complète et détaillée de l'ensemble du corps. Ils forcent l'ordinateur à traiter les quinze articulations pour chaque action, qu'il s'agisse d'un simple salut ou d'un saut complexe. Cela est coûteux en termes de calcul et lent, un peu comme lire une encyclopédie entière pour trouver un seul mot. De plus, ces systèmes reposent souvent sur une carte fixe de connexions, supposant que seules les articulations physiquement touchantes peuvent s'influencer mutuellement. Cela ignore les relations subtiles, non physiques, qui se produisent lors de mouvements complexes, comme la façon dont une main bouge par anticipation d'un pas du pied, ou comment le torse stabilise un bras en extension. Le résultat est un système soit trop lent pour une utilisation en temps réel, soit trop rigide pour saisir les nuances d'un comportement humain fin.
Des chercheurs de l'Université de médecine chinoise de Jiangxi et de l'Université de Nanchang ont proposé une nouvelle approche pour résoudre ces deux problèmes de vitesse et de précision. Ils ont développé un système appelé Réseau de neurones convolutifs en cascade (Cascade Graph Convolutional Network). Au lieu de forcer l'ordinateur à analyser le corps entier pour chaque action, ce système travaille par étapes, un peu comme un point de contrôle de sécurité qui filtre les personnes en fonction du risque. Le processus commence par une vue très simple du corps, utilisant seulement cinq articulations clés : la tête et les quatre articulations majeures des membres. Si l'ordinateur est assez confiant dans son hypothèse basée sur cette information parcellaire, il s'arrête là et déclare l'action identifiée. Ce n'est que si le mouvement est ambigu ou complexe que le système passe à l'étape suivante, ajoutant plus d'articulations à l'analyse, passant d'abord à dix, puis enfin à l'ensemble complet des quinze. Ce raffinement par étapes signifie que les actions simples, comme se lever ou marcher, sont reconnues presque instantanément avec un minimum de données, tandis que seuls les mouvements difficiles et subtils requièrent la pleine puissance de calcul du squelette complet.
Pour rendre ce système encore plus précis, les chercheurs ont également modifié la façon dont l'ordinateur comprend les connexions entre les articulations. Les méthodes traditionnelles utilisent une carte statique basée sur l'anatomie, où une main n'est connectée qu'à un coude. Le nouveau système, cependant, apprend une carte dynamique qui change en fonction du mouvement lui-même. Il calcule comment différentes parties du corps bougent les unes par rapport aux autres au fil du temps, identifiant des relations cachées qui ne sont pas physiquement connectées mais qui sont fonctionnellement liées. Par exemple, il peut détecter que la vitesse du mouvement d'un genou est corrélée à l'accélération d'un poignet, même s'ils sont éloignés sur le corps. En combinant cette compréhension dynamique avec un ensemble de données plus riche, qui inclut non seulement l'emplacement des articulations, mais aussi leur vitesse et leur accélération, le système acquiert une compréhension beaucoup plus profonde de l'action.
L'équipe a testé cette nouvelle méthode sur trois ensembles de données différents, incluant un ensemble de données nouvellement collecté sur des mouvements quotidiens. Les résultats ont montré que le système pouvait identifier les actions avec une grande précision tout en étant nettement plus rapide que les méthodes précédentes. Sur l'ensemble de données UT-3D, la nouvelle approche a atteint une précision de 97,50 %, établissant un nouveau record de l'état de l'art et surpassant la deuxième meilleure méthode de 5,00 points de pourcentage. Sur l'ensemble de données Florence-3D, elle a atteint 93,48 %, se classant deuxième seulement après un système beaucoup plus lent et complexe. Crucialement, la nouvelle méthode était considérablement plus efficace. Alors que d'autres systèmes prenaient des centaines de millisecondes pour traiter une seule action, ce système en cascade se terminait souvent en moins de 16 millisecondes. En évaluant l'équilibre global entre vitesse et précision, la nouvelle méthode a obtenu des notes presque parfaites, tandis que les systèmes plus lents et plus précis obtenaient des scores nettement inférieurs.
Les chercheurs reconnaissent que leur système n'est pas sans limites. Il éprouve des difficultés lorsque des parties du corps sont cachées de la vue ou lorsque plusieurs personnes se chevauchent dans le cadre, car la carte squelettique devient incomplète. Il repose également sur des données collectées dans des environnements contrôlés, ce qui signifie qu'il n'est peut-être pas encore prêt pour l'imprévisibilité chaotique d'une rue animée ou d'une pièce bondée. Cependant, l'innovation centrale offre une voie claire vers l'avenir. En prouvant qu'un ordinateur n'a pas besoin de voir tout le corps pour comprendre une action simple, et en apprenant à la machine à chercher des connexions cachées entre des parties mobiles, ce travail démontre que l'efficacité et l'intelligence peuvent coexister. Le système ne se contente pas de reconnaître ce qu'une personne fait ; il comprend l'action avec un niveau de nuance qui était auparavant réservé à des modèles beaucoup plus lents et gourmands en ressources, rapprochant ainsi la possibilité d'une analyse de mouvement intelligente et en temps réel de la réalité.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.