🤖 AI

HSTGFormer: Hyper Spatial-Temporal Graph Transformer for 3D Human Pose Estimation

Cet article propose HSTGFormer, un cadre de type Transformer enrichi par les graphes qui unifie le raisonnement spatio-temporel à travers un graphe hyper spatial-temporel et un graphe temporel adaptatif à double échelle pour capturer les dépendances couplées locales et les motifs temporels spécifiques aux articulations, atteignant une précision et une efficacité élevées dans l'estimation de la pose humaine en 3D.

Auteurs originaux : Ruochen Li, Shuang Chen, Wenke E, Farshad Arvin, Amir Atapour-Abarghouei

Publié 2026-08-13

📖 6 min de lecture🧠 Analyse approfondie

CC0 1.0

Auteurs originaux : Ruochen Li, Shuang Chen, Wenke E, Farshad Arvin, Amir Atapour-Abarghouei

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un ordinateur à comprendre comment une personne se déplace, simplement en regardant une vidéo classique. C'est un défi de taille dans le monde de la vision par ordinateur appelé « estimation de la pose humaine en 3D ». Considérez cela comme si vous essayiez de construire une marionnetti 3D d'une personne à l'intérieur d'un ordinateur, mais que vous n'avez qu'un film plat en 2D pour observer. L'ordinateur doit deviner où se trouvent chaque coude, genou et épaule dans l'espace tridimensionnel, même lorsque la personne tourne le dos, cache son bras derrière son dos ou se déplace rapidement.

Pour ce faire, les ordinateurs utilisent souvent un type de logiciel intelligent appelé « Transformer ». Vous pouvez voir le Transformer comme un étudiant super attentif qui examine une phrase entière (ou dans ce cas, un clip vidéo complet) d'un seul coup pour comprendre comment les mots (ou les parties du corps) sont liés les uns aux autres. Habituellement, ces étudiants essaient de comprendre d'abord la forme du corps (raisonnement spatial) puis de comprendre comment il se déplace au fil du temps (raisonnement temporel), en effectuant ces deux tâches l'une après l'autre. Mais tout comme un étudiant qui essaierait de mémoriser une carte avant d'apprendre à conduire, cette approche étape par étape peut parfois faire oublier les petits détails de la façon dont les parties du corps bougent ensemble au fil du temps.

La nouvelle approche : Une équipe de détectives voyageant dans le temps

Dans cet article, les chercheurs présentent un nouveau système appelé HSTGFormer. Au lieu de traiter la forme du corps et son mouvement comme deux tâches distinctes, ils ont décidé de les mélanger dès le départ. Ils ont construit un « Hyper Graphe Spatio-Temporel », ce qui est une façon sophistiquée de dire qu'ils ont créé une carte où chaque partie du corps est connectée non seulement à ses voisines dans la même image, mais aussi à ses voisines dans les images juste avant et juste après.

Imaginez que vous regardez une danse. Si vous ne regardez que les pieds d'un danseur à un instant précis, vous pourriez manquer le fait qu'il est sur le point de sauter. Si vous ne regardez que le saut, vous pourriez manquer la façon dont il s'est préparé. L'HSTGFormer agit comme une équipe de détectives qui peuvent voir les pieds du danseur et les pieds des personnes debout à côté de lui, tout en regardant simultanément quelques secondes dans le passé et dans le futur. Cela permet à l'ordinateur de comprendre qu'un genou qui se plie n'est pas seulement un changement de forme ; c'est un mouvement qui est étroitement lié à la hanche et au pied, se produisant sur quelques instants de temps.

Le kit à deux outils

Pour faire fonctionner cela, les chercheurs ont doté leur système de deux outils spéciaux :

L'éclaireur du voisinage local (HSTG) : Cet outil regarde une articulation spécifique (comme un coude) et demande : « Qui sont mes amis en ce moment, et qui étaient mes amis il y a un instant ? » Il construit une petite bulle locale autour de l'articulation qui inclut à la fois l'anatomie du corps et le passé et le futur immédiats. Cela aide l'ordinateur à capturer ces mouvements rapides et connectés, comme une main qui balance et l'épaule qui suit le mouvement, sans perdre la connexion entre eux.
L'analyste voyageur dans le temps (ADSTG) : Certaines parties du corps bougent vite (comme une main qui fait signe) tandis que d'autres bougent lentement (comme un torse immobile). Cet outil utilise deux « fenêtres temporelles » différentes. Une fenêtre observe le passé très récent pour capturer les mouvements rapides, tandis que l'autre regarde plus loin dans le passé pour comprendre les changements lents et constants. C'est comme avoir un assistant qui surveille les dernières secondes de près et un autre qui garde un œil sur la dernière minute, puis combine leurs notes.

Le mélangeur intelligent

Le système ne se contente pas de deviner quel outil est le meilleur ; il apprend à les mélanger parfaitement. Pour chaque articulation à chaque instant, le système décide à quel point il doit faire confiance à l'« Éclaireur Local » par rapport à l'« Analyste Voyageur dans le Temps ». Si une articulation effectue un mouvement complexe et de torsion, elle peut s'appuyer davantage sur les connexions locales. Si une articulation maintient simplement une pose, elle peut s'appuyer davantage sur l'historique à plus long terme. Cette « fusion adaptative » garantit que l'ordinateur utilise la bonne quantité d'informations pour la bonne situation.

Ce qu'ils ont découvert

Les chercheurs ont testé leur nouveau système sur deux ensembles de données célèbres : Human3.6M, qui présente des personnes se déplaçant dans un studio contrôlé, et MPI-INF-3DHP, qui présente des personnes se déplaçant dans des environnements réels désordonnés avec des arrière-plans et des éclairages différents.

Les résultats suggèrent que l'HSTGFormer est très efficace dans sa tâche. Sur l'ensemble de données Human3.6M, il a atteint un taux d'erreur (MPJPE) de 37,9 mm et une erreur alignée sur Procruste (P-MPJPE) de 31,5 mm. Ces chiffres figurent parmi les meilleurs rapports, ce qui signifie que les marionnettes 3D qu'il construit sont très proches des mouvements humains réels. Plus impressionnant encore, il a accompli cela en utilisant moins de ressources informatiques (paramètres et calculs) que beaucoup d'autres méthodes performantes. Par exemple, par rapport à un système similaire appelé TCPFormer, leur méthode utilise 46,5 % de calculs en moins par image tout en obtenant une précision similaire ou meilleure.

Lorsqu'il a été testé sur l'ensemble de données plus difficile, « in-the-wild » (en conditions réelles), MPI-INF-3DHP, le système a continué à être performant, réduisant l'erreur à 14,0 mm et atteignant un score élevé de 89,3 sur la métrique de l'aire sous la courbe (AUC). Cela suggère que le système est robuste pour gérer des situations complexes comme les occlusions (lorsque des parties du corps sont cachées derrière d'autres) et les mouvements rapides.

Pourquoi c'est important

L'article soutient qu'en cessant de séparer la « forme » et le « temps » pour les traiter plutôt comme un seul graphe connecté, les ordinateurs peuvent comprendre le mouvement humain de manière beaucoup plus naturelle. Les chercheurs ont montré que cette approche aide le système à mieux gérer les actions complexes comme « s'asseoir » ou « marcher avec un chien ». Ils ont même présenté un exemple préliminaire amusant où leur système, entraîné uniquement sur des humains, pouvait deviner les poses d'un robot et même d'une abeille, suggérant que cette façon de penser le mouvement pourrait être utile pour comprendre tous les types de choses en mouvement, pas seulement les humains.

En bref, l'HSTGFormer suggère que pour vraiment comprendre comment une personne se déplace, il faut regarder ses parties du corps et son historique de mouvement à la fois, dans un seul réseau d'informations connecté.

Résumé Technique : HSTGFormer

Énoncé du Problème

L'estimation de la pose humaine 3D monoculaire (HPE) vise à reconstruire les coordonnées 3D précises des articulations à partir d'images 2D. Bien que les méthodes basées sur les Transformers aient obtenu des performances solides en modélisant les dépendances spatiales et temporelles, les approches existantes organisent généralement le raisonnement spatial et temporel comme des étapes de propagation distinctes. Dans ces méthodes, les caractéristiques spatiales sont extraites au sein d'images individuelles, puis transmises aux modules temporels. Ce processus séquentiel comprime l'information structurelle au niveau de l'image avant la modélisation temporelle, ce qui peut affaiblir les interdépendances spatio-temporelles unifiées inhérentes au mouvement humain (par exemple, le mouvement couplé des genoux et des pieds à travers des pas de temps adjacents). De plus, de nombreuses méthodes existantes reposent sur des échelles temporelles fixes ou des mécanismes d'attention denses, ce qui peut s'avérer insuffisant pour modéliser diverses dynamiques articulaires (par exemple, les extrémités se déplaçant rapidement par rapport aux torses stables) et entraîne des coûts de calcul élevés.

Méthodologie

Les auteurs proposent HSTGFormer, un cadre de Transformer enrichi par les graphes qui reformule le raisonnement spatio-temporel comme une agrégation de graphes couplés localisés sur des nœuds de type articulation-temps. L'architecture se compose de deux branches complémentaires basées sur les graphes et d'un mécanisme de fusion :

1. Graphe Spatio-Temporel Hyper (HSTG)

L'HSTG répond à la limitation de la modélisation spatio-temporelle découplée en étendant les graphes de squelettes par image en voisinages temporels localisés.

Construction du Graphe : Au lieu de traiter les dimensions spatiales et temporelles séparément, l'HSTG définit un champ récepteur spatio-temporel local autour de chaque « ego-nœud » (une articulation spécifique à un instant donné). Il construit une matrice de support en utilisant le produit de Kronecker d'une matrice d'adjacence de squelette ( $A_{spa}$ ) et d'une matrice d'adjacence de bande temporelle ( $A_{tem}$ ).
Attention de Graphe Factorisée : Pour éviter le coût de calcul de la construction d'une carte d'attention dense $(T \times J) \times (T \times J)$ , l'HSTG emploie une approche factorisée. Il applique d'abord une attention spatiale contrainte par le squelette au sein de chaque image, suivie d'une attention temporelle locale sur les caractéristiques enrichies. Cela préserve les priors anatomiques tout en capturant la continuité du mouvement local sans construire un graphe global dense.

2. Graphe Temporel Adaptatif à Double Échelle (ADSTG)

Reconnaissant que différentes articulations nécessitent différents contextes temporels (par exemple, les extrémités rapides ont besoin d'indices à courte portée, tandis que les articulations stables bénéficient d'un contexte à longue portée), l'ADSTG modélise des dépendances temporelles adaptatives.

Construction de Graphe Dynamique : L'ADSTG construit des graphes dynamiques sur deux fenêtres temporelles complémentaires : courte portée et longue portée. Pour chaque nœud articulation-temps, il calcule les similitudes par produit scalaire avec des candidats temporels et conserve les $k$ candidats les plus similaires pour former des adjacences temporelles creuses et adaptatives au contenu.
Propagation à Double Échelle : Le module applique des réseaux de convolution sur graphes (GCN) temporels aux graphes dynamiques de courte et de longue portée.
Fusion Sensible aux Articulations : Une porte légère sensible à la topologie, basée sur le degré du squelette de chaque articulation, fusionne de manière adaptative les représentations temporelles de courte et de longue portée.

3. Fusion Adaptative par Nœud

Un module de fusion sensible au contexte intègre les sorties de l'HSTG et de l'ADSTG.

Il prédit des poids par nœud pour chaque nœud articulation-temps en concaténant la caractéristique du jeton avec le contexte au niveau de l'image (moyenné sur les articulations) et le contexte au niveau de l'articulation (moyenné sur le temps).
Un perceptron multicouche (MLP) léger suivi d'une couche Softmax détermine la contribution de chaque branche, permettant au modèle d'équilibrer le raisonnement couplé local et la modélisation des dépendances temporelles adaptatives en fonction du contexte de mouvement spécifique.
Un terme de régularisation d'équilibrage de charge est ajouté à la fonction de perte pour empêcher une voie de dominer le processus de fusion.

Contributions Clés

Cadre HSTGFormer : Un nouveau cadre de Transformer basé sur les graphes qui reformule la modélisation spatio-temporelle pour mieux capturer la continuité du mouvement et les dépendances structurelles, dépassant le paradigme séquentiel spatial-puis-temporel.
Graphe Spatio-Temporel Hyper (HSTG) : Une structure qui étend les graphes de squelettes vers des voisinages temporels localisés, permettant une modélisation de la continuité du mouvement local sensible à la structure tout en préservant les priors du squelette humain.
Graphe Temporel Adaptatif à Double Échelle (ADSTG) : Un module qui construit et fusionne des graphes temporels dynamiques sur des fenêtres de courte et de longue portée complémentaires, permettant une modélisation des dépendances temporelles adaptative et spécifique aux articulations.
Efficacité et Précision : La méthode proposée atteint une précision élevée avec une grande efficacité de calcul, en utilisant un mécanisme de fusion par nœud léger pour intégrer des représentations de graphes complémentaires.

Résultats Expérimentaux

Les auteurs ont évalué HSTGFormer sur deux benchmarks standards : Human3.6M et MPI-INF-3DHP.

Human3.6M : La méthode a atteint un P-MPJPE de 31,5 mm et un MPJPE de 37,9 mm. Cela représente une amélioration significative par rapport aux méthodes comparables partageant le même encodeur de base (ex. MotionAGFormer-L et TCPFormer). Notamment, HSTGFormer a obtenu ces résultats avec 59,5 % de paramètres en moins et 46,5 % de MACs/image en moins par rapport à TCPFormer.
MPI-INF-3DHP : La méthode a démontré une supériorité de généralisation dans divers environnements intérieurs et extérieurs, atteignant la meilleure performance globale avec une AUC de 89,3 et un MPJPE de 14,0 mm, surpassant TCPFormer et MotionAGFormer-L.
Études d'Ablation : Les expériences ont confirmé que l'HSTG et l'ADSTG contribuent tous deux de manière significative à la performance. Supprimer l'un ou l'autre module ou remplacer la fusion adaptative par nœud par des poids fixes a entraîné une dégradation mesurable des performances. L'étude a également souligné que l'attention de graphe factorisée est plus efficace que les MLP ou les GCN factorisés pour modéliser les dépendances articulaires structurées.
Analyse Qualitative : Les visualisations ont montré qu'HSTGFormer produit des poses plus cohérentes structurellement sous des articulations difficiles et des auto-occlusions. L'analyse du poids de corrélation a confirmé que le modèle prête attention aux articulations anatomiquement liées à travers des pas de temps proches, validant le raisonnement spatio-temporel couplé.

Signification et Revendications

L'article affirme qu'HSTGFormer répond à la limitation fondamentale des méthodes existantes en traitant le raisonnement spatial et temporel comme un processus unifié et couplé plutôt que comme des étapes séparées. En étendant les graphes de squelettes vers des voisinages temporels locaux, le cadre préserve l'information de mouvement structurelle locale qui est souvent perdue lors d'un traitement séquentiel.

Les auteurs soulignent que leur approche atteint un compromis précision-efficacité favorable. La méthode ne repose pas simplement sur l'augmentation de la capacité du modèle ou sur un pré-entraînement massif ; elle exploite plutôt des priors squelettiques explicites et un raisonnement basé sur les graphes pour capturer des dépendances complexes de manière plus efficace.

De plus, l'article note des visualisations préliminaires "zero-shot" sur des robots humanoïdes et des abeilles, suggérant que le mécanisme de raisonnement spatio-temporel enrichi par les graphes a un potentiel d'application au-delà de l'estimation de la pose humaine pour la modélisation d'autres structures articulées, bien que ceux-ci soient présentés comme des exemples illustratifs plutôt que des validations quantitatives.