Real-time body pose non-verbal communication with a consistency-based reliability measure

Résumé Technique : Communication non verbale par la posture corporelle en temps réel avec une mesure de fiabilité basée sur la cohérence

Énoncé du problème
L'article traite de la reconnaissance de l'intention communicative à partir de la seule pose corporelle 2D, ciblant spécifiquement les scénarios où les canaux faciaux et audio sont indisponibles ou peu fiables (ex. : communication à longue distance personne-robot, missions de sauvetage, surveillance respectueuse de la vie privée). Les ressources existantes ne parviennent pas à isoler ce signal : les corpus affectifs (ex. : MELD, IEMOCIA) entremêlent le mouvement corporel avec la parole et les expressions faciales, tandis que les benchmarks de reconnaissance d'actions squelettiques (ex. : NTU RGB+D 120) étiquettent des actions exécutées (marcher, s'asseoir) sur de longues fenêtres plutôt que sur les brèves séquences (1 à 2 secondes) qui véhiculent des intentions de communication spécifiques. De plus, les systèmes de gestes pour drones existants reposent sur de petits vocabulaires fixes de poses de commande plutôt que sur un espace plus riche et naturel d'intentions communicatives. Un fossé critique existe dans les jeux de données et les benchmarks ciblant la reconnaissance de l'intention communicative sous des contraintes de temps réel et de dispositifs embarqués. En outre, les systèmes déployables nécessitent non seulement de la précision, mais aussi un mécanisme pour signaler lorsqu'une prédiction est susceptible d'être incorrecte afin de prévenir les défaillances critiques pour la sécurité, pourtant les méthodes de calibration standard nécessitent souvent des données de validation étiquetées.

Méthodologie
Les auteurs proposent un cadre impliquant la création de jeux de données, le benchmarking de modèles et une nouvelle mesure de fiabilité non supervisée.

1. Création de données : Les auteurs publient un jeu de données (« Ours ») contenant 157 000 images réelles de pose corporelle complète couvrant 10 intentions communicatives (ex. : « viens vers moi », « désapprobation », « nous avons conclu un accord »). Celles-ci sont capturées à partir de vidéos humaines réelles en utilisant YOLO11-pose. Pour évaluer la généralisation et la difficulté, cela est comparé à quatre autres corpus :

   • IPC (Réel) : Un corpus multimodal à grande échelle (Seamless Interaction) avec 8 codes de circomplexe interpersonnel, servant de contrôle négatif où l'intention n'est pas récupérable par la seule motion 2D globale.
   • MotionLCM (Synthétique) : Généré via un modèle de cohérence latente (Latent Consistency Model), offrant des données à faible variance et haute séparabilité.
   • Kimodo (Synthétique) : Généré via SMPL-X, offrant une variance équilibrée.
   • VEO3.1 (Synthétique) : Données générées par texte-vers-vidéo, offrant une apparence photoréaliste à haute variance.
     Tous les jeux de données sont standardisés en séquences de 105 images de 17 points clés COCO 2D à 30 Hz.

2. Benchmarking de modèles : Douze modèles sont évalués sous des conditions d'entraînement identiques sur un matériel embarqué (NVIDIA Jetson Orin Nano). Les modèles sont classés en :

   • Reconnaissance seule : Classificateurs de graphes squelettiques (ST-GCN++, CTR-GCN, 2s-AGCN, EfficientGCN-B0).
   • Prévision-Reconnaissance conjointe : Architectures qui prédisent simultanément les trajectoires de mouvement futures et classent l'intention (MLP, LSTM, CNN-LSTM, Transformer, MotionMixer, POTR, InfoGCN++, PGBIG).
     La performance est mesurée par la précision (macro-F1), l'erreur de prévision de trajectoire (MAE) et la latence d'inférence (FPS).

3. Mesure de fiabilité basée sur la cohérence : L'article introduit une estimation de confiance sans étiquette ($c_{10}$) dérivée de l'auto-cohérence autorégressive d'un modèle. Le modèle prévoit son propre mouvement futur, réinjecte cette prévision comme entrée, et re-classifie la fenêtre de manière répétée pendant 10 étapes. Le score de cohérence est la fraction des étapes où l'étiquette prédite reste la même. Les auteurs fournissent une preuve théorique (Proposition 1) bornant la probabilité qu'une prédiction auto-cohérente soit correcte, montrant que cette probabilité augmente avec le nombre d'étapes cohérentes ($n$) mais est limitée par la séparabilité des classes ($f_r, f_g$).

Résultats clés

• Récupération de l'intention : L'intention communicative est récupérable à partir de la pose corporelle 2D sur le jeu de données « Ours ». Les modèles basés sur les graphes et récurrents (ex. : 2s-AGCN, CNN-LSTM) atteignent une précision (recall) de 90 à 100 % sur la plupart des intentions. Cependant, certaines intentions spécifiques comme « désapprobation », « viens vers moi » et « enthousiaste » présentent une ambiguïté inhérente sous projection 2D.
• Difficulté des jeux de données : Les jeux de données synthétiques (MotionLCM, Kimodo) sont facilement appris (précision proche du plafond) en raison de leur faible variance. VEO3.1 présente un défi plus important en raison du bruit photoréaliste. Le jeu de données IPC agit comme un cas d'échec ; les modèles atteignent une précision proche du hasard, confirmant que les codes de posture interpersonnelle ne sont pas récupérables de la motion 2D globale sans indices faciaux ou contextuels.
• Prévision vs Stabilité : Une faible erreur de prévision de trajectoire (MAE) ne garantit pas la robustesse. Les modèles qui minimisent la MAE ont tendance à trop lisser le mouvement. La stabilité de la déroulement autorégressif (la capacité d'un modèle à maintenir un mouvement intra-classe en consommant ses propres prédictions) est une métrique distincte et critique. CNN-LSTM et InfoGCN++ ont démontré une stabilité supérieure par rapport aux MLP et Transformers.
• Signal de fiabilité : Le score de cohérence $c_{10}$ est un signal de fiabilité calibré sur les jeux de données apprenables. Une haute cohérence est corrélée à une haute précision (jusqu'à 0,93 sur « Ours » et environ 1,0 sur les ensembles synthétiques). Crucialement, sur le jeu de données IPC où la tâche est impossible à apprendre, $c_{10}$ reste élevé mais se découple de la justesse, identifiant correctement le régime où la confiance n'est pas informative.
• Performance Edge : Les 12 modèles fonctionnent bien au-dessus de 30 FPS sur l'Orin Nano. La principale contrainte pour le déploiement est la précision, et non la latence. Les modèles à double tâche sont dominés en classification pure, mais offrent les capacités nécessaires de prévision et de fiabilité.

Signification et Revendications
L'article revendique trois contributions principales :

1. Jeu de données et Benchmark : Il comble une lacune en fournissant un jeu de données et un benchmark spécifiquement dédiés à l'intention communicative à partir de la pose corporelle seule, en contrastant les données réelles et synthétiques pour isoler la performance du modèle des artefacts du jeu de données.
2. Benchmarking conscient du matériel : Il fournit une comparaison exhaustive des architectures sur du matériel embarqué, établissant que la précision est le facteur limitant pour la communication personne-robot en temps réel sur appareil, et non la vitesse de calcul.
3. Fiabilité non supervisée : Il démontre que l'auto-cohérence autorégressive d'un modèle sert de signal de fiabilité valide et sans étiquette. L'article prouve que ce signal est informatif lorsque la tâche est apprenable et identifie correctement lorsqu'elle ne l'est pas (c'est-à-dire quand le modèle est sûrement dans l'erreur). Cela permet à un système de différer une action sur des prédictions incertaines, une caractéristique cruciale pour les applications liées à la sécurité.

Les auteurs concluent que la pose corporelle seule est un canal viable pour l'intention communicative sous des contraintes de déploiement, à condition que le système utilise l'auto-cohérence pour auditer sa propre fiabilité en temps réel. Ils notent les limites concernant la dépendance à la pose 2D (perte d'informations de profondeur) et la nécessité d'une évaluation supplémentaire à grande échelle dans des scénarios réels à longue portée.