Scriboora: Rethinking Human Pose Forecasting

Ce papier présente Scriboora, une étude qui établit un pipeline unifié pour la prévision de poses humaines, démontre l'efficacité de l'adaptation de modèles de traitement de la parole à cette tâche pour atteindre l'état de l'art, et évalue la robustesse des modèles face au bruit des estimateurs de pose grâce à une nouvelle variation de jeu de données et un réglage fin non supervisé.

L'essentiel

🎭 Le Grand Jeu de la Prédiction de Mouvement

Imaginez que vous êtes un directeur de théâtre. Votre rôle est de regarder les acteurs qui jouent une scène (les mouvements passés) et de deviner exactement ce qu'ils vont faire dans les 10 prochaines secondes (les mouvements futurs). C'est ce qu'on appelle la prédiction de la pose humaine.

Cela sert à plein de choses : pour qu'une voiture autonome sache si un piéton va traverser la rue, ou pour qu'un robot puisse danser avec un humain sans le bousculer.

Mais il y a un gros problème dans ce domaine : c'est un peu le "Far West". Chaque chercheur utilise ses propres règles, ses propres outils de mesure et ses propres données. C'est comme si chaque chef cuisinier utilisait une tasse à café différente pour mesurer le sucre : on ne peut pas vraiment comparer qui fait le meilleur gâteau.

🔍 L'Enquête : "Est-ce que ça marche vraiment ?"

Les auteurs de cet article (Daniel, Alexander et Wolfgang) ont décidé de faire le ménage. Ils ont pris une vingtaine de méthodes différentes, les ont toutes mises dans la même cuisine (le même jeu de données, les mêmes règles) et ont vu ce qui se passait.

Leur première découverte ? Beaucoup de résultats annoncés dans les articles précédents ne tenaient pas la route une fois qu'on appliquait des règles strictes. C'est comme si un athlète avait battu un record en courant sur un tapis roulant, mais qu'on lui demandait ensuite de courir sur du sable.

🗣️ L'Idée Géniale : "Parler" avec le corps

C'est ici que l'histoire devient fascinante. Les chercheurs se sont demandé : "Et si on utilisait des modèles conçus pour comprendre la parole humaine, pour comprendre le mouvement du corps ?"

C'est une analogie brillante :

• La parole : Une suite de sons (mots) qui forment une phrase.
• Le mouvement : Une suite de positions (articulations) qui forment une action.

Ils ont pris des modèles d'intelligence artificielle très puissants, conçus pour transformer la parole en texte (comme un sous-titrage automatique), et leur ont dit : "Au lieu de lire des mots, lis les mouvements du corps."

Ils ont baptisé leur meilleure création "Scriboora" (un jeu de mot avec "Scribe", celui qui écrit).

• Le résultat ? Ces modèles "parleurs" sont devenus d'excellents "danseurs". Ils ont battu tous les spécialistes du mouvement, tout en étant très rapides (temps réel). C'est comme si on avait demandé à un grand pianiste de jouer du violon, et qu'il s'est révélé être un virtuose.

🌧️ Le Problème de la "Vie Réelle" (Le Brouillard)

Jusqu'à présent, ces modèles étaient entraînés avec des données parfaites, comme si les acteurs étaient filmés dans un studio avec des capteurs magiques. Mais dans la vraie vie ?

• Les caméras sont floues.
• La lumière change.
• Les logiciels de détection de mouvement font des erreurs (comme un nez qui se déplace de quelques millimètres).

C'est comme essayer de lire un livre sous la pluie : le texte est là, mais il y a des gouttes qui brouillent les lettres.

Les chercheurs ont testé leurs modèles avec ces données "sales" (bruitées). Résultat catastrophique : Les performances s'effondrent. Le modèle, habitué au silence parfait du studio, panique dès qu'il y a un peu de bruit.

🛠️ La Solution : L'Entraînement "Sur le Terrain"

Heureusement, ils ont trouvé une astuce pour sauver la mise. Au lieu de rejeter le modèle, ils l'ont réentraîné (finetuning) directement avec les données bruyantes de la vraie vie.

Imaginez un pilote d'avion qui a toujours volé dans un simulateur parfait. Pour le préparer à la réalité, on le fait voler dans un avion réel, avec du vent et des turbulences. Après un court moment d'adaptation, il devient beaucoup plus robuste.

Grâce à cette méthode, le modèle "Scriboora" a récupéré la plupart de ses performances perdues. Il est devenu capable de prédire le mouvement même si la caméra est un peu mauvaise.

🚀 En Résumé : Ce qu'il faut retenir

1. On a nettoyé le terrain : Les chercheurs ont créé des règles communes pour comparer les modèles de façon juste.
2. On a changé d'outil : Ils ont utilisé des modèles de langage (pour la parole) pour prédire le mouvement, et ça marche mieux que les méthodes spécialisées.
3. On a testé la réalité : Ils ont montré que les modèles actuels échouent souvent avec des données réelles (bruitées).
4. On a trouvé la parade : Un petit entraînement supplémentaire sur des données réelles permet de rendre le système robuste et prêt pour le monde réel.

L'analogie finale : C'est comme passer d'un élève qui apprend la théorie dans un livre silencieux, à un élève qui sort dans la rue, écoute le bruit, et apprend à naviguer dans le chaos tout en restant précis. C'est une étape cruciale pour que les robots et les voitures autonomes puissent enfin interagir avec nous en toute sécurité.

Résumé technique

1. Problématique

La prévision de la pose humaine (Human Pose Forecasting) vise à prédire les mouvements futurs d'un individu à partir d'observations passées. Cette tâche est cruciale pour des applications telles que la reconnaissance d'actions, la conduite autonome et l'interaction humain-robot.

Cependant, l'état de l'art actuel souffre de plusieurs limitations majeures identifiées par les auteurs :

• Manque de reproductibilité : Les comparaisons entre les modèles sont souvent biaisées par des prétraitements hétérogènes, des implémentations de métriques incohérentes et des codes partiellement publiés.
• Évaluation irréaliste : La plupart des études utilisent des données de capture de mouvement (Motion Capture) "propres" (ground-truth), ignorant le bruit réel introduit par les estimateurs de pose sans marqueurs (pose estimators) utilisés dans le monde réel.
• Absence de métriques temps réel : Les modèles sont évalués sur leur précision, mais rarement sur leur latence, alors que la prévision doit être effectuée en temps réel pour être utile.
• Limitation des approches relatives : De nombreuses méthodes prédisent des poses relatives (déplacements locaux) plutôt que des poses absolues (trajectoires globales), nécessitant des systèmes complexes en cascade pour obtenir une position mondiale.

2. Méthodologie

Les auteurs proposent une étude pratique et unifiée pour réévaluer la prévision de pose absolue.

A. Audit de reproductibilité et Pipeline Unifié

• Les auteurs ont réimplémenté et réévalué une large gamme d'algorithmes existants (basés sur des graphes, des transformeurs, des MLP) sous un protocole d'entraînement et d'évaluation unifié.
• Ils ont converti des modèles conçus pour la prévision relative en prévision absolue en modifiant le pipeline d'entrée (soustraction du centre de hanche pour l'entraînement, réajout pour l'inférence) afin de prédire directement les coordonnées globales.

B. Approche Transversale : Du Traitement de la Parole à la Pose

L'idée centrale de Scriboora est d'appliquer une analogie de haut niveau : la prévision de pose est un problème de transformation de séquence à séquence, similaire à la reconnaissance vocale (Speech-to-Text).

• Adaptation des modèles de parole : Les auteurs ont adapté des architectures de modèles de parole modernes (DeepSpeech, QuartzNet, Conformer, Squeezeformer) pour traiter des séquences de coordonnées de joints au lieu de spectres audio.
• MotionConformer : En partant de l'architecture Conformer (qui combine convolutions et attention pour capturer des motifs locaux et globaux), ils ont optimisé le modèle pour la tâche de pose :
  • Ajustement des dimensions cachées et des formes de filtres.
  • Suppression des couches BatchNorm (nuisibles à l'entraînement).
  • Déplacement de la sous-échantillonnage temporel de l'entrée vers la sortie pour conserver plus d'informations.
  • Augmentation de la taille du modèle pour améliorer la précision.

C. Nouvelles Métriques Temps Réel

Pour évaluer la pertinence opérationnelle, deux nouvelles métriques sont introduites :

1. FADE (Forecast After Delay Error) : Prend en compte le temps de calcul. Si la prédiction prend du temps, l'erreur est pénalisée car la fenêtre de prédiction effective est réduite.
2. FCE (Fast Change Error) : Évalue la capacité du modèle à réagir aux changements brusques de direction ou de mouvement, en se basant sur la vitesse maximale de déplacement des membres humains (norme ISO 13855).

D. Évaluation avec du Bruit Réaliste

Au lieu d'ajouter du bruit gaussien synthétique (qui ne reflète pas les erreurs structurelles des estimateurs de pose), les auteurs ont créé une nouvelle variation du jeu de données Human3.6m :

• Les coordonnées des joints sont générées par un estimateur de pose d'état de l'art (RapidPoseTriangulation) appliqué aux images d'entrée.
• Cela simule les erreurs réelles (joints manquants, déformations structurelles) rencontrées dans les applications sans marqueurs.
• Une stratégie de finetuning non supervisé est proposée pour adapter les modèles pré-entraînés à ce bruit spécifique.

3. Résultats Clés

• Performance SOTA : Le modèle MotionConformer (adapté de la reconnaissance vocale) atteint les meilleurs résultats sur les jeux de données Human3.6m et CMU-MoCap, surpassant les méthodes spécialisées en prévision de pose (comme EqMotion, JRTransformer, EMPMP) en termes de précision (MPJPE) et de vitesse.
  • Sur Human3.6m (1000ms) : MPJPE de 143 mm (contre 148-160 mm pour les meilleurs modèles précédents) avec une inférence très rapide (929 FPS).
• Généralisation : Les modèles de parole montrent une excellente capacité de généralisation à la tâche de mouvement, prouvant que l'architecture de base (Conformer) est plus robuste que les architectures spécialisées en graphes pour cette tâche.
• Prévision Multi-personnes : Le modèle MotionConformer a été étendu avec succès à la prévision d'interactions entre deux personnes sur le jeu de données CHi3D, obtenant un MPJPE de 191 mm (après transfert depuis Human3.6m).
• Impact du Bruit et Finetuning :
  • L'utilisation de coordonnées bruitées (issues d'un estimateur) dégrade sévèrement les performances des modèles entraînés sur des données propres (augmentation de l'erreur de ~50 mm à >100 mm).
  • Le finetuning non supervisé sur les données bruitées permet de récupérer la majeure partie de la performance perdue, réduisant l'erreur de prédiction réelle de manière significative.

4. Contributions Principales

1. Audit de reproductibilité : Une réévaluation rigoureuse des modèles existants sous un protocole unique, révélant des erreurs d'évaluation et des incohérences dans la littérature.
2. Scriboora (MotionConformer) : Une nouvelle approche SOTA qui transpose les modèles de reconnaissance vocale vers la prévision de pose, offrant un excellent compromis précision/vitesse en temps réel.
3. Évaluation réaliste : Introduction d'une évaluation basée sur des données bruitées réelles (issues d'estimateurs de pose) et non de bruit synthétique, avec une méthode efficace de récupération de performance via le finetuning.
4. Nouvelles métriques : Définition de FADE et FCE pour évaluer la viabilité temps réel des algorithmes.
5. Open Source : Mise à disposition du code, des données prétraitées et des modèles entraînés pour favoriser la recherche future.

5. Signification et Impact

Cet article marque un tournant dans la recherche sur la prévision de pose humaine en passant d'une approche purement architecturale (création de nouveaux réseaux de graphes) à une approche plus holistique intégrant la reproductibilité, l'efficacité computationnelle et la réalité du déploiement.

La démonstration que des modèles de parole peuvent surpasser les modèles spécialisés en vision par ordinateur pour cette tâche suggère que les problèmes de séquence à séquence partagent des propriétés fondamentales, indépendamment du domaine (audio vs mouvement). De plus, l'accent mis sur le bruit réel et le finetuning non supervisé fournit une feuille de route pratique pour le déploiement de ces systèmes dans des environnements réels (robots, voitures autonomes), où les données d'entrée sont inévitablement imparfaites.