Skeleton-based Zero-Shot Spatio-Temporal Action Localization via Weakly-Supervised Pretraining

Dans le monde de la vision par ordinateur, apprendre aux machines à comprendre le mouvement humain est un défi fondamental aux implications profondes pour la robotique, la sécurité et la surveillance automatisée. Pendant des décennies, les chercheurs se sont appuyés sur deux stratégies principales pour résoudre ce casse-tête. La première stratégie observe l'ensemble de la scène, analysant les couleurs, l'éclairage et l'arrière-plan pour deviner ce qui se passe. La seconde stratégie ignore totalement le décor, se concentrant uniquement sur le squelette mobile d'une personne — l'agencement spécifique des articulations et des membres. Bien que la première approche soit intuitive, elle échoue souvent lorsque l'arrière-plan change ou que l'éclairage est médiocre. La seconde approche, qui suit le squelette, est bien plus robuste face à ces changements environnementaux, mais elle a historiquement souffert d'un problème différent : elle nécessite une énorme quantité de travail humain pour être enseignée. Pour apprendre à un ordinateur à reconnaître une action spécifique, comme une chute ou une bagarre, les chercheurs devaient traditionnellement dessiner méticuleusement des boîtes autour de chaque personne dans chaque image de milliers de vidéos et étiqueter exactement ce qu'elles faisaient. Ce processus est si coûteux et chronophage qu'il limite la capacité d'enseigner de nouvelles actions aux ordinateurs rapidement.

Une équipe de chercheurs a maintenant développé une nouvelle méthode qui contourne ce lourd fardeau de l'étiquetage manuel, permettant aux ordinateurs d'apprendre à repérer de nouvelles actions sans avoir vu un seul exemple de celles-ci auparavant. Leur approche, détaillée dans une étude récente, introduit un système qui apprend à partir de descriptions vidéo générales et larges plutôt que d'annotations image par image. Au lieu de se faire dire « cette personne donne un coup de poing à cette seconde exacte », le système est entraîné sur des vidéos entières avec des étiquettes textuelles simples décrivant l'activité générale, telles que « jouer au golf » ou « conduire ». En utilisant une technique qui aligne les données visuelles des squelettes humains avec les descriptions textuelles des actions, le système apprend un langage universel du mouvement. Une fois entraîné, il peut regarder une vidéo contenant des personnes effectuant une action qu'il n'a jamais vue auparavant et identifier avec précision à la fois qui le fait et ce qu'elles font. Les chercheurs ont démontré que cette méthode égale non seulement la précision des systèmes entraînés avec de vastes quantités d'étiquettes détaillées, mais qu'elle s'avère également nettement plus résiliente lorsque la qualité de la vidéo est médiocre ou que l'arrière-plan est encombré.

Le cœur de cette innovation réside dans un changement ingénieux de la manière dont l'ordinateur traite l'information, un mécanisme que les auteurs appellent le « Skeleton-Language feature Pooling Switching » (Commutation de regroupement des caractéristiques squelette-langage). Imaginez un système qui apprend d'abord à comprendre l'ambiance générale d'une pièce en écoutant un résumé de la conversation, puis, lorsqu'on lui demande d'identifier un interlocuteur spécifique, change de mode pour se concenter sur l'écoute des voix individuelles. Lors de la phase d'entraînement, l'ordinateur regarde une vidéo et rassemble toutes les données de squelettes de tout le monde dans le clip en un seul résumé. Il compare ensuite ce résumé à l'étiquette textuelle fournie pour l'ensemble de la vidéo. Cela permet au système d'apprendre la connexion entre un type de mouvement et un mot sans avoir besoin de savoir exactement qui bouge ou quand. Cependant, lorsque le système passe à la phase de test, il change de rythme. Il cesse de regarder la vidéo dans sa globalité et isole chaque squelette de personne individuellement. Parce qu'il a déjà appris la connexion entre les modèles de mouvement et les mots durant la phase d'entraînement, il peut maintenant regarder le squelette d'une seule personne et demander : « Est-ce que cela ressemble à la description textuelle de 'frapper' ? ». Ce basculement permet au système de localiser des actions spécifiques pour des personnes spécifiques sans même avoir été confronté à une vidéo où ces personnes précises étaient étiquetées.

Pour faire fonctionner cela dans des scènes complexes où plusieurs personnes bougent en même en temps, les chercheurs ont dû résoudre un problème délicat : comment apprendre à l'ordinateur à distinguer différentes personnes alors qu'il ne reçoit qu'une seule étiquette pour toute la vidéo. Si une vidéo montre une personne courir et une autre marcher, et que l'étiquette est simplement « exercice », l'ordinateur pourrait se tromper sur quel mouvement appartient à quelle étiquette. Pour y remédier, l'équipe a introduit une technique appelée « Scene-Mixed Discriminative Contrastive Learning » (Apprentissage contrastif discriminatif par mélange de scènes). Cette méthode prend des extraits de différentes vidéos et les mélange artificiellement pendant le processus d'entraînement. En créant un environnement chaotique où plusieurs actions se produisent côte à côte, le système est forcé d'apprendre les subtiles différences entre elles. Il apprend à distinguer le mouvement d'une personne qui court de celui d'une personne qui saute, même lorsqu'ils apparaissent dans le même contexte mélangé. Cela garantit que lorsque le système rencontre une vidéo réelle avec plusieurs personnes, il peut assigner avec confiance la bonne action à la bonne personne.

Les résultats de cette approche ont été testés par rapport à plusieurs ensembles de données standards utilisés pour évaluer la capacité des ordinateurs à trouver et étiqueter des actions dans des vidéos. Sur un ensemble de données contenant vingt-quatre actions différentes, la nouvelle méthode a atteint une précision de 34,1 %, surpassant les méthodes de supervision faible précédentes qui reposaient sur des entraînements moins sophistiqués. Plus impressionnant encore, lors d'un test sur un ensemble de données spécifiquement conçu pour suivre les chutes de personnes, le nouveau système a atteint une précision de 73,3 %, battant nettement les méthodes existantes qui reposent sur le suivi de la position des personnes au fil du temps. Les chercheurs ont également constaté que leur système était bien plus robuste à une mauvaise qualité vidéo. Lorsque les vidéos d'entrée étaient floues ou présentaient des images manquantes, les performances des systèmes reposant sur l'apparence visuelle chutaient brutalement, tandis que le système basé sur le squelette maintenait sa haute précision. Cela suggère qu'en se concentrant sur la structure du corps plutôt que sur l'aspect de la scène, le système peut fonctionner de manière fiable dans les conditions réelles où les caméras peuvent être instables ou l'éclairage sombre.

Une autre découverte critique concerne l'efficacité du système. Alors que de nombreux modèles d'intelligence artificielle modernes capables de comprendre la vidéo et le texte nécessitent des milliards de paramètres et une puissance de calcul massive pour fonctionner, cette nouvelle méthode opère avec un modèle ne contenant qu'environ 70 millions de paramètres. Bien que beaucoup plus petit, il a atteint une précision de 84,0 % sur un ensemble de données d'actions violentes, surpassant des modèles beaucoup plus grands et complexes. De plus, le système est incroyablement rapide, traitant la vidéo à un taux d'environ 1900 images par seconde, ce qui est environ 240 fois plus rapide que certains des grands modèles de langage utilisés pour des tâches similaires. Cette combinaison de haute précision, de faible coût computationnel et de la capacité d'apprendre de nouvelles actions sans réentraînement coûteux suggère une voie pratique pour le déploiement de systèmes de surveillance intelligente et de systèmes robotiques capables de s'adapter à de nouvelles situations sans nécessiter une équipe d'humains pour étiqueter des données pendant des semaines.

L'étude conclut qu'en déplaçant l'attention de l'étiquetage coûteux image par image vers un processus d'apprentissage guidé par le texte plus flexible, il est possible de construire des systèmes qui comprennent l'action humaine avec un niveau de sophistication auparavant réservé aux modèles fortement supervisés. Les chercheurs ont démontré qu'il est possible d'entraîner un ordinateur à reconnaître des actions inédites en lui enseignant la relation entre les mouvements du corps et le langage, plutôt qu'en le forçant à mémoriser chaque variation possible d'un événement spécifique. Cette approche réduit non seulement le coût et le temps nécessaires au développement de nouveaux systèmes de reconnaissance d'actions, mais elle crée également des modèles plus robustes et adaptables à la nature désordonnée et imprévisible du monde réel. À mesure que la technologie mûrira, elle pourrait permettre une nouvelle génération d'applications qui surveillent la sécurité, assistent l'analyse sportive ou guident les robots, le tout sans le coût prohibitif de l'annotation manuelle des données qui a longtemps été un goulot d'étranglement dans le domaine.