Label-Efficient Transfer Learning for Human Action Recognition Using Pretrained VideoMAE

Dans le monde de la vision par ordinateur, apprendre aux machines à comprendre le mouvement humain a longtemps été un casse-tête d'une immense complexité. Pendant des décennies, les chercheurs ont tenté de construire des systèmes capables de regarder une vidéo et d'identifier ce qu'une personne est en train de faire, qu'il s'agisse d'un service au tennis, d'une poignée de main ou d'une chute. Les premières tentatives reposaient sur des règles conçues à la main, où les ingénieurs définissaient manuellement l'apparence du mouvement, mais ces systèmes échouaient souvent lorsque l'angle de la caméra changeait ou que l'arrière-plan devenait encombré. Le domaine a basculé avec l'arrivée de l'apprentissage profond (deep learning), permettant aux ordinateurs d'apprendre ces motifs directement à partir de données vidéo brutes. Cependant, cette nouvelle approche est arrivée avec un prix élevé : elle nécessitait des quantités massives de vidéos étiquetées, où des humains devaient visionner péniblement des heures de séquences et marquer chaque action. Ce processus est lent, coûteux et souvent impossible pour des tâches spécialisées où les experts sont rares. Pour résoudre cela, les scientifiques se sont tournés vers l'apprentissage auto-supervisé, une méthode où un ordinateur apprend à partir de vastes océans de vidéos non étiquetées en essayant de prédire les parties manquantes de l'image, s'enseignant ainsi lui-même la structure du mouvement sans l'aide de l'homme. La question qui subsiste est de savoir si ces systèmes auto-appris sont réellement prêts pour le monde réel, où les données étiquetées sont souvent limitées, ou s'ils ont encore besoin d'une main humaine pesante pour fonctionner correctement.

Un chercheur du Siddaganga Institute of Technology en Inde s'est donné pour mission de répondre à cette question en testant un type spécifique de modèle auto-supervisé appelé VideoMAE. Imaginez un étudiant qui aurait lu tous les livres d'une bibliothèque mais n'aurait jamais passé d'examen ; le chercheur voulait voir si cet étudiant pouvait répondre à des questions d'examen s'il ne recevait que quelques exemples de réponses pour étudier. Dans son étude, il a utilisé un modèle VideoMAE pré-entraîné, qui avait déjà appris à comprendre la vidéo en reconstruisant des sections masquées de milliers de clips non étiquetés. Il a « gelé » le cerveau de ce modèle pour qu'il ne puisse rien apprendre de nouveau, et y a attaché un classificateur simple et léger par-dessus. Cette configuration lui a permis de tester la compréhension brute de l'action humaine en lui injectant différentes quantités de données étiquetées, allant d'une infime fraction jusqu'au jeu de données complet. Il a testé cette approche sur deux références bien connues pour la reconnaissance d'actions humaines : UCF101, qui contient un ensemble diversifié de sports et d'activités quotidiennes, et HMDB51, une collection plus difficile de clips provenant de films et de bases de données publiques présentant des mouvements de caméra complexes et des arrière-plans variés.

Les résultats ont révélé une voie claire et pratique pour l'utilisation de ces modèles avancés. Lorsque le chercheur a donné au système seulement dix pour cent des données étiquetées disponibles, celui-ci a tout de même réussi à identifier les actions avec une précision remarquable. Sur l'ensemble de données UCF101, le modèle a atteint un taux de reconnaissance de près de quatre-vingt-huit pour cent avec seulement cette petite tranche d'exemples étiquetés. À mesure qu'ils augmentaient la quantité de données étiquetées à vingt-cinq pour cent, puis cinquante pour cent, la précision augmentait régulièrement, dépassant les quatre-vingt-douze pour cent lorsque l'ensemble des données était utilisé. La découverte la plus significative, cependant, n'était pas seulement que le modèle fonctionnait avec peu de données, mais que les bénéfices de l'ajout de données commençaient à s'estomper rapidement. Une fois que le système avait accès à la moitié des échantillons d'entraînement étiquetés, l'ajout de l'autre moitié ne produisait qu'une amélioration très faible des performances. Cela suggère que le pré-entraînement auto-supervisé avait déjà capturé la grande majorité des informations visuelles et temporelles nécessaires pour comprendre le mouvement humain, laissant au simple classificateur très peu de travail pour s'adapter à la tâche spécifique.

L'histoire était légèrement différente, mais tout aussi révélatrice, lorsque le chercheur a testé l'ensemble de données plus difficile HMDB51. Parce que ces vidéos étaient plus désordonnées, avec des caméras instables et des arrière-plans complexes, le modèle a commencé avec une précision plus faible d'environ cinquante-deux pour cent en utilisant seulement dix pour cent des étiquettes. Cependant, à mesure qu'ils ajoutaient des données étiquetées, le système s'améliorait de manière beaucoup plus spectaculaire que sur l'ensemble de données plus facile, atteignant finalement une précision de plus de soixante-trois pour cent avec une supervision complète. Cela indiquait que, bien que la fondation auto-supervisée soit solide, plus l'environnement réel est chaotique et complexe, plus l'apport de quelques exemples étiquetés supplémentaires devient précieux. Malgré cela, le système a tout de même atteint un haut niveau de performance avec seulement la moitié des données, prouvant que le modèle auto-appris avait appris une représentation robuste de l'action capable de gérer une grande variété visuelle sans avoir besoin d'un guide manuel complet.

Au-delà des scores finaux, le chercheur a examiné de près la façon dont le système apprenait et les ressources qu'il consommait. Il a constaté que le processus d'entraînement était stable et prévisible à tous les niveaux de supervision, le modèle convergeant de manière fluide sans comportement erratique. En termes de puissance de calcul, l'approche était hautement efficace. Comme la partie principale du modèle était gelée et que seule la petite couche supérieure était entraînée, la quantité de mémoire informatique requise restait presque constante, quel que soit le volume de données étiquetées utilisé. Le temps nécessaire à l'entraînement augmentait avec davantage de données, simplement parce que l'ordinateur devait traiter plus d'exemples, mais l'empreinte mémoire ne croissait pas. Cela signifie que la méthode est évolutive et ne demande pas de mises à niveau matérielles coûteuses pour gérer un ensemble de données plus large. L'étude a également examiné les actions que le modèle a mal identifiées, trouvant que les erreurs étaient principalement concentrées dans les mouvements visuellement similaires, une limitation naturelle lorsqu'on cherche à distinguer des variations subtiles du mouvement humain.

En fin de compte, ce travail démontre que l'ère nécessitant des ensembles de données vidéo massifs et parfaitement étiquetés pour chaque nouvelle application pourrait toucher à sa fin. Le chercheur a montré qu'un modèle entraîné sur des vidéos non étiquetées peut servir de fondation puissante pour la reconnaissance des actions humaines, ne nécessissant qu'une fraction de l'effort d'étiquetage manuel pour atteindre des performances élevées. Les conclusions suggèrent que pour de nombreuses applications pratiques, telles que la surveillance de la sécurité dans les usines ou l'analyse des techniques sportives, les organisations peuvent compter sur ces systèmes pré-entraînés pour fournir des résultats précis sans le coût prohibitif de l'annotation de chaque image vidéo. Bien que les ensembles de données les plus difficiles bénéficient encore d'exemples étiquetés supplémentaires, la capacité de base est déjà présente dans le modèle auto-supervisé, offrant une solution pratique et économe en ressources pour apporter la compréhension vidéo intelligente au monde réel.