GaitFace: A Multimodal Dataset for Long-Range Person Identification

Imaginez que vous essayez de reconnaître un ami lors d'un festival de musique bondé. S'il se tient juste à côté de vous, vous pouvez voir son sourire, la couleur de ses yeux et la façon dont il penche la tête. C'est ainsi que fonctionne la majeure partie de la technologie actuelle de « reconnaissance faciale » : elle a besoin d'une photo nette et rapprochée pour être sûre de votre identité. Mais que se passe-t-il si votre ami se trouve à 100 mètres de vous, derrière une clôture, et que l'air est brumeux ? Soudain, son visage n'est plus qu'une petite tache floue. Dans le monde de la sécurité et du contrôle des frontières, c'est un casse-tête majeur. Les caméras de surveillance doivent souvent surveiller des personnes de loin, là où la qualité de l'image est médiocre, où la météo est mauvaise, et où la personne peut marcher, porter un sac ou porter une veste différente de d'habitude. Les scientifiques appellent cela l'« identification de personnes à longue portée ». Ils étudient également la façon dont les gens marchent, appelée la « démarche » (gait), car même si vous ne voyez pas un visage clairement, la façon dont quelqu'un bouge ses jambes peut parfois permettre de l'identifier. La grande question est la suivante : les ordinateurs peuvent-ils toujours distinguer qui est qui lorsque l'image est granuleuse, que la distance est immense et que la personne est en mouvement ?

Ce document présente un nouvel outil appelé GaitFace, qui est comme une immense salle de sport réaliste pour les programmes informatiques qui tentent d'identifier des personnes de loin. Les chercheurs ont construit un ensemble de données spécial (une collection de données) pour tester la capacité des technologies actuelles à gérer ces scénarios difficiles et « en conditions réelles ». Ils ont découvert que, bien que nos meilleurs modèles informatiques soient excellents pour reconnaître les visages lorsqu'ils disposent d'une photo de haute qualité et zoomée, ils s'effondrent littéralement lorsque l'image est à basse résolution et prise de loin. Plus surprenant encore, les modèles qui sont habituellement les plus « intelligents » et les plus complexes sont souvent ceux qui échouent le plus durement dans ces conditions, tandis que certains modèles plus simples et plus légers s'en sortent un peu mieux. Le document montre également que les schémas de marche (la démarche) sont incroyablement difficiles à reconnaître de loin lorsque les vêtements ou les accessoires de la personne changent. Le point principal est que nous n'avons pas encore de solution parfaite ; les systèmes actuels sont très fragiles lorsque la vue est mauvaise, et nous avons besoin d'une technologie bien meilleure pour rendre la sécurité frontalière et la surveillance fiables sans avoir besoin de photos parfaites et rapprochées.

L'histoire de GaitFace

Considérez l'état actuel des caméras de surveillance comme un détective essayant de résoudre un mystère en utilisant seulement un cliché flou. Les auteurs de ce document ont décidé de construire une « boîte à mystères » de données pour voir exactement à quel point le flou est important et comment nos détectives numériques le gèrent. Ils ont créé GaitFace, un ensemble de données public qui combine deux types d'indices : les visages et la façon dont les gens marchent (la démarche).

La configuration a été conçue pour imiter un véritable passage de frontière, mais avec une particularité. Imaginez un voyageur arrivant à une station. D'abord, il prend un selfie avec son propre téléphone. C'est la phase de « pré-enrôlement » — une photo claire et de haute qualité de qui il est. Ensuite, le voyageur marche à l'extérieur sur un chemin. Pendant qu'il marche, il est filmé sous deux angles différents : l'un au niveau du sol (comme un garde de sécurité se tenant à proximité) et l'autre depuis le troisième étage d'un bâtiment (comme une caméra montée en haut d'un poteau). Il parcourt ce chemin jusqu'à 100 mètres des caméras.

Les chercheurs n'ont pas seulement fait marcher les voyageurs normalement. Pour en faire un véritable test, ils ont ajouté du « chaos ». Les participants marchaient en téléphonant, en portant un sac à dos, en portant une veste différente ou simplement en marchant normalement. Ils ont fait cela sur deux jours différents, à des semaines d'intervalle, pour voir si l'ordinateur pouvait toujours les reconnaître lorsque leurs cheveux changeaient ou lorsque le temps était pluvieux au lieu d'être ensoleillé. Au total, ils ont enregistré 70 personnes, créant environ 2,7 To de données vidéo et d'images.

Le grand test : Qu'est-ce qui s'est passé ?

Les chercheurs ont pris les ordinateurs de reconnaissance faciale et de marche les plus avancés (appelés « modèles ») et les ont jetés dans ces données désordonnées et réalistes. Voici ce qu'ils ont découvert :

1. La magie du « Zoom » contre la réalité du « Flou »
Lorsque les caméras utilisaient un zoom optique puissant pour obtenir une image claire et de haute qualité à 100 mètres de distance, les ordinateurs étaient fantastiques. Ils pouvaient identifier les personnes avec une très grande précision, presque comme si la personne se tenait juste devant eux. Cependant, dès qu'ils retiraient le zoom et utilisaient l'objectif normal de la caméra, les résultats étaient un désastre.

• Sans le zoom, le visage d'une personne à 100 mètres ne mesurait qu'environ 18 par 22 pixels. C'est plus petit qu'un timbre-poste !
• Dans ce mode de basse qualité, les meilleurs ordinateurs avaient du mal à faire la différence entre une vraie personne et un étranger. Leur précision chutait tellement bas qu'ils étaient à peine meilleurs que le hasard.
• Curieusement, les chercheurs ont constaté que des modèles informatiques plus simples et plus légers (comme EdgeFace) réussissaient parfois mieux que les modèles massifs et complexes. Il semble que les grands modèles soient confus par le manque de détails, tandis que les plus petits sont plus flexibles.

2. La surprise de la « Marche vers la caméra »
Les chercheurs ont également testé ce qui se passe lorsqu'une personne marche de 100 mètres jusqu'à 3 mètres de distance.

• À l'extrémité lointaine (100 m), les ordinateurs étaient presque aveugles.
• À mesure que la personne se rapprochait, les ordinateurs devenaient meilleurs, mais l'amélioration n'était pas fluide. Même lorsqu'une personne était relativement proche, si le système de sécurité était réglé pour être très strict (pour éviter les fausses alertes), les ordinateurs échouaient encore à reconnaître de nombreuses personnes.
• Cela a montré que le simple fait d'attendre que quelqu'un se rapproche n'est pas une solution parfaite ; le système doit être capable de gérer aussi les moments de flou.

3. Le puzzle de la marche (Gait)
Reconnaître la façon dont quelqu'un marche est censé être un plan de secours lorsque les visages sont trop flous. Mais le test GaitFace a montré que c'est aussi très difficile.

• Lorsque l'angle de la caméra changeait (du sol au 3ème étage) ou lorsque la personne changeait de vêtements ou portait un sac, les ordinateurs étaient très confus.
• Les meilleurs modèles n'obtenaient qu'environ 20 % à 28 % de réussite dans les scénarios les plus faciles, et la performance chutait encore plus bas lorsque les conditions étaient difficiles.
• Les chercheurs ont constaté que les modèles entraînés sur des vidéos propres et de courte distance (comme des personnes marchant dans un studio) échouaient lamentablement face aux vidéos désordonnées et de longue distance de GaitFace.

Pourquoi cela importe

Le document ne prétend pas avoir résolu le problème. Au contraire, il agit comme un projecteur, montrant exactement là où la technologie actuelle est faible. Il prouve que, bien que nous ayons une reconnaissance faciale incroyable pour les photos rapprochées, nous ne sommes pas prêts pour le monde réel de la surveillance à longue distance. Les « vulnérabilités » exposées ici signifient que si nous comptons sur ces systèmes pour le contrôle des frontières aujourd'hui, nous pourrions manquer des personnes ou commettre des erreurs.

Les auteurs suggèrent que l'avenir réside dans la combinaison des deux indices — le visage et la démarche — afin que si le visage est trop flou, le schéma de marche puisse aider, et vice versa. Mais pour l'instant, GaitFace constitue un test de référence honnête et rigoureux. Il dit aux chercheurs : « Voici le vrai défi. Vos outils actuels ne sont pas encore assez bons. Allez construire quelque chose de meilleur. » En rendant ces données publiques, les auteurs espèrent inspirer une nouvelle génération de systèmes de sécurité plus intelligents et plus robustes, capables de gérer la réalité désordonnée du monde extérieur.