First International StepUP Competition for Biometric Footstep Recognition: Methods, Results and Remaining Challenges

Ce papier présente la première compétition internationale sur la reconnaissance biométrique des pas, qui a mobilisé 23 équipes pour évaluer des modèles sur le vaste jeu de données UNB StepUP-P150, révélant des performances prometteuses tout en soulignant les défis persistants liés à la généralisation aux variations de chaussures.

L'essentiel

🚶‍♂️ Le Grand Défi : "Qui a marché ici ?"

Imaginez que vous marchez dans une forêt. Chaque personne laisse une empreinte unique dans la boue, même si elle porte les mêmes chaussures. C'est le principe de la reconnaissance biométrique par la démarche. Au lieu de scanner votre visage ou votre doigt, cette technologie analyse la pression de vos pieds sur le sol pour savoir qui vous êtes. C'est discret, ça ne demande pas de s'arrêter, et ça fonctionne même dans le noir.

Mais il y a un gros problème : c'est très difficile à faire fonctionner dans la vraie vie.
Si vous changez de chaussures (de baskets à des talons), si vous marchez vite ou lentement, ou si vous êtes fatigué, votre "empreinte" change. C'est comme essayer de reconnaître un ami qui porte un déguisement différent à chaque fois.

🏆 La Compétition "StepUP" : Un Tournoi de Détectives

Pour résoudre ce casse-tête, les chercheurs de l'Université du Nouveau-Brunswick (au Canada) ont lancé un grand tournoi international appelé StepUP.

1. Le Terrain de Jeu (Les Données) : Ils ont créé une énorme bibliothèque de données appelée StepUP-P150. Imaginez un stade rempli de 150 personnes qui marchent sur un tapis de danse géant et ultra-sensible. Elles ont marché 16 fois chacune, avec 4 paires de chaussures différentes (pieds nus, baskets, leurs propres chaussures, etc.) et à 4 vitesses différentes. C'est plus de 200 000 empreintes de pas ! C'est le plus grand trésor de ce genre au monde.
2. La Mission : 23 équipes (des chercheurs et des ingénieurs du monde entier) ont reçu ce trésor. Leur but ? Créer un "cerveau artificiel" capable de dire : "Hé, c'est bien toi qui as marché là, même si tu portes des sandales aujourd'hui et que tu cours !"
3. Le Test Final : Ils ont dû tester leur cerveau sur un groupe de 30 personnes qu'ils n'avaient jamais vues en détail, avec des conditions surprises (nouvelles chaussures, nouvelles vitesses).

🥇 Les Gagnants et leurs Astuces

Trois équipes ont brillé plus que les autres. Voici comment elles ont joué :

• 🥇 1er Prix : L'Équipe "Saeid UCC" (Irlande)

  • L'analogie : Imaginez un chef cuisinier qui doit créer le plat parfait. Au lieu de goûter chaque plat pendant des heures, il a créé un robot qui devine quel plat sera délicieux en regardant juste les premières minutes de cuisson.
  • La méthode : Ils ont utilisé une technique intelligente (appelée Generative Reward Machine) qui permet au logiciel d'apprendre très vite quelles combinaisons de paramètres fonctionnent, sans avoir à tout tester à l'aveugle. C'est comme avoir un GPS qui vous évite les embouteillages pour trouver le chemin le plus rapide.
  • Résultat : Ils ont obtenu le meilleur score (10,77 % d'erreur).

• 🥈 2ème Prix : L'Équipe "Peneter ML" (Iran)

  • L'analogie : C'est comme un étudiant qui révise pour un examen difficile. Au lieu d'étudier directement le gros livre complexe, il commence par lire un résumé simplifié pour comprendre les bases, puis il passe au livre complet.
  • La méthode : Ils ont utilisé une méthode qui commence par des entraînements "pas chers" et rapides sur des données simplifiées, pour ensuite affiner le modèle sur les données réelles. Cela économise du temps et de l'énergie.

• 🥉 3ème Prix : L'Équipe "CyberTI" (Australie)

  • L'analogie : C'est un professeur qui adapte son cours en temps réel. Il commence par enseigner aux élèves avec des exercices faciles, puis augmente la difficulté petit à petit au fur et à mesure qu'ils apprennent.
  • La méthode : Ils ont fait évoluer le "programme d'entraînement" de l'intelligence artificielle en même temps que ses réglages. Ils ont commencé par des marches simples (pieds nus, vitesse lente) pour finir par des marches complexes (talons, course).

📉 Ce qui a bien fonctionné... et ce qui a échoué

Les résultats sont encourageants, mais il reste un gros obstacle :

• ✅ Le succès : Les ordinateurs sont devenus excellents pour reconnaître les gens quand ils marchent à leur vitesse habituelle ou avec des chaussures familières. C'est comme reconnaître la voix de votre mère au téléphone, même si elle chuchote.
• ❌ L'échec : Le vrai défi, c'est les chaussures inconnues.
  • Quand une personne change de chaussures (par exemple, passe de ses baskets de sport à des tongs), le système se trompe beaucoup plus souvent.
  • L'exemple drôle : Dans le test, une personne portait des tongs "Birkenstock". Le système a cru qu'elle était deux autres personnes différentes qui portaient le même style de tongs dans leurs données d'entraînement ! C'est comme si le système pensait : "Ah, ce sont des tongs, donc c'est forcément Paul ou Marie, pas toi !"

💡 La Leçon à retenir

Cette compétition montre que nous avons les outils pour créer des systèmes de sécurité très avancés qui ne demandent pas aux gens de s'arrêter pour se faire scanner. Cependant, pour que cela fonctionne partout (dans un aéroport, un métro), il faut encore apprendre aux ordinateurs à être indifférents aux chaussures.

C'est un peu comme apprendre à un chien à reconnaître son maître : il doit pouvoir le reconnaître même si le maître porte un manteau rouge, un manteau bleu, ou s'il boit un café. Pour l'instant, les ordinateurs sont encore un peu perdus quand les chaussures changent trop.

En résumé : C'est une victoire majeure pour la science, mais le travail continue pour que cette technologie devienne aussi fiable que de reconnaître un ami dans la rue, peu importe ce qu'il porte aux pieds !

Résumé technique

1. Problématique et Contexte

La reconnaissance biométrique par la démarche (footstep recognition) est une modalité comportementale émergente qui identifie ou vérifie les individus en analysant les motifs de pression uniques sous leurs pieds lors de la marche. Bien que prometteuse pour la sécurité (aéroports, infrastructures critiques) en raison de son caractère non intrusif et de sa robustesse aux conditions environnementales (lumière, occultation), son déploiement réel est entravé par deux défis majeurs :

• Le manque de données : L'absence de grands ensembles de données diversifiés et publics limite le développement de modèles capables de généraliser.
• La variabilité naturelle : Les systèmes doivent faire face à des variations intra-sujet importantes dues à des facteurs tels que le type de chaussures, la vitesse de marche, la charge cognitive ou les objets transportés. Les données d'inscription (enrollment) sont souvent collectées dans des conditions contrôlées et limitées, créant un décalage de domaine (domain shift) lors du déploiement face à des conditions inconnues.

L'objectif de cette étude était de lancer une compétition internationale pour évaluer l'état de l'art dans ce domaine, en s'appuyant sur le nouveau jeu de données UNB StepUP-P150.

2. Méthodologie et Données

Le Jeu de Données (UNB StepUP-P150)

Les participants ont eu accès à un ensemble de données massif et diversifié, collecté sur 18 mois à l'Université du Nouveau-Brunswick :

• Données d'entraînement : 200 000 pas enregistrés provenant de 150 participants (74 hommes, 76 femmes, âges 19-91 ans). Chaque participant a marché avec 4 types de chaussures (pieds nus/chaussettes, baskets standard, 2 paires de chaussures personnelles) et à 4 vitesses différentes. Les données sont des cartes de pression 3D haute résolution (101 x 75 x 40 : temps, hauteur, largeur).
• Données de référence (Enrollment) : 150 pas (10 par utilisateur) provenant de 15 utilisateurs sélectionnés, enregistrés uniquement avec leurs chaussures personnelles à leur vitesse préférée.
• Données de sonde (Probe) : 10 000 pas à vérifier, provenant de 30 utilisateurs (les 15 inscrits + 15 imposteurs). Ces données incluaient des conditions connues et inconnues (nouvelles chaussures, vitesses différentes). 30 % étaient de vraies affirmations d'identité, 70 % de fausses.

Tâche de la Compétition

Les concurrents devaient développer des modèles de vérification capables de déterminer si un pas de sonde correspond à l'identité revendiquée, en utilisant uniquement les données d'entraînement et de référence. La métrique principale était le Taux d'Erreur Égale (EER - Equal Error Rate), complété par le taux de fausses acceptations (FMR) et de fausses rejets (FNMR).

Approches des Solutions Gagnantes

Trois équipes se sont distinguées par des stratégies d'optimisation avancées :

1. 1er Place (Saeid UCC) : Optimisation par Machine de Récompense Générative (GRM)

   • Concept : Utilisation d'un agent autonome basé sur une GRM pour naviguer simultanément dans l'espace des architectures de réseaux de neurones et des hyperparamètres.
   • Mécanisme : Le système apprend à prédire les performances finales d'un modèle en observant uniquement ses dynamiques de début d'entraînement (phase hors ligne). Il utilise ensuite un apprentissage par renforcement (Q-learning) pour sélectionner efficacement les configurations prometteuses, évitant ainsi d'entraîner des modèles non performants jusqu'à convergence.
   • Résultat : Le modèle final utilisait un réseau R(2+1)D (convolutions 3D factorisées) avec une fonction de perte TripletMargin, optimisé via cette méthode.

2. 2ème Place (Peneter ML) : Optimisation Bayésienne Multi-Fidélité Initialisée par Transfert (TI-MFBO)

   • Concept : Amélioration de l'efficacité de l'échantillonnage en utilisant l'apprentissage par transfert pour initialiser le modèle de substitution (surrogate model) de l'optimisation bayésienne.
   • Mécanisme : Le modèle est pré-entraîné sur des tâches proxy moins coûteuses (ex: données 2D ou résolution réduite) pour fournir une "initialisation chaude". L'optimisation utilise ensuite une structure multi-fidélité, allouant dynamiquement les ressources de calcul et éliminant rapidement les configurations peu prometteuses via une fonction d'acquisition coûteuse.

3. 3ème Place (CyberTI) : Co-Optimisation Évolutionnaire du Curriculum (ECCO)

   • Concept : Optimisation simultanée des hyperparamètres du modèle et de la stratégie de présentation des données (curriculum learning).
   • Mécanisme : Un algorithme évolutionnaire fait évoluer une population de stratégies d'apprentissage. Chaque individu encode à la fois les hyperparamètres (taux d'apprentissage, optimiseur) et le calendrier du curriculum (ordre d'introduction des conditions de marche : du plus simple au plus complexe). Cela permet de découvrir des combinaisons synergiques entre la difficulté des données et les paramètres du modèle.

3. Résultats Clés

• Performance Globale : L'équipe gagnante (Saeid UCC) a atteint un EER de 10,77 %, surpassant la solution de base (starter kit) qui affichait un EER de 19,5 %. Les cinq meilleures équipes ont toutes obtenu des EER inférieurs à 12,3 %.
• Généralisation aux Conditions Connues : Les modèles ont excellé sur les conditions familières (mêmes chaussures, même vitesse que l'inscription), avec des EER très bas (2,1 % - 3,2 %).
• Défi des Chaussures Inconnues : La généralisation aux nouvelles chaussures s'est révélée être le point faible majeur.
  • Pour les chaussures personnelles inconnues (2ème paire), l'EER a grimpé entre 14,7 % et 19,7 %.
  • Pour les chaussures standard (baskets communes), l'EER était de 10,2 % à 14,6 %, suggérant que les modèles ont pu apprendre des caractéristiques robustes grâce à la présence de ces chaussures dans l'ensemble d'entraînement.
• Analyse des Erreurs : Une analyse des erreurs communes aux trois meilleures équipes a révélé que 650 pas étaient mal classés par tous. Ces erreurs étaient principalement dues à des variations de chaussures (ex: confusion entre des sandales de type Birkenstock et des chaussures de sport), soulignant que la biométrie par la démarche est encore très sensible au type de chaussure.
• Architecture : Malgré l'exploration de modèles complexes (ViT, Swin Transformer, ConvNeXt), toutes les équipes gagnantes ont finalement opté pour l'architecture de base R(2+1)D, prouvant qu'une architecture simple, couplée à une optimisation rigoureuse et à une augmentation de données, est très efficace.

4. Contributions et Signification

• Première Compétition Internationale : Cet événement marque une étape cruciale en établissant le premier benchmark international pour la reconnaissance biométrique par la pression des pas.
• Jeu de Données UNB StepUP-P150 : La publication de ce jeu de données (le plus grand et le plus diversifié à ce jour) est une contribution majeure qui permet désormais à la communauté de développer et de tester des modèles robustes.
• Validation des Méthodes d'Optimisation Automatique : La compétition a démontré que les stratégies d'optimisation automatique (GRM, Optimisation Bayésienne, Algorithmes Évolutionnaires) sont supérieures aux réglages manuels pour gérer la haute variabilité des données biométriques.
• Identification des Limites Futures : Les résultats mettent en évidence que la variabilité liée aux chaussures reste le principal obstacle au déploiement réel. Les recherches futures doivent se concentrer sur des architectures et des fonctions de perte spécifiquement conçues pour être invariantes au type de chaussure, ou sur des méthodes d'apprentissage qui intègrent explicitement cette variabilité.

En conclusion, cette compétition a prouvé la viabilité de la reconnaissance par la démarche dans des conditions réalistes, tout en définissant clairement les défis restants pour atteindre une fiabilité opérationnelle totale.