💻 computer science

GaitKD: A Universal Decoupled Distillation Framework for Efficient Gait Recognition

Cet article propose GaitKD, un cadre universel de distillation découplée qui améliore la reconnaissance efficace de la démarche en séparant le transfert de connaissances en un alignement des logits au niveau de la décision et une préservation des embeddings au niveau des frontières, surpassant ainsi les méthodes de distillation standard sur divers benchmarks sans ajouter de coûts d'inférence.

Auteurs originaux : Yuqi Li, Qian Zhou, Huiran Duan, Jingjie Wang, Shunli Zhang, Chuanguang Yang, Guoying Zhao, Yingli Tian

Publié 2026-04-30

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yuqi Li, Qian Zhou, Huiran Duan, Jingjie Wang, Shunli Zhang, Chuanguang Yang, Guoying Zhao, Yingli Tian

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un jeune apprenti énergique (l'Élève) comment reconnaître des gens simplement en observant leur façon de marcher. Vous avez un maître sage et expérimenté (le Professeur) qui est incroyablement doué pour cette tâche, mais qui est aussi très lourd, lent et nécessite une quantité massive d'énergie pour fonctionner. Vous voulez que l'apprenti apprenne les compétences du maître sans devenir aussi lourd et lent que lui.

C'est le problème central que résout l'article GaitKD. Il s'agit d'enseigner à un petit programme informatique efficace de reconnaître des gens par leur démarche, en utilisant un programme plus grand et plus intelligent comme guide.

Voici comment l'article explique ce processus, décomposé en concepts simples :

Le Problème : Le « Maître Lourd » contre l'« Apprenti Léger »

Dans le monde de la reconnaissance de la démarche (reconnaissance de la gait), les meilleurs modèles sont comme de gigantesques bibliothèques lourdes. Ils sont précis, mais trop lents et coûteux à exécuter sur des appareils du quotidien comme les téléphones ou les caméras de sécurité. Des modèles plus légers et plus rapides existent, mais ils ne sont pas aussi bons pour reconnaître les gens, surtout lorsque les vêtements changent ou que l'angle de la caméra est étrange.

Habituellement, nous essayons d'enseigner au modèle léger en lui montrant exactement les mêmes « réponses » que le modèle lourd. Mais l'article soutient que c'est comme essayer d'enseigner à un enfant à peindre en le forçant à copier exactement les coups de pinceau du maître. Cela ne fonctionne pas bien car le cerveau de l'enfant (ou l'architecture informatique) est construit différemment. Ils doivent comprendre la logique et les limites de l'art, pas simplement copier les pixels.

La Solution : GaitKD (La « Leçon en Deux Parties »)

Les auteurs ont créé une nouvelle méthode d'enseignement appelée GaitKD. Au lieu de simplement copier des réponses, ils divisent la leçon en deux parties distinctes, comme un entraîneur enseignant à un athlète deux compétences différentes simultanément.

1. Distillation au niveau de la décision : Apprendre la « Logique du Vote »

Imaginez que le maître regarde une personne marcher et pense : « Il y a 90 % de chances que ce soit la Personne A, 9 % de chances que ce soit la Personne B, et 1 % de chances que ce soit la Personne C. »

L'Ancienne Façon : L'élève apprend simplement à dire « Personne A ».
La Façon GaitKD : L'élève apprend l'histoire complète. Il apprend que le maître est très sûr qu'il s'agit de A, mais aussi que A est beaucoup plus probable que B.
L'Analogie : C'est comme apprendre le raisonnement derrière une décision. L'élève apprend les relations « douces » entre différentes personnes (par exemple : « Cette démarche ressemble un peu à la Personne B, mais certainement pas à la Personne C »). Cela aide l'élève à faire des suppositions plus intelligentes même lorsque les données sont floues.

2. Distillation au niveau de la frontière : Apprendre les « Lignes de Clôture »

C'est l'idée la plus unique de l'article. Dans la reconnaissance de la démarche, l'ordinateur ne devine pas seulement un nom ; il crée une carte où chaque personne est un point. Les gens qui marchent de manière similaire sont proches les uns des autres ; les gens qui marchent différemment sont loin les uns des autres.

L'Ancienne Façon : Le professeur essaie de forcer l'élève à placer les points aux mêmes coordonnées exactes que le professeur. C'est difficile si la carte de l'élève est dessinée différemment.
La Façon GaitKD : Le professeur ne dit pas : « Place le point ici. » Au lieu de cela, le professeur dit : « Assure-toi qu'il y a une clôture claire entre la Personne A et la Personne B. »
L'Analogie : Imaginez que le professeur dessine une ligne dans le sable pour séparer deux groupes de personnes. L'élève n'a pas besoin de se tenir exactement au même endroit que le professeur ; il doit simplement se tenir du bon côté de la ligne et s'assurer que la ligne est assez forte pour garder les groupes séparés. Cela s'appelle préserver la « frontière d'activation ». Il est beaucoup plus facile pour un élève de taille différente d'apprendre où se trouve la clôture que de copier l'emplacement exact de chaque personne.

Pourquoi Cela Fonctionne Mieux

L'article a testé cela sur plusieurs ensembles de données réels de marche (comme des gens marchant avec des vêtements différents ou la nuit). Ils ont constaté que :

La Combinaison est la Clé : Utiliser uniquement la « Logique du Vote » ou uniquement les « Lignes de Clôture » aide un peu, mais utiliser les deux ensemble rend l'élève significativement meilleur. Ils se complètent.
Aucun Coût Supplémentaire : La meilleure partie est que, une fois l'élève entraîné, le lourd professeur est jeté. L'élève fonctionne tout aussi vite et légèrement qu'avant, mais il est maintenant beaucoup plus intelligent.
Professeurs Multiples : Le système peut même écouter plusieurs maîtres lourds à la fois (comme un panel d'experts). L'élève apprend de tous eux, combinant leurs différentes forces pour devenir encore plus robuste.

La Conclusion

GaitKD est un cadre d'enseignement intelligent. Il réalise que vous ne pouvez pas simplement copier le cerveau d'un expert lourd dans un modèle léger. Au lieu de cela, il enseigne au modèle léger deux choses spécifiques :

Comment peser les options (Niveau de décision).
Comment garder différentes personnes séparées (Niveau de frontière).

En se concentrant sur ces « règles du jeu » plutôt que sur la copie de détails exacts, ils ont créé un système de reconnaissance de la démarche léger qui fonctionne presque aussi bien que les systèmes lourds et coûteux, le rendant pratique pour une utilisation dans le monde réel.

1. Énoncé du problème

La reconnaissance de la démarche est une modalité biométrique prometteuse pour l'identification à distance et sans contact. Cependant, un compromis significatif existe dans le déploiement pratique :

Modèles haute performance : Les modèles de l'état de l'art reposent souvent sur des architectures profondes (par exemple, des CNN 3D, des Transformers) et une modélisation temporelle complexe pour gérer les variations de point de vue, de vêtements et de conditions de portage. Ces modèles sont coûteux en calcul et difficiles à déployer sur des appareils périphériques.
Modèles légers : Les modèles efficaces adaptés au déploiement souffrent souvent d'une précision réduite, en particulier dans des environnements non contraints.
Le défi de la distillation : La distillation de connaissances (KD) standard est souvent inefficace pour la reconnaissance de la démarche car les modèles modernes de démarche sont structurés par parties. Ils produisent deux types de sorties distincts :
1. Logits de classification par partie (pour la prédiction d'identité).
2. Embeddings de récupération par partie (pour l'apprentissage métrique/récupération).
  Les méthodes KD standard régressent soit directement les caractéristiques (ce qui échoue lorsque les architectures de l'enseignant et de l'élève sont hétérogènes), soit ne distillent que les logits (ce qui échoue à capturer la structure discriminante de l'espace d'embedding).

2. Méthodologie : GaitKD

Les auteurs proposent GaitKD, un cadre de distillation universel conçu spécifiquement pour les modèles de démarche hétérogènes et structurés par parties. L'innovation centrale est le découplage du transfert de connaissances en deux composantes complémentaires : la Distillation au niveau de la décision et la Distillation au niveau de la frontière.

A. Espace de distillation partagé par partie

Pour gérer des modèles hétérogènes (par exemple, un enseignant Transformer contre un élève CNN) qui peuvent avoir un nombre différent de parties du corps ( $P$ ), GaitKD aligne les sorties sur une dimension de partie commune $P = \min(P_{enseignant}, P_{élève})$ . Cela permet la distillation sans modifier les architectures de base ni introduire de surcharge d'inférence.

B. Distillation au niveau de la décision (Transfert de logits)

Cette composante transfère les relations de décision inter-classe de l'enseignant à l'élève.

Mécanisme : Elle aligne les distributions de classes par partie adoucies en utilisant une divergence KL mise à l'échelle par une température.
Calibration des parties : La perte est normalisée par le nombre de parties pour garantir que chaque partie du corps contribue également au gradient, empêchant les parties ayant plus de caractéristiques de dominer.
Objectif : L'élève apprend la confiance relative et les frontières de décision de l'enseignant entre différentes identités, et pas seulement les étiquettes dures.

C. Distillation au niveau de la frontière (Transfert d'embedding)

Cette composante transfère la structure discriminante de l'espace d'embedding sans forcer l'élève à reproduire des valeurs de caractéristiques exactes (ce qui est difficile avec des architectures hétérogènes).

Mécanisme : Au lieu d'une régression par erreur quadratique moyenne (MSE), GaitKD utilise un Objectif de frontière d'activation.
Concept : Il identifie le "signe" (positif ou négatif) des coordonnées d'embedding de l'enseignant par rapport à zéro. L'élève est pénalisé si ses coordonnées d'embedding violent les frontières induites par l'enseignant (c'est-à-dire que si la caractéristique de l'enseignant est positive, celle de l'élève doit être supérieure à une marge $m$ ; si négative, inférieure à $-m$ ).
Objectif : Cela préserve le partitionnement de l'espace d'embedding (comment les identités sont séparées) plutôt que les valeurs exactes des coordonnées, le rendant robuste aux incohérences architecturales.

D. Objectif unifié

La fonction de perte totale combine la perte de tâche de base de l'élève (Entropie croisée + Perte triplet) avec les deux termes de distillation :
$\mathcal{L} = \mathcal{L}_{tâche} + \lambda_{logit}\mathcal{L}_{KL} + \lambda_{frontière}\mathcal{L}_{AB}$
Le cadre prend en charge la Distillation multi-enseignants, où les signaux provenant de plusieurs enseignants hétérogènes (par exemple, différentes bases ou modalités) sont agrégés via des ensembles pondérés par la confiance.

3. Contributions clés

Insight structurel : Identification du fait que la KD standard échoue pour les modèles de démarche structurés par parties car la connaissance est distribuée à la fois sur les relations de logits et les partitions de l'espace d'embedding, nécessitant une approche découplée.
Nouveau cadre (GaitKD) : Proposition d'un cadre qui découple le transfert en :
- Niveau décision : Distillation de logits calibrée par partie.
- Niveau frontière : Distillation de frontière d'activation (préservant les frontières de séparation plutôt que de régresser les caractéristiques).
Universalité et efficacité : La méthode fonctionne avec des paires enseignant-élève hétérogènes, ne nécessite aucune modification de la base et introduit aucun coût d'inférence supplémentaire (l'enseignant est écarté après l'entraînement).
Complémentarité : Démonstration que les transferts au niveau de la décision et au niveau de la frontière sont complémentaires ; l'utilisation des deux donne de meilleurs résultats que l'un ou l'autre seul.

4. Résultats expérimentaux

Les auteurs ont évalué GaitKD sur trois benchmarks majeurs : Gait3D (en conditions réelles), CCPG (changement de vêtements) et SUSTech1K (LiDAR 3D).

Distillation à enseignant unique :
- Utilisation de GaitBase (léger) comme élève et de modèles à haute capacité (DeepGaitV2, SkeletonGait++, SwinGait) comme enseignants.
- Gait3D : Amélioration du Rank-1 de 61,5 % (base) à 63,3 % (enseignant DeepGaitV2) et jusqu'à 65,8 % avec des paramètres multi-enseignants.
- CCPG : Amélioration de la précision moyenne de 88,2 % à 91,9 % (enseignant DeepGaitV2).
- SUSTech1K : Améliorations constantes du Rank-1 et du Rank-5 à travers différentes architectures d'enseignants.
Distillation multi-enseignants :
- La combinaison d'enseignants hétérogènes (par exemple, DeepGaitV2 + SwinGait) a fourni une supervision complémentaire, surpassant les bases de moyenne simple (Mean-Teacher).
- Sur Gait3D, le GaitKD multi-enseignant a atteint 65,8 % de Rank-1, récupérant 33,3 % de l'écart de performance entre l'élève léger et l'enseignant le plus performant.
Études d'ablation :
- Confirmation que la Distillation au niveau de la frontière est plus stable et efficace que la régression directe de caractéristiques (MSE) pour les paires hétérogènes.
- Démonstration que la combinaison des transferts de logits et de frontières produit les meilleures performances, validant leur nature complémentaire.
Visualisation des caractéristiques : Les graphiques t-SNE montrent que GaitKD conduit à un regroupement intra-classe plus serré et à une séparation inter-classe plus claire par rapport à la base, en particulier dans les régions ambiguës.

5. Signification

Déploiement pratique : GaitKD fournit une solution pratique pour déployer une reconnaissance de démarche haute performance sur des appareils aux ressources limitées en réduisant l'écart de précision entre les modèles lourds utilisés lors de l'entraînement et les modèles légers utilisés lors de l'inférence, sans surcharge d'exécution.
Avancement méthodologique : Il remet en question le paradigme standard de "régression de caractéristiques" dans la KD pour les tâches de récupération, proposant que la préservation de la topologie/frontière de l'espace d'embedding est plus critique que l'adéquation des valeurs de caractéristiques exactes, surtout lorsque les architectures diffèrent.
Généralisabilité : Le cadre n'est pas limité à la démarche ; ses principes de conception (découplage des relations de décision des frontières d'embedding) offrent une nouvelle direction pour la distillation de modèles structurés par parties dans d'autres tâches biométriques ou de vision par ordinateur basées sur la récupération.