Affinity Contrastive Learning for Skeleton-based Human Activity Understanding

Cet article présente ACLNet, un réseau d'apprentissage contrastif par affinité qui améliore la reconnaissance d'actions, la reconnaissance de démarche et la ré-identification de personnes en exploitant les similarités structurelles inter-classes et en adaptant dynamiquement les pénalités pour mieux discriminer les échantillons difficiles.

L'essentiel

Imaginez que vous essayez d'enseigner à un robot à reconnaître les mouvements humains, comme si vous lui appreniez à distinguer un ami qui vous fait un signe de la main d'un autre qui ajuste ses lunettes. C'est le défi de la reconnaissance d'activités humaines basée sur le squelette.

Le problème, c'est que pour un robot, certains mouvements se ressemblent énormément. Par exemple, "lire" et "écrire" utilisent tous deux les mains et les bras de manière très similaire. De même, "mettre un manteau" et "enlever un manteau" sont presque l'inverse l'un de l'autre, mais le robot peut facilement se tromper.

Les méthodes actuelles fonctionnent un peu comme un professeur sévère qui dit : "Ce mouvement est un 'A', celui-ci est un 'B', ne les confondez jamais !" Mais cela ne suffit pas quand les mouvements sont si proches.

Voici comment l'article propose de résoudre ce problème avec une nouvelle méthode appelée ACLNet, expliquée simplement :

1. Le concept de "Famille de Mouvements" (La Bibliothèque)

Au lieu de traiter chaque action comme une île isolée, l'ACLNet crée des familles.

• L'analogie : Imaginez une grande bibliothèque. Au lieu de ranger chaque livre au hasard, on regroupe les livres qui parlent de sujets similaires dans le même rayon.
• Dans la réalité : Le système observe que "lire", "écrire" et "taper sur un clavier" partagent des mouvements de mains très proches. Il les place dans une même "famille" (qu'ils appellent Motion Family).
• L'avantage : Au lieu de dire "Ce n'est pas 'lire', c'est 'écrire'", le système dit : "Ah, c'est dans la famille des 'mouvements de mains précises'. Maintenant, regardons de plus près pour voir la différence subtile entre lire et écrire." Cela aide le robot à mieux comprendre les nuances.

2. Le "Thermomètre Dynamique" (L'Adaptation)

En apprentissage automatique, il y a un paramètre appelé "température" qui contrôle à quel point le système doit être strict ou détendu.

• L'analogie : Imaginez un chef cuisinier qui ajuste la température de son four. Si vous cuisinez un gâteau délicat (une petite famille d'actions très similaires), vous mettez le feu doux pour ne pas le brûler. Si vous faites griller de grosses pièces de viande (de grandes familles d'actions variées), vous mettez le feu fort pour bien les séparer.
• Dans la réalité : L'ACLNet ajuste automatiquement cette "température" selon la taille de la famille d'actions. Si la famille est petite et complexe, il est plus précis. Si elle est grande, il est plus large. Cela permet d'adapter la difficulté de l'apprentissage en temps réel.

3. La "Ligne de Séparation" (Le Marge)

Parfois, même au sein d'une même action (par exemple, "marcher"), certaines personnes marchent de manière très différente (un peu boiteuse, très rapide, etc.). Ces cas sont difficiles à classer.

• L'analogie : Imaginez que vous devez séparer deux groupes de personnes dans une pièce. Parfois, les gens se mélangent. La méthode propose de tracer une ligne de sécurité plus large entre les groupes. Elle force le système à s'assurer que même les personnes les plus difficiles à classer (celles qui ressemblent à l'autre groupe) restent bien de leur côté de la ligne.
• Dans la réalité : Cela permet de nettoyer le "bruit" dans les données et de s'assurer que le robot ne se trompe pas sur les cas les plus compliqués.

Pourquoi est-ce génial ?

Les chercheurs ont testé leur méthode sur six bases de données différentes, allant de la reconnaissance de la marche (gait) à l'identification de personnes (re-identification), en passant par la reconnaissance d'actions sportives complexes.

Le résultat ? C'est comme si on avait donné au robot des lunettes de haute précision. Là où les anciens systèmes confondaient "lire" et "écrire", ou "mettre un chapeau" et "enlever un chapeau", le nouveau système (ACLNet) réussit à faire la différence avec une précision record.

En résumé :
Au lieu d'essayer de tout mémoriser par cœur comme un robot rigide, l'ACLNet apprend à comprendre les liens entre les actions, à s'adapter à la difficulté de la tâche, et à forcer une séparation claire entre les mouvements qui se ressemblent trop. C'est une avancée majeure pour la sécurité (reconnaissance d'identité), la santé (analyse de la marche) et les interactions homme-machine.

Résumé technique

1. Problématique

La compréhension des activités humaines basée sur le squelette (skeleton-based) est cruciale pour la reconnaissance d'actions, la reconnaissance de la démarche et la ré-identification de personnes. Cependant, les méthodes existantes, même celles utilisant l'apprentissage par contraste, souffrent de deux limitations majeures :

• Négligence des similarités structurelles inter-classes : Les approches actuelles traitent souvent les classes comme totalement disjointes. Or, certaines activités (ex: "lire" vs "écrire") partagent des motifs de mouvement structurels similaires (articulations clés, trajectoires), ce qui entraîne des confusions fréquentes. Les méthodes actuelles ne exploitent pas ces similarités pour affiner l'espace de caractéristiques.
• Impact des échantillons positifs anormaux (Hard Positives) : La variabilité intra-classe (angles de vue, amplitude du mouvement) crée des échantillons "difficiles" qui sont intrinsèquement proches d'autres classes. Les méthodes classiques ne gèrent pas bien ces échantillons, ce qui conduit à une accumulation d'erreurs et à une séparation insuffisante dans l'espace d'embedding.

2. Méthodologie : ACLNet

Les auteurs proposent ACLNet (Affinity Contrastive Learning Network), un cadre d'apprentissage par contraste qui introduit des contraintes d'affinité pour améliorer la discrimination des caractéristiques squelettiques. L'architecture repose sur un backbone GCN (Graph Convolutional Network) et intègre deux stratégies principales :

A. Apprentissage par Contraste d'Affinité Inter-classes (Inter-class Affinity)

L'objectif est de capturer les similarités sémantiques entre classes apparentées pour créer des "Superclasses" appelées Motion Family.

• Définition de la Similarité d'Affinité : Au lieu de se fier uniquement aux comparaisons globales, la méthode calcule une similarité combinant :
  • Similarité par paires (Pairwise) : Basée sur la matrice de confusion (combien de fois la classe A est confondue avec la classe B).
  • Similarité contextuelle (Contextual) : Basée sur le chevauchement des voisins. Si deux classes partagent de nombreux voisins similaires dans la matrice de confusion, elles sont considérées comme ayant une affinité structurelle.
• Construction des Motion Families : Les classes partageant une affinité élevée sont regroupées en superclasses.
• Contrainte de perte : Une fonction de perte de contraste inter-classes est appliquée pour affiner les représentations au sein de ces familles, en utilisant un calendrier de température dynamique (dynamic temperature schedule). La température $\tau$ s'adapte à la taille de la famille : une température plus basse pour les petites familles (pour accentuer les différences) et plus élevée pour les grandes (pour faciliter la discrimination par cluster).

B. Stratégie de Contraste Marginal Intra-classe (Intra-class Marginal)

Cette partie vise à gérer la variabilité intra-classe et les échantillons positifs difficiles.

• Stratégie Marginale : Au lieu de simplement rapprocher les échantillons positifs, la méthode impose une contrainte de marge minimale ($\epsilon$) entre les échantillons positifs difficiles et leurs négatifs les plus proches.
• Objectif : Augmenter la distance marginale pour forcer une séparation plus nette entre les échantillons difficiles et les classes voisines, réduisant ainsi l'ambiguïté.

C. Fonction de Perte Globale

La fonction de perte totale combine la perte d'entropie croisée standard ($L_{ce}$) pour la classification, la perte de contraste inter-classes ($L_{inter}$) et la perte de contraste marginal intra-classe ($L_{intra}$) :
$$L = L_{ce} + \lambda_1 L_{inter} + \lambda_2 L_{intra}$$

3. Contributions Clés

1. ACLNet : Un nouveau réseau d'apprentissage par contraste d'affinité conçu spécifiquement pour la compréhension des activités basées sur le squelette.
2. Méthode de Contraste Inter-classes par Affinité : Introduction d'une métrique d'affinité (combinaison de similarité par paires et contextuelle) pour identifier et regrouper les classes sémantiquement liées en "Motion Families", permettant un raffinement ciblé des classes difficiles.
3. Stratégie de Contraste Marginal Intra-classe : Une approche novatrice pour augmenter la marge minimale entre les positifs difficiles et les négatifs, améliorant la séparation des échantillons ambigus.
4. Calendrier de Température Dynamique : Un mécanisme adaptatif qui ajuste la force de pénalité en fonction de la taille des superclasses, optimisant l'apprentissage sans coût computationnel supplémentaire significatif.

4. Résultats Expérimentaux

Les auteurs ont évalué ACLNet sur six benchmarks de référence, démontrant des performances supérieures à l'état de l'art (SOTA) :

• Reconnaissance d'actions (Action Recognition) :
  • NTU RGB+D 60 : 93,6 % (X-Sub) et 97,7 % (X-View).
  • NTU RGB+D 120 : 90,7 % (X-Sub) et 92,3 % (X-Set).
  • Kinetics-Skeleton : 52,1 % (Top-1) et 75,9 % (Top-5).
  • PKU-MMD : 97,3 % (X-Sub) et 98,7 % (X-View).
  • FineGYM : 96,0 % (précision moyenne par classe).
• Reconnaissance biométrique :
  • CASIA-B (Reconnaissance de la démarche) : 88,5 % de précision moyenne (Rank-1), surpassant des méthodes spécialisées comme GaitGraph et CycleGait.
  • CASIA-B (Ré-identification de personnes) : Meilleures performances dans tous les scénarios (N-N, B-B, C-C, etc.), confirmant la capacité à capturer des motifs de mouvement individuels subtils.

Analyse d'ablation : Les études montrent que chaque composant (affinité inter-classe, similarité contextuelle, marge intra-classe) contribue positivement. La méthode est particulièrement efficace sur les classes difficiles (faible précision initiale), avec des gains allant jusqu'à +3,1 % sur les 5 classes les plus difficiles. La robustesse a également été prouvée face à des données squelettiques bruitées ou partiellement occluses.

5. Signification et Impact

Ce travail apporte une avancée significative dans le domaine de la biométrie comportementale et de la compréhension des activités humaines :

• Paradigme de Modélisation : Il passe d'une approche de contraste binaire (positif/négatif) à une approche structurelle qui reconnaît et exploite les similarités sémantiques entre classes.
• Gestion de l'Ambiguïté : En traitant explicitement les "échantillons positifs anormaux" et les classes confondues, ACLNet résout un problème fondamental de la reconnaissance fine (fine-grained recognition).
• Applications : La méthode ouvre de nouvelles perspectives pour des applications critiques en sécurité (surveillance, contrôle d'accès), en santé (analyse de la démarche, rééducation) et dans les interactions homme-machine, où la distinction de comportements subtils est essentielle.

En résumé, ACLNet démontre que l'intégration de relations d'affinité structurelles et de contraintes marginales dynamiques permet de construire un espace de caractéristiques beaucoup plus discriminant et robuste pour l'analyse des mouvements humains basés sur le squelette.