Résumé Technique : REASON – Un Cadre Neurosymbolique pour le Raisonnement Logique Piloté par les Concepts dans la Reconnaissance d'Actions Humaines Basée sur le Squelette

Énoncé du Problème

La reconnaissance d'activités humaines (HAR) basée sur le squelette a atteint de fortes performances empiriques grâce à des modèles d'apprentissage profond, en particulier les réseaux de convolution graphique (GCN). Cependant, ces modèles fonctionnent comme des « boîtes noires », manquant d'interprétabilité. Cette opacité pose problème dans des domaines à haut risque comme la santé et la rééducation, où une prise de décision transparente est essentielle. De plus, les approches neurosymboliques existantes font face à des défis fondamentaux d'intégration :

1. Ancrage Symbolique : Relier les trajectoires continues des articulations à des prédicats symboliques discrets est difficile. Les heuristiques traditionnelles (par exemple, « angle du genou < 90° ») sont fragiles et échouent face aux variations de posture ou aux changements de point de vue.
2. Dynamiques Temporelles : Les actions sont intrinsèquement temporelles. Une logique purement spatiale ne peut pas distinguer des actions ayant des postures statiques similaires mais des ordres d'exécution ou des directions de mouvement différents (par exemple, Mettre des lunettes vs Enlever des lunettes).
3. Apprentissage de Bout en Bout : Les opérateurs booléens discrets bloquent généralement la propagation du gradient, empêchant l'optimisation conjointe de la perception (extraction de caractéristiques) et du raisonnement (application de règles).

Méthodologie : Le Cadre REASON

Les auteurs proposent REASON (Action Explicable Basée sur des Règles via des cONcepts Symboliques), un cadre neurosymbolique qui reformule la reconnaissance d'actions comme un raisonnement logique du premier ordre piloté par des concepts sur des primitives de mouvement apprenables. Le cadre fonctionne en quatre étapes clés :

1. Génération de la Banque de Concepts

Au lieu de s'appuyer sur des heuristiques manuelles, les auteurs construisent une banque de concepts $\mathcal{C}$ comprenant des primitives de mouvement spatiales, temporelles et interactives, en utilisant un pipeline de trois étapes avec un Modèle de Langage à Grande Échelle (LLM) :

• Génération de Description : Un LLM (GPT-3) décompose les actions en descriptions détaillées de parties du corps (par exemple, « Jambe : se plie aux genoux puis pousse de manière explosive »).
• Abstraction et Regroupement : Les descriptions brutes sont converties en concepts canoniques en extrayant des motifs verbe-direction-modificateur, en les intégrant dans des vecteurs et en les regroupant via k-means. Cela produit des concepts spatiaux (par exemple, élévation du bras, saut de jambe).
• Définition Temporelle et d'Interaction : Des concepts temporels explicites sont définis pour capturer la direction du mouvement (mouvement vers le haut), la séquence (mains en premier) et la dynamique (vitesse rapide). Un concept d'interaction gère les actions mutuelles.
• Association : Un second LLM (LLaMA-3.2) associe les actions à la banque de concepts, créant une matrice d'association binaire $M$ où $M_{a,c}=1$ si le concept $c$ est actif pour l'action $a$. La banque finale contient 74 concepts (52 spatiaux, 21 temporels, 1 d'interaction).

2. Apprentissage de la Représentation du Squelette

Un encodeur spatio-temporel standard de squelette (par exemple, Hyper-GCN) traite les séquences d'entrée $X \in \mathbb{R}^{T \times V \times 3}$ sans regroupement global pour préserver les informations de mouvement fines. L'encodeur alimente trois branches :

• Décodeur STC : Prédit les activations de concepts.
• Alignement Textuel : Aligne les caractéristiques de squelette regroupées avec des embeddings textuels ancrés dans les concepts (générés par un encodeur CLIP avec un ajustement fin LoRA) en utilisant une perte de contraste ($L_{align}$). Cela garantit que les caractéristiques du squelette se regroupent avec leurs descriptions sémantiques.
• Divergence des Parties : Une perte ($L_{div}$) pénalise la forte similarité cosinus entre les caractéristiques de différentes parties du corps, assurant des représentations discriminatives pour chaque région anatomique.

3. Décodeur de Concepts Spatio-Temporels (Décodeur STC)

Ce module fait le pont entre les caractéristiques continues et les prédicats symboliques. Il découple les caractéristiques de l'encodeur en flux spatial ($F_s$) et temporel ($F_t$).

• Décodage par Groupes : Pour gérer la complexité des relations hétérogènes entre les concepts, ceux-ci sont partitionnés en groupes. Des matrices de requêtes apprenables effectuent une attention croisée pour agréger sélectivement les informations du squelette pertinentes pour des sous-ensembles de concepts spécifiques.
• Prédiction : Une couche Group-FC projette ces requêtes en probabilités de concepts souples $\hat{c} \in [0, 1]^{|\mathcal{C}|}$.

4. Raisonnement Logique Différentiable du Premier Ordre

Pour permettre un entraînement de bout en tout en maintenant une interprétabilité discrète :

• Binarisation : Les prédictions souples sont binarisées ($\bar{c} = \mathbb{I}[\hat{c} > 0.5]$) en utilisant un Estimateur Direct (STE) pour permettre le flux de gradient.
• Couches Logiques : Des couches empilées de conjonction (ET) et de disjonction (OU) composent les concepts en règles.
• Greffage de Gradient : Lors du passage avant, les opérations et poids discrets sont utilisés pour l'inférence. Lors de la rétropropagation, les gradients sont calculés via des relaxations continues (ET/OU souples) et « greffés » sur le chemin discret, permettant l'apprentissage de règles logiques interprétables et éparse.
• Classification : Un classifieur linéaire mappe les activations de règles aux prédictions d'action finales.

Contributions Clés

1. Cadre REASON : Une formulation neurosymbolique novatrice pour la HAR basée sur le squelette qui intègre des représentations ancrées dans les concepts avec une logique du premier ordre différentiable pour un entraînement de bout en bout.
2. Décodeur STC : Un décodeur spécialisé qui extrait indépendamment les concepts de configuration corporelle spatiale et de dynamique de mouvement temporelle, fournissant des abstractions robustes face à la variabilité d'exécution.
3. Banque de Concepts : Une banque curatée de 74 concepts de mouvement spatiaux et dynamiques pour les jeux de données NTU RGB+D et NW-UCLA, générée via des LLM pour assurer une richesse sémantique sans énumération manuelle.
4. Interprétabilité : Le système fournit à la fois une interprétabilité locale (activations de concepts spécifiques à l'instance) et une interprétabilité globale (règles logiques lisibles par l'homme régissant la sémantique de l'action).

Résultats Expérimentaux

Le cadre a été évalué sur les benchmarks NTU RGB+D 60/120 et NW-UCLA.

• Performance : REASON atteint des performances compétitives, surpassant plusieurs bases de référence de boîtes noires.
  • Sur NTU RGB+D 60 (X-Sub), il atteint une précision de 94,3 % (4 flux), surpassant de fortes bases de référence GCN comme Hyper-GCN (93,7 %) et BlockGCN (93,1 %).
  • Sur NTU RGB+D 120 (X-Set), il atteint 91,9 %.
  • Sur NW-UCLA, il atteint 97,9 %.
• Reclassement par LLM : Une étape de reclassement optionnelle utilisant LLaMA-3.2 7B ancrée dans les activations de concepts booste encore la performance à 95,6 % (NTU-60 X-Sub) et 93,2 % (NTU-120 X-Set), surpassant d'autres méthodes augmentées par LLM qui reposent sur des caractéristiques opaques.
• Études d'Ablation :
  • Concepts Temporels : L'ajout de concepts temporels aux concepts spatiaux a amélioré la précision de +7,8 %, confirmant leur nécessité pour distinguer des postures similaires.
  • Capacité de la Couche Logique : Une configuration de 128 nœuds était optimale ; la désactivation de la négation a provoqué une chute catastrophique à 49,87 %, soulignant le besoin de concepts $\neg$ (par exemple, distinguer debout de marcher via $\neg$ marche de jambe).
  • Intervention sur les Concepts : La correction de concepts mal prédits dans la chaîne logique a amélioré la précision de manière monotone (jusqu'à +5,67 % pour 3 corrections), prouvant que les erreurs proviennent principalement d'une mauvaise prédiction de concepts plutôt que de règles logiques défectueuses.

Signification et Revendications

L'article revendique que le raisonnement neurosymbolique est un paradigme efficace pour la compréhension interprétable des actions spatio-temporelles. En ancrant les représentations de squelette dans des concepts de mouvement apprenables et en les composant via une logique différentiable, REASON atteint des performances de pointe tout en maintenant des chaînes de raisonnement concept-règle entièrement transparentes.

Contrairement aux travaux antérieurs qui reposent sur des explications a posteriori ou des règles manuelles fragiles, REASON apprend directement des règles définissant les actions à partir des données. Les auteurs soulignent que cette approche permet une analyse systématique des classifications correctes et des cas d'échec, offrant une voie vers une IA digne de confiance dans des applications critiques pour la sécurité où le « pourquoi » derrière une prédiction est aussi important que la prédiction elle-même. Le cadre démontre qu'il est possible de combler le fossé entre la perception neuronale et l'inférence symbolique sans sacrifier la précision ni l'évolutivité.