💻 computer science

Cross-Modal Action Recognition in Egocentric Video Using Mamba: Integrating RGB and Hand Skeleton Streams via CLS Token Fusion Strategies

Ce papier propose une architecture intermodale basée sur Mamba pour la reconnaissance d'actions égo-centrées qui fusionne des données vidéo RVB et des squelettes de mains, démontrant qu'une stratégie de mélange de jeton CLS moyen surpasse significativement les bases unimodales sur le jeu de données H2O.

Auteurs originaux : Juan Ignacio Bustos Gorostegui, Maria Elena Buemi

Publié 2026-05-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Juan Ignacio Bustos Gorostegui, Maria Elena Buemi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un ordinateur à comprendre ce qu'une personne fait simplement en regardant une vidéo enregistrée depuis ses propres yeux (comme une GoPro fixée sur son front). Cela s'appelle la reconnaissance de vidéos égocentriques.

Le problème est que ce type de vidéo est désordonné. La caméra tremble frénétiquement, les mains bloquent souvent la vue, et parfois la personne regarde ailleurs que ce qu'elle fait. C'est comme essayer de résoudre un puzzle pendant que quelqu'un secoue la table et couvre la moitié des pièces avec ses mains.

Pour résoudre ce problème, les chercheurs ont construit un nouveau « cerveau » pour l'ordinateur en utilisant une technologie appelée Mamba. Imaginez Mamba comme un bibliothécaire ultra-efficace capable de lire un livre très long (une vidéo longue) beaucoup plus vite que les anciennes méthodes (comme les Transformers) sans se fatiguer ni perdre le fil de l'histoire.

L'approche à deux flux : Yeux et Mains

Les chercheurs ont réalisé que pour comprendre l'action, l'ordinateur a besoin de deux types d'indices différents, tout comme un détective a besoin à la fois d'un témoignage et de preuves matérielles :

Les « Yeux » (Vidéo RVB) : Il s'agit du flux vidéo standard. Il montre les couleurs et les formes mais se perd lorsque les mains bloquent la vue.
Les « Mains » (Données squelettiques) : Il s'agit d'un fil numérique du squelette des mains de la personne. Même si les mains sont cachées derrière une tasse, l'ordinateur sait exactement où les doigts devraient être. C'est comme avoir un contour fantomatique des mains qui n'est jamais bloqué.

L'ordinateur traite d'abord ces deux flux séparément, puis tente de les combiner en une compréhension unique.

L'ingrédient secret : Le « Token CLS »

Au milieu de ce processus, il existe une pièce de données spéciale appelée le Token CLS. Vous pouvez imaginer ce token comme une « Note de Résumé » ou un « Journal de Capitaine ».

Alors que l'ordinateur regarde la vidéo et suit les mains, il rédige une note de résumé pour le flux vidéo et une note de résumé distincte pour le flux des mains. À la fin, il doit fusionner ces deux notes en un rapport final pour décider : « Cette personne est-elle en train de verser du café ou de couper un sandwich ? »

La découverte principale de l'article est comment fusionner ces deux notes. Les chercheurs ont testé quatre manières différentes de les mélanger :

L'approche « Naïve » (La Page Blanche) : Jeter les deux anciennes notes et en rédiger une toute nouvelle à partir de zéro.
- Résultat : Cela a échoué. C'était comme ignorer les notes du détective et essayer de deviner le crime sans aucun indice.
L'approche « Pondérée » (Le Négociateur) : Donner à la note vidéo un certain pourcentage d'importance et à la note des mains un pourcentage différent (par exemple, 60 % vidéo, 40 % mains). L'ordinateur apprend ces pourcentages au fur et à mesure de son entraînement.
- Résultat : Cela a bien fonctionné, mais l'ordinateur a finalement décidé qu'un partage 50/50 était optimal.
L'approche « Basée sur le Contexte » (Le Gestionnaire Dynamique) : L'ordinateur observe la scène actuelle et décide à la volée dans quelle mesure faire confiance à la vidéo par rapport aux mains.
- Résultat : Étonnamment, cette méthode complexe n'a pas mieux fonctionné que les méthodes simples. C'était comme embaucher un gestionnaire qui suranalyse chaque décision.
L'approche « Moyenne » (Le Partenaire Égal) : Simplement prendre la note vidéo et la note des mains et les mélanger également (50/50).
- Résultat : C'est le gagnant. Il s'est avéré que la méthode la plus simple — donner simplement un poids égal aux deux indices — était la plus efficace.

Les Résultats

Lorsqu'ils ont testé cela sur un ensemble de données appelé H2O (qui contient des vidéos de personnes effectuant des tâches quotidiennes comme verser, couper et assembler), la stratégie « Moyenne » a été un immense succès.

Dans le modèle d'ordinateur plus petit, la précision a bondi de 10 %.
Dans le modèle plus grand, la précision a bondi de 25 %.

Cela signifie qu'en combinant simplement les « yeux » et les « mains » de manière égale, l'ordinateur est devenu beaucoup meilleur pour comprendre ce qui se passait, même lorsque la caméra tremblait ou que les mains bloquaient la vue.

Et après ?

Les chercheurs examinent maintenant deux idées principales pour l'avenir :

Tester sur des ensembles de données plus vastes : Pour voir si la méthode « Basée sur le Contexte » (le gestionnaire dynamique) fonctionne mieux si l'ordinateur dispose de plus de données pour apprendre.
L'astuce de l'« Information Privilegiée » : Ils veulent entraîner l'ordinateur en utilisant à la fois la vidéo et les squelettes des mains, puis le laisser passer des tests en utilisant uniquement la vidéo. C'est comme étudier avec un manuel et un tuteur, mais passer l'examen uniquement avec le manuel. Cela rendrait le système utile dans la vie réelle où nous ne disposons pas toujours des données de « squelette des mains ».

En bref, l'article montre que pour la compréhension de vidéos à la première personne, la meilleure stratégie est souvent la plus simple : écouter les yeux et les mains de manière égale, et laisser le cerveau efficace « Mamba » de l'ordinateur faire le reste.

Résumé Technique : Reconnaissance d'Actions Cross-Modale dans des Vidéos Egocentriques Utilisant Mamba

Énoncé du Problème
La reconnaissance d'actions egocentriques présente des défis uniques distincts des scénarios à caméra fixe, notamment un mouvement de caméra erratique, une occlusion fréquente des mains et la difficulté de maintenir des représentations visuelles cohérentes dans le temps. Bien que les architectures basées sur les Transformers soient bien adaptées à la construction de fortes représentations spatio-temporelles et au traitement de longues séquences, leur mécanisme d'auto-attention s'échelle de manière quadratique avec la longueur de la séquence, limitant ainsi leur faisabilité pour les applications vidéo en ligne. De plus, bien que les données de mouvement squelettique puissent atténuer les problèmes d'occlusion et fournir des indices de mouvement clairs, les modèles existants basés sur Mamba n'ont pas encore intégré les informations squelettiques avec les flux RGB dans un cadre unifié.

Méthodologie
Les auteurs proposent une architecture cross-modale construite sur des Modèles d'Espace d'État (SSM), exploitant spécifiquement le modèle Mamba pour sa complexité temporelle linéaire. L'architecture comprend trois composants principaux :

Flux Vidéo : Un module VideoMamba extrait des embeddings visuels à partir des trames vidéo RGB.
Flux Squelette : Un encodeur dédié, construit sur une pile de blocs Mamba, traite les données temporelles du squelette des mains.
Module de Fusion : Ce composant intègre les deux modalités en une représentation unifiée pour la classification.

Une innovation méthodologique centrale réside dans la conception de quatre stratégies distinctes pour le Mélange du Token CLS. Dans les modèles Mamba et Transformer, le token de classe (CLS) agit comme un puits d'information, concentrant les informations contextuelles pour la classification finale. Les auteurs soutiennent que l'élimination des tokens CLS préentraînés des encodeurs unimodaux gaspille des représentations apprises. Au lieu de cela, ils proposent d'initialiser un nouveau token « CLS Mixte » en utilisant les tokens CLS préentraînés unimodaux via les stratégies suivantes :

Naïve : Rejette les deux tokens CLS préentraînés et initialise un nouveau token entraînable à partir de zéro.
Moyenne : Initialise le token CLS Mixte comme la moyenne élément par élément des tokens CLS vidéo et squelette.
Pondérée : Calcule une combinaison linéaire des deux tokens en utilisant un paramètre scalaire apprenable $\alpha$ (dérivé via une fonction sigmoïde) : $CLS_{mix} = \alpha CLS_{video} + (1-\alpha) CLS_{skeleton}$ .
Basée sur le Contexte : Calcule dynamiquement le paramètre de pondération $\alpha$ en utilisant un bloc Mamba qui traite les séquences de tokens non-CLS concaténées des deux modalités, permettant au poids de fusion de s'adapter en fonction du contenu de l'entrée.

Configuration Expérimentale
L'architecture proposée et les stratégies de fusion ont été évaluées sur le jeu de données H2O, un jeu de données vidéo egocentrique fournissant des annotations synchronisées du squelette des mains et des étiquettes d'actions. Les expériences ont utilisé deux configurations de modèle (Tiny et Small) avec des dimensions d'embedding et des profondeurs variables (24 blocs Mamba). Les encodeurs VideoMamba ont été initialisés avec des points de contrôle préentraînés sur le jeu de données Something-Something V2, tandis que l'encodeur squelette a été entraîné directement sur H2O.

Résultats Clés
Les résultats expérimentaux sur le jeu de données H2O démontrent que l'intégration de données squelettiques améliore significativement les performances par rapport aux bases de référence vidéo uniquement, en particulier lorsque les deux modalités fournissent des signaux informatifs.

Gains de Performance : La stratégie Moyenne a obtenu les meilleures performances. Dans la configuration Tiny, elle a généré un gain de 10,17 % en précision Top-1 par rapport à la base de référence VideoMamba. Dans la configuration Small, le gain était de 25,49 %.
Comparaison des Stratégies : La stratégie Pondérée a performé de manière comparable à la stratégie Moyenne, les paramètres appris convergeant vers une combinaison équilibrée ( $\alpha \approx 0,5$ ), approximent efficacement l'approche de moyenne.
Performance de Référence : La stratégie Naïve, qui rejette les tokens CLS préentraînés, a systématiquement sous-performé, confirmant l'importance de préserver les représentations unimodales apprises.
Limitation Basée sur le Contexte : Contrairement aux attentes, la stratégie plus flexible Basée sur le Contexte n'a pas surpassé les méthodes de fusion plus simples. Les auteurs notent que cela peut être dû à des limitations architecturales ou à l'échelle du jeu de données utilisé.

Signification et Revendications
L'article revendique que la combinaison des modalités visuelle et squelettique au sein d'un cadre Mamba surpasse systématiquement les bases de référence vidéo uniquement lorsque les deux modalités portent des informations significatives. La contribution principale est l'évaluation systématique des stratégies de fusion des tokens CLS, établissant que la simple moyenne des tokens préentraînés est actuellement l'approche la plus efficace pour cette tâche et ce jeu de données spécifiques.

Les auteurs présentent modestement ce travail comme une étape vers une compréhension egocentrique cross-modale efficace. Ils identifient des orientations futures, notamment l'évaluation de ces stratégies sur des jeux de données plus vastes pour déterminer si la saturation de la stratégie Basée sur le Contexte est une contrainte de données ou architecturale, et l'exploration de l'utilisation des données squelettiques en tant qu'« information privilégiée » pendant l'entraînement afin d'améliorer l'inférence visuelle uniquement au moment du test.

L'approche à deux flux : Yeux et Mains

L'ingrédient secret : Le « Token CLS »

Les Résultats

Et après ?

Résumé Technique : Reconnaissance d'Actions Cross-Modale dans des Vidéos Egocentriques Utilisant Mamba

Articles similaires