Résumé Technique : Agrégation de Volume de Similarité Spatio-Temporelle pour la Reconnaissance d'Actions à Vocabulaire Ouvert

1. Énoncé du Problème

Les méthodes récentes de Reconnaissance d'Actions à Vocabulaire Ouvert (OVAR) reposent généralement sur l'agrégation de caractéristiques visuelles en une représentation globale (par exemple, en utilisant des tokens [CLS]) avant de calculer l'alignement avec les embeddings textuels. Bien que efficace pour la généralisation en zéro-shot, ce paradigme rejette intrinsèquement les riches informations locales des patches au sein de chaque image. Par conséquent, les indices spatio-temporels fins — tels que les trajectoires de mouvement, les interactions localisées et l'évolution des motifs visuels au fil du temps — sont obscurcis. Les tentatives existantes pour exploiter des tokens locaux (par exemple, TC-CLIP, BDC-CLIP) échouent souvent encore à modéliser explicitement la correspondance entre les motifs visuels locaux évoluant dans le temps et les sémantiques d'actions textuelles, car elles réduisent les interactions spatio-temporelles structurées en un seul vecteur global avant l'alignement textuel.

2. Méthodologie : Agrégation de Volume de Similarité (SimVA)

Les auteurs proposent SimVA, un cadre qui déplace le paradigme de l'agrégation de caractéristiques vers l'agrégation de similarité. Au lieu de fusionner d'abord les caractéristiques visuelles, SimVA construit un volume de similarité spatio-temporel dense 4D entre les tokens visuels au niveau des patches et les embeddings textuels, préservant ainsi les preuves locales tout au long du pipeline de traitement.

2.1 Construction du Volume de Similarité

Étant donné une vidéo d'entrée $V$ et des invites textuelles d'actions, le cadre utilise un modèle CLIP pré-entraîné pour extraire :

• Embeddings Visuels : Des embeddings au niveau des patches $F_{img} \in \mathbb{R}^{T \times H \times W \times D}$ pour $T$ images.
• Embeddings Textuels : Des embeddings de classe $F_{text} \in \mathbb{R}^{N_C \times D}$ pour $N_C$ catégories d'actions.

Un volume de similarité 4D $S \in \mathbb{R}^{T \times H \times W \times N_C}$ est construit en calculant les similarités cosinus entre chaque patch spatio-temporel $(t, i, j)$ et chaque classe $c$. Ce volume représente la correspondance visuelle-texte localisée à travers l'espace et le temps.

2.2 Échantillonnage de Classes d'Actions

L'agrégation directe du volume complet est prohibitivement coûteuse en calcul lorsque $N_C$ est grand. SimVA introduit une stratégie d'échantillonnage de classes :

1. Calculer une représentation vidéo globale $\bar{V}$ en moyennant les tokens [CLS] au niveau des images.
2. Calculer les scores de similarité globale $S_{global} = \bar{V}^\top F_{text}$.
3. Sélectionner les $M$ meilleures classes. Pendant l'entraînement, un bruit uniforme est ajouté pour encourager l'exploration, et la classe de vérité terrain est forcée dans le sous-ensemble.
   Cela réduit la dimension des classes de $N_C$ à une taille gérable $M$, réduisant le volume à $Z_0 \in \mathbb{R}^{T \times H \times W \times M \times d_f}$.

2.3 Agrégation Spatio-Temporelle Structurée

Le cadre traite le volume de similarité échantillonné via un pipeline structuré répété sur $N_L$ couches :

• Agrégation Spatiale : En utilisant des blocs Swin Transformer, le modèle affine les motifs de similarité intra-image. Cela impose une cohérence locale parmi les patches appartenant au même objet et supprime le bruit de fond, contextualisant les similarités locales au sein de l'image.
• Modulation Sensible au Mouvement : Pour injecter des indices de variation inter-image, le modèle estime les décalages de mouvement entre images consécutives en utilisant les caractéristiques d'images CLIP. Ces décalages sont normalisés pour supprimer le mouvement global de la caméra et projetés dans un signal de modulation $\gamma_t$. Ce signal met à l'échelle de manière adaptative les caractéristiques affinées spatialement, en mettant l'accent sur les régions présentant des changements dynamiques significatifs (par exemple, des objets en mouvement) avant la modélisation temporelle.
• Agrégation Temporelle : Un bloc Mamba (Modèle d'Espace d'État) traite les séquences de similarité sensibles au mouvement. Contrairement aux Transformers qui portent une attention globale, le mécanisme de balayage vers l'avant de Mamba s'aligne sur la progression temporelle naturelle des vidéos. Il accumule séquentiellement des motifs de similarité conscients des transitions, modélisant l'évolution des preuves spécifiques à l'action au fil du temps tout en préservant l'alignement spatio-temporel.

2.4 Objectif d'Entraînement

Les scores au niveau de la vidéo finale sont obtenus via une projection linéaire et un pooling moyen spatio-temporel. L'objectif d'entraînement combine :

1. Perte d'Agrégation ($L_{agg}$) : Perte d'entropie croisée sur les logits de classes échantillonnées.
2. Perte de Classification ($L_{cls}$) : Une perte auxiliaire calculée à partir de l'alignement vidéo-texte global (en utilisant les tokens [CLS]) pour empêcher l'oubli catastrophique et préserver l'a priori pré-entraîné.

3. Contributions Clés

1. Changement de Paradigme : Introduit un cadre pour l'OVAR basé sur CLIP qui opère directement dans l'espace de similarité, passant de l'agrégation de caractéristiques à l'agrégation de similarité pour préserver les correspondances spatio-temporelles denses.
2. Architecture Évolutible : Propose une stratégie d'échantillonnage de classes économe en mémoire qui permet à l'agrégation de similarité de s'adapter à des scénarios à vocabulaire ouvert de grande envergure sans coûts de calcul prohibitifs.
3. Agrégation Structurée : Conçoit un pipeline intégrant l'agrégation spatiale (pour la cohérence intra-image), la modulation sensible au mouvement (pour les dynamiques inter-images) et l'agrégation temporelle basée sur Mamba (pour la modélisation de l'évolution séquentielle).
4. Validation Empirique : Démontre son efficacité sur des benchmarks de zéro-shot, few-shot et de généralisation base-vers-nouveau.

4. Résultats Expérimentaux

La méthode a été évaluée sur cinq benchmarks standards (Kinetics-400, Kinetics-600, HMDB-51, UCF-101, Something-Something V2) en utilisant un backbone CLIP ViT-B/16.

• Performance en Zéro-Shot : SimVA a surpassé des bases de référence solides (par exemple, ActionCLIP, X-CLIP, ViFi-CLIP, TC-CLIP) sur tous les jeux de données. Sur HMDB-51, UCF-101 et K600, il a obtenu des résultats à l'état de l'art ou hautement compétitifs (par exemple, 76,5 % Top-1 sur K600, 86,2 % sur UCF-101).
• Apprentissage Few-Shot : Dans des configurations avec $K \in \{2, 4, 8, 16\}$ exemples par classe, SimVA a constamment surpassé les méthodes existantes, indiquant une adaptation robuste aux tâches vidéo avec une supervision limitée.
• Généralisation Base-vers-Nouveau : Le modèle a atteint la meilleure précision de base sur tous les jeux de données et la plus haute moyenne harmonique (HM) sur UCF-101 et SSv2, montrant une forte généralisation aux catégories non vues tout en conservant les performances sur les classes de base.
• Efficacité : Malgré la construction de volumes denses, SimVA maintient un budget de calcul comparable à d'autres méthodes basées sur CLIP (124,6M de paramètres, 315 GFLOPs), démontrant un compromis favorable entre efficacité et performance.

5. Importance et Revendications

L'article revendique que SimVA transfère efficacement les puissantes capacités d'alignement image-texte de CLIP au domaine spatio-temporel en modélisant explicitement comment les motifs visuels localisés évoluent en interaction avec les sémantiques textuelles. En maintenant une correspondance visuelle-texte dense et en évitant le pooling global précoce, le cadre permet une discrimination précise d'actions fines qui dépendent de variations temporelles subtiles.

Les auteurs affirment que l'agrégation dans l'espace de similarité est une direction prometteuse pour adapter les modèles vision-langage à la reconnaissance d'actions vidéo. Ils reconnaissent une limitation concernant le budget fixe d'échantillonnage de classes, notant que des stratégies adaptatives pourraient améliorer davantage l'évolutivité, mais maintiennent que l'approche actuelle offre un équilibre robuste entre performance et faisabilité computationnelle.