💻 computer science

CEZSAR: A Contrastive Embedding Method for Zero-Shot Action Recognition

Le papier propose CEZSAR, une nouvelle méthode d'apprentissage contrastif pour la reconnaissance d'actions en zéro-shot qui comble les écarts sémantiques et les décalages de domaine en alignant les embeddings vidéo et textuels dans un espace commun grâce à une procédure d'échantillonnage négatif automatique, obtenant ainsi des résultats à la pointe de l'état de l'art sur les ensembles de données UCF-101 et Kinetics-400.

Auteurs originaux : Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

Publié 2026-05-05

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Valter Estevam, Rayson Laroca, Helio Pedrini, David Menotti

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot à reconnaître des actions humaines, comme « monter à cheval » ou « jouer au basketball ». Habituellement, pour enseigner à un robot, vous devez lui montrer des milliers de vidéos de personnes effectuant ces actions spécifiques et les étiqueter une par une. Mais que se passe-t-il si vous voulez que le robot reconnaisse une nouvelle action, comme « jongler avec des tronçonneuses », qu'il n'a jamais vue auparavant ? Vous ne pouvez pas lui montrer d'exemples car ils n'existent pas dans ses données d'entraînement. C'est le défi de la reconnaissance d'actions Zero-Shot.

L'article présente une nouvelle méthode appelée CEZSAR pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

Les Deux Grands Problèmes

Les auteurs affirment qu'enseigner à un robot de nouvelles actions sans montrer d'exemples est difficile en raison de deux principaux « obstacles » :

Le Fossé Sémantique (La Barrière Linguistique) :
Imaginez un robot qui parle « Visuel » (il voit des pixels et des formes) et un autre qui parle « Texte » (il comprend les mots). Si vous dites au robot-texte : « C'est une course de chevaux », il connaît le concept. Mais le robot-visuel voit une image floue d'un cheval et d'une piste. Le problème est que l'« idée » d'une course de chevaux dans le monde du texte ne correspond pas parfaitement à la « photo » d'une course de chevaux dans le monde visuel. Ils sont comme deux personnes parlant des dialectes différents ; ils comprennent la même chose, mais les détails se perdent dans la traduction.
- La Solution de l'Article : CEZSAR construit un traducteur universel. Il force le robot visuel et le robot texte à apprendre une langue partagée où l'image d'une course de chevaux et la phrase « course de chevaux » se trouvent juste à côté l'une de l'autre dans leur mémoire.
Le Décalage de Domaine (Le Piège du Contexte) :
Imaginez que vous entraînez un robot uniquement sur des vidéos de personnes courant dans un parc. Si vous lui demandez ensuite de reconnaître quelqu'un courant sur un tapis roulant dans une salle de sport, il pourrait se confondre car l'arrière-plan (le « domaine ») est totalement différent. Le robot a mémorisé le parc, pas l'acte de courir.
- La Solution de l'Article : Les auteurs ont réalisé que, tandis que le monde visuel change beaucoup (différents parcs, différentes salles de sport), la description textuelle de « courir » reste la même. En ancrant l'apprentissage visuel à la description textuelle, le robot apprend à ignorer l'arrière-plan confus et à se concentrer sur l'action elle-même.

Comment CEZSAR Fonctionne (La Recette)

La méthode utilise une approche « contrastive », qui ressemble à un jeu de « Chaud et Froid ».

La Configuration : Le système prend une vidéo et une phrase la décrivant.
L'Objectif : Il tente de faire que la vidéo et sa phrase correspondante se « fassent un câlin » dans un espace mathématique (en se rapprochant très fort).
La Touche (Échantillonnage Négatif Difficile) : C'est la partie astucieuse. Le système doit apprendre ce qui ne correspond pas. Au lieu que des humains trouvent manuellement de mauvais correspondants, l'ordinateur les génère automatiquement.
- Il prend une vidéo de quelqu'un « montant à cheval ».
- Il saisit une phrase sur « monter à cheval » (la bonne correspondance).
- Il saisit une phrase sur « faire du vélo » ou « cuisiner des pâtes » (la mauvaise correspondance).
- Il force l'ordinateur à éloigner la phrase « cuisiner » de la vidéo « cheval ».
- La Magie : Ils utilisent une astuce intelligente pour trouver ces « mauvais correspondants » automatiquement sans aide humaine, créant des millions d'exemples d'entraînement en quelques heures sur un seul ordinateur.

Les Résultats

Les auteurs ont testé cela sur deux célèbres ensembles de données vidéo (UCF-101 et Kinetics-400).

Le Score : Leur méthode a obtenu une précision significativement plus élevée que les méthodes précédentes. Par exemple, lors d'un test avec 101 actions différentes qu'il n'avait jamais vues, elle a amélioré la précision d'environ 10 points de pourcentage par rapport à la deuxième meilleure méthode.
Pourquoi cela a fonctionné : En utilisant les descriptions textuelles pour guider l'apprentissage visuel, le robot est devenu bien meilleur pour distinguer des actions qui se ressemblent (comme « monter à cheval » vs « course de chevaux ») et n'a pas été confus par différents arrière-plans.

En Bref

CEZSAR est une nouvelle façon d'enseigner aux ordinateurs à reconnaître des actions qu'ils n'ont jamais vues auparavant. Au lieu de simplement mémoriser des images, il apprend à l'ordinateur à relier les images à leurs descriptions, en utilisant un jeu intelligent de « correspondance et non-correspondance » pour combler le fossé entre ce que nous voyons et ce que nous lisons. Cela permet à l'ordinateur de comprendre de nouvelles actions rapidement et avec précision, même s'il n'a jamais regardé de vidéo les montrant auparavant.

Résumé Technique : CEZSAR

Définition du Problème

L'article traite de la Reconnaissance d'Actions à Zéro Shot (ZSAR) dans les vidéos, une tâche visant à classer des instances d'actions appartenant à des classes absentes de la phase d'entraînement du modèle. Les auteurs identifient deux défis persistants dans les approches ZSAR existantes :

Le Fossé Sémantique : Un désalignement entre le domaine visuel (représenté par des CNN ou des Transformers) et le domaine textuel (représenté par des modèles de langage). Même dans des espaces d'incrustation conjoints, la distribution des caractéristiques visuelles diverge souvent de leurs homologues sémantiques. Par exemple, des actions comme « Cheval d'arçons » et « Poutre » partagent des structures de scène similaires (gymnases) mais diffèrent par leurs mouvements spécifiques et leur équipement, ce qui entraîne une confusion dans les espaces d'incrustation.
Le Décalage de Domaine : La divergence des distributions de probabilité entre l'ensemble d'entraînement et l'ensemble de test non vu. Puisque l'ensemble de test est inconnu durant l'entraînement, les modèles peinent à généraliser à de nouvelles distributions de données.

Les méthodes existantes reposent souvent sur des attributs définis par l'homme ou des plongements de mots simples (par exemple, Word2Vec, GloVe), qui échouent à capturer les différences sémantiques fines ou nécessitent un effort manuel considérable. De plus, bien que des modèles pré-entraînés à grande échelle comme CLIP soient prometteurs, ils nécessitent d'énormes ressources computationnelles et des données (des centaines de millions de paires) souvent inaccessibles.

Méthodologie : CEZSAR

Les auteurs proposent CEZSAR (Méthode d'Incrustation Contrastive pour la Reconnaissance d'Actions à Zéro Shot), un modèle conçu pour apprendre un espace d'incrustation conjoint pour les vidéos et les descriptions en langage naturel en utilisant l'apprentissage contrastif.

Architecture

Le modèle se compose de deux modules principaux :

Module d'Incrustation Visuelle (VEM) :
- Les vidéos sont échantillonnées à 1 image par seconde (IPS).
- Les images sont encodées à l'aide d'un Réseau de Neurones Convolutif (CNN) pré-entraîné, spécifiquement ResNet-152, produisant une pile de caractéristiques.
- Une couche entièrement connectée réduit la dimensionnalité, suivie d'un Encodeur Transformer avec une attention multi-têtes pour modéliser l'information temporelle.
- La sortie est projetée dans un espace sémantique conjoint (128 dimensions).
Module d'Incrustation de Phrase (SEM) :
- Les descriptions en langage naturel sont traitées à l'aide de Sentence-BERT (SBERT) pour générer des incrustations de 768 dimensions.
- Celles-ci sont projetées via une couche entièrement connectée dans le même espace sémantique conjoint.

Stratégie d'Entraînement : Échantillonnage de Négatifs Difficiles

Une innovation centrale est le procédé d'échantillonnage automatique de négatifs difficiles, qui élimine le besoin de paires négatives annotées par l'homme :

Filtrage Sémantique : Le modèle utilise un modèle SBERT pré-entraîné pour évaluer la similarité entre les phrases. Les phrases présentant une similarité cosinus élevée (au-dessus d'un seuil $\tau$ ) sont considérées comme sémantiquement similaires.
Augmentation Basée sur les Objets : Le système détecte les objets dans la vidéo et génère des phrases descriptives pour eux. Il sélectionne ensuite des descriptions négatives suffisamment différentes à la fois de la description annotée par l'homme et des descriptions générées par les objets.
Génération de Triplets : Ce processus génère des triplets composés de (vidéo, description positive, description négative). Les auteurs rapportent la génération d'environ trois millions de triplets à partir de l'ensemble de données ActivityNet Captions.
Fonction de Perte : Le modèle est entraîné à l'aide d'une fonction de Perte Triplet, qui minimise la distance entre une vidéo et sa description positive tout en maximisant la distance par rapport à sa description négative.

Classification

Lors de l'inférence, le modèle mappe à la fois la vidéo d'entrée et les prototypes de classe (définis par des descriptions de phrases) dans l'espace d'incrustation conjoint. La classification est effectuée en utilisant une règle du plus proche voisin basée sur la similarité cosinus. L'incrustation finale de la vidéo ($VidE$) peut optionnellement intégrer des informations sémantiques au niveau des objets ( $O(v)$ ) parallèlement aux caractéristiques visuelles brutes ($VE(v)$), contrôlées par des paramètres de pondération $\alpha$ et $\beta$ .

Contributions Clés

L'article énonce trois contributions principales :

Une Nouvelle Méthode Contrastive Cross-Modale : CEZSAR associe efficacement les caractéristiques visuelles aux descriptions de phrases, réduisant considérablement le fossé sémantique entre les modalités.
Projection Modulaire : L'architecture permet de projeter les vidéos et les descriptions via des sous-réseaux distincts, facilitant l'inclusion de modalités supplémentaires (texte, images ou autres vidéos) sans réentraîner l'ensemble du modèle contrastif.
Efficacité et Robustesse : La méthode obtient des résultats de pointe sur des benchmarks standards en utilisant un seul GPU et une fraction des données et du temps d'entraînement requis par des modèles à grande échelle comme CLIP.

Résultats Expérimentaux

La méthode a été évaluée sur les ensembles de données UCF-101 et Kinetics-400 dans diverses configurations de division à zéro shot (par exemple, 0 % de classes vues, 100 % de classes non vues).

UCF-101 : Dans la configuration 0/101 (toutes les classes non vues), CEZSAR a atteint une précision de 95,2 % (visualisée dans la Fig. 1b), une amélioration significative par rapport à la base ZSARCAP (67,2 %) et à d'autres méthodes de pointe. L'inclusion de sémantique au niveau des objets a apporté des améliorations marginales mais constantes.
Kinetics-400 : Le modèle a surpassé toutes les méthodes de pointe précédentes sur toutes les configurations de test (25, 100 et 400 classes non vues). Pour la division à 400 classes, il a atteint une précision de 23,8 %, dépassant le précédent meilleur résultat de 20,4 %.
Échantillons Difficiles : Sur un sous-ensemble de 15 classes difficiles et très similaires (par exemple, distinguer entre « équitation » et « course de chevaux »), CEZSAR a atteint une précision de 63,3 % contre 47,4 % pour ZSARCAP. Les matrices de confusion indiquent une réduction substantielle des erreurs de classification, en particulier pour les groupes impliquant un équipement ou des scénarios similaires.

Importance et Revendications

Les auteurs affirment que CEZSAR démontre que l'apprentissage contrastif est une approche simple mais efficace pour combler le fossé sémantique en ZSAR. En conditionnant l'apprentissage des caractéristiques visuelles sur des descriptions textuelles — une modalité moins sujette au décalage de domaine — le modèle atténue naturellement le problème du décalage de domaine.

L'article souligne que des performances élevées en reconnaissance à zéro shot ne nécessitent pas nécessairement une infrastructure de pré-entraînement à grande échelle (par exemple, des milliers de GPU et des centaines de millions de paires de données). Au contraire, un cadre contrastif soigneusement conçu avec un échantillonnage automatique de négatifs peut obtenir des résultats supérieurs sur des ensembles de données standards en utilisant considérablement moins de ressources (1000 fois moins de représentations visuelles et 100 fois moins de paires de données que les modèles à l'échelle de CLIP, entraînés en quelques heures sur un seul GPU). Le travail suggère que le principal moteur des gains de performance est la réduction effective du fossé sémantique plutôt que le simple volume d'informations sémantiques.