💻 computer science

TACO: Towards Task-Consistent Open-Vocabulary Adaptation in Video Recognition

Le papier introduit TACO, un cadre pour la reconnaissance vidéo à vocabulaire ouvert qui atténue la déviation de représentation causée par l'incohérence des objectifs en employant une distillation de structure relative pour préserver l'alignement hors distribution et une projection de spécialisation pour découpler l'adaptation spécifique à la tâche de l'espace de représentation au moment du test, atteignant ainsi des performances de pointe sur divers benchmarks.

Auteurs originaux : Minghao Zhu, Xiao Lin, Mengxian Hu, Xun Zhou, Liuyi Wang, Xiaoyan Qi, Chengju Liu, Qijun Chen

Publié 2026-06-25

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Minghao Zhu, Xiao Lin, Mengxian Hu, Xun Zhou, Liuyi Wang, Xiaoyan Qi, Chengju Liu, Qijun Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un guide brillant et chevronné nommé CLIP. Ce guide a lu des millions de livres et vu des millions de photos, il sait donc reconnaître un « chat », un « coucher de soleil » ou un « chien joyeux » simplement en regardant une image ou en lisant une description. Il est excellent pour généraliser car il a vu énormément de variétés.

Maintenant, vous voulez apprendre à ce guide à reconnaître des vidéos (qui bougent et changent au fil du temps) et, plus précisément, à reconnaître des catégories de vidéos qu'il n'a jamais vues auparavant (comme « jongler avec des torches enflammées » ou « danser avec un robot »). C'est le défi de la Reconnaissance Vidéo Open-Vocabulary (à vocabulaire ouvert).

Le problème est que lorsque vous essayez d'entraîner ce guide sur un ensemble spécifique d'exemples vidéo (comme un jeu de données de 400 actions communes), il a tendance à devenir « trop spécialisé ». Il commence à oublier ses connaissances générales et étendues pour ne devenir qu'un expert des choses spécifiques qui viennent de lui être enseignées. Si vous lui demandez ensuite d'identifier une vidéo de quelque chose de totalement nouveau, il est en difficulté car il a perdu sa « carte » originale de la façon dont les choses sont liées entre elles.

Les auteurs de ce papier, TACO, soutiennent que la manière actuelle d'entraîner ces guides est défectueuse. Ils entraînent le guide uniquement sur le territoire « connu » (les données d'entraînement), mais attendent de lui qu'il navigue dans un territoire « inconnu » (de nouvelles catégories) plus tard. Cela provoque une déformation et une distorsion de la carte interne du guide.

Voici comment TACO corrige cela, en utilisant deux astuces principales :

1. L'astuce de l'« Ancre Géométrique » (Distillation de Structure Relative)

Imaginez que le cerveau du guide est une immense carte en 3D où chaque concept (comme « courir », « nager » ou « cuisiner ») est un point dans l'espace. Dans une bonne carte, la distance et la direction entre « courir » et « marcher » doivent rester cohérentes, même si l'on ajoute de nouveaux points comme « sprinter ».

Lorsque vous entraînez le guide sur de nouvelles données vidéo, la carte se comprime et s'étire. Les points pour « courir » et « marcher » peuvent s'éloigner trop de la trajectoire ou se rapprocher trop près, brisant la logique originale de la carte.

La solution de TACO :
Au lieu de regarder uniquement les points connus, TACO dépose des milliers de « balises » invisibles et aléatoires (appelées Ancres Géométriques) partout sur la carte, y compris dans les espaces vides où le guide n'a pas encore été entraîné.

Comment ça marche : Pendant l'entraînement, le système vérifie constamment : « Hé, si « courir » se déplace, est-ce que la distance par rapport à ces balises aléatoires reste cohérente avec ce qu'elle était auparavant ? »
Le résultat : Cela force le guide à maintenir la forme de sa carte interne intacte. Même si les balises ne représentent pas des choses réelles (ce sont juste des points aléatoires dans l'espace), elles agissent comme un échafaudage rigide. Elles empêchent le cerveau du guide de trop se déformer, garantissant que lorsqu'il rencontrera une nouvelle catégorie plus tard, les relations entre les concepts feront toujours sens.

2. L'astuce du « Chapeau de Spécialisation » (Découplage des Espaces)

Imaginez que le guide porte deux chapeaux différents :

Le « Chapeau de la Pensée » : C'est son cerveau permanent, utilisé pour comprendre le monde et reconnaître de nouvelles choses.
Le « Chapeau de l'Examen » : C'est un outil temporaire utilisé uniquement pour résoudre les problèmes de devoirs spécifiques sur lesquels il est entraîné en ce moment.

Dans un entraînement standard, le guide porte le « Chapeau de l'Examen » directement sur son cerveau. En résolvant ses devoirs, son cerveau est modelé spécifiquement pour ce devoir, et il oublie comment penser de manière générale.

La solution de TACO :
TACO place une couche légère et jetable (une Projection de Spécialisation) entre le cerveau du guide et l'examen.

Comment ça marche : Le guide utilise son cerveau permanent pour comprendre la vidéo, puis transmet cette compréhension à travers un « adaptateur » temporaire pour résoudre la tâche d'entraînement spécifique. L'entraînement se fait sur cet adaptateur, et non directement sur le cerveau.
Le résultat : Lorsqu'il est temps de passer le « vrai test » (reconnaître de nouvelles vidéos), le guide retire le « Chapeau de l'Examen » et l'adaptateur. Il se retrouve avec son cerveau original, non déformé, qui est désormais parfaitement ajusté à la tâche mais n'a pas perdu sa capacité générale à reconnaître de nouvelles choses.

L'essentiel

Le papier affirme qu'en utilisant ces deux méthodes — maintenir la forme de la carte rigide avec des balises aléatoires et garder l'entraînement séparé du cerveau permanent — TACO crée un système de reconnaissance vidéo bien plus performant pour reconnaître de nouvelles catégories de vidéos non vues que les méthodes précédentes.

Ils ont testé cela sur de nombreux jeux de données vidéo (comme UCF-101, HMDB-51 et Kinetics) et ont constaté que leur méthode surpasse systématiquement l'état de l'art, prouant que l'on peut apprendre de nouveaux tours à un modèle sans qu'il n'oublie sa sagesse ancienne.

Résumé Technique : TACO – Vers une adaptation de la reconnaissance vidéo en vocabulaire ouvert cohérente avec la tâche

1. Énoncé du problème

L'article traite du défi consistant à adapter les modèles de vision-langage (VLM) à grande échelle, spécifiquement CLIP, pour la reconnaissance vidéo en vocabulaire ouvert (open-vocabulary video recognition). Bien que CLIP offre une forte généralisation aux concepts visuels non vus grâce au pré-entraînement image-texte, l'adapter au domaine de la vidéo nécessite d'injecter des connaissances temporelles spécifiques à la vidéo sans détruire ses capacités de généralisation pré-entraînées.

Les auteurs identent une incohérence critique dans les paradigmes de fine-tuning existants :

Objectif d'entraînement : L'optimisation est strictement confinée à l'espace In-Distribution (ID) (les catégories spécifiques du jeu de données de fine-tuning).
Objectif d'évaluation : Le modèle est évalué dans l'espace Out-of-Distribution (OOD) (catégories non vues).

Les méthodes existantes tentent d'équilibrer la généralisation et la spécialisation en utilisant des régularisations, mais négligent la déviation des représentations qui se produit au-delà de la distribution d'entraînement. L'article soutient que le fine-tuning standard provoque une dérive des plongements (embeddings) visuels et textuels dans des directions différentes dans l'espace OOD, perturbant l'alignement cross-modal établi par le modèle CLIP pré-entraîné. Ce « décalage d'alignement » (alignment shift) compromet directement la capacité du modèle à se généraliser à de nouvelles catégories vidéo.

2. Méthodologie : Le cadre TACO

Pour atténuer les effets négatifs de la déviation de représentation, les auteurs proposent TACO, un cadre construit sur deux composantes centrales :

A. Distillation de la structure relative (RSD - Relative Structure Distillation)

Au lieu de modéliser explicitement la sémantique OOD (ce qui nécessite une collecte de données coûteuse), TACO régularise l'intégralité de l'espace de représentation pour préserver sa structure géométrique relative.

Mécanisme : La méthode introduit des Ancres Géométriques Aléatoires ( $Z$ ) échantillonnées à partir de l'hypersphère unité de l'espace d'embedding de CLIP. Ces ancres agissent comme des points de référence géométriques qui sont sémantiquement neutres mais uniformément distribués dans l'espace.
Objectif de distillation : Une perte de divergence de Kullback-Leibler (KL) est appliquée pour aligner les relations relatives entre les embeddings de l'étudiant (visuel et texte) et les ancres avec ceux du modèle enseignant (une moyenne mobile exponentielle de l'étudiant).
- La fonction de perte ( $L_{RSD}$ ) garantit que la structure géométrique définie par $vZ^\top$ et $ZW^\top$ reste cohérente entre l'étudiant et l'enseignant.
Effet : Cela empêche les embeddings de dériver arbitrairement dans l'espace OOD pendant le fine-tuning, supprimant efficacement les décalages d'alignement nuisibles sans nécessiter de données de supervision OOD explicites.

B. Projection de spécialisation

Les auteurs observent que le fine-tuning standard expose l'espace de représentation partagé directement à la perte d'entropie croisée (CE - Cross-Entropy) spécifique à la tâche, menant à une sur-spécialisation.

Mécanisme : Une couche de projection linéaire résiduelle légère ( $h(\cdot)$ $h (\cdot)$ ) est insérée entre l'encodeur visuel et l'espace d'optimisation.
- L'Espace de Représentation (sortie de l'encodeur) est maintenu distinct de l'Espace d'Optimisation (entrée de la perte CE).
- La tête de projection est entraînée avec un taux d'apprentissage plus élevé et est abandonnée lors de l'inférence.
Effet : Cela découple l'espace de représentation de la pression directe de l'objectif CE. L'adaptation spécifique à la tâche se produit dans la branche de projection « jetable », préservant la capacité de l'espace de représentation sous-jacent à se généraliser à des catégories non vues.

La fonction de perte totale combine la perte d'entropie croisée standard ( $L_{CE}$ ) et la perte de distillation de structure relative ( $L_{RSD}$ ) :
$L = L_{CE} + \lambda L_{RSD}$

3. Principales contributions

Recadrage du problème : L'article identifie et analyse l'incohérence d'objectif entre le fine-tuning basé sur l'ID et l'évaluation basée sur l'OOD dans la reconnaissance vidéo, démontrant que le fine-tuning standard induit une dérive de représentation et des décalages d'alignement dans l'espace OOD.
Distillation de la structure relative : Une nouvelle technique de régularisation qui préserve la structure géométrique globale de l'espace d'embedding en utilisant des ancres géométriques aléatoires, limitant efficacement la déviation OOD sans données OOD explicites.
Découplage Représentation-Optimisation : Une stratégie architecturale générique utilisant une projection de spécialisation pour empêcher l'espace de représentation partagé d'être directement sur-spécialisé par l'objectif d'entraînement.
Performance de l'état de l'art : Le cadre est validé sur plusieurs benchmarks, démontrant des améliorations constantes par rapport aux méthodes existantes.

4. Résultats expérimentaux

Les auteurs évaluent TACO dans des configurations Cross-Dataset et Base-to-Novel en utilisant des backbones ViT-B/16 et ViT-L/14.

Performance Cross-Dataset : TACO surpasse les méthodes de l'état de l'art (ex: Open-VCLIP, FROSTER, MoTE) sur UCF-101, HMDB-51 et Kinetics-600. Par exemple, avec un backbone ViT-L/14, TACO atteint 91,4 % sur UCF-101 et 64,2 % sur HMDB-51, dépassant largement le précédent meilleur (MoTE).
Performance Base-to-Novel : TACO atteint la moyenne harmonique (HM) la plus élevée sur K400, HMDB, UCF et Something-Something v2, indiquant un meilleur équilibre entre l'ajustement aux catégories d'entraînement et la généralisation aux nouvelles catégories.
Études d'ablation :
- Ancres : Les ancres géométriques aléatoires échantillonnées à partir d'une distribution gaussienne ( $N(0, I)$ ) surpassent les ancres sémantiques dérivées de LLM ou de corpus textuels, confirmant que le gain provient de la couverture géométrique plutôt que du contenu sémantique.
- Découplage : La projection de spécialisation s'avère efficace à travers différents types d'adaptation (Adapter-based, Prompt-based, LoRA, et Full Fine-tuning), prouvant l'orthogonalité de la méthode par rapport au mécanisme d'adaptation sous-jacent.
- Décalage d'alignement : Les expériences confirment que TACO réduit la divergence KL (décalage d'alignement) dans l'espace OOD par rapport au fine-tuning standard, ce qui corrèle avec une meilleure généralisation.

5. Signification et revendications

L'article affirme que TACO offre une solution simple mais efficace au compromis généralisation-spécialisation dans la reconnaissance vidéo en vocabulaire ouvert. Sa principale importance réside dans le fait de déplacer l'attention de la simple ajout de contraintes au sein de la distribution d'entraînement vers la préservation de la cohérence de l'espace de représentation au-delà de la distribution d'entraînement.

En traitant explicitement la déviation dans l'espace OOD par une régularisation géométrique et un découplage architectural, TACO permet aux modèles d'acquérir des connaissances spécifiques à la vidéo tout en maintenant l'alignement robuste et transférable hérité de CLIP. Les auteurs soulignent que leur approche est évolutive, s'intègre facilement dans divers pipelines d'adaptation, et atteint des résultats de pointe sans dépendre de modules de modélisation temporelle complexes ou d'une collecte de données OOD coûteuse.