Let's Split Up: Zero-Shot Classifier Edits for Fine-Grained Video Understanding

Ce papier propose une méthode d'édition en zéro-shot, appelée « category splitting », qui permet d'affiner les catégories grossières des modèles de reconnaissance vidéo en sous-catégories plus précises sans données supplémentaires, tout en préservant la performance globale.

L'essentiel

🎬 Le Titre : "Faisons une séparation !" (Let's Split Up)

Imaginez que vous avez un dictionnaire des actions très ancien et un peu brouillon. Dans ce dictionnaire, il y a une seule entrée pour le mot "Ouvrir".

Si vous ouvrez une porte, si vous ouvrez un livre, ou si vous ouvrez une boîte de conserve, le dictionnaire dit simplement : "Ouvrir". C'est trop vague ! Dans la vraie vie, ouvrir une porte en la poussant est très différent de l'ouvrir en la tirant, ou de l'ouvrir lentement alors qu'elle est coincée.

Les modèles d'IA actuels (les "cerveaux" qui regardent les vidéos) sont comme ce dictionnaire brouillon. Ils sont entraînés sur des listes fixes de catégories. Si on veut leur apprendre à distinguer "ouvrir doucement" de "ouvrir violemment", il faut normalement tout recommencer : collecter des milliers de nouvelles vidéos, les étiqueter manuellement (ce qui prend des mois) et réentraîner le modèle de zéro. C'est cher, long et fastidieux.

💡 L'Idée Géniale : Le "Chirurgien de Mots"

Les auteurs de ce papier (Kaiting Liu et Hazel Doughty) ont une idée différente. Au lieu de reconstruire toute la maison, ils proposent de faire une micro-chirurgie sur le modèle existant.

Ils appellent cela le "Découpage de Catégorie" (Category Splitting).

Imaginez que votre modèle d'IA est un chef cuisinier qui sait faire un excellent "Gâteau". Mais maintenant, vous voulez qu'il sache faire spécifiquement un "Gâteau au chocolat" et un "Gâteau à la vanille", sans qu'il oublie comment faire le "Gâteau" de base.

Au lieu de lui apprendre à cuisiner depuis la naissance, vous lui dites : "Hé, tu sais déjà faire un gâteau. Regarde, il y a une petite différence entre le chocolat et la vanille. Je vais juste te donner une petite étiquette 'Chocolat' et une 'Vanille' sur ton tablier, et tu sauras les distinguer."

🛠️ Comment ça marche ? (Les 3 Astuces Magiques)

Le papier propose trois façons de faire cette "chirurgie", de la plus simple à la plus intelligente :

1. L'Astuce "Zéro Shot" (Sans aucune vidéo)

C'est la partie la plus impressionnante. Le modèle a déjà vu des millions de vidéos. Il a appris des structures cachées.

• L'analogie : Imaginez que le modèle a déjà appris la différence entre "Lancer une balle vers la gauche" et "Lancer une balle vers la droite". Il sait que "gauche" et "droite" sont des concepts opposés.
• L'astuce : Si vous voulez maintenant qu'il distingue "Pousser vers la gauche" de "Pousser vers la droite", le modèle n'a pas besoin de voir de nouvelles vidéos de poussée. Il peut emprunter la notion de "gauche/droite" qu'il a déjà apprise pour les lancers, et l'appliquer à la poussée.
• Résultat : On modifie juste la "tête" du modèle (la partie qui décide du nom de l'action) en ajoutant ces petits concepts, sans toucher au reste du cerveau. C'est gratuit et instantané.

2. L'Astuce "Alignement" (Le Traducteur)

Parfois, le mot que vous voulez utiliser (par exemple "en spirale") n'existe pas encore dans le dictionnaire du modèle.

• L'analogie : C'est comme si vous vouliez apprendre à un traducteur un nouveau mot dans une langue qu'il ne connaît pas, mais vous lui donnez la définition dans une langue qu'il maîtrise.
• L'astuce : Le système crée un petit pont entre le texte (la description de l'action) et les poids mathématiques du modèle. Il apprend à dire : "Quand je vois le mot 'en spirale', cela correspond à cette petite modification mathématique dans le cerveau."
• Résultat : On peut créer de nouvelles catégories à partir de simples descriptions textuelles, sans aucune vidéo.

3. L'Astuce "Peu de Shots" (Quelques exemples)

Parfois, vous avez juste une seule vidéo d'un nouvel exemple (par exemple, une vidéo d'une personne qui tombe en arrière).

• L'analogie : C'est comme si vous montriez une photo à un ami qui connaît déjà bien le sujet, et vous lui disiez : "Regarde, c'est exactement comme ce qu'on a vu avant, mais avec une petite touche en plus."
• L'astuce : On utilise la méthode "Zéro Shot" pour préparer le terrain, puis on ajuste très légèrement le modèle avec cette unique vidéo.
• Résultat : Le modèle apprend incroyablement vite, beaucoup mieux que s'il avait dû apprendre à partir de zéro.

🏆 Les Résultats : Pourquoi c'est une révolution ?

Les auteurs ont testé leur méthode sur deux nouveaux jeux de données (des listes de vidéos) qu'ils ont créés eux-mêmes.

• Comparaison : Ils ont comparé leur méthode avec les géants actuels de l'IA (les modèles "Vision-Language" comme CLIP) qui essaient de deviner l'action en lisant le texte.
• Le verdict : Les géants actuels sont très bons pour ne pas oublier les anciennes catégories (ils ne "cassent" rien), mais ils sont mauvais pour distinguer les détails fins.
• La victoire : La méthode de "Découpage" est beaucoup plus précise pour distinguer les nuances (comme la direction, la vitesse, ou l'état de l'objet) tout en gardant intactes les connaissances précédentes.

🚀 En Résumé

Ce papier nous dit : "Arrêtez de tout réapprendre !"

Au lieu de jeter un modèle d'IA et de le réentraîner chaque fois qu'on veut ajouter une nuance (comme passer de "marcher" à "marcher vite"), on peut simplement éditer le modèle existant. On lui donne des "outils" supplémentaires pour distinguer les détails, en utilisant ce qu'il sait déjà.

C'est comme passer d'un dictionnaire rigide à un dictionnaire vivant, capable de s'adapter instantanément à de nouvelles subtilités, sans avoir besoin de réécrire tout le livre. C'est plus rapide, moins cher, et surtout, ça fonctionne très bien !

Résumé technique

1. Problématique et Contexte

Les modèles de reconnaissance vidéo actuels sont généralement entraînés sur des taxonomies fixes et souvent trop grossières. Une seule étiquette (par exemple, « ouvrir ») peut masquer des distinctions visuelles subtiles concernant l'objet, la manière, la vitesse ou le résultat de l'action.

• Limites des approches existantes :
  • Réentraînement : Collecter de nouvelles annotations et réentraîner le modèle est coûteux en temps et en données.
  • Modèles Vision-Language (VLM) : Bien qu'ils permettent d'ajouter des catégories via des prompts textuels, ils reposent sur des corpus massifs rarement disponibles dans des domaines spécialisés et peinent à capturer les indices temporels fins nécessaires aux actions subtiles.
  • Apprentissage continu : Souvent conçu pour ajouter de nouvelles classes distinctes, mais pas pour diviser une catégorie existante en sous-catégories fines sans oublier les connaissances précédentes.

Le défi : Comment diviser une catégorie coarse existante d'un classifieur vidéo en plusieurs sous-catégories fines, tout en préservant la précision sur les autres catégories, sans réentraîner l'ensemble du modèle et avec peu ou pas de données étiquetées ?

2. Méthodologie : Le « Category Splitting »

Les auteurs introduisent une nouvelle tâche appelée Category Splitting (division de catégorie). L'objectif est d'éditer un classifieur pré-entraîné pour remplacer une étiquette coarse par un ensemble de sous-catégories fines, en maintenant la généralité (précision sur les nouvelles classes) et la localité (pas de dégradation sur les anciennes classes).

L'approche repose sur l'observation que les backbones vidéo modernes capturent une structure compositionnelle latente dans leurs poids, même sans supervision explicite.

A. Édition Zero-Shot (Sans données)

La méthode propose d'exploiter la structure des poids du classifieur pour extraire des « modificateurs » (ex: « vers la gauche », « jusqu'à ce que cela casse »).

1. Récupération de Modificateurs (Modifier Retrieval) :

   • Le système identifie des catégories existantes dans le modèle qui partagent un concept de base (ex: « piquer ») mais diffèrent par un modificateur (ex: « pour qu'il tombe », « pour qu'il tourne »).
   • Il calcule un vecteur de modificateur ($v_m$) en soustrayant le vecteur de poids moyen du concept de base des vecteurs de poids des catégories fines.
   • Pour diviser une nouvelle catégorie coarse, le système récupère le vecteur de modificateur le plus pertinent via une similarité textuelle (encodage CLIP) et l'ajoute au vecteur de poids de la catégorie coarse pour créer les nouveaux poids de sous-catégories.
   • Formule clé : $w_{sc_j} = w_c + v^*_m$ (où $w_c$ est le poids de la catégorie coarse et $v^*_m$ le modificateur récupéré).

2. Alignement de Modificateurs (Modifier Alignment) :

   • Pour généraliser à des modificateurs qui n'existent pas encore dans le dictionnaire du modèle, un module d'alignement léger (MLP) est entraîné.
   • Ce module apprend à mapper les embeddings textuels des modificateurs directement dans l'espace des poids du classifieur, en utilisant les paires (texte, vecteur de poids) extraites précédemment comme supervision. Cela permet de synthétiser des vecteurs pour des modificateurs jamais vus.

B. Édition Low-Shot (Peu de données)

Lorsque quelques exemples vidéo sont disponibles, les auteurs proposent un fine-tuning isolé :

• Seuls les poids de la nouvelle tête de classification (les sous-catégories étendues) sont mis à jour, le backbone restant gelé.
• L'initialisation de ces nouveaux poids se fait via la méthode Zero-Shot décrite ci-dessus, offrant un point de départ bien meilleur qu'une initialisation aléatoire ou basée uniquement sur la catégorie parente.

3. Contributions Clés

1. Définition de la tâche : Introduction formelle du « Category Splitting » comme problème d'édition de modèle pour le raffinement de taxonomies vidéo.
2. Méthode Zero-Shot : Une technique innovante qui décompose les catégories fines en concepts de base et modificateurs, permettant d'éditer les poids du classifieur sans aucune donnée vidéo supplémentaire.
3. Benchmarks et Métriques : Création de deux nouveaux benchmarks (SSv2-Split et FineGym-Split) dérivés de Something-Something V2 et FineGym288, avec des métriques spécifiques pour évaluer la généralité (précision sur les nouvelles sous-catégories) et la localité (préservation des performances sur les anciennes catégories).
4. Analyse de l'efficacité : Démonstration que l'exploitation de la structure latente des classifieurs vidéo est supérieure à l'utilisation de modèles Vision-Language externes pour cette tâche spécifique.

4. Résultats Expérimentaux

Les expériences ont été menées sur les benchmarks SSv2-Split et FineGym-Split en comparant la méthode proposée avec divers modèles Vision-Language (CLIP, VideoCLIP-XL, VideoPrism, etc.).

• Performance Zero-Shot : La méthode proposée atteint une généralité bien supérieure (ex: 46,3 % sur SSv2-Split Subset A) par rapport aux VLMs (environ 27-30 %), tout en maintenant une localité quasi parfaite (>98 %). Les VLMs échouent à capturer les distinctions fines temporelles et spatiales sans réentraînement.
• Performance Low-Shot : Avec seulement une vidéo par sous-catégorie, le fine-tuning initialisé par la méthode Zero-Shot atteint des performances exceptionnelles (moyenne de 75,5 %), surpassant même le fine-tuning complet sur l'ensemble des données (54,4 %) qui souffre d'un oubli catastrophique (localité à 0 %).
• Robustesse : La méthode fonctionne bien sur différents backbones (ViT-Small à ViT-Large) et différents types de pré-entraînement, bien que les modèles pré-entraînés uniquement sur vidéo (comme MVD, SIGMA) donnent de meilleurs résultats que ceux pré-entraînés Image-Texte (CLIP).
• Analyse des échecs : La méthode est moins performante pour les distinctions nécessitant de nouveaux concepts visuels absents du backbone (ex: « dévié »), mais réussit là où les indices visuels sont implicites dans le modèle.

5. Signification et Impact

Ce travail démontre que les classifieurs vidéo modernes contiennent une richesse de connaissances compositionnelles souvent sous-exploitée.

• Efficacité des ressources : Il offre une voie pour adapter rapidement les modèles à des besoins spécifiques (ex: médecine, sport de haut niveau) sans le coût prohibitif de la collecte de données et du réentraînement massif.
• Au-delà du Zero-Shot : La méthode suggère que l'édition de modèles (Model Editing) peut être appliquée efficacement à la vision par ordinateur pour la gestion dynamique des taxonomies, un domaine où les approches de type VLM ou Continual Learning ont montré des limites.
• Interprétabilité : En décomposant les actions en concepts de base et modificateurs, la méthode offre une forme d'interprétabilité structurelle des représentations vidéo latentes.

En résumé, « Let's Split Up » propose une solution élégante et efficace pour affiner la compréhension vidéo fine-grained en réutilisant intelligemment les connaissances existantes des modèles, évitant ainsi le piège du réentraînement complet.