💻 computer science

SAM 2++: Tracking Anything at Any Granularity

L'article présente SAM 2++, un cadre unifié de suivi vidéo qui intègre l'encodage des invites, le décodage des sorties et la représentation mémoire pour gérer diverses granularités de cibles (masques, boîtes et points) au sein d'un modèle unique, accompagné de la création du premier jeu de données multi-granularité à grande échelle pour atteindre des performances de pointe dans diverses tâches de suivi.

Auteurs originaux : Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Publié 2026-05-19

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jiaming Zhang, Cheng Liang, Yichun Yang, Chenkai Zeng, Yutao Cui, Xinwen Zhang, Xin Zhou, Kai Ma, Gangshan Wu, Limin Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous avez un assistant robot très intelligent dont le travail consiste à regarder des vidéos et à surveiller des éléments spécifiques. Avant cette nouvelle publication, si vous vouliez que le robot suive une voiture en mouvement, vous deviez lui apprendre une méthode spécifique. Si vous vouliez qu'il suive le visage d'une personne, vous deviez lui apprendre une méthode complètement différente. Si vous vouliez qu'il suive un minuscule point sur une balle, il vous fallait un troisième enseignant, totalement distinct.

Les chercheurs derrière SAM 2++ se sont posé une question simple : Pourquoi avons-nous besoin de trois enseignants différents pour le même travail ? Ils ont réalisé que, que vous suiviez une voiture entière (une boîte), le corps d'une personne (un masque) ou un seul point (un point), le robot effectue exactement le même travail mental : « Souviens-toi à quoi ressemblait cette chose il y a une seconde, et retrouve-la maintenant. »

Voici comment ils ont construit un « Suiveur Universel » capable de tout faire, expliqué simplement :

1. Le Problème : Trop d'Outils Spécialisés

Imaginez l'ancienne méthode comme avoir un couteau suisse où vous devez remplacer tout le manche juste pour utiliser le tournevis à la place des ciseaux. Les suiveurs vidéo existants étaient conçus pour un seul travail.

Les Suiveurs de Boîtes ne savaient que dessiner un rectangle autour d'un objet.
Les Suiveurs de Masques ne savaient que colorier la forme exacte d'un objet.
Les Suiveurs de Points ne savaient que suivre un seul point.

Cela signifiait que le robot devait porter trois « cerveaux » différents, ce qui était gaspilleur et rendait difficile l'apprentissage à partir de tous les types de vidéos simultanément.

2. La Solution : Un Cerveau, Trois Langues

L'équipe a créé SAM 2++, qui est comme un robot polyglotte (quelqu'un qui parle plusieurs langues). Il possède un cerveau principal, mais il peut comprendre trois « langues » d'instructions différentes :

La Langue « Boîte » : « Voici un rectangle autour de la voiture. »
La Langue « Masque » : « Voici le contour exact de la personne. »
La Langue « Point » : « Voici un minuscule point sur la balle. »

Le Traducteur (Prompts Spécifiques à la Tâche) :
Lorsque vous donnez au robot une boîte, un masque ou un point, un traducteur spécial convertit immédiatement cette instruction en une « pensée » universelle que le cerveau du robot comprend. Ainsi, le robot ne se soucie pas de savoir si vous lui avez donné une boîte ou un point ; il sait simplement : « D'accord, je dois suivre cela. »

La Sortie Universelle (Décodeur Unifié) :
Une fois que le robot a trouvé l'objet, il ne se contente pas de renvoyer une boîte ou un point. Il dessine d'abord une « ombre » parfaite (un masque) de l'objet. Ensuite, si vous avez demandé une boîte, il mesure rapidement l'ombre pour dessiner une boîte. Si vous avez demandé un point, il trouve le centre de l'ombre. Cela maintient le processus simple et cohérent.

3. La Mémoire : Le « Carnet Intelligent »

La partie la plus difficile du suivi vidéo est de se souvenir à quoi ressemblait l'objet lorsqu'il est caché derrière un arbre ou qu'il se déplace rapidement. Le robot utilise un « Carnet de Mémoire » pour stocker les images passées.

Les chercheurs ont remarqué que s'ils forçaient le robot à utiliser les mêmes pages exactes de carnet pour les boîtes, les masques et les points, le robot se confondait. Une boîte a besoin d'un croquis grossier ; un masque a besoin d'un dessin détaillé ; un point a besoin d'une coordonnée précise.

La Correction (Mémoire Adaptative à la Tâche) :
Au lieu d'un carnet rigide, ils ont donné au robot un carnet intelligent et flexible.

Lorsqu'il suit une boîte, il écrit dans un style « croquis grossier ».
Lorsqu'il suit un masque, il écrit dans un style « art détaillé ».
Lorsqu'il suit un point, il écrit dans un style « mathématiques précises ».

Cela permet au robot de conserver un cerveau principal tout en changeant son style d'écriture en fonction du travail, évitant ainsi la confusion et le rendant bien meilleur pour se souvenir des choses.

4. Le Terrain d'Entraînement : Le Jeu de Données « TAG »

Pour enseigner à ce robot, ils ne pouvaient pas utiliser de vieux manuels car ceux-ci ne contenaient qu'un seul type d'exercice. Ils ont construit une toute nouvelle bibliothèque massive appelée TAG (Tracking-Any-Granularity).

Comment ils l'ont construite : Ils ont utilisé un système astucieux « humain dans la boucle ». Des humains ont étiqueté quelques images (comme le début et la fin d'un clip), et le robot a rempli le reste. Ensuite, des humains ont vérifié le travail du robot et corrigé les erreurs.
Pourquoi c'est spécial : Chaque vidéo de cette bibliothèque possède trois étiquettes pour le même objet : une boîte, un masque et un point. Cela a permis au robot d'apprendre les trois compétences simultanément, le rendant un véritable maître du suivi.

Le Résultat

Lorsqu'ils ont testé ce nouveau robot, il ne s'est pas contenté de faire « correctement » les trois travaux ; il a battu les robots spécialisés qui avaient été entraînés pendant des années pour ne faire qu'un seul travail.

Il a suivi les boîtes mieux que les experts des boîtes.
Il a suivi les masques mieux que les experts des masques.
Il a suivi les points mieux que les experts des points.

En bref : SAM 2++ prouve que vous n'avez pas besoin d'un outil différent pour chaque travail. Avec la bonne conception, un système intelligent et flexible peut gérer le suivi de n'importe quoi, n'importe où, à n'importe quel niveau de détail, simplement en lui parlant la « langue » appropriée.

Résumé technique : SAM 2++ : Suivre n'importe quel objet à n'importe quelle granularité

1. Énoncé du problème

Le suivi vidéo s'est historiquement fragmenté en sous-tâches indépendantes basées sur la granularité de la cible : le suivi d'objet unique (SOT) utilisant des boîtes englobantes, la segmentation d'objet vidéo (VOS) utilisant des masques au niveau des pixels, et le suivi de points (PT) utilisant des points clés fins. Bien que ces tâches partagent un objectif central — l'estimation des états de la cible au fil du temps — elles ont conduit à des modèles spécialisés aux conceptions redondantes et à une généralisation limitée. Les modèles de vision unifiés existants partagent souvent des backbones, mais conservent des interfaces spécifiques à la tâche ou ignorent des granularités spécifiques (comme le suivi de points), échouant ainsi à établir une représentation véritablement unifiée des états de suivi. De plus, l'absence d'un jeu de données fournissant des annotations simultanées pour les masques, les boîtes et les points entrave l'entraînement et l'évaluation des cadres de suivi unifiés.

2. Méthodologie : SAM 2++

Les auteurs proposent SAM 2++, un cadre unifié étendant le Segment Anything Model 2 (SAM 2) pour suivre des cibles à n'importe quelle granularité (masques, boîtes, points) grâce à une conception intégrée de l'encodage des invites, du décodage des sorties et de la représentation mémoire.

2.1 Entrée et sortie de tâche unifiées

Invites spécifiques à la tâche : Pour gérer des granularités d'entrée incohérentes, le cadre introduit des invites spécifiques tout en préservant l'encodeur d'invite original de SAM 2.
- Masque : Utilise des masques binaires ( $I_{mask}$ ).
- Boîte : Utilise les coordonnées de la boîte englobante ( $I_{box}$ ).
- Point : Utilise les coordonnées du point ( $I_{point}$ ) combinées à un masque gaussien ( $G_{point}$ ). Ce masque gaussien met en évidence le point sous une forme cohérente avec la sortie du décodeur et l'entrée de l'encodeur mémoire, remplaçant les masques binaires naïfs pour une meilleure représentation. Le rayon et le sigma de cette gaussienne sont progressivement réduits pendant l'entraînement pour faciliter la convergence.
Décodeur unifié : En étendant le décodeur de masques de SAM 2, ce composant produit une pré-sortie unifiée sous forme de masque pour toutes les tâches.
- SOT : Une tête basée sur les coins (CornHead) est ajoutée pour optimiser explicitement la position et l'échelle de la boîte englobante à partir de la sortie du masque, évitant ainsi les imprécisions d'une dérivation simple de la boîte englobante.
- PT : Les coordonnées du point sont dérivées de la sortie du masque en utilisant une opération soft-argmax pendant l'entraînement (pour assurer le flux de gradient) et un argmax standard pendant l'inférence. Cela aligne la prédiction du point avec l'invite gaussienne et la source mémoire.

2.2 Mécanisme mémoire adaptatif à la tâche

L'innovation centrale répond à l'observation que différentes granularités de suivi ont des besoins mémoire distincts. Le partage complet des paramètres dans les modules mémoire entraîne une dégradation des performances car une représentation mémoire unique ne peut satisfaire simultanément les besoins de segmentation précise des masques, les besoins de localisation grossière des boîtes et la nature gaussienne spécifique des points.

Découplage : Le cadre découple les composants mémoire tout en maintenant un pipeline de suivi partagé.
- Encodeur mémoire : Chaque tâche (masque, boîte, point) possède sa propre copie indépendante de l'encodeur mémoire convolutif.
- Attention mémoire : Chaque tâche est équipée d'un module LoRA (Low-Rank Adaptation) indépendant pour l'attention mémoire basée sur les transformateurs.
Résultat : Cette conception permet au modèle de maintenir une structure de représentation mémoire partagée tout en s'adaptant aux sémantiques d'état spécifiques de chaque granularité, empêchant les interférences et permettant une promotion mutuelle entre les tâches.

2.3 Stratégie d'entraînement

Le modèle est entraîné conjointement sur trois tâches en utilisant une stratégie d'échantillonnage alterné (probabilités 1:4:5 pour masque:boîte:point). Le processus d'entraînement intègre :

Invites interactives : Pour les tâches de masque et de boîte, le modèle prend en charge à la fois les entrées de vérité terrain et les entrées bruitées/interactives (par exemple, boîtes bruitées, clics positifs).
Images correctives : Pour les scénarios interactifs, le modèle échantillonne des points correctifs à partir de régions de faux positifs/négatifs pour affiner les prédictions de manière itérative.
Fonctions de perte : Une combinaison de pertes Focal et Dice pour les masques, de pertes IoU et L1 pour les boîtes (via la tête de coins), et une perte de distance L1 pour les points. La prédiction d'occlusion est supervisée par entropie croisée, indépendamment de la visibilité de l'objet.

3. Contributions clés

3.1 Le cadre SAM 2++

L'article propose le premier cadre unifié capable de suivre des cibles à n'importe quelle granularité (masques, boîtes, points) au sein d'une seule architecture. Il y parvient grâce à :

Des invites spécifiques à la tâche qui mappent des entrées diverses vers des embeddings généraux.
Un décodeur unifié qui standardise les sorties.
Un mécanisme mémoire adaptatif à la tâche qui équilibre le partage de paramètres avec les sémantiques d'état spécifiques à la tâche.

3.2 Jeu de données Tracking-Any-Granularity (TAG)

Pour soutenir l'entraînement et l'évaluation unifiés, les auteurs ont construit TAG, un jeu de données de suivi vidéo à grande échelle contenant 6 000 vidéos avec 2,2 millions d'images.

Annotations : Il fournit des annotations de haute qualité pour les trois granularités (masques de segmentation, boîtes englobantes et points clés) pour les mêmes séquences vidéo.
Moteur de données : Le jeu de données a été créé à l'aide d'un moteur de données par phases combinant l'annotation manuelle et l'achèvement assisté par modèle.
- Phase 1 : Annotation manuelle de chaque image (1 000 vidéos).
- Phases 2 et 3 : Annotation manuelle d'images espacées (toutes les 10e et 20e) avec un achèvement en boucle par modèle pour les images intermédiaires, utilisant des stratégies de suivi vers l'arrière et de fusion pour assurer la qualité.
Portée : Le jeu de données couvre des scènes diverses, des résolutions variées et des attributs difficiles tels que le flou de mouvement, l'occlusion et la déformation.

4. Résultats expérimentaux

Des expériences approfondies sur plusieurs benchmarks démontrent que SAM 2++ établit un nouvel état de l'art (SOTA) pour les trois tâches :

Segmentation d'objet vidéo (VOS) : Surpasse les modèles spécialisés (par exemple, XMem, DEVA, Cutie) sur des benchmarks incluant YouTubeVOS, MOSE, LVOS-v2 et BURST.
Suivi d'objet unique (SOT) : Dépasse les trackers dédiés (par exemple, OSTrack, ARTrack, HIPTrack) sur TrackingNet, GOT-10k et VastTrack. Notamment, il y parvient en tant que tracker unifié de bout en bout sans les stratégies de pré-cadrage courantes en SOT.
Suivi de points : Surpasse à la fois les trackers hors ligne et les trackers en ligne modifiés (par exemple, CoTracker3, TAPTR) sur BADJA, Perception Test et TAP-Vid. Il démontre une forte généralisation au suivi de points arbitraires malgré un entraînement sur des données de points clés.
Performance unifiée : Le modèle surpasse systématiquement les autres modèles de vision unifiés (par exemple, Unicorn, UNINEXT, MITS) et la précédente tentative de suivi unifié (TAG), validant l'efficacité de la mémoire adaptative à la tâche et de la représentation unifiée.

5. Signification et affirmations

L'article affirme que SAM 2++ établit un cadre de suivi unifié et robuste qui comble le fossé entre des paradigmes de suivi disparates. Sa signification réside dans :

Unification : Il démontre que les tâches de suivi avec différentes granularités peuvent être unifiées sous un seul paradigme de correspondance mémoire sans sacrifier les performances, remettant en question la nécessité de conceptions spécifiques à la tâche.
Généralisation : En s'entraînant sur le jeu de données TAG diversifié et en utilisant la mémoire adaptative à la tâche, le modèle apprend des représentations robustes qui se généralisent à travers les tâches, surpassant souvent les modèles spécialisés entraînés sur des données spécifiques à la tâche.
Fourniture de ressources : L'introduction du jeu de données TAG fournit une ressource critique pour les recherches futures en suivi unifié, offrant le premier benchmark à grande échelle et multi-granularité.
Utilité pratique : En tant que modèle de base, SAM 2++ sert d'outil polyvalent pour les applications de suivi et l'annotation automatisée, réduisant le coût de la transition entre différentes granularités de suivi.

Les auteurs reconnaissent les limites, notant que la version actuelle ne prend pas en charge les références linguistiques ou audio et que les paramètres mémoire découplés sont supervisés par des tâches uniques, limitant les avantages de l'apprentissage multi-tâches pour ces composants spécifiques. Cependant, le cadre représente une étape significative vers un modèle de base de suivi vidéo à usage général.