💻 computer science

G $^2$ TAM: Geometry Grounded Track Anything Model

Le papier introduit G $^2$ TAM, un cadre unifié qui exploite des représentations géométriques spatialement alignées comme mémoire implicite pour parvenir à un suivi d'instances 3D et une segmentation vidéo robustes, promptables à travers des points de vue et des occlusions variables, appuyés par le nouvel ensemble de données InsTrack.

Auteurs originaux : Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous marchez dans une pièce encombrée et animée. Vous repérez une chaise rouge spécifique. En circulant dans la pièce, la chaise change de forme à vos yeux : vue de côté, elle ressemble à une ligne plate ; vue de dos, vous ne voyez que les pieds ; si vous passez derrière une bibliothèque, elle disparaît complètement.

La plupart des systèmes de vision par ordinateur actuels sont comme une personne dotée d'une mémoire à très court terme qui ne reconnaît les choses que par leur apparence immédiate. Si la chaise rouge se transforme en une « ligne plate » ou est masquée, ces systèmes perdent souvent sa trace, pensant qu'il s'agit d'un nouvel objet ou qu'il a disparu pour toujours. Ils s'appuient sur un « album photo » de ce à quoi l'objet ressemblait par le passé pour faire la correspondance.

G2TAM (Geometry Grounded Track Anything Model) est un nouveau système d'IA qui réfléchit différemment. Au lieu de simplement mémoriser des photos, il construit une carte mentale 3D de la pièce telle qu'elle apparaît. Il comprend que la « ligne plate » et les « pieds » sont en réalité la même chaise rouge parce qu'ils s'inscrivent dans le même espace 3D.

Voici une décomposition de son fonctionnement, utilisant des analogies simples :

1. L'idée centrale : « Mémoire 3D » vs « Album photo »

L'ancienne méthode (L'album photo) : Les systèmes actuels conservent une pile de photos (une banque de mémoire) d'un objet. Si l'objet tourne ou est bloqué, le système tente de trouver une photo correspondante. Si l'angle est trop différent ou si l'objet est caché trop longtemps, le système s'embrouille.
La méthode G2TAM (La carte mentale) : G2TAM ne se contente pas de regarder l'image ; il déduit instantanément la forme 3D de la scène. Il traite cette forme 3D comme sa « mémoire ». Même si la chaise rouge est cachée derrière un mur, G2TAM sait exactement où elle se trouve dans l'espace 3D car il comprend la géométrie de la pièce. Il n'a pas besoin d'une pile de photos ; il possède une carte persistante et invisible.

2. Comment il reçoit des instructions (Le système de « Prompt »)

Vous pouvez dire à G2TAM ce qu'il doit suivre de trois manières, tout comme vous pourriez donner des directions à un ami :

Pointer : Vous touchez un endroit sur l'écran (ex : « Cette chaise rouge »).
Encadrer : Vous dessinez un carré autour d'un objet (ex : « La chaise à l'intérieur de ce cadre »).
Parler : Vous dites : « Trouve la chaise la plus proche de la fenêtre ».

G2TAM prend ces instructions et les traduit instantanément dans sa carte mentale 3D. Il ne cherche pas seulement une tache rouge ; il cherche l'objet 3D qui correspond à votre description dans cet espace spécifique.

3. La « Magie » de l'entraînement

L'article affirme que G2TAM devient meilleur pour le suivi car il apprend deux choses simultanément :

Comment dessiner l'objet (Segmentation).
Comment construire la pièce en 3D (Reconstruction).

Imaginez cela comme un étudiant apprenant à dessiner une voiture. S'il s'entraîne uniquement à dessiner la voiture de face, il pourrait échouer lorsqu'on lui demande de la dessiner de profil. Mais s'il s'entraîne à construire un modèle 3D de la voiture tout en la dessinant, il comprendra comment les roues sont reliées au châssis sous tous les angles. G2TAM fait cela : en apprenant à reconstruire le monde en 3D, il devient beaucoup plus difficile pour lui de perdre la trace d'un objet lorsque la caméra bouge ou que l'objet est caché.

4. Ce qu'il peut faire (Basé sur les affirmations de l'article)

Les chercheurs ont testé G2TAM et ont constaté qu'il excelle pour :

Suivre à travers le chaos : Il peut suivre un objet même si la caméra tourne follement ou si l'objet disparaît pendant un long moment, car il sait où l'objet devrait se trouver dans l'espace 3D.
Comprendre le langage : Il peut trouver des objets basés sur des descriptions complexes (ex : « la chaise près de la fenêtre ») et les suivre à travers différents angles de caméra.
Construire le monde : Tout en assurant le suivi, il crée également une carte 3D de la scène, incluant la position de la caméra et la profondeur de la pièce.

5. Le nouveau « Gymnase » (Dataset)

Pour entraîner et tester cela, les auteurs ont construit un nouveau jeu de données appelé InsTrack. Imaginez cela comme un parcours d'obstacles géant et complexe rempli de vidéos et de scans 3D. Ils ont créé des défis spécifiques où les objets sont cachés, les caméras bougent rapidement et les instructions sont complexes, afin de prouver que G2TAM est plus robuste que les systèmes précédents.

L'essentiel

G2TAM est un système qui combine la vision (ce à quoi l'objet ressemble) avec la compréhension de l'espace (où se trouve l'objet en 3D). En ancrant sa mémoire dans la géométrie du monde plutôt que dans une simple liste de photos, il peut suivre des objets de manière plus fiable, même lorsqu'ils bougent, changent de forme ou disparaissent de la vue. C'est une étape vers une IA qui comprend le monde comme les humains le font : comme un lieu 3D stable, et non comme une simple série d'images en 2D.

Résumé Technique : G2TAM (Geometry Grounded Track Anything Model)

Énoncé du Problème

Les méthodes actuelles de segmentation d'objets vidéo (VOS) et de suivi d'instances reposent principalement sur la correspondance d'apparence et des banques de mémoire temporelle explicites. Bien qu'efficaces dans des scénarios statiques ou à mouvement lent, ces approches peinent face aux changements de vue drastiques, aux occlusions à long terme et aux scènes dynamiques complexes. Elles échouent souvent à maintenir l'identité d'un objet lorsque les indices visuels sont dégradés ou lorsque l'objet sort du champ de vision.

Les tentatives existantes pour incorporer la géométrie 3D suivent généralement un paradigme de « Suivi par Cartographie » (Tracking-by-Mapping), où les résultats de suivi 2D sont projetés a posteriori dans l'espace 3D à l'aide d'estimateurs de pose et de profondeur préexistants. Ce pipeline multi-étapes souffre d'une propagation d'erreurs entre des modules déconnectés et est strictement limité aux scénarios où une géométrie précise est déjà disponible. L'article pose une question fondamentale : la géométrie peut-elle servir non pas simplement d'outil de vérification a posteriori, mais de « fondation latente » ancrant implicitement tout le processus de perception ?

Méthodologie

Les auteurs proposent G2TAM (Geometry Grounded Track Anything Model), un cadre unifié et de bout en bout pour le suivi d'instances piloté par des requêtes (promptable) dans l'espace 3D, utilisant uniquement des images ou vidéos RGB non ordonnées. L'innovation centrale est le concept de Géométrie comme Mémoire Implicite, où des représentations géométriques spatialement alignées remplacent les banques de mémoire temporelle explicites pour assurer la stabilité de l'identité et de la localisation des instances.

Architecture

G2TAM est construit sur l'architecture Pi3 (apprentissage de la géométrie visuelle équivariante par permutation) et se compose de trois composants principaux :

Encodeurs de Requêtes (Prompt Encoders) :
- Requêtes Visuelles : Les points et les boîtes sont encodés via un encodage positionnel (fonctions de Fourier aléatoires) et des plongements de type apprenables, similaires à SAM.
- Requêtes Textuelles : Le texte est tokenisé et traité par un encodeur de texte CLIP, puis projeté dans un plongement apprenable.
Encodeur Spatial Cross-Modal :
- C'est l'innovation centrale. Il fusionne les tokens visuels (provenant d'un backbone DINOv2), les tokens de requêtes et les tokens de registre apprenables en une séquence unifiée.
- Fusion Précoce (Early Fusion) : Contra irement aux méthodes qui injectent les requêtes tardivement lors de l'étape de décodage, G2TAM intègre les requêtes textuelles et visuelles tôt. Les tokens textuels sont insérés comme signaux de conditionnement globaux à travers toutes les images, tandis que les requêtes visuelles sont localisées à des images spécifiques.
- L'encodeur utilise des blocs d'auto-attention intra-vue alternés et d'attention croisée globale pour construire un espace de caractéristiques géométriques-sémantiques partagé.
Décodeurs de Géométrie et de Masque :
- Décodeur de Géométrie : Hérité de Pi3, il prédit un ensemble géométrique complet pour chaque image, incluant la pose de la caméra ( $K_i$ ), des cartes de points 3D alignées sur les pixels ( $X_i$ ) et une carte de confiance ( $C_i$ ).
- Décodeur de Masque : Adapté de SAM, il prédit les masques d'instance ( $M_i$ ). Grâce à la fusion précoce, les plongements de requêtes sont éliminés lors du décodage du masque ; le modèle repose sur la représentation géométrique-sémantique fusionnée. Une tête MLP supplémentaire prédit la probabilité de présence de l'objet cible.

Stratégie d'Entraînement

Le modèle est entraîné de bout en bout sur une fonction de perte composite :
$L = \lambda_{seg}L_{seg} + \lambda_{geo}L_{geo}$

Perte de Segmentation ( $L_{seg}$ ) : Somme pondérée de l'entropie croisée binaire (BCE) et de la perte Dice.
Perte de Géométrie ( $L_{geo}$ ) : Inclut la perte de reconstruction de points, la perte de normale de surface, la perte de confiance et la perte de pose de la caméra.
Données : Le modèle est entraîné sur une agrégation à grande échelle de jeux de données de segmentation (ex: DAVIS, SA-V), de reconstruction (ex: ScanNet++, OmniWorld) et du nouveau jeu de données InsTrack.

Jeu de Données : InsTrack

Pour soutenir l'entraînement et l'évaluation, les auteurs ont construit InsTrack, un jeu de données à grande échelle dérivé de ScanNet++. Il présente :

856 scènes d'entraînement et 50 de validation.
Des requêtes multimodales (texte, points, boîtes) et des masques 3D cohérents par instance.
Un split de validation dédié pour évaluer la cohérence de la segmentation d'instances à travers les vues.
Un pipeline automatisé pour générer des requêtes et rasteriser les annotations de maillage 3D en masques 2D.

Principales Contributions

Cadre G2TAM : Un modèle unifié qui réalise simultanément la reconstruction 3D et la segmentation d'instances spatio-temporelle cohérente sans entrées 3D explicites ni banques de mémoire temporelle.
Géométrie comme Mémoire Implicite : La proposition que des représentations géométriques spatialement alignées peuvent servir de mémoire persistante pour le raisonnement d'identité, surpassant la mémoire basée sur l'apparence lors de changements de vue difficiles.
Encodeur Spatial Cross-Modal : Un mécanisme de fusion précoce qui intègre les requêtes textuelles et visuelles directement dans un espace géométrique partagé, permettant un raisonnement multimodal robuste.
Jeu de Données & Benchmark InsTrack : Un nouveau jeu de données et la tâche de Suivi Spatial d'Instance Piloté par Requêtes (PIST), conçue pour évaluer la cohérence de la segmentation d'instances à travers les vues dans des scénarios statiques.

Résultats Expérimentaux

Des expériences approfondies démontrent la supériorité de G2TAM sur les méthodes de l'état de l'art :

Suivi Spatial d'Instance Piloté par Requêtes (PIST) : Sur l'ensemble de validation InsTrack, G2TAM atteint 74,3 S-mIoU, surpassant nettement SAM2 (47,6 S-mIoU) et d'autres modèles de VOS. Il maintient une haute cohérence même sous des changements de vue importants là où les modèles basés sur l'apparence échouent.
Ancrage Visuel 3D (3D Visual Grounding) : G2TAM atteint 45,7% Acc@0.5 sur ScanRefer, dépassant l'ancien SOTA (VLM-Grounder, 32,8%). Il démontre que le modèle peut inférer les relations entre objets directement à partir d'images 2D sans dépendre d'entrées de nuages de points explicites.
Segmentation d'Objets Vidéo (VOS) :
- VOS Semi-supervisée : G2TAM surpasse SAM2 sur des benchmarks comme MOSE (77,8 vs 75,2 J&F), montant une robustesse face aux occlusions lourdes.
- VOS par Référence (RVOS) : G2TAM atteint 72,2 J&F sur Ref-YTVOS, dépassant ReferDINO de +2,9.
Études d'Ablation :
- Entraînement Conjoint : L'entraînement conjoint de la reconstruction et de la segmentation produit une amélioration de 4,0 % de la précision de segmentation par rapport à un entraînement de segmentation seule, validant la géométrie comme régularisateur.
- Mémoire : L'ajout de modules de mémoire explicites (comme SAM2) n'améliore pas systématiquement les performances, suggérant que la mémoire géométrique implicite est suffisante.
- Robustesse Temporelle : Le modèle maintient ses performances même lorsque les images d'entrée sont mélangées temporellement, confirmant le recours à la cohérence spatiale plutôt qu'à la continuité temporelle.

Signification et Revendications

L'article affirme que G2TAM établit une base pour le raisonnement spatial interactif ancré dans la géométrie. En unifiant l'apparence et la géométrie au sein d'un espace de caractéristiques latent et spatialement aligné, le modèle parvient à un suivi robuste sans la propagation d'erreurs inhérente aux pipelines multi-étapes.

Les auteurs soulignent que leur approche permet :

Identité Stable : Maintenir l'identité d'un objet à travers des changements de vue drastiques et des occlusions à long terme.
Interaction Multimodale : Prendre en charge les requêtes textuelles, de points et de boîtes pour le suivi d'instances 3D.
Généralisation : Exceller dans les scénarios statiques et dynamiques, ainsi que dans les tâches d'ancrage visuel 3D, sans nécessiter d'entrées de géométrie 3D explicites lors de l'inférence.

Ce travail suggère un passage du « Suivi par Cartographie » vers un paradigme où la géométrie est une composante intrinsèque et implicite du processus de perception, offrant une solution plus robuste pour la compréhension spatiale dans des environnements complexes.