💻 computer science

G $^2$ TAM: Geometry Grounded Track Anything Model

Het artikel introduceert G $^2$ TAM, een verenigd framework dat ruimtelijk uitgelijnde geometrische representaties benut als impliciet geheugen om robuuste, promptable 3D-instantietracking en video-segmentatie te bereiken over variërende gezichtspunten en occlusies heen, ondersteund door de nieuw geconstrueerde InsTrack-dataset.

Oorspronkelijke auteurs: Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

Gepubliceerd 2026-07-07

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Chenming Zhu, Peizhou Cao, Jingli Lin, Wenbo Hu, Yunlong Ran, Jiangmiao Pang, Tai Wang, Xihui Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je door een drukke, rommelige kamer loopt. Je ziet een specifieke rode stoel. Terwijl je door de kamer loopt, verandert de vorm van de stoel in je ogen: van de zijkant gezien lijkt hij plat; van de achterkant gezien zie je alleen de poten; als je achter een boekenkast langs loopt, verdwijnt hij volledig uit het zicht.

De meeste huidige computervisiestelsels zijn als een persoon met een zeer kortetermijngeheugen die dingen alleen herkent op basis van hoe ze er nú uitzien. Als de rode stoel verandert in een "platte lijn" of wordt afgeschermd, verliezen deze systemen vaak het spoor van het object, waarbij ze denken dat het een nieuw object is of dat het voor altijd is verdwenen. Ze vertrouwen op een "fotoalbum" van hoe het object er in het verleden uitzag om het ermee te matchen.

G2TAM (Geometry Grounded Track Anything Model) is een nieuw AI-systeem dat anders denkt. In plaats van alleen foto's te onthouden, bouwt het een mentale 3D-kaart van de kamer zoals die eruitziet. Het begrijpt dat de "platte lijn" en de "poten" eigenlijk dezelfde rode stoel zijn, omdat ze in dezelfde 3D-ruimte passen.

Hier is een uitsplitsing van hoe het werkt, met behulp van eenvoudige analogieën:

1. Het kernidee: "3D-geheugen" versus "Fotoalbum"

De oude manier (Het Fotoalbum): Huidige systemen houden een stapel foto's (een geheugenbank) van een object bij. Als het object omdraait of wordt geblokkeerd, probeert het systeem een passende foto te vinden. Als de hoek te veel verschilt of het object te lang wordt afgeschermd, raakt het systeem in de war.
De G2TAM-manier (De Mentale Kaart): G2TAM kijkt niet alleen naar de afbeelding; het begrijpt direct de 3D-vorm van de scène. Het behandelt deze 3D-vorm als zijn "geheugen". Zelfs als de rode stoel achter een muur verborgen is, weet G2TAM precies waar hij zich in de 3D-ruimte bevindt, omdat het de geometrie van de kamer begrijpt. Het heeft geen stapel foto's nodig; het heeft een persistente, onzichtbare kaart.

2. Hoe het instructies ontvangt (Het "Prompt"-systeem)

Je kunt G2TAM op drie manieren vertellen wat het moet volgen, net zoals je aan een vriend instructies zou geven:

Aanwijzen: Je tikt op een plek op het scherm (bijv. "die rode stoel").
Kaderen: Je tekent een vierkant om een object heen (bijv. "de stoel binnen dit kader").
Praten: Je zegt: "Zoek de stoel die dichter bij het raam staat."

G2TAM neemt deze instructies en vertaalt ze direct naar zijn 3D-mentale kaart. Het zoekt niet alleen naar een rode vlek; het zoekt naar het 3D-object dat aan jouw beschrijving voldoet in die specifieke ruimte.

3. De "Magie" van Training

Het artikel beweert dat G2TAM beter wordt in tracken omdat het twee dingen tegelijkertijd leert:

Hoe je het object tekent (Segmentatie).
Hoe je de 3D-kamer opbouwt (Reconstructie).

Denk aan een student die leert om een auto te tekenen. Als ze alleen oefenen met het tekenen van de auto van voren, kunnen ze falen wanneer ze gevraagd wordt de auto van de zijkant te tekenen. Maar als ze ook oefenen met het bouwen van een 3D-model van de auto terwijl ze tekenen, begrijpen ze hoe de wielen met de carrosserie verbonden zijn vanuit elke hoek. G2TAM doet dit: door te leren de 3D-wereld te reconstrueren, wordt het voor het systeem veel moeilijker om het spoor van een object kwijt te raken wanneer de camera beweegt of het object verborgen is.

4. Wat het kan doen (Gebaseerd op de claims uit het artikel)

De onderzoekers hebben G2TAM getest en ontdekten dat het uitblinkt in:

Tracken door chaos: Het kan een object volgen, zelfs als de camera wild ronddraait of het object voor een lange tijd verdwijnt, omdat het weet waar het object zou moeten zijn in de 3D-ruimte.
Taalbegrip: Het kan objecten vinden op basis van complexe beschrijvingen (bijv. "de stoel bij het raam") en deze over verschillende camerahoeken heen volgen.
De wereld bouwen: Terwijl het trackt, maakt het ook een 3D-kaart van de scène, inclusief waar de camera zich bevindt en wat de diepte van de kamer is.

5. De Nieuwe "Gym" (Dataset)

Om dit te trainen en te testen, hebben de auteurs een nieuwe dataset gebouwd genaamd InsTrack. Stel je dit voor als een enorme, complexe hindernisbaan vol video's en 3D-scans. Ze hebben specifieke uitdagingen gecreëerd waarbij objecten worden verborgen, camera's snel bewegen en instructies lastig zijn, om te bewijzen dat G2TAM robuuster is dan vorige systemen.

De Kern

G2TAM is een systeem dat zien (hoe het object eruitziet) combineert met ruimtelijk begrip (waar het object zich in 3D bevindt). Door zijn geheugen te funderen in de geometrie van de wereld in plaats van in een lijst met foto's, kan het objecten betrouwbaarder volgen, zelfs wanneer ze bewegen, van vorm veranderen of uit het zicht verdwijnen. Het is een stap richting AI die de wereld begrijpt zoals mensen dat doen: als een stabiele, 3D-plaats, en niet slechts als een reeks 2D-plaatjes.

Technische Samenvatting: G2TAM (Geometry Grounded Track Anything Model)

Probleemstelling

Huidige methoden voor video-objectsegmentatie (VOS) en instantie-tracking vertrouwen voornamelijk op verschijningsgelijkenis (appearance matching) en expliciete temporele geheugenbanken. Hoewel deze effectief zijn in statische of langzaam bewegende scenario's, hebben ze moeite met drastische camerastandpunten, langdurige occlusies en complexe dynamische scènes. Ze falen vaak in het behouden van de identiteit van een object wanneer visuele aanwijzingen verslechteren of wanneer het object buiten beeld beweegt.

Bestaande pogingen om 3D-geometrie te integreren volgen doorgaans een "Tracking-by-Mapping"-paradigma, waarbij 2D-trackingresultaten achteraf naar de 3D-ruimte worden geprojecteerd met behulp van kant-en-klare pose- en diepteschatters. Deze meerfasige pipeline lijdt aan foutpropagatie tussen niet-verbonden modules en is strikt beperkt tot scenario's waar nauwkeurige geometrie al beschikbaar is. Het artikel stelt een fundamentele vraag: Kan geometrie dienen niet slechts als een achteraf gebruikt verificatiemiddel, maar als een "latente fundering" die het gehele perceptieproces impliciet onderbouwt?

Methodologie

De auteurs stellen G2TAM (Geometry Grounded Track Anything Model) voor, een verenigd, end-to-end framework voor promptable instantie-tracking in 3D-ruimte met behulp van enkel ongeordende RGB-beelden of video's. De kerninnovatie is het concept van Geometrie als Impliciet Geheugen, waarbij ruimtelijk uitgelijnde geometrische representaties expliciete temporele geheugenbanken vervangen om een stabiele instantie-identiteit en lokalisatie te garanderen.

Architectuur

G2TAM is gebouwd op de Pi3 (Permutation-equivariant visual geometry learning) architectuur en bestaat uit drie hoofdonderdelen:

Prompt Encoders:
- Visuele Prompts: Punten en boxen worden gecodeerd met behulp van positionele codering (random Fourier features) en leerbare type-embeddings, vergelijkbaar met SAM.
- Tekst Prompts: Tekst wordt getokeniseerd en verwerkt via een CLIP-tekstencoder, geprojecteerd in een leerbare embedding.
Cross-Modal Spatial Encoder:
- Dit is de kerninnovatie. Het fuseert visuele tokens (van een DINOv2-backbone), prompt-tokens en leerbare register-tokens in een uniforme sequentie.
- Early Fusion: In tegen tegenstelling tot methoden die prompts laat in de decoderingsfase injecteren, integreert G2TAM tekst- en visuele prompts vroegtijdig. Tekst-tokens worden als globale conditioneringssignalen over alle frames ingevoegd, terwijl visuele prompts gelokaliseerd zijn naar specifieke frames.
- De encoder maakt gebruik van afwisselende intra-view zelf-attentie en globale cross-view aandachtblokken om een gedeelde geometrisch-semantische feature-ruimte te construeren.
Geometry & Mask Decoders:
- Geometry Decoder: Overgenomen van Pi3, voorspelt deze een uitgebreide geometrische set voor elk frame, inclusioneel camerastandpunt ( $K_i$ ), pixel-gealigneerde 3D-puntkaarten ( $X_i$ ) en een betrouwbaarheidskaart ( $C_i$ ).
- Mask Decoder: Aangepast van SAM, voorspelt deze instantie-masks ( $M_i$ ). Door de vroege fusie worden prompt-embeddings geëlimineerd tijdens de mask-decoding; het model vertrouwt op de gefuseerde geometrisch-semantische representatie. Een extra MLP-head voorspelt de waarschijnlijkheid van de aanwezigheid van het doelobject.

Trainingsstrategie

Het model wordt end-to-end getraind op een samengestelde loss-functie:
$L = \lambda_{seg}L_{seg} + \lambda_{geo}L_{geo}$

Segmentatie Loss ( $L_{seg}$ ): Gewogen som van Binary Cross-Entropy en Dice loss.
Geometry Loss ( $L_{geo}$ ): Omvat punt-reconstructie loss, oppervlaktenormaal-loss, betrouwbaarheids-loss en camerastandpunt-loss.
Data: Het model wordt getraind op een grootschalige aggregatie van segmentatie-datasets (bijv. DAVIS, SA-V), reconstructie-datasets (bijv. ScanNet++, OmniWorld) en de nieuw geïntroduceerde InsTrack dataset.

Dataset: InsTrack

Om training en evaluatie te ondersteunen, hebben de auteurs InsTrack geconstrueerd, een grootschalige dataset afgeleid van ScanNet++. Deze bevat:

856 trainings- en 50 validatiescènes.
Multi-modale prompts (tekst, punten, boxen) en instantie-consistente 3D-masks.
Een speciale validatiesplit voor het benchmarken van de Promptable Instance Spatial Tracking (PIST) taak.
Een geautomatiseerde pipeline voor het genereren van prompts en het rasteriseren van 3D-mesh annotaties naar 2D-masks.

Belangrijkste Bijdragen

G2TAM Framework: Een verenigd model dat gezamenlijke 3D-reconstructie en ruimtelijk-temporeel consistente instantie-segmentatie uitvoert zonder expliciete 3D-inputs of temporele geheugenbanken.
Geometrie als Impliciet Geheugen: Het voorstel dat ruimtelijk uitgelijnde geometrische representaties kunnen dienen als een persistent geheugen voor identiteitsredenering, wat beter presteert dan appearance-gebaseerd geheugen bij uitdagende kijkhoeken.
Cross-Modal Spatial Encoder: Een early-fusion mechanisme dat tekst- en visuele prompts direct integreert in een gedeelde geometrische ruimte, wat robuuste multi-modale redenering mogelijk maakt.
InsTrack Dataset & Benchmark: Een nieuwe dataset en de Promptable Instance Spatial Tracking (PIST) taak, ontworpen om de consistentie van instantie-segmentatie over verschillende views te evalueren in statische scenario's.

Experimentele Resultaten

Uitgebreide experimenten tonen de superioriteit van G2TAM aan ten opzichte van state-of-the-art methoden:

Promptable Instance Spatial Tracking (PIST): Op de InsTrack validatieset bereikt G2TAM 74.3 S-mIoU, wat significant beter is dan SAM2 (47.6 S-mIoU) en andere VOS-modellen. Het behoudt een hoge consistentie, zelfs onder grote veranderingen in het standpunt waarbij appearance-gebaseerde modellen falen.
3D Visual Grounding: G2TAM bereikt 45.7% Acc@0.5 op ScanRefer, waarmee het de vorige SOTA (VLM-Grounder, 32.8%) overtreft. Het demonstreert dat het model objectrelaties direct uit 2D-beelden kan afleiden zonder expliciete puntwolken-inputs te gebruiken.
Video Object Segmentation:
- Semi-supervised VOS: G2TAM presteert beter dan SAM2 op benchmarks zoals MOSE (77.8 vs 75.2 J&F), wat wijst op robuustheid tegen zware occlusie.
- Referring VOS (RVOS): G2TAM bereikt 72.2 J&F op Ref-YTVOS, wat ReferDINO met +2.9 overtreft.
Ablatie-studies:
- Joint Training: Het gezamenlijk trainen van reconstructie en segmentatie levert een verbetering van 4.0% in segmentatie-nauwkeurigheid op vergeleken met alleen segmentatie-training, wat bevestigt dat geometrie als regularisator dient.
- Geheugen: Het toevoegen van expliciete geheugenmodules (zoals SAM2) leidt niet consistent tot verbeterde prestaties, wat suggereert dat het impliciete geometrische geheugen voldoende is.
- Temporele Robuustheid: Het model behoudt zijn prestaties zelfs wanneer de inputframes temporeel gehusseld worden, wat de afhankelijkheid van ruimtelijke consistentie in plaats van temporele continuïteit bevestigt.

Betekenis en Claims

Het artikel claimt dat G2TAM een fundament legt voor interactieve, geometrie-gegronde ruimtelijke redenering. Door verschijning en geometrie te verenigen binnen een latente, ruimtelijk uitgelijnde feature-ruimte, bereikt het model robuuste tracking zonder de foutpropagatie die inherent is aan meerfasige pipelines.

De auteurs benadrukken dat hun aanpak het volgende mogelijk maakt:

Stabiele Identiteit: Het behouden van de identiteit van een object over drastische standpuntveranderingen en langdurige occlusies.
Multi-Modale Interactie: Ondersteuning voor tekst-, punt- en box-prompts voor 3D-instantie-tracking.
Generalisatie: Goede prestaties in zowel statische als dynamische scenario's, evenals in 3D visual grounding-taken, zonder dat er tijdens de inferentie expliciete 3D-geometrie-inputs nodig zijn.

Het werk suggereert een verschuiving van "Tracking-by-Mapping" naar een paradigma waarbij geometrie een intrinsiek, impliciet onderdeel is van het perceptieproces, wat een robuustere oplossing biedt voor ruimtelijk begrip in complexe omgevingen.