💻 computer science

Tracking and Understanding Object Transformations

Dit artikel introduceert de "Track Any State"-taak en de VOST-TAS-benchmark om de uitdaging van het volgen van objecten door staatstransformaties aan te pakken, waarbij TubeletGraph wordt voorgesteld, een zero-shot systeem dat verloren tracks herstelt en semantische staatgrafieken genereert om evoluerende objectdynamiek te beschrijven.

Oorspronkelijke auteurs: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

Gepubliceerd 2026-01-15

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yihong Sun, Xinyu Yang, Jennifer J. Sun, Bharath Hariharan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een film kijkt waarin een hele appel in stukjes wordt gesneden, of een rups verandert in een vlinder. Als je een standaard cameraman zou zijn, zou je het overzicht op de "appel" kunnen verliezen op het moment dat deze wordt doorgesneden; plotseling kijk je immers niet meer naar één rood rond ding, maar naar vijf witte brokken. Je zou ook de "rups" kunnen verliezen omdat deze verdwijnt in een cocon, om later een vlinder te laten verschijnen.

Dit is het probleem dat het artikel "Tracking and Understanding Object Transformations" probeert op te lossen. De auteurs, van Cornell University, stellen dat huidige computervisiestelsels als slechte regisseurs zijn: ze kunnen een personage volgen zolang het er hetzelfde uitziet, maar als het personage van kostuum verandert, uit elkaar valt of transformeert, raken ze het personage volledig kwijt.

Hier is een eenvoudige uitleg van hun oplossing, TubeletGraph, en hoe het werkt.

Het Probleem: De "Vermiste Persoon" in de Menigte

Huidige trackingsystemen vertrouwen zwaar op uiterlijk. Ze zeggen: "Ik zie een rode appel; ik zal die rode appel volgen." Maar wanneer de appel wordt doorgesneden, is de rode schil weg en is het witte vruchtvlees anders. Het systeem denkt: "De rode appel is weg!" en stopt met volgen. Het realiseert zich niet dat de witte stukjes de appel zijn, alleen in een nieuwe staat.

De auteurs merkten een specifiek patroon op: deze systemen maken meestal vals-negatieven. Ze denken dat een object is verdwenen terwijl het in werkelijkheid alleen van vorm is veranderd.

De Oplossing: TubeletGraph (De "Detective met een Net")

De auteurs hebben een systeem gebouwd genaamd TubeletGraph. Denk aan een detective die niet alleen één persoon volgt, maar een breed net uitwerpt om iedereen in de scène te vangen, en vervolgens logica gebruikt om te begrijpen wie wie is.

Zo werkt het in drie stappen:

1. Het Net Uitwerpen (De "Tubelets")

In plaats van alleen het specifieke object te volgen waar je naar vraagt (zoals de appel), splitst TubeletGraph de volledige video op in kleine, bewegende stukjes die "tubelets" worden genoemd.

Analogie: Stel je voor dat een video een rivier is. In plaats van alleen één specif kind blad (de appel) te volgen, plaatst het systeem een net in het water dat elk blad, takje en steentje dat verschijnt, opvangt.
Het volgt de originele appel, maar begint ook nieuwe dingen te volgen die later verschijnen, zoals de appelstukjes of de vlinder die tevoorschijn komt.

2. De Logica van de Detective (Nabijheid en Semantiek)

Nu heeft het systeem een "soep" van vele verschillende tracks. Het moet uitzoeken welke nieuwe tracks bij het originele object horen. Hiervoor gebruikt het twee regels:

De "Knuffel"-regel (Ruimtelijke Nabijheid): Als de appel wordt doorgesneden, liggen de stukjes vlak naast waar de appel was. Als een nieuw object ver weg verschijnt (zoals een hand die een mes vasthoudt), is het waarschijnlijk geen deel van de appel. Het systeem controleert: "Ligt dit nieuwe stukje dicht bij de originele appel?"
De "Identiteit"-regel (Semantische Consistentie): Het systeem vraagt zich af: "Maakt dit nieuwe ding zin als een versie van het oude ding?"
- Goede match: Een plakje appel ziet eruit als appelvlees.
- Slechte match: Een hand die de appel vasthoudt, ziet eruit als een hand, niet als een appel.
- Analogie: Als je op zoek bent naar je hond en je ziet een golden retriever in de buurt, zeg je: "Dat is mijn hond!" Maar als je een kat in de buurt ziet, zeg je: "Nee, dat is niet mijn hond," zelfs als de kat vlak naast je staat.

3. De Verhalenverteller (De State Graph)

Zodra het systeem de ontbrekende stukken heeft teruggevonden (de appelstukjes of de vlinder), houdt het ze niet alleen in de gaten; het vraagt een krachtige AI (een Large Language Model) om uit te leggen wat er is gebeurd.

Het kijkt naar het "voor" (hele appel) en het "na" (plakjes appel).
Het vraagt de AI: "Wat is hier gebeurd?"
De AI antwoordt: "De appel is doorgesneden in plakjes."
Het systeem tekent vervolgens een kaart (een State Graph) die de tijdlijn laat zien: Appel -> Doorgesneden -> Plakjes.

Wat Ze Hebben Bereikt

Het artikel introduceert een nieuwe uitdaging genaamd "Track Any State". Dit gaat niet alleen over het volgen van een object; het gaat over het volgen van een object door zijn veranderingen heen en het beschrijven van die veranderingen.

Om dit te testen, hebben ze een nieuwe dataset gemaakt genaamd VOST-TAS, die video's bevat van dingen die veranderen (zoals het pellen van een banaan of het snijden van een tomaat) met gedetailleerde labels.

De Resultaten:

Beter Tracking: Hun systeem, TubeletGraph, is beter in het bijhouden van objecten die van vorm veranderen dan bestaande top-systemen (zoals SAM2). Het herstelt de "ontbrekende" stukken die andere systemen laten vallen.
Beter Begrip: Het tekent niet alleen een kader om het object; het genereert een tekstuele beschrijving van de transformatie (bijv. "De rups kwam uit de chrysalis tevoorschijn").
Zero-Shot: Het systeem hoefde niet opnieuw getraind te worden op elke specifieke soort transformatie (zoals "snijden" versus "pellen"). Het begreep het ter plekke met behulp van algemene kennis.

Samenvatting

Kortom, het artikel zegt: "Huidige computers raken de controle over dingen kwijt wanneer ze veranderen. Wij hebben een systeem gebouwd dat een breed net uitwerpt om alles te vangen, logica gebruikt om te bepalen welke nieuwe dingen eigenlijk de oude dingen in vermomming zijn, en vervolgens een AI vraagt om een verhaal te schrijven over hoe de transformatie heeft plaatsgevonden."

Dit stelt computers in staat om te begrijpen dat een "vlinder" en een "chrysalis" deel uitmaken van hetzelfde verhaal, en dat "appelplakjes" nog steeds "appel" zijn, zelfs als ze er niet meer uitzien als het originele fruit.

Technische Samenvatting: Het volgen en begrijpen van objecttransformaties

Probleemdefinitie: Volg elke staat

Het artikel adresseert een kritieke beperking in huidige computervisie-systemen: het onvermogen om objecten te volgen tijdens significante staatstransformaties (bijv. een appel die in schijfjes wordt gesneden, een vlinder die uit een cocon tevoorschijn komt). Bestaande objectvolgingsmethoden, die sterk vertrouwen op consistentie in uiterlijk, falen doorgaans wanneer een object zijn geometrie of textuur drastisch verandert, wat vaak resulteert in "false negative"-fouten waarbij de tracker het doelwit verliest. Omgekeerd missen bestaande methoden voor het herkennen van staatswijzigingen vaak de spatiotemporele gronding om de resulterende objecten na een transformatie te volgen.

Om deze kloof te overbruggen, introduceren de auteurs Track Any State, een nieuwe taak gedefinieerd als: gegeven een video en een initiële objectprompt (een masker in het eerste frame), moet het systeem:

Tracken: Het object consistent volgen door de transformatie heen, inclusief alle resulterende delen (bijv. zowel de appelkern als de schijfjes volgen).
Detecteren en Beschrijven: De staatswijzigingen detecteren en een gestructureerde representatie van de transformatie outputten (tijd, actiewerkwoord en resulterende objecten).

Methodologie: TubeletGraph

De auteurs stellen TubeletGraph voor, een zero-shot framework ontworpen om gemiste objecten te herstellen en over transformaties te redeneren zonder taakspecifieke fine-tuning. De pipeline bestaat uit drie hoofdfasen:

1. Spatiotemporele Partitionering (Tubelet Generatie)

Om het zoekruimteprobleem van het vinden van een "ontbrekend" object na een transformatie te overwinnen, creëert het systeem een dichte spatiotemporele partitionering van de video:

Initiële Partitionering: Het eerste frame wordt gesegmenteerd in entiteiten met behulp van CropFormer, inclusclusief de door de gebruiker verstrekte promptmasker.
Tracking: Elke initiële entiteit wordt vooruit in de tijd gevolgd met behulp van SAM2.
Dynamische Initiatie: Terwijl de video vordert, identificeert het systeem "lege regio's" (pixels die niet worden gedekt door bestaande tracks). Wanneer een entiteit in deze regio's wordt gedetecteerd, wordt een nieuw track (een "tubelet") geïnitieerd.
Resultaat: Dit creëert een "soep" van tubelets die bijna alle pixels in de video beslaat, waardoor wordt gewaarborgd dat post-transformatie objecten (die verschijnen als nieuwe verbonden componenten) worden gevangen als kandidaat-tracks.

2. Kandidaat-herstel via Redeneren

Niet elke nieuwe tubelet is een deel van het getransformeerde doelobject (bijv. een hand die het beeld binnenkomt). Het systeem filtert kandidaten met behulp van twee priors:

Ruimtelijke Nabijheid: Gebaseerd op de aanname dat getransformeerde objecten nabij de oorspronkelijke locatie blijven, berekent het systeem de overlap tussen een kandidaat-track en de meerdere kandidaat-maskers die door SAM2 worden voorspeld voor de oorspronkelijke prompt.
Semantische Consistentie: Gebaseerd op de aanname dat identiteitssemantiek behouden blijft (bijv. een chrysalis wordt een vlinder, geen vogel), gebruikt het systeem masked CLIP features om de semantische gelijkenis tussen de prompt-track en de kandidaat-track te berekenen.
Selectie: Alleen tubelets die aan zowel de nabijheids- als de semantische drempelwaarden voldoen, worden toegevoegd aan de definitieve trackingset.

3. State Graph Constructie

Zodra een nieuwe geldige track wordt geïdentificeerd, behandelt het systeem de verschijning ervan als een marker voor een staatstransformatie:

Vragen aan VLMs: Het systeem bevraagt een multi-modaal Groot Taalmodel (GPT-4.1) met het initiële frame en het frame waar de nieuwe track verschijnt.
Generatie: De LLM wordt geprompt om het actiewerkwoord (bijv. "snijden", "uitrollen") en de identiteiten van de resulterende objecten te beschrijven.
Graph Output: Deze beschrijvingen worden geparsed om een State Graph te construeren, een gestructureerde representatie die pre-transformatie tracks, de transformatiegebeurtenis en post-transformatie tracks met elkaar verbindt.

Belangrijkste Bijdragen

Taakformulering: Introductie van Track Any State, een verenigde taak die objecttracking combineert met staatswijzigingsdetectie en -beschrijving.
Dataset: Publicatie van VOST-TAS, een nieuwe benchmark dataset afgeleid van de VOST-validatieset, bevattende 57 video-instanties, 108 geannoteerde transformaties en 293 resulterende object-annotaties met temporele grenzen en semantische beschrijvingen.
Systeem: Ontwikkeling van TubeletGraph, een zero-shot systeem dat gemiste objecten herstelt via spatiotemporele partitionering en state graphs genereert via vision-language redenering.

Experimentele Resultaten

De auteurs evalueren TubeletGraph op meerdere benchmarks, waaronder VOST, VSCOS, M3-VOS, en DAVIS 2017.

Tracking Prestaties: TubeletGraph bereikt state-of-the-art (SOTA) prestaties op VOST en VSCOS, waarbij het de basis SAM2 en de fine-tuned varianten ervan overtreft. Merkwaardig genoeg verbetert het de Jaccard-index (J) met 2,5 punten ten op op de basis SAM2 en overtreft het de fine-tuned SAM2 in de laatste 25% van de videoframes ( $J_{tr}$ ), wat een superieure robuustheid tegen transformaties demonstreert.
State Graph Kwaliteit: Op de VOST-TAS benchmark bereikt het systeem een temporele lokalisatieprecisie van 43,1% en een semantische accuratesse van 81,8% voor actiewerkwoorden. Hoewel de algehele recall voor volledig correcte transformaties (temporeel + semantisch + ruimtelijk) bescheiden is (6,5%), merken de auteurs op dat dit de aanzienlijke moeilijkheid van de onbeperkte taak weerspiegelt.
Ablatie-studies: Er wordt aangetoond dat het systeem robuust is tegen variaties in hyperparameters. De ablatie bevestigt dat de spatiotemporele partitionering cruciaal is voor kandidaat-retrieval, terwijl semantische en ruimtelijke restricties noodzakelijk zijn om false positives te filteren.

Betekenis en Claims

Het artikel positioneert TubeletGraph als een stap naar robuustere en meer informatieve visiesystemen voor downstream toepassingen. De auteurs claimen:

Zero-Shot Capaciteit: In tegen tegenstelling tot methoden die uitgebreide domeinspecifieke fine-tuning vereisen, opereert TubeletGraph zonder training op de specifieke transformatietypes, wat een betere generalisatie biedt.
Complexe Representatie: Door tracking te combineren met state graph generatie, biedt het systeem een volledige representatie van objectevolutie, wat nuttig is voor taken zoals action-grounding (bijv. robots die de pre- en post-condities van gesneden appels begrijpen), video-editing en scène-modellering.
Foutherstel: Het systeem adresseert expliciet de "false negative"-bias in bestaande trackers door gemiste objecten te herstellen en deze te gebruiken om te redeneren over de transformatie die het verlies veroorzaakte.

De auteurs erkennen beperkingen, waaronder hoge computationele kosten (ongeveer 7 seconden per frame) en potentiële foutpropagatie van de basis-tracker (SAM2) of de VLM. Ze concluderen dat hoewel de real-time toepassing momenteel beperkt is, het systeem zeer waardevol is voor offline analyse, zoals het genereren van trainingsannotaties voor robotica of het analyseren van biologische ontwikkeling.