One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory

Technische Samenvatting: Één Trajectorie, Één Token

Probleemstelling
Huidige methoden voor video-tokenisatie, die vertrouwen op het splitsen van video's in vaste ruimte-tijd patches (bijv. ViT3D), staan voor aanzienlijke schaalbaarheidsuitdagingen. Naarmate de videolengte toeneemt, groeit het aantal tokens lineair, wat leidt tot geheugenbottlenecks en computatieve inefficiënties. Bovendien negeert dit op patches gebaseerde paradigma de complexiteit van de scène; een statische scène en een dynamische actieserie van dezelfde duur genereren een identiek aantal tokens. Bestaande strategieën voor tokenreductie, zoals het weglaten of samenvoegen van patches, degraderen vaak de modelprestaties of slagen er niet in om temporele coherentie te behouden wanneer camerabeweging aanwezig is. Daarnaast worstelen deze methoden om beelddata naadloos te integreren vanwege architecturale afhankelijkheden van 3D-convoluties of ruimte-tijd patch-mappings.

Methodologie: Grounded Video Tokenization
De auteurs stellen TrajViT voor, een video-encoder gebaseerd op een nieuw paradigma genaamd grounded video tokenization. In plaats van vaste patches, organiseert TrajViT tokens rond panoptische sub-objecttrajecten. Deze benadering sluit aan bij perceptuele principes (Spelke's kerncognitieve principes en het Gestalt-principe van gemeenschappelijk lot), waarbij objectdelen worden behandeld als coherente entiteiten die in de tijd behouden blijven.

Het systeem bestaat uit twee hoofdbestanddelen:

1. Panoptic Sub-object Trajectory Extraction Pipeline:

   • Key Frame Detection: De video wordt opgesplitst in clips door het detecteren van keyframes waar nieuwe objecten waarschijnlijk verschijnen. Dit wordt bereikt door kleurhistogrammen en luminantie-intensiteit tussen opeenvolgende frames te vergelijken met een paralleliseerbaar algoritme.
   • Segmentatie en Tracking: Binnen elke clip gebruikt de pipeline DirectSAM (een lichtgewicht segmentator) om alle objecten in keyframes te segmenteren. Vervolgens maakt het gebruik van SAM2 (een tracker) om deze maskers te propageren over de daaropvolgende frames binnen de clip.
   • Samenvoegen: Om objecten te behandelen die over meerdere clips strekken, voert het systeem een extra trackingstap uit tussen het laatste frame van de ene clip en het eerste frame van de volgende. Segmenten met een hoge Intersection over Union (IoU) worden samengevoegd om de objectidentiteit over de volledige video te behouden.
   • Output: Dit proces genereert een set trajecten, waarbij elk traject een distinct object of sub-object in de tijd vertegenwoordigt.

2. Trajectory Encoder:

   • Appearance Encoding: Voor elk traject extrahert het model hiërarchische visuele kenmerken uit een lichtgewicht convolutioneel netwerk (ResNet-18). Het past mask pooling toe om kenmerken binnen het segmentatiemasker voor elk frame te aggregeren.
   • Temporal Position Encoding: Bounding box-coördinaten voor het traject in elk frame worden gemapt naar hoogdimensionale vectoren met behulp van sinusvormige embeddings.
   • Aggregatie: Zowel de sequenties van uiterlijk als temporele positie (die variëren in lengte) worden verwerkt door een Perceiver Resampler. Deze module gebruikt één leerbare query om aandacht te besteden aan de sequentie van frame-gebaseerde kenmerken, en comprimeert deze tot één embedding van vaste grootte.
   • Final Token: Het trajecttoken wordt gevormd door de uiterlijk- en temporele positie-embeddings op te tellen. Deze tokens dienen als invoer voor een standaard transformer-encoder.

Belangrijkste Bijdragen

• Nieuw Tokenisatie-Paradigma: Het paper introduceert "grounded video tokenization", waarbij het aantal tokens correleert met het aantal distincte objecttrajecten in plaats van videolengte of aantal frames. Dit weerspiegelt inherent de complexiteit van de scène.
• TrajViT Architectuur: Een nieuwe encoder die panoptische sub-objecttrajecten extraheren en omzet in semantisch betekenisvolle tokens van vaste grootte, zonder de onderliggende transformer-architectuur te wijzigen.
• Naadloze Integratie van Beeld en Video: In tegenstelling tot ruimte-tijd patch-methoden die aparte pretraining-pipelines vereisen voor beelden en video's, behandelt TrajViT beeldsegmenten als trajecten van lengte één, wat gezamenlijke training op beeld- en videodata in één stadium mogelijk maakt.
• Efficiëntie: De methode vermindert het aantal tokens aanzienlijk (bijv. 10x reductie op het Panda-dataset) terwijl temporele coherentie en robuustheid tegen lichtveranderingen, occlusies en camerabeweging behouden blijven.

Experimentele Resultaten
TrajViT werd geëvalueerd tegen standaard ViT3D en state-of-the-art baselines voor token-merging (bijv. ToMe, AutoMerge, RLT) over meerdere benchmarks:

• Video-Text Retrieval: Op datasets zoals ActivityNet, VATEX, MSR-VTT en Charades presteerde TrajViT met een grote marge beter dan ViT3D (bijv. +6% top-5 recall gemiddeld) terwijl het 10x minder tokens gebruikte.
• Actieclassificatie: TrajViT behaalde superieure prestaties op Kinetics-400 en UFC-101. Op Something-Something V2 (SSV2) presteerde het beter dan token-merging-methoden, maar bleef het licht achter bij ViT3D, wat de auteurs toeschrijven aan het feit dat het model complexe bewegingen in eenvoudige egocentrische scènes te sterk comprimeert.
• Fine-Grained Taken: TrajViT liet aanzienlijke winsten zien in ruimtelijk-temporele actie-detectie (AVAv2) en temporele clip-retrieval, toegeschreven aan de consistentie van objecttrajecten in de tijd.
• VideoLLM Prestaties: Wanneer geïntegreerd als video-encoder voor VideoLLMs (met Llama-3), overtrof TrajViT-LLM ViT3D-LLM met een gemiddelde nauwkeurigheid van 5,24% over zes VideoQA-benchmarks. Dit werd bereikt met 4x snellere trainingstijd en 18x minder inferentie FLOPs.
• Schaalbaarheid: TrajViT toonde superieure schaalbaarheidsbepaling bij verhoogde inputframes (tot lange video's) en grotere pretraining-datasets (2M tot 8M video's). Het profiteerde ook meer van de toevoeging van beelddata (DataComp-50M) in vergelijking met ViT3D.

Betekenis en Claims
De auteurs claimen dat TrajViT de eerste efficiënte encoder is die consistent ViT3D overtreft over diverse video-analysetaken zonder nauwkeurigheid op te offeren voor efficiëntie. Door tokens te verankeren in objecttrajecten, adresseert de methode de fundamentele inefficiënties van op patches gebaseerde tokenisatie en biedt het een robuuste en schaalbare oplossing voor het begrijpen van lange video's. Het paper benadrukt dat deze benadering modellen in staat stelt zich te richten op de semantische complexiteit van een scène in plaats van op de duur, waardoor het bijzonder effectief is voor objectgerichte taken en analyse van langformaat video's. De auteurs merken ook op dat hoewel de pipeline voor trajectgeneratie enige overhead introduceert, het totale systeem efficiënter blijft voor video's langer dan 64 frames.