One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory

Riepilogo Tecnico: Una Traiettoria, Un Token

Enunciato del Problema
I metodi attuali di tokenizzazione video, che si basano sulla suddivisione dei video in patch spazio-temporali fisse (ad esempio ViT3D), affrontano sfide significative di scalabilità. All'aumentare della durata del video, il numero di token cresce linearmente, portando a colli di bottiglia nella memoria e a inefficienze computazionali. Inoltre, questo paradigma basato sulle patch ignora la complessità della scena; una scena statica e una sequenza di azioni dinamiche della stessa durata generano un numero identico di token. Le strategie esistenti di riduzione dei token, come l'eliminazione o l'unione delle patch, spesso degradano le prestazioni del modello o non riescono a mantenere la coerenza temporale quando è presente movimento della telecamera. Inoltre, questi metodi faticano a integrare i dati delle immagini in modo fluido a causa delle dipendenze architetturali dalle convoluzioni 3D o dalle mappature di patch spazio-temporali.

Metodologia: Tokenizzazione Video Fondata
Gli autori propongono TrajViT, un encoder video basato su un nuovo paradigma chiamato tokenizzazione video fondata. Invece di patch fisse, TrajViT organizza i token attorno a traiettorie di sotto-oggetti panottici. Questo approccio si allinea con i principi percettivi (i principi cognitivi fondamentali di Spelke e il principio della Gestalt del destino comune), trattando le parti degli oggetti come entità coerenti che persistono nel tempo.

Il sistema è composto da due componenti principali:

1. Pipeline di Estrazione delle Traiettorie di Sotto-oggetti Panottici:

   • Rilevamento dei Frame Chiave: Il video viene segmentato in clip rilevando i frame chiave in cui è probabile che appaiano nuovi oggetti. Ciò è ottenuto confrontando gli istogrammi di colore e l'intensità di luminanza tra frame consecutivi utilizzando un algoritmo parallelizzabile.
   • Segmentazione e Tracciamento: All'interno di ogni clip, la pipeline utilizza DirectSAM (un segmentatore leggero) per segmentare tutti gli oggetti nei frame chiave. Successivamente impiega SAM2 (un tracciatore) per propagare queste maschere attraverso i frame successivi all'interno della clip.
   • Unione: Per gestire oggetti che si estendono su più clip, il sistema esegue un'ulteriore fase di tracciamento tra l'ultimo frame di una clip e il primo frame della successiva. I segmenti con alta Intersezione sull'Unione (IoU) vengono uniti per mantenere l'identità dell'oggetto attraverso l'intero video.
   • Output: Questo processo genera un insieme di traiettorie, dove ogni traiettoria rappresenta un oggetto o un sotto-oggetto distinto nel tempo.

2. Encoder delle Traiettorie:

   • Codifica dell'Aspetto: Per ogni traiettoria, il modello estrae caratteristiche visive gerarchiche da una rete convoluzionale leggera (ResNet-18). Applica il pooling di maschera per aggregare le caratteristiche all'interno della maschera di segmentazione per ogni frame.
   • Codifica della Posizione Temporale: Le coordinate della casella di delimitazione per la traiettoria in ogni frame sono mappate in vettori ad alta dimensionalità utilizzando embedding sinusoidali.
   • Aggregazione: Sia le sequenze di aspetto che quelle di posizione temporale (che variano in lunghezza) vengono elaborate da un Perceiver Resampler. Questo modulo utilizza una singola query apprendibile per prestare attenzione alla sequenza di caratteristiche a livello di frame, comprimendole in un singolo embedding di dimensione fissa.
   • Token Finale: Il token della traiettoria è formato sommando gli embedding di aspetto e di posizione temporale. Questi token servono come input per un encoder transformer standard.

Contributi Chiave

• Nuovo Paradigma di Tokenizzazione: Il paper introduce la "tokenizzazione video fondata", dove il conteggio dei token è correlato al numero di distinte traiettorie di oggetti piuttosto che alla durata del video o al numero di frame. Questo riflette intrinsecamente la complessità della scena.
• Architettura TrajViT: Un encoder innovativo che estrae traiettorie di sotto-oggetti panottici e le converte in token di dimensione fissa semanticamente significativi senza modificare l'architettura transformer sottostante.
• Integrazione Fluida Immagine-Video: A differenza dei metodi di patch spazio-temporali che richiedono pipeline di pre-addestramento separate per immagini e video, TrajViT tratta i segmenti di immagine come traiettorie di lunghezza uno, permettendo un addestramento congiunto su dati di immagini e video in una singola fase.
• Efficienza: Il metodo riduce significativamente il numero di token (ad esempio, una riduzione di 10 volte sul dataset Panda) mantenendo al contempo la coerenza temporale e la robustezza ai cambiamenti di illuminazione, alle occlusioni e al movimento della telecamera.

Risultati Sperimentali
TrajViT è stato valutato rispetto a ViT3D standard e a baseline all'avanguardia di unione di token (ad esempio ToMe, AutoMerge, RLT) su molteplici benchmark:

• Recupero Video-Testo: Su dataset come ActivityNet, VATEX, MSR-VTT e Charades, TrajViT ha superato ViT3D con un ampio margine (ad esempio, +6% di recall top-5 in media) utilizzando 10 volte meno token.
• Classificazione delle Azioni: TrajViT ha ottenuto prestazioni superiori su Kinetics-400 e UFC-101. Su Something-Something V2 (SSV2), ha superato i metodi di unione di token ma è rimasto leggermente indietro rispetto a ViT3D, cosa che gli autori attribuiscono al fatto che il modello comprime eccessivamente movimenti complessi in scene egocentriche semplici.
• Compiti a Grana Fina: TrajViT ha mostrato guadagni significativi nella rilevazione spaziotemporale delle azioni (AVAv2) e nel recupero di clip temporali, attribuiti alla coerenza delle traiettorie degli oggetti nel tempo.
• Prestazioni VideoLLM: Quando integrato come encoder video per VideoLLM (utilizzando Llama-3), TrajViT-LLM ha superato ViT3D-LLM con una precisione media del 5,24% su sei benchmark VideoQA. Ha raggiunto questo risultato con un tempo di addestramento 4 volte più veloce e 18 volte meno FLOPs di inferenza.
• Scalabilità: TrajViT ha dimostrato un comportamento di scalabilità superiore con l'aumento dei frame di input (fino a video lunghi) e di dataset di pre-addestramento più grandi (da 2M a 8M video). Ha anche beneficiato maggiormente dell'aggiunta di dati di immagini (DataComp-50M) rispetto a ViT3D.

Significato e Affermazioni
Gli autori affermano che TrajViT è il primo encoder efficiente a superare costantemente ViT3D su diverse attività di analisi video senza sacrificare l'accuratezza per l'efficienza. Fondando i token su traiettorie di oggetti, il metodo affronta le inefficienze fondamentali della tokenizzazione basata su patch, offrendo una soluzione robusta e scalabile per la comprensione di video lunghi. Il paper sottolinea che questo approccio permette ai modelli di concentrarsi sulla complessità semantica di una scena piuttosto che sulla sua durata, rendendolo particolarmente efficace per compiti incentrati sugli oggetti e per l'analisi di video di lunga durata. Gli autori notano anche che, sebbene la pipeline di generazione delle traiettorie introduca un certo sovraccarico, il sistema complessivo rimane più efficiente per video più lunghi di 64 frame.