One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory

Resumen Técnico: Una Trayectoria, Un Token

Enunciado del Problema
Los métodos actuales de tokenización de video, que dependen de dividir los videos en parches espacio-temporales fijos (por ejemplo, ViT3D), enfrentan desafíos significativos de escalabilidad. A medida que aumenta la duración del video, el número de tokens crece linealmente, lo que genera cuellos de botella de memoria e ineficiencias computacionales. Además, este paradigma basado en parches ignora la complejidad de la escena; una escena estática y una secuencia de acción dinámica de la misma duración generan un número idéntico de tokens. Las estrategias existentes de reducción de tokens, como la eliminación o fusión de parches, a menudo degradan el rendimiento del modelo o no logran mantener la coherencia temporal cuando hay movimiento de cámara presente. Además, estos métodos luchan por integrar datos de imagen de manera fluida debido a dependencias arquitectónicas en convoluciones 3D o mapeos de parches espacio-temporales.

Metodología: Tokenización de Video Fundamentada
Los autores proponen TrajViT, un codificador de video basado en un nuevo paradigma llamado tokenización de video fundamentada. En lugar de parches fijos, TrajViT organiza los tokens alrededor de trayectorias de subobjetos panorámicos. Este enfoque se alinea con principios perceptuales (los principios cognitivos centrales de Spelke y el Principio Gestalt del destino común), tratando las partes de los objetos como entidades coherentes que persisten en el tiempo.

El sistema consta de dos componentes principales:

1. Pipeline de Extracción de Trayectorias de Subobjetos Panorámicos:

   • Detección de Fotogramas Clave: El video se segmenta en clips detectando fotogramas clave donde es probable que aparezcan nuevos objetos. Esto se logra comparando histogramas de color e intensidad de luminancia entre fotogramas consecutivos utilizando un algoritmo paralelizable.
   • Segmentación y Rastreo: Dentro de cada clip, el pipeline utiliza DirectSAM (un segmentador ligero) para segmentar todos los objetos en los fotogramas clave. Luego emplea SAM2 (un rastreador) para propagar estas máscaras a través de los fotogramas subsiguientes dentro del clip.
   • Fusión: Para manejar objetos que abarcan múltiples clips, el sistema realiza un paso de rastreo adicional entre el fotograma final de un clip y el primer fotograma del siguiente. Los segmentos con una Intersección sobre Unión (IoU) alta se fusionan para mantener la identidad del objeto a lo largo de todo el video.
   • Salida: Este proceso genera un conjunto de trayectorias, donde cada trayectoria representa un objeto o subobjeto distinto a lo largo del tiempo.

2. Codificador de Trayectorias:

   • Codificación de Apariencia: Para cada trayectoria, el modelo extrae características visuales jerárquicas de una red convolucional ligera (ResNet-18). Aplica agrupación por máscara para agregar características dentro de la máscara de segmentación para cada fotograma.
   • Codificación de Posición Temporal: Las coordenadas de la caja delimitadora para la trayectoria en cada fotograma se mapean a vectores de alta dimensión utilizando incrustaciones sinusoidales.
   • Agregación: Tanto las secuencias de apariencia como las de posición temporal (que varían en longitud) son procesadas por un Perceiver Resampler. Este módulo utiliza una sola consulta aprendible para atender a la secuencia de características a nivel de fotograma, comprimiéndolas en una única incrustación de tamaño fijo.
   • Token Final: El token de trayectoria se forma sumando las incrustaciones de apariencia y posición temporal. Estos tokens sirven como entrada para un codificador transformer estándar.

Contribuciones Clave

• Nuevo Paradigma de Tokenización: El artículo introduce la "tokenización de video fundamentada", donde la cantidad de tokens se correlaciona con el número de trayectorias de objetos distintos en lugar de la duración del video o la cantidad de fotogramas. Esto refleja inherentemente la complejidad de la escena.
• Arquitectura TrajViT: Un codificador novedoso que extrae trayectorias de subobjetos panorámicos y las convierte en tokens de tamaño fijo y semánticamente significativos sin modificar la arquitectura transformer subyacente.
• Integración Fluida Imagen-Video: A diferencia de los métodos de parches espacio-temporales que requieren pipelines de preentrenamiento separados para imágenes y videos, TrajViT trata los segmentos de imagen como trayectorias de longitud uno, permitiendo un entrenamiento conjunto en datos de imagen y video en una sola etapa.
• Eficiencia: El método reduce significativamente la cantidad de tokens (por ejemplo, una reducción de 10x en el conjunto de datos Panda) mientras mantiene la coherencia temporal y la robustez ante cambios de iluminación, oclusiones y movimiento de cámara.

Resultados Experimentales
TrajViT fue evaluado frente a ViT3D estándar y líneas base de fusión de tokens de última generación (por ejemplo, ToMe, AutoMerge, RLT) en múltiples benchmarks:

• Recuperación de Texto-Video: En conjuntos de datos como ActivityNet, VATEX, MSR-VTT y Charades, TrajViT superó a ViT3D por un amplio margen (por ejemplo, +6% de recuperación top-5 en promedio) mientras utilizaba 10 veces menos tokens.
• Clasificación de Acciones: TrajViT logró un rendimiento superior en Kinetics-400 y UFC-101. En Something-Something V2 (SSV2), superó a los métodos de fusión de tokens pero quedó ligeramente detrás de ViT3D, lo que los autores atribuyen a que el modelo comprime en exceso movimientos complejos en escenas egocéntricas simples.
• Tareas de Alta Granularidad: TrajViT mostró ganancias significativas en la detección de acciones espacio-temporales (AVAv2) y la recuperación de clips temporales, atribuidas a la consistencia de las trayectorias de objetos a lo largo del tiempo.
• Rendimiento de VideoLLM: Cuando se integró como codificador de video para VideoLLMs (utilizando Llama-3), TrajViT-LLM superó a ViT3D-LLM en un promedio de 5.24% de precisión en seis benchmarks de VideoQA. Logró esto con un tiempo de entrenamiento 4 veces más rápido y 18 veces menos FLOPs de inferencia.
• Escalabilidad: TrajViT demostró un comportamiento de escalado superior con el aumento de fotogramas de entrada (hasta videos largos) y conjuntos de datos de preentrenamiento más grandes (de 2M a 8M videos). También se benefició más de la adición de datos de imagen (DataComp-50M) en comparación con ViT3D.

Significado y Afirmaciones
Los autores afirman que TrajViT es el primer codificador eficiente que supera consistentemente a ViT3D en diversas tareas de análisis de video sin sacrificar la precisión por la eficiencia. Al fundamentar los tokens en trayectorias de objetos, el método aborda las ineficiencias fundamentales de la tokenización basada en parches, ofreciendo una solución robusta y escalable para la comprensión de videos largos. El artículo enfatiza que este enfoque permite a los modelos centrarse en la complejidad semántica de una escena en lugar de su duración, haciéndolo particularmente efectivo para tareas centradas en objetos y análisis de video de formato largo. Los autores también señalan que, aunque el pipeline de generación de trayectorias introduce cierta sobrecarga, el sistema general sigue siendo más eficiente para videos de más de 64 fotogramas.