One Trajectory, One Token: Grounded Video Tokenization via Panoptic Sub-object Trajectory

Resumo Técnico: Uma Trajetória, Um Token

Declaração do Problema
Os métodos atuais de tokenização de vídeo, que dependem da divisão de vídeos em patches espaço-temporais fixos (por exemplo, ViT3D), enfrentam desafios significativos de escalabilidade. À medida que a duração do vídeo aumenta, o número de tokens cresce linearmente, levando a gargalos de memória e ineficiências computacionais. Além disso, esse paradigma baseado em patches ignora a complexidade da cena; uma cena estática e uma sequência de ação dinâmica com a mesma duração geram um número idêntico de tokens. Estratégias existentes de redução de tokens, como descarte ou fusão de patches, frequentemente degradam o desempenho do modelo ou falham em manter a coerência temporal quando há movimento da câmera. Adicionalmente, esses métodos lutam para integrar dados de imagem de forma transparente devido a dependências arquitetônicas em convoluções 3D ou mapeamentos de patches espaço-temporais.

Metodologia: Tokenização de Vídeo Fundamentada
Os autores propõem o TrajViT, um codificador de vídeo baseado em um novo paradigma chamado tokenização de vídeo fundamentada. Em vez de patches fixos, o TrajViT organiza tokens ao redor de trajetórias de sub-objetos panópticos. Essa abordagem alinha-se com princípios perceptivos (princípios cognitivos centrais de Spelke e o Princípio da Gestalt do destino comum), tratando partes de objetos como entidades coerentes que persistem ao longo do tempo.

O sistema consiste em dois componentes principais:

1. Pipeline de Extração de Trajetórias de Sub-objetos Panópticos:

   • Detecção de Quadros-Chave: O vídeo é segmentado em clipes detectando quadros-chave onde novos objetos são propensos a aparecer. Isso é alcançado comparando histogramas de cor e intensidade de luminância entre quadros consecutivos usando um algoritmo paralelizável.
   • Segmentação e Rastreamento: Dentro de cada clipe, o pipeline usa DirectSAM (um segmentador leve) para segmentar todos os objetos nos quadros-chave. Em seguida, emprega o SAM2 (um rastreador) para propagar essas máscaras através dos quadros subsequentes dentro do clipe.
   • Fusão: Para lidar com objetos que abrangem múltiplos clipes, o sistema executa uma etapa adicional de rastreamento entre o quadro final de um clipe e o primeiro quadro do próximo. Segmentos com alta Interseção sobre União (IoU) são fundidos para manter a identidade do objeto em todo o vídeo.
   • Saída: Esse processo gera um conjunto de trajetórias, onde cada trajetória representa um objeto ou sub-objeto distinto ao longo do tempo.

2. Codificador de Trajetória:

   • Codificação de Aparência: Para cada trajetória, o modelo extrai características visuais hierárquicas de uma rede convolucional leve (ResNet-18). Aplica pooling de máscara para agregar características dentro da máscara de segmentação para cada quadro.
   • Codificação de Posição Temporal: Coordenadas de caixas delimitadoras para a trajetória em cada quadro são mapeadas para vetores de alta dimensão usando embeddings sinusoidais.
   • Agregação: Tanto as sequências de aparência quanto as de posição temporal (que variam em comprimento) são processadas por um Perceiver Resampler. Este módulo usa uma única consulta aprendível para atender à sequência de características ao nível de quadro, comprimindo-as em um único embedding de tamanho fixo.
   • Token Final: O token de trajetória é formado somando os embeddings de aparência e posição temporal. Esses tokens servem como entrada para um codificador transformer padrão.

Principais Contribuições

• Novo Paradigma de Tokenização: O artigo introduz a "tokenização de vídeo fundamentada", onde a contagem de tokens correlaciona-se com o número de trajetórias de objetos distintos, em vez da duração do vídeo ou contagem de quadros. Isso reflete inerentemente a complexidade da cena.
• Arquitetura TrajViT: Um codificador inovador que extrai trajetórias de sub-objetos panópticos e as converte em tokens semanticamente significativos e de tamanho fixo sem modificar a arquitetura transformer subjacente.
• Integração Transparente Imagem-Vídeo: Diferentemente de métodos de patches espaço-temporais que exigem pipelines de pré-treinamento separados para imagens e vídeos, o TrajViT trata segmentos de imagem como trajetórias de comprimento um, permitindo treinamento conjunto em dados de imagem e vídeo em uma única etapa.
• Eficiência: O método reduz significativamente a contagem de tokens (por exemplo, redução de 10x no conjunto de dados Panda) enquanto mantém a coerência temporal e robustez a mudanças de iluminação, oclusões e movimento da câmera.

Resultados Experimentais
O TrajViT foi avaliado contra o ViT3D padrão e baselines de fusão de tokens de última geração (por exemplo, ToMe, AutoMerge, RLT) em múltiplos benchmarks:

• Recuperação Vídeo-Texto: Em conjuntos de dados como ActivityNet, VATEX, MSR-VTT e Charades, o TrajViT superou o ViT3D por uma grande margem (por exemplo, +6% de recall top-5 em média) enquanto usava 10x menos tokens.
• Classificação de Ação: O TrajViT alcançou desempenho superior em Kinetics-400 e UFC-101. No Something-Something V2 (SSV2), superou métodos de fusão de tokens, mas ficou ligeiramente atrás do ViT3D, o que os autores atribuem ao modelo supercomprimir movimentos complexos em cenas egocêntricas simples.
• Tarefas de Alta Granularidade: O TrajViT mostrou ganhos significativos na detecção de ação espaço-temporal (AVAv2) e recuperação de clipes temporais, atribuídos à consistência das trajetórias de objetos ao longo do tempo.
• Desempenho do VideoLLM: Quando integrado como codificador de vídeo para VideoLLMs (usando Llama-3), o TrajViT-LLM superou o ViT3D-LLM em uma média de 5,24% de precisão em seis benchmarks de VideoQA. Isso foi alcançado com 4x mais tempo de treinamento rápido e 18x menos FLOPs de inferência.
• Escalabilidade: O TrajViT demonstrou comportamento de escalabilidade superior com aumento de quadros de entrada (até vídeos longos) e conjuntos de dados de pré-treinamento maiores (de 2M para 8M vídeos). Também se beneficiou mais da adição de dados de imagem (DataComp-50M) em comparação ao ViT3D.

Significância e Alegações
Os autores afirmam que o TrajViT é o primeiro codificador eficiente a superar consistentemente o ViT3D em diversas tarefas de análise de vídeo sem sacrificar a precisão pela eficiência. Ao fundamentar tokens em trajetórias de objetos, o método aborda as ineficiências fundamentais da tokenização baseada em patches, oferecendo uma solução robusta e escalável para a compreensão de vídeos longos. O artigo enfatiza que essa abordagem permite que os modelos se concentrem na complexidade semântica de uma cena em vez de sua duração, tornando-a particularmente eficaz para tarefas centradas em objetos e análise de vídeos de longa duração. Os autores também observam que, embora o pipeline de geração de trajetórias introduza alguma sobrecarga, o sistema geral permanece mais eficiente para vídeos com mais de 64 quadros.