TrajTok: Learning Trajectory Tokens enables better Video Understanding

O artigo apresenta o TrajTok, um tokenizador de vídeo integrado e eficiente que gera trajetórias de objetos dinâmicas em uma única passagem, superando métodos existentes ao melhorar o desempenho em tarefas de compreensão de vídeo, classificação e raciocínio em vídeos longos sem depender de pipelines externos complexos.

O essencial

Imagine que você está tentando ensinar um computador a "assistir" a um filme. O problema é que os computadores, hoje em dia, não "veem" o filme como nós. Eles o veem como uma pilha gigante de fotos estáticas (quadros) tiradas muito rápido, uma após a outra.

Para entender o que está acontecendo, o computador precisa analisar cada pedacinho de cada foto. É como se, para entender uma cena de uma festa, ele tivesse que ler o nome de cada pessoa, cada copo, cada pedaço de bolo e cada gota de refrigerante em cada uma das 30 fotos por segundo. Isso gera uma quantidade absurda de informações, deixa o computador lento, gasta muita energia e, muitas vezes, ele se perde nos detalhes sem entender a "história".

O artigo "TrajTok" propõe uma solução inteligente para esse problema. Vamos explicar como funciona usando algumas analogias simples:

1. O Problema: A "Fotografia em Grade" (Tokenização Tradicional)

Atualmente, a maioria dos modelos de vídeo corta a tela em quadradinhos iguais (como um tabuleiro de xadrez) e analisa cada quadradinho individualmente.

• A analogia: Imagine que você está tentando descrever um jogo de futebol para um amigo. Em vez de dizer "o jogador correu para a esquerda e chutou a bola", você diz: "o pixel 100 mudou de cor, o pixel 101 mudou de cor, o pixel 102 mudou de cor...". É tedioso, repetitivo e ineficiente. O computador gasta horas processando pixels que são apenas "céu azul" ou "gramado verde" e não mudam de lugar.

2. A Solução: O "Detetive de Movimentos" (TrajTok)

Os autores criaram o TrajTok. Em vez de olhar para quadradinhos fixos, o TrajTok aprende a seguir objetos que se movem.

• A analogia: Imagine que, em vez de olhar para cada pixel, o computador tem um "detetive" que segue o jogador de futebol. O detetive diz: "Ei, esse grupo de pixels é o jogador. Ele começou aqui e foi até ali. Vamos chamar isso de 'Jogador' e guardar essa informação em um único pacote."
• O resultado: Em vez de milhares de quadradinhos, o computador agora tem apenas alguns "pacotes de movimento" (chamados de tokens de trajetória). Se o jogador correu por 10 segundos, o computador não precisa de 300 fotos dele; ele apenas guarda a "trajetória" dele.

3. A Grande Inovação: "Aprender a Ver" (End-to-End)

Antes desse trabalho, existiam tentativas de fazer algo parecido, mas elas usavam um "sistema externo" e lento para encontrar os objetos antes de passar para o computador principal. Era como ter um assistente que demorava 1 hora para desenhar o contorno de cada pessoa no vídeo antes de você poder assistir.

• O que o TrajTok faz diferente: O TrajTok é integrado. Ele é treinado junto com o cérebro do computador. Ele aprende, na prática, o que é importante para a tarefa final.
• A analogia: É como treinar um cão de guarda. Em vez de ensinar o cão a seguir regras rígidas de "se for vermelho, é perigo", você treina o cão para entender o que é "perigo" baseado no resultado final (se ele pegou o ladrão ou não). O TrajTok aprende a agrupar os pixels da maneira que é mais útil para a tarefa, seja identificar um dançarino, um carro ou um animal.

4. Por que isso é incrível?

O papel mostra três maneiras principais de usar essa tecnologia:

1. Para aprender do zero (TrajViT2): O computador aprende a ver vídeos de forma muito mais eficiente, gastando menos energia e ficando mais rápido, mas entendendo melhor o que acontece. Ele bateu recordes em testes de classificação de vídeos e busca de imagens.
2. Para melhorar cérebros já treinados (TrajAdapter): Se você já tem um computador inteligente que foi treinado com vídeos antigos, você pode "conectar" o TrajTok nele. É como colocar um novo filtro de lente na câmera dele. De repente, ele entende melhor os vídeos sem precisar ser refeito do zero.
3. Para conversar com vídeos (TrajVLM): Isso é para os modelos de Inteligência Artificial que conversam com humanos (como o ChatGPT, mas com visão). O TrajTok ajuda a IA a entender vídeos longos.
   • O exemplo: Se você pedir para uma IA analisar um filme de 2 horas, os métodos antigos se perdem. Com o TrajTok, a IA consegue seguir a "história" dos personagens ao longo do tempo, respondendo perguntas complexas sobre o que aconteceu no início e no fim do filme com muito mais precisão.

Resumo em uma frase

O TrajTok é como ensinar o computador a parar de olhar para a "poeira" (pixels individuais) e começar a olhar para os "personagens" (objetos em movimento), tornando a visão computacional mais rápida, inteligente e capaz de entender histórias longas, exatamente como fazemos nós, humanos.

Resumo técnico

Resumo Técnico: TrajTok

1. O Problema

A tokenização em modelos de vídeo modernos, baseada no paradigma de "patchificação" (divisão da imagem em grades espaciais e temporais fixas), gera um número excessivo e redundante de tokens. Isso cria gargalos severos de memória e computação, limitando a escalabilidade e a eficiência, especialmente em vídeos longos.

Embora trabalhos recentes (como o TrajViT) tenham proposto o uso de trajetórias de sub-objetos como unidade fundamental de tokenização para reduzir redundância e desacoplar a duração do vídeo da contagem de tokens, essa abordagem possui limitações críticas:

• Dependência de Pipelines Externas: Utiliza modelos de segmentação e rastreamento externos (não diferenciáveis e específicos para tarefas gerais), o que torna o processo lento e desconectado do modelo principal.
• Granularidade Fixa: A granularidade semântica é definida por modelos genéricos, que podem não ser ideais para tarefas downstream específicas (ex.: distinguir partes do corpo de um dançarino vs. tratar o dançarino como um único objeto).
• Ineficiência: O uso de pipelines externos adiciona latência significativa e impede o treinamento end-to-end.

2. Metodologia: TrajTok

Os autores propõem o TrajTok, um módulo de tokenizador de vídeo end-to-end e totalmente diferenciável. Em vez de depender de pipelines externos, o TrajTok aprende a agrupar pixels em trajetórias de objetos implicitamente, adaptando-se dinamicamente à complexidade semântica da tarefa.

A arquitetura consiste em dois componentes principais treinados conjuntamente:

A. Segmentador Universal (Universal Segmenter)

• Função: Realiza o agrupamento semântico de pixels no espaço e no tempo em uma única passagem (forward pass).
• Mecanismo:
  • Extrai mapas de características de alta resolução usando um codificador de patches leve (ConvNeXt).
  • Utiliza um conjunto de consultas latentes aprendíveis (learnable queries) processadas por camadas do tipo Perceiver.
  • Gera máscaras de segmentação "soft" (suaves) calculando a similaridade entre as consultas e as características dos patches.
  • Filosofia: Prioriza o agrupamento semântico robusto em vez da precisão de máscaras perfeitas em nível de pixel. Isso permite que o modelo aprenda a granularidade ideal para a tarefa final (ex.: fundir fundo, separar objetos em movimento).
• Diferenciação: O gradiente das características de patch é desconectado antes de entrar nas camadas do Perceiver para evitar adaptação instável.

B. Codificador de Trajetória (Trajectory Encoder)

• Função: Agrega as características dos patches em tokens latentes compactos baseados nas máscaras geradas.
• Refinamento:
  • Inicialmente, cria embeddings de trajetória através de agregação ponderada (soft).
  • Refina esses embeddings usando um segundo módulo Perceiver com atenção cruzada mascarada (hard segmentation) para recuperar detalhes finos de textura e movimento sem perder a disjuntura.
• Adaptabilidade (Matryoshka): Introduz um mecanismo de número adaptativo de tokens por trajetória. Dependendo do orçamento computacional, uma trajetória pode ser representada por 1, 2 ou 4 tokens, permitindo um equilíbrio flexível entre eficiência e expressividade.

3. Principais Contribuições

O artigo demonstra a versatilidade do TrajTok através de três cenários de aplicação distintos:

1. TrajViT2 (Codificador de Vídeo do Zero):

   • Um modelo treinado do zero com o objetivo CLIP, onde o tokenizador gera trajetórias diretamente dos pixels brutos.
   • Substitui a necessidade de pipelines externos, permitindo treinamento end-to-end.

2. TrajAdapter (Adaptador de Recursos):

   • Um módulo plug-in que pode ser inserido após codificadores de visão pré-treinados (como VideoMAE ou V-JEPA).
   • Reorganiza mapas de características densos em tokens de trajetória compactos, melhorando o desempenho de tarefas downstream (probing) sem necessidade de fine-tuning completo do backbone.

3. TrajVLM (Modelo de Linguagem-Vídeo):

   • Atua como um conector entre um codificador de visão (ViT) e um Modelo de Linguagem de Grande Escala (LLM).
   • Substitui as técnicas comuns de pooling de patches, oferecendo uma representação centrada em objetos para raciocínio de vídeo longo.

4. Resultados Experimentais

• Desempenho em Classificação e Recuperação (TrajViT2):

  • O TrajViT2 supera consistentemente os baselines (ViT3D, ViViT, TokenLearner, RLT) e o anterior TrajViT.
  • Ganhos: +4.8% de acurácia no Kinetics-400 e +4.1% no Something-Something V2 em comparação com um ViT de vídeo padrão.
  • Escalabilidade: Mostra uma tendência de escalabilidade superior ao TrajViT à medida que o tamanho do conjunto de dados de pré-treinamento aumenta, devido à adaptabilidade do segmentador.

• Eficiência Computacional:

  • O tokenizador é leve (46M parâmetros vs. 304M do backbone ViT-Large).
  • Em termos de FLOPs de inferência, o TrajViT2 é comparável aos métodos mais eficientes (como ViViT), enquanto o TrajViT original (com pipeline externo) e o ViT3D (baseado em patches) são significativamente mais custosos, especialmente em vídeos longos.

• Probing e Adaptação (TrajAdapter):

  • Melhora a acurácia de classificação em backbones pré-treinados (VideoMAE-v2 e V-JEPA2) sem fine-tuning completo, superando métodos de linear probing e attentive probing tradicionais.

• Modelos de Linguagem-Vídeo (TrajVLM):

  • Supera significativamente os modelos baseados em patch pooling em benchmarks de vídeo longo (ex.: +8.8% no LongVideoBench).
  • A estrutura baseada em trajetórias reduz a redundância e melhora o raciocínio de longo alcance, algo que o aumento do tamanho da janela de pooling em modelos tradicionais não consegue resolver.

5. Significado e Conclusão

O TrajTok representa uma mudança de paradigma na tokenização de vídeo, movendo-se de uma abordagem baseada em grades espaciais fixas para uma tokenização baseada em trajetórias aprendidas implicitamente.

• Eficiência e Escalabilidade: Resolve o gargalo de tokens redundantes, permitindo o processamento de vídeos longos com custos computacionais viáveis.
• Adaptabilidade Semântica: Ao aprender a granularidade dos tokens diretamente da tarefa final, o modelo supera as limitações de pipelines de segmentação genéricos.
• Versatilidade: Demonstra ser um componente unificado que pode ser utilizado desde o pré-treinamento de encoders até a adaptação de modelos existentes e a construção de VLMs.

Em suma, o TrajTok prova que a organização de tokens baseada em trajetórias de objetos, quando integrada de forma diferenciável e end-to-end, oferece uma alternativa superior, mais eficiente e semanticamente alinhada aos métodos tradicionais de tokenização para compreensão de vídeo.