VideoFlexTok: Flexible-Length Coarse-to-Fine Video Tokenization

Resumo Técnico: VideoFlexTok

1. O Problema

A modelagem de vídeo é computacionalmente custosa devido à alta dimensionalidade dos sinais de pixels brutos, que aumenta linearmente com a duração do vídeo.

• Limitação dos Tokenizadores Atuais: A abordagem padrão de facto para tokenização de vídeo utiliza uma grade 3D espaço-temporal fixa. Nesses modelos, cada vídeo é representado pelo mesmo número de tokens, independentemente da complexidade do conteúdo.
• Ineficiência: Isso força os modelos geradores downstream (como modelos de texto-para-vídeo) a aprenderem e preverem todos os detalhes de baixo nível (pixel a pixel) simultaneamente com a estrutura abstrata (semântica e movimento), resultando em um custo de aprendizado e inferência desnecessariamente alto.
• Falta de Flexibilidade: Reduzir o número de tokens em grades 3D fixas geralmente exige encurtar a duração do vídeo ou reduzir a resolução, o que degrada a qualidade.

2. Metodologia: VideoFlexTok

O VideoFlexTok propõe uma nova arquitetura de autoencoder que representa vídeos como uma sequência de tokens de comprimento variável, estruturada de forma do grosseiro ao fino (coarse-to-fine).

• Codificação Hierárquica (Coarse-to-Fine):

  • O encoder processa latentes de vídeo (de um VAE pré-treinado) e os intercala com register tokens (tokens de registro aprendíveis) ao longo da dimensão temporal.
  • Utiliza Nested Dropout (dropout aninhado) para remover aleatoriamente um número variável de tokens do final da sequência durante o treinamento. Isso força os primeiros tokens a capturar as informações mais salientes e essenciais (semântica, geometria da cena, movimento global), enquanto os tokens subsequentes adicionam detalhes finos.
  • A estrutura é causal no tempo: os tokens de um quadro só podem atender a quadros passados, permitindo tokenização compatível com streaming e melhorando a geração downstream.

• Viés Semântico (Semantic Bias):

  • Para garantir que os primeiros tokens capturem informações semânticas significativas (e não apenas detalhes de pixel), o modelo utiliza uma perda de alinhamento de representação (REPA) baseada em características extraídas de um encoder de visão pré-treinado (DINOv2). Isso "ensina" o tokenizador a organizar a informação de forma hierárquica sem supervisão direta de rótulos.

• Decodificador Generativo:

  • O decoder é um modelo de fluxo retificado (rectified flow) generativo. Diferente de decodificadores determinísticos tradicionais, ele pode reconstruir vídeos realistas a partir de qualquer número de tokens (de 1 até o máximo).
  • Isso permite que o modelo "preencha" os detalhes faltantes quando apenas poucos tokens são fornecidos, mantendo a coerência temporal.

• Geração Longa:

  • Para vídeos longos, o vídeo é dividido em blocos com quadros sobrepostos. O decoder é condicionado aos últimos quadros gerados do bloco anterior, garantindo consistência temporal mesmo ao reconstruir a partir de poucos tokens.

3. Contribuições Principais

1. Tokenização de Comprimento Flexível: Pela primeira vez em vídeo, permite representar o mesmo vídeo com diferentes quantidades de tokens, adaptando-se à complexidade do conteúdo e às necessidades computacionais do downstream.
2. Eficiência Computacional: Demonstra que modelos gerativos podem ser treinados com ordens de magnitude menos de computação ao focar na previsão de apenas os primeiros tokens (informação abstrata) e deixar o decoder generativo lidar com os detalhes.
3. Geração de Vídeos Longos: Capacidade de gerar vídeos de 10 segundos (81 quadros) usando apenas 672 tokens (8x menos que os 5376 tokens exigidos por tokenizadores de grade 3D equivalentes), sem aumentar excessivamente o custo de contexto do modelo autoregressivo.
4. Arquitetura Causal e Semântica: Combina atenção causal temporal com viés semântico emergente, resultando em tokens iniciais que codificam robustamente movimento e semântica.

4. Resultados Experimentais

Os autores avaliaram o VideoFlexTok em tarefas de geração de vídeo condicionada a classes (Class-to-Video) e a texto (Text-to-Video).

• Eficiência de Treinamento:

  • Em tarefas de Class-to-Video, o VideoFlexTok alcançou desempenho comparável ou superior a tokenizadores de grade 3D usando modelos autoregressivos 5x a 10x menores (ex: 1.1B vs 5.2B parâmetros) ou com 5x a 10x menos tokens de treinamento.
  • O modelo consegue manter alta fidelidade (gFVD) e alinhamento com a condição (ViCLIP/Class Score) mesmo gerando apenas 1 a 4 tokens por quadro.

• Geração de Vídeo Longo:

  • Foi treinado um modelo de texto-para-vídeo para gerar vídeos de 10 segundos usando apenas 672 tokens totais.
  • Comparado a um tokenizador padrão (NVIDIA et al., 2025; Tang et al., 2024), que exigiria 5376 tokens para a mesma duração, o VideoFlexTok reduziu o custo de tokens em 8x, permitindo treinar modelos longos dentro de orçamentos computacionais viáveis.

• Qualidade de Reconstrução:

  • O decoder consegue reconstruir vídeos plausíveis a partir de apenas alguns tokens, capturando a identidade do objeto, a geometria da cena e o movimento, enquanto detalhes de cor e textura são adicionados conforme mais tokens são incluídos.

5. Significado e Impacto

O VideoFlexTok representa um avanço significativo na democratização da modelagem generativa de vídeo. Ao quebrar a rigidez das grades 3D fixas, ele permite:

• Adaptabilidade: Sistemas podem escolher dinamicamente o nível de detalhe necessário (ex: baixa resolução para pré-visualização rápida, alta resolução para renderização final) sem retreinar o modelo.
• Escalabilidade: Reduz drasticamente o custo computacional para treinar e inferir modelos de vídeo longos, tornando viável a criação de modelos de mundo e geradores de vídeo de longa duração em hardware mais acessível.
• Separação de Tarefas: Separa a modelagem de alta-level (semântica/movimento) da modelagem de baixo-level (textura/pixel), permitindo que modelos menores foquem no que realmente importa para a coerência do vídeo.

Em resumo, o VideoFlexTok demonstra que a representação de vídeo não precisa ser uma grade fixa densa; uma representação esparsa, hierárquica e semanticamente consciente pode oferecer melhor eficiência e qualidade.