CoPE-VideoLM: Leveraging Codec Primitives For Efficient Video Language Modeling

Resumo Técnico: CoPE-VideoLM

1. O Problema

Os Modelos de Linguagem de Vídeo (VideoLMs) atuais enfrentam desafios significativos relacionados à eficiência computacional e à cobertura temporal:

• Limitação de Janela de Contexto: Os VideoLMs possuem um limite máximo de tokens de entrada. Para caber vídeos longos, os métodos atuais utilizam amostragem de keyframes (quadros-chave), o que resulta em uma cobertura temporal esparsa. Isso faz com que o modelo perca eventos macro (importantes para a compreensão geral) e detalhes micro (essenciais para ações finas).
• Redundância e Custo Computacional: Processar quadros completos (RGB) para cada amostra gera uma enorme redundância, já que quadros consecutivos em vídeos são altamente similares. Além disso, codificar imagens completas para cada quadro consome recursos computacionais massivos, aumentando o tempo de pré-preenchimento (prefill) e o Tempo até o Primeiro Token (TTFT), o que é crítico para aplicações em tempo real e robótica.
• Ineficiência de Métodos Existentes: Abordagens de compressão de tokens pós-codificação (como pooling ou poda) ainda exigem a codificação inicial completa da imagem RGB, não aproveitando a redundância temporal nativa já presente nos codecs de vídeo.

2. Metodologia

O CoPE-VideoLM propõe uma mudança de paradigma: em vez de tratar cada quadro como uma imagem completa, o modelo utiliza primitivas de codec de vídeo (vetores de movimento e resíduos) que já codificam a redundância e a esparsidade do vídeo.

• Estrutura de Tokenização Consciente de Codec:

  • Quadros I (I-frames): São quadros independentes (chave). Eles são processados por um codificador de visão padrão (frozen, ex: SigLIP) para gerar tokens RGB densos.
  • Quadros P (P-frames): São quadros preditivos que contêm apenas as mudanças em relação ao quadro anterior. Em vez de decodificá-los para RGB, o modelo extrai diretamente:
    • Vetores de Movimento ($\tau$): Deslocamentos de blocos entre quadros.
    • Resíduos ($\delta$): Correções de pixels após a compensação de movimento.
  • $\Delta$-Encoder: Um componente leve baseado em transformers que processa os vetores de movimento e resíduos através de duas ramificações especializadas (MLP + Transformer para movimento; ResNet + Transformer para resíduos). Ele comprime essas primitivas em um conjunto pequeno de $\Delta$-tokens (tokens de diferença).
  • Sequência Interleaved: O fluxo de entrada para o LLM é uma sequência temporal intercalada de tokens I-frame (densos) e tokens P-frame (compactos $\Delta$), preservando a ordem temporal e a estrutura do Group of Pictures (GOP).

• Estratégia de Treinamento em Duas Etapas:

  1. Pré-treinamento do $\Delta$-Encoder: O encoder é pré-treinado para alinhar a representação dos tokens $\Delta$ (derivados de codec) com o espaço de incorporação do codificador de visão RGB. Isso é feito usando uma tarefa de regressão de patches, onde o modelo tenta reconstruir as características da imagem alvo a partir do quadro de referência, vetores de movimento e resíduos.
  2. Ajuste Fino (Fine-tuning) End-to-End: O $\Delta$-Encoder pré-treinado é integrado ao VideoLM (baseado em LLaVA-Video-7B) e todo o sistema é ajustado para tarefas de compreensão de vídeo.

• Fusão de Quadros P: Para equilibrar resolução temporal e eficiência, múltiplos quadros P consecutivos podem ser fundidos, calculando a mudança relativa a um quadro de referência mais antigo, reduzindo ainda mais o número de tokens sem perder a cobertura temporal essencial.

3. Principais Contribuições

1. Tokenização Nativa de Codec: A primeira abordagem a codificar vídeos para VideoLMs utilizando diretamente primitivas de codec (vetores de movimento e resíduos) mantendo a ordem temporal e a aparência.
2. Arquitetura Leve ($\Delta$-Encoder): Introdução de um encoder de duas ramificações que gera representações compactas, permitindo taxas de compressão muito superiores aos codificadores de imagem tradicionais.
3. Alinhamento de Espaço de Representação: Um framework de pré-treinamento que garante que os tokens derivados de codec sejam semanticamente compatíveis com os tokens de imagem, acelerando a convergência durante o ajuste fino.
4. Eficiência Extrema: Redução drástica no uso de tokens e no tempo de inferência sem sacrificar a precisão.

4. Resultados Experimentais

O modelo foi avaliado em 14 benchmarks diversos, cobrindo QA geral, raciocínio temporal, compreensão de vídeos longos e entendimento de cenas espaciais.

• Eficiência de Tokens e Latência:
  • Redução de até 93% no uso de tokens em comparação com VideoLMs padrão.
  • Redução de até 86% no Tempo até o Primeiro Token (TTFT).
  • Permite processar vídeos de até 8 horas dentro de uma janela de contexto de 1 milhão de tokens (algo impossível para modelos baseados em amostragem densa de 64 quadros).
• Desempenho em Benchmarks:
  • QA Geral: Superou ou igualou o desempenho do LLaVA-Video-7B (modelo base) em PerceptionTest, NextQA e ActivityNet-QA, usando uma fração dos tokens.
  • Raciocínio Temporal: Alcançou o melhor desempenho entre modelos de código aberto em TempCompass, TOMATO e CVRR-ES, demonstrando que os primitivos de codec capturam melhor as dinâmicas temporais do que quadros RGB esparsos.
  • Vídeos Longos: Desempenho superior em Video-TT e LVBench, provando que a cobertura temporal densa (via P-frames) é crucial para entender sequências longas.
  • Comparação com Estado da Arte: O CoPE-VideoLM-7B superou outros modelos de código aberto de escala similar e competiu com modelos proprietários (como Gemini e GPT) em várias métricas, apesar de usar dados de treinamento menores.

5. Significado e Impacto

O CoPE-VideoLM representa um avanço fundamental na eficiência dos sistemas de IA multimodal:

• Viabilidade para Tempo Real: A redução drástica no TTFT torna viável a aplicação de VideoLMs em robótica e interação humano-computador onde a latência é crítica.
• Escalabilidade: Ao desacoplar a taxa de quadros da contagem de tokens, o método permite que modelos de código aberto processem vídeos extremamente longos (long-form) sem exigir hardware massivo ou janelas de contexto proibitivas.
• Mudança de Paradigma: Demonstra que a redundância temporal, muitas vezes vista como um problema a ser removido, pode ser explorada como uma estrutura nativa para melhorar a eficiência e a precisão da compreensão de vídeo. O trabalho posiciona os métodos baseados em codec como a base prática para a próxima geração de VideoLMs escaláveis.