Dynamic Token Compression for Efficient Video Understanding through Reinforcement Learning

1. O Problema: Redundância e "Context Rot" em MLLMs

Os Modelos de Linguagem Multimodal (MLLMs) demonstraram capacidades notáveis na compreensão de vídeo, mas enfrentam dois obstáculos críticos:

• Redundância Visual Massiva: Codificadores de visão padrão geram dezenas de milhares de tokens por vídeo, dominados por fundos estáticos e ações repetitivas.
• Custo Computacional Quadrático: A complexidade da atenção auto-regressiva nos LLMs escala quadraticamente com o comprimento da sequência. Isso torna a inferência proibitivamente cara para vídeos longos.
• Context Rot (Podridão de Contexto): À medida que o número de tokens aumenta, a capacidade do modelo de utilizar informações diminui, especialmente para tokens no meio da sequência. A redundância "afoga" as informações essenciais, degradando o desempenho em tarefas que exigem raciocínio holístico.

As estratégias de compressão existentes (baseadas em heurísticas, pooling ou fusão de tokens) são frequentemente desconectadas dos objetivos da tarefa downstream, limitando sua adaptabilidade e eficácia.

2. Metodologia: SCORE

Os autores propõem o SCORE (Surprise-augmented token COmpression via REinforcement learning), um framework unificado que aprende uma política de compressão de tokens adaptativa e orientada por tarefas.

Arquitetura Geral

O SCORE insere um compressor visual leve (baseado em uma pequena MLP) entre o codificador de visão (congelado) e o LLM (congelado). O objetivo é selecionar dinamicamente quais tokens visuais reter antes da entrada no LLM.

Componentes Chave:

1. Codificação de Estado Aumentada por "Surpresa" (Surprise-Augmented State):

   • Para capturar dinâmicas temporais e evitar que a política atribua probabilidades de retenção idênticas a quadros consecutivos (devido à correlação temporal), o sistema calcula um sinal de "surpresa".
   • Este sinal é o resíduo inter-quadro: $\Delta X[t] = X[t] - X[t-1]$.
   • O estado de entrada para o compressor é a concatenação do embedding original e o resíduo: $H[t] = [X[t]; \Delta X[t]]$. Isso atua como um filtro passa-alta temporal, destacando regiões de movimento ou mudança semântica e suprimindo redundância estática.

2. Política de Gating Bernoulli:

   • A rede política gera uma probabilidade de retenção ($p_{t,i}$) para cada token visual.
   • Durante o treinamento, amostra-se uma máscara binária estocástica (Bernoulli) baseada nessas probabilidades.

3. Otimização por Aprendizado por Reforço (RL):

   • Agrupamento (Group Rollouts): Para reduzir a variância do gradiente, para cada vídeo, o modelo amostra $K$ máscaras independentes.
   • Função de Recompensa (Reward): A recompensa equilibra a qualidade da geração (precisão) e a esparsidade (taxa de compressão).
     • Usa a Entropia Cruzada (CE) do LLM congelado como proxy de desempenho.
     • Define uma recompensa baseada na melhoria ou manutenção da precisão ($\Delta CE$) em relação à taxa de compressão.
   • Estimador de Vantagem Dividida (Split-Advantage Estimator):
     • As amostras são divididas em duas zonas: "Segura" (onde a precisão não caiu significativamente) e "Penalidade" (onde a precisão caiu).
     • Na zona segura, incentiva-se maior esparsidade (comprimir mais).
     • Na zona de penalidade, aplica-se uma penalidade pesada para forçar a política a reter mais tokens e recuperar o desempenho.

4. Estratégia de Currículo (Curriculum Learning):

   • Devido ao espaço de ação combinatório e ao ruído em vídeos reais, o treinamento ocorre em duas etapas:
     1. Aquecimento com Vídeos Pseudo: Vídeos sintéticos criados repetindo imagens estáticas. Isso cria sinais temporais de alto contraste (resíduos zero ou grandes), facilitando o aprendizado inicial de quais tokens são redundantes.
     2. Treinamento em Vídeos Reais: Ajuste fino em vídeos reais para lidar com movimentos sutis e fundos complexos, generalizando a heurística baseada em resíduos.

5. Inferência:

   • Em tempo de inferência, utiliza-se uma seleção determinística Top-K global sobre todas as probabilidades de retenção para manter exatamente a porcentagem desejada de tokens, preservando suas posições espaço-temporais originais.

3. Principais Contribuições

• SCORE: Um compressor visual em nível de token baseado em RL que otimiza diretamente a qualidade de geração downstream sob restrições de orçamento de tokens.
• Representação de Estado Aumentada: Uso explícito de resíduos inter-quadro para capturar dinâmicas temporais e quebrar a simetria temporal, permitindo a identificação de regiões salientes de movimento.
• Estratégia de Treinamento Integrada: Combinação de otimização de política em grupo, estimador de vantagem dividido (para estabilidade) e um currículo progressivo (pseudo-vídeo para vídeo real).
• Desempenho Superior: Evidência experimental de que a compressão aprendida pode não apenas manter, mas superar o modelo não comprimido ao remover tokens redundantes que causam "context rot".

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de vídeo-linguagem padrão (Video-MME, MLVU, LVBench) utilizando modelos como Qwen2.5-VL e LLaVA-Video.

• Desempenho:

  • O SCORE supera consistentemente os baselines state-of-the-art (como DyCoke, HoliTom, VidCom2, FastVID).
  • Recurso Notável: Com uma taxa de retenção de 25%, o SCORE atinge uma pontuação média de 58.9, superando o modelo "Vanilla" (não comprimido) que obteve 57.3. Isso confirma que a remoção de redundância mitiga o context rot.
  • Com 10% de retenção, o modelo mantém 99.5% do desempenho original.

• Eficiência:

  • Redução drástica no tempo de inferência (prefill latency).
  • Com 10% de retenção, o SCORE oferece um aceleração de 16x no tempo de pré-preenchimento (prefill) do LLM, com custo computacional do compressor desprezível (<1% do tempo total).

• Análise Qualitativa:

  • As máscaras aprendidas mostram alta seletividade espacial (retendo humanos, animais e interações) e adaptabilidade temporal (focando em áreas de mudança e ignorando fundos estáticos).

5. Significado e Impacto

O trabalho do SCORE representa um avanço significativo na viabilidade de MLLMs para vídeos longos em cenários sensíveis à latência.

• Solução Escalável: Oferece uma solução prática para o gargalo de custo computacional e degradação de desempenho em contextos longos.
• Mudança de Paradigma: Demonstra que a compressão de tokens não precisa ser uma perda de informação, mas pode ser uma ferramenta de otimização que melhora o raciocínio do modelo ao eliminar ruído.
• Aplicabilidade: A abordagem é genérica e pode ser aplicada a diferentes arquiteturas de MLLMs, tornando-se uma ferramenta essencial para a implantação eficiente de agentes de vídeo no mundo real.