Contribution-aware Token Compression for Efficient Video Understanding via Reinforcement Learning

O artigo apresenta o CaCoVID, um novo algoritmo de compressão de tokens para modelos de linguagem grandes em vídeo que utiliza aprendizado por reforço para otimizar ativamente a seleção de tokens com base em sua contribuição direta para respostas corretas, superando as limitações dos métodos tradicionais baseados em scores de atenção.

O essencial

Imagine que você tem um livro de receitas gigante (o modelo de IA) e quer ensinar a ele a cozinhar um prato específico (entender um vídeo). O problema é que o vídeo é como um filme de 2 horas com milhares de quadros. Se você entregar o filme inteiro, quadro por quadro, para o livro de receitas ler, ele vai ficar sobrecarregado, demorar uma eternidade para processar e, pior, pode se perder nos detalhes irrelevantes (como a cor da parede ou uma mosca passando), esquecendo o ingrediente principal.

Até agora, os métodos para "resumir" esse vídeo funcionavam como um filtro cego:

• Método Antigo 1 (Baseado em Conteúdo): "Vamos manter os quadros mais coloridos ou diferentes." (Mas e se a cor não tiver nada a ver com a pergunta?)
• Método Antigo 2 (Baseado em Atenção): "Vamos manter os quadros que o livro de receitas olhou com mais força." (O problema é que o livro pode olhar com força para a parede porque ela é brilhante, não porque é importante para a resposta).

Aqui entra o CaCoVID, o novo método proposto pelos pesquisadores da Alibaba. Vamos explicar como ele funciona usando uma analogia de um Detetive Inteligente.

1. O Detetive que Aprende com a Resposta (Aprendizado por Reforço)

Em vez de usar regras fixas, o CaCoVID cria um Detetive (uma pequena rede neural) cujo trabalho é escolher quais "pedaços" do vídeo (tokens) são essenciais para responder a uma pergunta específica.

• A Grande Mudança: Antigamente, o detetive escolhia as pistas baseadas em regras genéricas. Com o CaCoVID, o detetive aprende na prática.
• Como ele aprende? Ele tenta escolher um conjunto de pedaços do vídeo, entrega ao "Chefe" (o modelo de IA grande) e pergunta: "Isso responde a pergunta?".
  • Se o Chefe acertar a resposta, o detetive ganha um ponto de recompensa e pensa: "Ok, essa combinação de pistas foi boa!".
  • Se errar, ele perde pontos e aprende: "Ops, não devo ter escolhido aquele pedaço de vídeo onde a pessoa estava apenas piscando".

É como se você estivesse treinando um cachorro: você não diz "pegue a bola vermelha", você joga a bola e, quando ele traz a certa, você dá um petisco. O cachorro (o CaCoVID) aprende sozinho o que é importante.

2. O Problema do "Mar de Opções" (Otimização Combinatória)

Aqui está o desafio matemático: Se um vídeo tem 1.000 quadros, o número de combinações possíveis de quais quadros manter é astronômico (maior que o número de estrelas no universo). Tentar testar todas as combinações seria impossível; o detetive ficaria louco tentando escolher.

Para resolver isso, o CaCoVID usa uma técnica genial chamada Amostragem de Espaço Combinatório Online (OCSS).

• A Analogia da Biblioteca: Imagine que você precisa encontrar 10 livros específicos em uma biblioteca com 1 milhão de livros.
  • Método Antigo: Você corre aleatoriamente por todos os corredores, pegando livros ao acaso. Provavelmente vai pegar muitos irrelevantes.
  • Método CaCoVID (OCSS): Primeiro, o detetive olha rapidamente para as capas e classifica os livros por "probabilidade de ser útil". Ele divide a biblioteca em seções (sub-espaços) baseadas nessa classificação.
  • Em vez de correr por toda a biblioteca, ele foca apenas nas seções mais promissoras e faz uma busca mais detalhada lá dentro. Isso reduz drasticamente o tempo de busca e aumenta a chance de achar os livros certos.

3. O Resultado: Mais Rápido e Mais Esperto

Graças a esse sistema, o CaCoVID consegue:

1. Focar no que importa: Se a pergunta é "O que o homem está vestindo?", o sistema ignora o fundo, o céu e os objetos ao redor, e foca apenas nas roupas do homem (como mostrado nas figuras do papel).
2. Ser super rápido: Como ele descarta a maioria dos dados inúteis antes mesmo de o modelo principal começar a "pensar", o vídeo é processado muito mais rápido.
3. Não precisar reescrever o livro: O grande modelo de IA (o "Chefe") não precisa ser reeducado do zero. O CaCoVID é apenas um "filtro inteligente" que se adapta a qualquer modelo existente.

Resumo em uma Frase

O CaCoVID é como um assistente de edição de vídeo superinteligente que, em vez de cortar o filme aleatoriamente, assiste ao vídeo junto com você, aprende com seus acertos e erros, e corta tudo o que é desnecessário, deixando apenas os momentos cruciais para responder à sua pergunta, tudo isso de forma extremamente rápida e eficiente.

Por que isso é importante?
Isso permite que assistentes de IA entendam vídeos longos (como filmes inteiros ou aulas de horas) em tempo real, sem precisar de computadores gigantes e caros, tornando a tecnologia acessível para o dia a dia.

Resumo técnico

Título: CaCoVID: Compressão de Tokens Consciente de Contribuição para Entendimento de Vídeo via Aprendizado por Reforço

1. O Problema

Os Grandes Modelos de Linguagem para Vídeo (Video LLMs) demonstraram capacidades notáveis em tarefas de compreensão de vídeo. No entanto, a integração de dados de vídeo introduz desafios computacionais significativos devido à:

• Redundância de Tokens: Os vídeos são densamente codificados, gerando um grande número de tokens visuais.
• Complexidade Quadrática: O mecanismo de atenção nos LLMs tem complexidade quadrática em relação ao comprimento da sequência, tornando a inferência lenta e custosa.
• Limitação das Abordagens Atuais: Métodos existentes de compressão de tokens geralmente se baseiam em:
  • Métricas baseadas em conteúdo: Preservam diversidade visual ou estrutura espaço-temporal, mas são "agnósticas à consulta" (podem descartar tokens críticos para a pergunta específica).
  • Métricas baseadas em modelo: Preservam tokens com altas pontuações de atenção. O artigo argumenta que não há uma correlação clara entre a pontuação de atenção e a contribuição real do token para uma resposta correta (devido ao fenômeno de "visual attention sink"), levando a uma compressão subótima.

2. Metodologia Proposta: CaCoVID

Os autores propõem o CaCoVID (Contribution-aware token Compression algorithm for VIDeo understanding), um framework que otimiza ativamente a seleção de tokens com base na sua contribuição direta para a previsão correta, utilizando Aprendizado por Reforço (RL).

Componentes Principais:

• Rede de Política de Compressão (Compression Policy Network):

  • É uma pequena rede treinável que interage com o LLM pré-treinado (que permanece congelado).
  • Utiliza um mecanismo de auto-atenção para estabelecer interações cruzadas entre os tokens de vídeo e os tokens da pergunta.
  • Emprega duas MLPs (Redes Neurais Multilayer Perceptron) para estimar a contribuição de cada token de vídeo e de cada quadro (frame) para a resposta correta.
  • O objetivo é aprender a selecionar combinações de tokens que maximizem a precisão da resposta, em vez de apenas reter tokens com alta atenção passiva.

• Algoritmo de Otimização de Política Combinatória (CPO) com Amostragem Online (OCSS):

  • Desafio: O espaço de exploração para selecionar subconjuntos de $n$ tokens é combinatório ($2^n$), tornando a amostragem nativa de RL impraticável e propensa a divergência.
  • Solução (OCSS): O algoritmo divide o espaço combinatório em sub-espaços baseados nas pontuações de contribuição estimadas.
    1. Os tokens são classificados por sua contribuição estimada.
    2. Eles são divididos em sub-espaços onde tokens com contribuições similares são agrupados.
    3. Uma distribuição categórica seleciona um sub-espaço, seguido por uma distribuição multinomial para amostrar tokens dentro desse sub-espaço.
  • Isso reduz drasticamente o espaço de exploração, focando em combinações promissoras e acelerando a convergência.

• Treinamento e Recompensa:

  • O treinamento utiliza dados do Video-R1.
  • A recompensa é baseada na correção da resposta do LLM (comparação com a resposta ground-truth).
  • Técnicas de eficiência de dados incluem: filtragem de amostras triviais (que podem ser respondidas sem vídeo), experience replay e uma taxa de amostragem dinâmica (ajusta a quantidade de tokens amostrados com base no desempenho anterior para evitar estagnação).

3. Contribuições Chave

1. Primeiro RL para Compressão de Vídeo: Propõem o primeiro algoritmo baseado em RL que classifica e poda tokens de vídeo estimando diretamente a contribuição para a previsão correta, sem necessidade de re-treinar o LLM principal.
2. Otimização Combinatória Eficiente: Desenvolvem o algoritmo CPO com amostragem de espaço combinatório online (OCSS), que reduz a complexidade de exploração e acelera a convergência da política, resolvendo o problema do espaço de busca exponencial.
3. Desempenho Superior: Demonstram que a compressão consciente da contribuição supera métodos baseados em conteúdo e em atenção, mantendo alta precisão com latência significativamente reduzida.

4. Resultados Experimentais

O CaCoVID foi avaliado em benchmarks diversos (LongVideoBench, MLVU, VideoMME) utilizando modelos base como LLaVA-OneVision-7B e Qwen2.5-VL-3B.

• Precisão: O CaCoVID alcançou desempenho State-of-the-Art (SOTA) em todas as taxas de retenção testadas (10%, 15%, 20%, 25%).
  • Exemplo: No LLaVA-OneVision-7B com 25% de retenção, o CaCoVID atingiu 55.8% de precisão média, superando o segundo melhor (DivPrune com 55.0%) e o FastV (52.3%).
• Eficiência Computacional:
  • O tempo de compressão do CaCoVID é drasticamente menor que o de concorrentes.
  • No LLaVA-OneVision-7B, o tempo de compressão foi de 11.2 ms (vs. 134.3 ms do DivPrune e 34.1 ms do PruneVID), enquanto mantinha a maior precisão.
  • Isso ocorre porque a rede de política estima contribuições em paralelo, ao contrário de métodos que dependem de iterações sequenciais ou cálculos de atenção complexos.
• Análise de Ablação:
  • A amostragem OCSS superou amostragem aleatória e multinomial simples.
  • A estratégia de retenção adaptativa (FrameAda) somada à preservação de estrutura espaço-temporal (FrameAda+ST) produziu os melhores resultados.
  • A filtragem de amostras ineficazes e o experience replay foram cruciais para a estabilidade do treinamento.

5. Significado e Impacto

O trabalho CaCoVID representa um avanço significativo na eficiência de modelos multimodais para vídeo:

• Mudança de Paradigma: Transita de uma preservação passiva de tokens (baseada em heurísticas ou atenção estática) para uma descoberta ativa de combinações ótimas de tokens guiada pelo feedback de previsão do modelo.
• Viabilidade de Implantação: Ao reduzir drasticamente a latência de inferência e o custo computacional sem sacrificar a precisão, o CaCoVID torna viável a implantação de Video LLMs em cenários com recursos limitados ou em tempo real.
• Generalização: O framework é agnóstico à arquitetura do modelo, podendo ser aplicado a diferentes Video LLMs sem necessidade de re-treinamento massivo dos modelos base.

Em resumo, o CaCoVID resolve o gargalo de redundância de tokens em vídeos através de uma abordagem inteligente de aprendizado por reforço que prioriza a relevância semântica para a pergunta em vez de apenas a importância visual geral.