💻 computer science

One Token per Highly Selective Frame: Towards Extreme Compression for Long Video Understanding

O artigo apresenta o \name, um modelo de compreensão de vídeo que alcança compressão extrema ao reduzir cada quadro altamente seletivo a um único token, utilizando módulos de compressão aprendíveis em nível de token e seleção de quadros baseada em atenção para melhorar a eficiência e o desempenho em vídeos longos com menos dados de treinamento.

Autores originais: Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Publicado 2026-04-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zheyu Zhang, Ziqi Pang, Shixing Chen, Xiang Hao, Vimal Bhat, Yu-Xiong Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você precisa explicar a um amigo o que acontece em um filme de 3 horas, mas você só tem tempo para falar por 5 minutos. Se você tentar descrever cada segundo do filme, vai ficar sem fôlego e seu cérebro vai travar. Você teria que pular cenas, e talvez perca o momento crucial onde o vilão revela o plano.

É exatamente esse o problema que os computadores (especificamente as Inteligências Artificiais) enfrentam hoje quando tentam "assistir" e entender vídeos longos.

Aqui está a explicação do trabalho XComp, traduzida para uma linguagem simples, usando analogias do dia a dia:

O Problema: A "Sopa de Letras" Visual

Hoje, quando uma IA tenta entender um vídeo, ela transforma cada quadro (imagem) do vídeo em centenas de "pedaços de informação" (chamados tokens).

A analogia: Imagine que cada quadro do vídeo é um livro inteiro. Se o vídeo tem 1.000 quadros, a IA precisa ler 1.000 livros de uma só vez.
O gargalo: O cérebro da IA (o modelo de linguagem) tem uma "memória de curto prazo" limitada. Ela não consegue ler 1.000 livros de uma vez. Então, ela é forçada a pular páginas, ler apenas 10 quadros aleatórios e tentar adivinhar o resto. O resultado? Ela perde detalhes importantes e a ordem dos acontecimentos.

A Solução: O XComp (O "Super Resumidor")

Os autores criaram uma nova técnica chamada XComp que resolve isso de duas formas inteligentes, como se fosse um assistente pessoal muito esperto.

1. Compressão por Nível de Palavra (LP-Comp): "Transformando Livros em Frases"

Antes, os computadores tentavam escolher quais quadros eram importantes usando regras fixas (como "pegue o primeiro e o último"). Isso é como tentar resumir um livro apenas olhando a capa e a última página: você perde a história.

O XComp faz algo diferente: ele ensina o cérebro da IA a aprender a resumir sozinha.

A analogia: Imagine que a IA tem uma equipe de editores. Em vez de jogar fora páginas aleatórias, cada editor (camada do cérebro) pega um livro inteiro (um quadro de vídeo) e o transforma em uma única frase que resume perfeitamente a cena.
O segredo: Eles não fazem isso de uma vez só. É um processo gradual. O primeiro editor resume o livro em 10 páginas, o segundo em 5, e o último em apenas 1 frase. Assim, a IA aprende a guardar a informação essencial sem "esquecer" nada importante.
O resultado: Cada quadro do vídeo, que antes ocupava o espaço de 100 palavras, agora ocupa apenas 1 palavra. A IA consegue ler 1.000 livros transformados em 1.000 frases curtas, sem estourar sua memória.

2. Compressão por Nível de Cena (QC-Comp): "O Detetive Focado"

Mesmo com os livros resumidos, se o vídeo for de 3 horas, ainda são muitas páginas para ler. A IA precisa saber quais cenas são realmente importantes para a pergunta que você fez.

O problema antigo: Se você perguntar "O que aconteceu no final?", a IA antiga tendia a olhar muito o começo e o fim do vídeo, ignorando o meio (como se estivesse distraída no meio do filme). Isso é chamado de "perdido no meio".
A solução do XComp: A IA divide o vídeo em pequenos capítulos (como episódios de uma série). Dentro de cada capítulo, ela olha para a sua pergunta e pergunta: "Qual cena deste episódio responde à pergunta?".
A analogia: É como um detetive que recebe uma pista. Em vez de revirar toda a casa (o vídeo inteiro), ele vai direto para o cômodo onde a pista aponta. Se você pergunta sobre "o jantar", a IA ignora as cenas do café da manhã e do almoço, focando apenas na cozinha à noite.
O resultado: A IA descarta 90% do vídeo irrelevante e foca apenas nos quadros que realmente importam para a sua pergunta.

Por que isso é incrível?

Mais detalhes, menos esforço: Como a IA consegue processar muito mais quadros (porque cada um é super-resumido), ela vê o vídeo com muito mais clareza. É como assistir a um filme em 4K em vez de 144p.
Aprendizado rápido: Eles conseguiram treinar essa IA usando apenas 2,5% dos dados que normalmente seriam necessários. É como aprender a cozinhar um banquete gigante lendo apenas 2 receitas de um livro de 100 páginas.
Melhor resposta: Em testes, o XComp acertou muito mais perguntas sobre vídeos longos do que os modelos anteriores, especialmente em vídeos de mais de uma hora.

Resumo Final

O XComp é como dar a uma IA um "super-poder": a capacidade de assistir a um filme de 3 horas, transformar cada cena em uma única ideia clara e, ao mesmo tempo, ignorar tudo o que é chato ou irrelevante para a pergunta que você fez. Isso permite que ela entenda vídeos longos com uma precisão que antes era impossível.

1. O Problema

A compreensão de vídeos longos por Modelos Visuais-Linguísticos (VLMs) enfrenta um gargalo fundamental: a limitação de contexto dos Grandes Modelos de Linguagem (LLMs).

Explosão de Tokens: Cada quadro de vídeo, ao ser processado por um codificador visual, gera dezenas ou centenas de tokens. Para vídeos longos (minutos ou horas), o número total de tokens excede rapidamente a janela de contexto e o orçamento computacional dos LLMs.
Perda de Informação: Para contornar isso, os métodos atuais frequentemente amostram quadros de forma esparsa (ex: 1 quadro a cada 10 segundos), o que resulta na perda crítica de informações temporais e detalhes visuais.
Limitações das Abordagens Atuais: Métodos existentes de compressão baseiam-se em heurísticas (seleção de tokens baseada em atenção ou pooling fixo) ou estratégias sem treinamento (training-free). O artigo demonstra que essas abordagens falham em taxas de compressão extremas, pois as camadas do LLM não foram supervisionadas para aprender a condensar informações de tokens descartados nos tokens mantidos.

2. Metodologia: A Abordagem XComp

O autores propõem o XComp, um modelo que visa comprimir cada quadro de vídeo selecionado em apenas um único token altamente informativo na camada final do LLM. A solução combina duas estratégias principais:

A. Compressão de Nível de Token: LP-Comp (Learnable & Progressive Compression)

Diferente de métodos heurísticos, o LP-Comp torna a compressão aprendível e progressiva.

Aprendizável (Supervised Compression Tuning): Em vez de descartar tokens aleatoriamente, as camadas do LLM são supervisionadas (via fine-tuning) para aprender a condensar a informação visual. O modelo é treinado para entender como transferir a informação dos tokens descartados para os tokens retidos.
Progressiva: A compressão não ocorre de uma só vez. Ela é distribuída suavemente através de todas as camadas do LLM (de $L$ camadas). O número de tokens por quadro diminui gradualmente de $N^{(1)}$ (ex: 16 tokens) até $N^{(L)} = 1$ token.
Preservação de Sufixo: Para compatibilidade com a atenção causal dos LLMs, o método preserva os tokens finais (sufixo) de cada quadro, permitindo que os tokens subsequentes absorvam as características dos anteriores.
Eficiência de Dados: O fine-tuning para compressão requer apenas 2,5% dos dados de Supervised Fine-Tuning (SFT) do modelo base (VideoChat-Flash), tornando o processo extremamente eficiente.

B. Compressão de Nível de Quadro: QC-Comp (Question-Conditioned Compression)

Para aumentar ainda mais a eficiência, o modelo seleciona apenas os quadros mais relevantes para a pergunta do usuário.

Seleção Baseada em Atenção: Utiliza as pontuações de atenção internas do LLM entre os tokens da pergunta e os tokens do vídeo para avaliar a relevância de cada quadro.
Atenção Local Segmentada (Segmented Local Attention): Para mitigar o viés de posição dos LLMs em contextos longos (o fenômeno "Lost in the Middle", onde o modelo ignora o meio da sequência), o vídeo é dividido em segmentos curtos. A relevância é calculada localmente dentro de cada segmento, garantindo que quadros importantes no meio do vídeo não sejam ignorados.

3. Principais Contribuições

LP-Comp: Um framework de compressão aprendível e progressiva que supervisiona as camadas do LLM para comprimir tokens, superando as limitações de métodos heurísticos.
QC-Comp: Um método de seleção de quadros condicionado à pergunta que utiliza a atenção local segmentada para evitar viés de posição e focar em quadros informativos.
Compressão Extrema: Atinge a taxa de 1 token por quadro para quadros altamente seletivos, permitindo a ingestão de 2x a 4x mais quadros sem aumentar significativamente o número total de tokens.
Eficiência de Dados: Demonstra que a capacidade de compressão pode ser aprendida com uma fração mínima (2,5%) dos dados de treinamento padrão.

4. Resultados Experimentais

O modelo XComp foi ajustado a partir do VideoChat-Flash-2B e avaliado em vários benchmarks de vídeos longos (LongVideoBench, MLVU, VideoMME, LVBench).

Desempenho Superior: O XComp supera o modelo base (VideoChat-Flash) e outros VLMs de escala similar (2B-9B), alcançando resultados comparáveis a modelos de 7B.
- No benchmark LVBench, a precisão aumentou de 42,9% (base) para 46,2% (XComp).
- No LongVideoBench, a precisão subiu de 58,3% para 59,7%.
Escalabilidade de Quadros: Diferente de modelos que sofrem queda de desempenho após um certo número de quadros, o XComp continua a melhorar sua precisão à medida que a densidade de quadros de entrada aumenta.
Eficiência Computacional: Em inferência, o XComp reduz os TFLOPs do LLM em ~53-58% e a latência em ~45-58% para vídeos longos (1k-4k quadros) em comparação com o modelo base.
Validação de Generalização: A abordagem também foi aplicada com sucesso ao LLaVA-Next-Video, demonstrando generalidade.

5. Significado e Impacto

O trabalho representa um avanço significativo na compreensão de vídeos longos ao demonstrar que a compressão extrema não precisa sacrificar a qualidade da informação se for aprendida em vez de apenas heurística.

Quebra de Paradigma: Mostra que é viável representar um quadro inteiro de vídeo com um único token sem perder o raciocínio temporal crítico, desde que o LLM seja treinado para essa tarefa.
Viabilidade Prática: Ao permitir a ingestão de vídeos com taxas de quadros mais densas dentro das limitações de hardware atuais, o XComp abre caminho para aplicações reais de análise de vídeos longos (horas de gravação) que antes eram computacionalmente proibitivas.
Solução para Viés de Posição: A introdução da atenção local segmentada resolve um problema fundamental de modelos de linguagem em contextos longos, melhorando a recuperação de informações no meio do vídeo.

Em resumo, o XComp redefine os limites da eficiência em VLMs, permitindo que modelos de tamanho moderado (2B) processem vídeos longos com uma densidade de informação e precisão anteriormente reservada para modelos muito maiores ou com recursos computacionais ilimitados.