🤖 AI

Rethinking Video Token Compression with a Global Codebook: Learning Once, Compressing Everywhere

O artigo propõe o **ONCE**, um framework de compressão de tokens de vídeo plug-in que desloca o custoso processo de compressão para o modo offline ao aprender um codebook global consciente de frequência uma única vez, permitindo uma compressão online eficiente e agnóstica ao modelo que reduz significamente a latência de inferência enquanto mantém um desempenho competitivo em benchmarks de compreensão de vídeo.

Autores originais: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Jiayang He, Tianling Xu, Diancheng Kang, Huaide Jiang, Junyan Bai, Shaoming Zheng, Xuan Song

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está tentando ensinar um robô superinteligente a entender filmes. Para fazer isso, você decompõe cada quadro do filme em milhares de minúsculos "pixels" de significado digital, chamados de tokens. O robô então lê essa lista massiva de tokens como uma frase para entender o que está acontecendo. O problema é que os filmes são longos e cheios de repetição. Se um personagem fica parado em uma sala por dez segundos, o robô é forçado a ler exatamente o mesmo token "parado em uma sala" milhares de vezes seguidas. É como ler um livro onde a palavra "o" é repetida um milhão de vezes apenas para preencher espaço; isso desperdiça o poder cerebral do robô e o torna incrivelmente lento para responder perguntas. Cientistas têm tentado consertar isso ensinando o robô a pular as partes chatas ou mesclar as semelhantes enquanto ele assiste ao filme, mas isso geralmente exige que o robô faça cálculos extras para cada único filme que vê, o que ainda é muito lento e caro.

Este artigo apresenta uma nova maneira de lidar com isso chamada ONCE. Em vez de fazer o robô realizar o trabalho duro de ordenar e pular partes toda vez que vê um novo vídeo, os pesquisadores decidiram fazer o trabalho pesado antes que o robô veja um filme. Eles criaram um "Codebook Global", que é essencialmente um índice gigante e pré-fabricado dos padrões visuais mais comuns encontrados em milhares de horas de vídeo. Pense nisso como uma biblioteca onde cada livro já está organizado na prateleira perfeita. Quando um novo filme chega, o robô não precisa descobrir como organizá-lo do zero; ele apenas procura os padrões em seu índice pré-fabricado, pega as "prateleiras" relevantes e os tira a média. Isso permite que o robô processe vídeos muito mais rápido porque ele está apenas fazendo uma busca rápida em vez de um cálculo complexo toda vez. Os pesquisadores descobriram que este método funciona incrivelmente bem, especialmente quando são forçados a usar poucos tokens, mantendo o robô rápido sem fazer com que ele esqueça o que está assistindo.

O Problema: O Cérebro Sobrecarregado do Robô

Os Modelos de Linguagem de Grande Escala para Vídeo (Video-LLMs) são como detetives superpoderosos que podem assistir a um vídeo e responder perguntas sobre ele. Para fazer isso, eles transformam o vídeo em uma longa sequência de tokens digitais. Mas aqui está o detalhe: se você alimentar o detetive com um filme de duas horas, a sequência de tokens torna-se tão longa que sobrecarrega a memória do detetive.

Pior ainda, os filmes são cheios de redundância. Se uma cena mostra um gato sentado em um sofá por cinco minutos, o codificador de vídeo gera milhares de tokens que dizem todos "gato no sofá". O detetive tem que ler cada um deles, mesmo que sejam todos iguais. Métodos existentes tentam corrigir isso fazendo o detetive "podar" (cortar) ou "mesclar" (combinar) esses tokens enquanto assiste ao vídeo. Mas isso é como pedir ao detetive para parar e reorganizar suas notas para cada filme que vê. Isso leva tempo e energia extras toda vez, e as regras para organizar mudam dependendo de qual detetive (modelo) você está usando.

A Solução: ONCE e o "Codebook Global"

Os autores deste artigo, Jiayang He e sua equipe, propuseram uma abordagem diferente. Eles perguntaram: "E se fizéssemos a organização uma vez para todos, em vez de pedir ao detetive para fazê-la toda vez?"

Eles construíram um sistema chamado ONCE (Compressão de Tokens de Vídeo Offline-para-Online). Veja como funciona, usando uma analogia simples:

Imagine que você é um bibliotecário que tem que organizar milhões de livros.

O Jeito Antigo (Métodos Existentes): Toda vez que uma nova remessa de livros chega, você tem que parar, ler cada livro, decidir quais são semelhantes e depois agrupá-los fismente antes de poder colocá-los nas prateleiras. Isso leva muito tempo para cada remessa individual.
O Jeito ONCE: Antes de qualquer nova remessa de livros chegar, você passa um tempo estudando uma coleção massiva de livros que já possui. Você cria um "Índice Mestre" (o Codebook Global) que lista todos os tipos comuns de livros que você já viu (ex: "Herói de Ação", "Programa de Culinária", "Documentário de Natureza"). Você também cria uma regra: "Se um livro parece um 'Documentário de Natureza', coloque-o no Cesto A".

Agora, quando uma nova remessa de livros (um novo vídeo) chega, você não precisa ler todos cuidadosamente. Você apenas olha rapidamente para cada livro, verifica seu "Índice Mestre" para ver a qual cesto ele pertence e o coloca lá. Você então pega todos os livros no Cesto A e os resume em uma única nota. Isso é incrivelmente rápido porque você não está reinventando as regras de classificação para cada nova remessa; você está apenas usando as regras que aprendeu uma vez.

Como Funciona em Detalhes

Aprendizado Offline (A Parte do "Uma Vez"): Os pesquisadores pegaram um enorme conjunto de dados de vídeos (LLaVA-Video-178K) e analisaram os padrões visuais. Eles não escolheram apenas padrões aleatórios; eles garantiram capturar padrões de diferentes momentos no vídeo (estratificação temporal) e os ponderaram pela frequência com que apareciam. Em seguida, usaram uma técnica matemática chamada "transporte ótimo" para ajustar um Codebook Global de 8.192 "protótipos" representativos (ou codewords). Este codebook atua como um mapa do mundo visual.
Compressão Online (A Parte do "Em Todo Lugar"): Quando um novo vídeo chega, o sistema não treina nada de novo. Ele simplesmente olha para os tokens visuais do vídeo e pergunta: "Com qual dos meus 8.192 protótipos isso se parece?". Ele seleciona os protótipos mais frequentes que aparecem no vídeo, reatribui todos os tokens do vídeo a esses protótipos e, em seguida, tira a média deles. Isso transforma milhares de tokens em um número muito menor e gerenciável (como 256 ou 512) sem perder o significado central.

O Que Eles Descobriram

A equipe testou o ONCE em quatro diferentes benchmarks de compreensão de vídeo (MVBench, EgoSchema, Video-MME, e LongVideoBench) usando dois modelos de IA diferentes (LLaVA-OneVision-7B e Qwen3.5-9B).

Velocidade: Os resultados foram impressionantes. O ONCE reduziu o trabalho que o modelo de linguagem tinha que fazer em cerca de 96% em termos de pré-computação (prefill FLOPs). Em termos do mundo real, isso fez o sistema rodar 2,96 vezes mais rápido, em média, comparado a rodar sem compressão.
Precisão: Geralmente, quando você torna um sistema mais rápido cortando dados, ele fica mais burro. Mas o ONCE foi surpreendentemente inteligente. Quando o orçamento de tokens era muito apertado (permitindo apenas 32, 64 ou 128 tokens), o ONCE na verdade obteve pontuações mais altas do que outros métodos de compressão. Foi particularmente bom em tarefas como contar eventos ou reconhecer mudanças de estado.
Eficiência: O sistema alcançou esses aumentos de velocidade sem precisar retreinar o modelo de IA principal. O codebook foi aprendido uma vez e depois reutilizado para tudo.

O Que Eles Descartaram

O artigo argumenta explicitamente contra a ideia de que a compressão deve ser feita "online" (durante a reprodução do vídeo) para cada vídeo individualmente. Eles mostraram que fazer o trabalho pesado durante a inferência (enquanto assiste) é ineficiente e redundante. Eles também demonstraram que simplesmente escolher tokens aleatórios ou usar um conjunto fixo de tokens para cada vídeo não funciona tão bem quanto o método deles, que seleciona dinamicamente os protótipos certos para o vídeo específico, mantendo as regras de agrupamento fixas.

Além disso, descobriram que o "Codebook Global" não apenas armazena exemplos de treinamento; ele aprende uma estrutura reutilizável. Mesmo quando testado em vídeos que nunca tinha visto antes (um teste de estresse com vídeos públicos), o codebook teve um desempenho melhor do que agrupamentos aleatórios, sugerindo que ele realmente capturou a "gramática" subjacente dos padrões visuais.

A Conclusão

Os autores sugerem que o ONCE oferece uma nova maneira de pensar sobre a IA de vídeo: em vez de fazer a IA trabalhar mais para cada novo vídeo, podemos ensinar a ela uma linguagem universal de padrões visuais uma vez, e então deixá-la falar essa linguagem de forma fluente e rápida sempre que necessário. Embora o método ainda exija um codebook separado para diferentes modelos de IA (porque eles "veem" as coisas de forma diferente), os resultados sugerem que esta abordagem de "aprender uma vez, comprimir em todo lugar" é uma maneira poderosa de tornar a compreensão de vídeos longos mais rápida e eficiente sem sacrificar sua capacidade de entender o que acontece na tela. O artigo conclui que este é um passo promissor para tornar a compreensão de vídeos longos prática para o uso cotidiano.

Resumo Técnico: Repensando a Compressão de Tokens de Vídeo com um Codebook Global (ONCE)

Declaração do Problema

Os Modelos de Linguagem de Grande Escala para Vídeo (Video-LLMs) representam entradas de vídeo como sequências densas de tokens visuais, onde o comprimento da sequência escala com a resolução temporal e espacial. Essa densidade cria dois gargalos primários:

Redundância Computacional: Frames e patches vizinhos frequentemente contêm informações visuais repetidas, levando a um processamento desnecessário na etapa subsequente do modelo de linguagem.
Ineficiência dos Métodos Existentes: As técnicas atuais de compressão de tokens (poda e fusão) operam de forma online durante a inferência. Elas geram características visuais densas primeiro e depois as comprimem de forma independente para cada vídeo de entrada. Essa abordagem incorre em computação repetida por vídeo para estimar a importância ou similaridade dos tokens do zero, falha em compartilhar o conhecimento de compressão entre diferentes vídeos e frequentemente depende de designs específicos do modelo (ex: importância baseada em atenção) que limitam a generalização.

Metodologia: Estrutura ONCE

Os autores propõem o ONCE, uma estrutura de compressão de tokens de vídeo plug-and-play que muda o paradigma da compressão específica de instância e online para uma abordagem offline-para-online. A ideia central é aprender um codebook global reutilizável e consciente de frequência em um espaço de características visuais congelado e reutilizá-lo para uma compressão online leve.

1. Fase Offline: Aprendendo uma Vez

O ONCE aprende um codebook visual global $\mathcal{C} = [c_1, \dots, c_K]^T$ a partir de um corpus de vídeo em larga escala (ex: LLaVA-Video-178K) sem atualizar os parâmetros do Video-LLM.

Esboço de Corpus Estratificado Temporalmente: Em vez de amostragem uniforme, o corpus de treinamento é estratificado ao longo da linha do tempo para preservar a diversidade temporal. Os vídeos são divididos em bins, e atualizações de Lloyd esféricas particionam os tokens normalizados em grupos locais. Cada grupo é representado por um token de esboço ponderado ( $r_u$ ) e um peso de contagem de tokens de origem ( $w_u$ ).
Ajuste de Codebook Global Balanceado: Para evitar que padrões visuais dominantes sobrecarreguem o codebook, o ONCE emprega uma estratégia de atribuição balanceada. Ele define um peso efetivo $\omega_u$ que incorpora a massa do token de origem e a correção de cauda longa para a frequência de categoria.
Otimização: A atribuição do codebook é formulada como um problema de transporte ótimo com regularização de entropia (resolvido via iterações de Sinkhorn). Isso garante a utilização balanceada dos codewords enquanto preserva a importância dos representantes de alta massa. O codebook resultante é fixo após o treinamento.

2. Fase Online: Comprimindo em Todo Lugar

Durante a inferência, o codebook congelado serve como um prior de agrupamento para quaisquer vídeos de entrada.

Seleção de Codeword Ativa: Para um novo vídeo, os tokens visuais densos são correspondidos ao codeword mais próximo no codebook global. O sistema conta a frequência das atribuições ( $n_k$ ) e seleciona os top- $B$ codewords ativos ( $K_B$ ) com as maiores frequências. Isso adapta a geometria global ao conteúdo específico do vídeo atual.
Reatribuição e Pooling de Tokens: Os tokens de origem são reatribuídos aos codewords ativos selecionados. Cada grupo de tokens é então comprimido em um único token contínuo via mean pooling (agrupamento pela média) das embeddings originais de origem.
Saída: A saída é uma sequência compacta de tokens contínuos (não índices discretos), ordenada pela frequência de seus respectivos codewords ativos. O comprimento da sequência $M$ satisfaz $M \le \min(N, B)$ , onde $N$ é a contagem original de tokens e $B$ é o orçamento (budget).

Distinção Fundamental: Ao contrário de tokenizadores discretos (ex: VQ-VAE), o ONCE não substitui as características por códigos discretos. Em vez disso, ele usa o codebook para definir estruturas de agrupamento, enquanto a representação comprimida permanece uma agregação contínua das características do vídeo de entrada.

Principais Contribuições

Paradigma Offline-para-Online: Introdução de uma estrutura que aprende um prior de agrupamento em nível de corpus uma única vez e o reutiliza para vídeos não vistos, eliminando a necessidade de otimização da estratégia de compressão por vídeo.
Aprendizado de Codebook Global: Um método para aprender um codebook global balanceado a partir de esboços ponderados por contagem de origem, utilizando seleção consciente de orçamento e mean pooling de tokens de origem.
Eficiência Plug-and-Play: O método é agnóstico ao modelo em relação ao mecanismo de compressão (desde que o espaço de características esteja congelado) e alcança precisão competitiva com latência de inferência significativamente reduzida.

Resultados Experimentais

Os autores avaliaram o ONCE em quatro benchmarks (MVBench, EgoSchema, Video-MME, LongVideoBench) usando dois backbones (LLaVA-OneVision-7B e Qwen3.5-9B).

Compromisso entre Precisão e Eficiência (Accuracy-Efficiency Trade-off):
- Sob orçamentos de tokens restritos ( $B \in \{32, 64, 128\}$ ), o ONCE alcançou a maior precisão entre todas as linhas de base de compressão comparadas (incluindo ForestPrune e FastVID) em todos os benchmarks.
- Em orçamentos maiores ( $B=512, 1024$ ), o ONCE permaneceu competitivo, embora algumas linhas de base adaptativas à entrada ocasionalmente o tenham superado em cenários específicos.
Latência de Inferência:
- O ONCE alcançou a menor latência de inferência entre os métodos comparados.
- Em $B=512$ , o ONCE reduziu os FLOPs de prefill de tokens visuais em aproximadamente 96% e alcançou um aumento de velocidade end-to-end de (2.96 ± 1.21)× (média ± desvio padrão) em comparação com a inferência densa.
- O uso de memória apresentou reduções modestas (~15%), principalmente devido à redução do comprimento da sequência, embora os pesos do modelo permaneçam residentes.
Generalização: A abordagem transferiu-se com sucesso para o backbone Qwen3.5-9B usando um único codebook treinado no mesmo corpus, demonstrando robustez entre diferentes arquiteturas de modelo.

Significância e Alegações

O artigo afirma que o ONCE aborda a ineficiência fundamental da compressão atual de Video-LLM, que trata a compressão como um cálculo adicional e repetitivo na fase de inferência. Ao mover o trabalho pesado da lógica de agrupamento para uma fase offline, o ONCE:

Desacopla o conhecimento de compressão de vídeos de entrada específicos, permitindo o reúso de conhecimento.
Reduz o overhead computacional das decisões de compressão durante a inferência.
Mantém um alto desempenho nas tarefas, particularmente quando os orçamentos de tokens são limitados, ao alavancar estatísticas de nível de corpus para guiar a agregação de tokens.

Os autores observam que, embora o método reduza significativamente os custos de prefill, o aumento de velocidade end-to-end é limitado pelas etapas de codificação e decodificação visual, que permanecem inalteradas. Eles também reconhecem que o codebook fixo é específico para o espaço de características visuais do backbone alvo e que o método atualmente não reduz o custo do codificador visual inicial.