Resumo Técnico: EarlyTom

Declaração do Problema

Os Modelos de Linguagem de Grande Escala para Vídeo (Video-LLMs) demonstraram capacidades robustas na compreensão de vídeo, mas enfrentam barreiras significativas para implantação prática devido à ineficiência computacional no processamento de quantidades massivas de tokens visuais. Embora métodos recentes de compressão de tokens alcancem baixas taxas de retenção de tokens com perda mínima de precisão, eles operam predominantemente na fase tardia do processo de preenchimento (após o codificador de visão) ou dentro do próprio LLM.

A análise de latência revela um gargalo crítico: a fase de codificação de visão consome uma parcela substancial do Tempo até o Primeiro Token (TTFT). Nos modelos de base, a codificação de visão representa 36,3% do TTFT. Nos métodos mais avançados otimizados para latência de preenchimento do LLM (por exemplo, HoliTom, VisionZip), essa proporção sobe para 55,8% e 68,4%, respectivamente, porque esses métodos deixam o codificador de visão desotimizado. Além disso, estratégias de compressão existentes frequentemente introduzem sobrecarga computacional não trivial durante o processamento de tokens, aumentando ainda mais a latência. Adicionalmente, os métodos padrão de seleção Top-K de tokens são suscetíveis a "sumidouros de atenção" — tokens específicos que consistentemente atraem pontuações de atenção desproporcionalmente altas, independentemente do conteúdo — levando a uma compressão enviesada e à possível perda de informação semântica em quadros dinâmicos.

Metodologia: EarlyTom

Os autores propõem o EarlyTom, um framework de compressão de tokens sem treinamento, projetado para realizar a compressão precocemente dentro do codificador de visão e utilizar uma estratégia de seleção espacial desacoplada. O framework consiste em duas etapas principais:

1. Mesclagem de Quadros no Codificador de Visão Interno (Compressão Temporal)

Esta etapa comprime informações visuais redundantes durante o processo de codificação para reduzir o número de tokens antes que eles alcancem o projetor ou o LLM.

• Segmentação de Quadros em Streaming: O vídeo de entrada é segmentado adaptativamente com base na similaridade entre quadros. A similaridade de cosseno entre quadros consecutivos é calculada e suavizada usando uma Média Móvel Exponencial (EMA). Um limite de segmento é definido quando a similaridade suavizada cai abaixo de um limiar ($\tau_{seg}$).
• Mesclagem de Quadros Intermediários: Dentro de cada segmento, quadros intermediários (excluindo o primeiro e o último) são mesclados se forem altamente semelhantes aos seus vizinhos e mais semelhantes entre si do que ao par subsequente.
• Mesclagem de Quadros Ponderada: Quadros mesclados são gerados via fusão ponderada das características dos quadros, onde os pesos são determinados pelas pontuações de similaridade. Isso garante que a representação mesclada permaneça concentrada em torno de conteúdo semanticamente importante, reduzindo a redundância temporal.

2. Seleção de Tokens Espaciais Desacoplada

Para abordar o viés introduzido pelos sumidouros de atenção e reduzir ainda mais a contagem de tokens, o método emprega uma estratégia de seleção co-projetada a nível de sistema após a mesclagem de quadros.

• Decomposição Dinâmica vs. Estática: Quadros mesclados são divididos em conjuntos dinâmicos (quadros de cabeça e cauda dos segmentos, possuindo alto poder discriminativo) e estáticos (quadros intermediários).
• Seleção Global Top-K (Dinâmica): Para quadros dinâmicos, uma seleção Global Top-K é realizada com base nas pontuações de atenção por token para preservar tokens sensíveis ao movimento ao longo da dimensão temporal.
• Seleção Local Top-K (Estática): Para quadros estáticos, para evitar que o viés dos sumidouros de atenção domine a seleção, os quadros são divididos em janelas locais. Dentro de cada janela, o token com a pontuação máxima de atenção é selecionado. Isso preserva a distribuição espacial original e mitiga os efeitos negativos de atratores estruturais.
• Co-projeto de Sistema: Para aumentar a eficiência, a seleção de tokens estáticos, computacionalmente mais leve, é transferida para a CPU, enquanto a GPU processa a seleção de tokens dinâmicos, mais intensiva, aproveitando recursos de computação heterogênea.

Contribuições Principais

1. Mesclagem de Quadros no Codificador de Visão Interno: Um mecanismo que comprime informações visuais redundantes durante a fase de codificação, reduzindo efetivamente os tokens visuais com sobrecarga negligenciável e diminuindo significativamente o TTFT.
2. Seleção de Tokens Desacoplada: Uma estratégia que separa quadros em conjuntos dinâmicos e estáticos, aplicando esquemas de amostragem distintos (Global Top-K vs. Local Window Top-K) para reduzir tokens sem introduzir viés de sumidouros de atenção.
3. Desempenho de Estado da Arte: Experimentos extensivos nos modelos LLaVA-OneVision-0.5B e 7B demonstram que o EarlyTom alcança aceleração superior enquanto mantém precisão comparável às bases de tokens completos.

Resultados Experimentais

Avaliado em uma única GPU NVIDIA A100 usando o LLaVA-OneVision-7B e quatro benchmarks (MVBench, EgoSchema, LongVideoBench, VideoMME):

• Eficiência: O EarlyTom reduz o TTFT em até 2,65× (de 889 ms para 336 ms em 10% de retenção) e reduz os FLOPs em até 61% em comparação com a base de tokens completos. Supera consistentemente outros métodos sem treinamento (por exemplo, VisionZip, HoliTom, FastVID) em vazão e latência em várias taxas de retenção (10%–25%).
• Precisão: O método mantém qualidade downstream competitiva. Em uma taxa de retenção de 10%, o EarlyTom alcança uma pontuação média de benchmark de 56,2 (96,2% da base de tokens completos), superando outros métodos que sofrem degradação significativa de precisão sob poda agressiva.
• Generalização: A abordagem é validada nas arquiteturas LLaVA-Video-7B e Qwen2.5-VL-7B, mostrando melhorias consistentes na redução de FLOPs e aceleração do TTFT, preservando a precisão.
• Ablação: Remover tanto a mesclagem de quadros quanto a estratégia de seleção desacoplada resulta em degradação de desempenho, confirmando a necessidade de ambos os componentes para equilibrar eficiência e fidelidade.

Significância

O artigo afirma que o EarlyTom aborda um gargalo fundamental na implantação de Video-LLMs ao deslocar o paradigma de compressão da fase tardia (pós-codificador) para a fase inicial (dentro do codificador de visão). Ao otimizar diretamente o componente mais demorado do pipeline de inferência (codificação de visão) e introduzir uma estratégia de seleção espacial consciente de viés, o EarlyTom permite inferência significativamente mais rápida (menor TTFT) e maior vazão sem sacrificar o desempenho do modelo. Este trabalho estabelece uma base para a implantação prática de Video-LLMs em cenários de produção do mundo real, sensíveis à latência, onde os recursos computacionais são limitados.