Resumo Técnico: VLMaxxing através de FrameMogging

Declaração do Problema

Os Modelos Visão-Linguagem para Vídeo (VLMs) incorrem frequentemente em custos computacionais desnecessários ao re-codificar estados visuais que não mudaram. Em cenários como monitoramento de fábricas, feeds de segurança ou diálogos multi-turno em um único vídeo, o fundo visual permanece frequentemente estático enquanto o modelo reprocessa quadros RGB densos para cada consulta. Esse desperdício de "recálculo" ocorre em dois regimes primários:

1. Ingestão de Primeira Passagem: Processamento de quadros de vídeo frescos onde existe redundância visual dentro do próprio clipe.
2. Acompanhamento Pós-Ingestão: Resposta a perguntas subsequentes sobre o mesmo vídeo, onde o prefixo visual já foi computado.

O artigo argumenta que os pipelines atuais tratam cada quadro como evidência fresca, ignorando sinais temporais baratos (estase, movimento, resíduos) disponíveis no fluxo ou derivados de diferenças de pixels. O desafio central é identificar onde o estado em cache pode ser reutilizado com segurança sem quebrar a fidelidade da resposta e onde é necessário adquirir nova evidência visual.

Metodologia

Os autores propõem um framework sem treinamento, anti-recálculo, avaliado em pilhas de VLMs congelados (Qwen2.5-VL-7B-Instruct-4bit e Gemma 4-E4B-4bit). A abordagem divide-se em três regimes distintos, cada um com mecanismos específicos e portas de validação:

1. C-PERSIST: Reutilização de Acompanhamento Pós-Ingestão

Este regime visa a redução de latência para perguntas subsequentes no mesmo vídeo.

• Mecanismo: Reutiliza o cache de Chave-Valor (KV) da primeira consulta.
• Modo de Falha: A reutilização não reparada leva a uma "bacia de cache" onde o modelo gera saídas patológicas ou desvia na escolha da resposta devido a um contexto visual desatualizado.
• Estratégia de Reparo: Re-preenchimento Seletivo. Antes de uma consulta de acompanhamento, o sistema atualiza uma pequena "cauda visual" (os $K$ quadros mais recentes), mantendo o restante do prefixo em cache.
  • $K=1$ Fixo: Atualiza apenas o quadro mais recente.
  • Herança Adaptativa: Atualiza a cauda na primeira consulta de acompanhamento e permite que consultas subsequentes herdem o estado de cache reparado sem novo re-preenchimento visual.
• Validação: Utiliza métricas de deriva em pares (deriva de escolha, deriva de correção e detecção de saída patológica) em vez de apenas precisão agregada para garantir que a mesma resposta específica seja preservada.

2. C-VISION: Poda de Visão de Primeira Passagem

Este regime visa a aceleração na ingestão inicial de um vídeo fresco.

• Mecanismo: Poda de tokens visuais dentro da torre de visão antes que a codificação densa completa seja concluída.
• Sinal: Utiliza diferenças no domínio de pixels (diferença máxima absoluta RGB sobre blocos alinhados ao modelo) para identificar regiões estáticas.
• Restrição: A aceleração é limitada pelo Teto de Partilha de Estágio (C-CEILING). Se a torre de visão ocupa apenas uma fração ($f_{fixed}$) do tempo total de relógio, a aceleração ponta a ponta não pode exceder $1 / (f_{fixed} + (1-f_{fixed})/s)$, onde $s$ é a aceleração do componente.
• Validação: Mede a redução de latência ponta a ponta contra uma base densa, garantindo nenhuma deriva em pares ou falhas de análise.

3. C-CEILING: Guarda-Costas Aritméticos

O artigo introduz um método rigoroso de contabilidade para evitar a multiplicação de alegações independentes de aceleração. Afirma que ganhos no nível de componente (por exemplo, poda de tokens de visão) traduzem-se apenas em ganhos ponta a ponta proporcionais ao tempo que esse componente realmente consome. Isso explica por que ganhos de primeira passagem são frequentemente modestos em comparação com ganhos de acompanhamento.

4. Candidato C-STREAM: Streaming em Taxa Nativa

Uma linha de avaliação separada explora a reutilização de estado em pipelines de taxa nativa/ao vivo. Testa instantâneos de cache conscientes da topologia e compara-os com bases fortes como amostragem densa de baixa FPS e polling de capturas de tela.

Principais Resultados

Reutilização Pós-Ingestão (C-PERSIST)

• Desempenho: No Qwen2.5-VL-7B, a herança de cache reparado adaptativo alcança aceleração de 14,90–35,92× em consultas de acompanhamento em comparação com acompanhamentos frios.
• Fidelidade: Em um cenário de amplitude de 93 consultas (31 sessões × 3 consultas), houve 0/93 deriva de escolha ou correção em pares observada.
• Teste de Estresse: Em um teste de estresse de 50 turnos com perguntas repetidas, o reparo adaptativo manteve 0/343 de deriva, enquanto $K=1$ fixo mostrou deriva esparsa (3/343 de deriva de escolha).
• Economia: A aceleração depende altamente do comprimento da sessão. Uma sessão de consulta única vê ganho mínimo (a primeira consulta paga o frete total), mas uma sessão de 50 consultas vê uma aceleração efetiva de 32,17×.

Poda de Primeira Passagem (C-VISION)

• Gemma 4-E4B: Alcançou uma aceleração limpa de 1,316× na primeira consulta em uma fatia curta de 32 quadros do VideoMME, com 0 deriva em pares e 0 falhas de análise. Isso representa uma redução de 42,2% no tempo da torre de visão.
• Qwen2.5-VL: Mostrou sensibilidade à configuração. A poda agressiva (taxa de retenção 0,50) falhou na fidelidade. Uma taxa de retenção conservadora (0,85) recuperou a precisão agregada, mas resultou em apenas 1,032× de aceleração devido à baixa redução do tempo de visão (13,6%).
• Validação do Teto: As acelerações observadas alinharam-se consistentemente com as previsões do C-CEILING baseadas nas partilhas de estágio medidas, confirmando que os ganhos são limitados pela participação da torre de visão no computo total.

Composição e Limites

• Não Compostabilidade: Combinar poda de primeira passagem e reutilização de acompanhamento não resulta em uma aceleração multiplicativa. Uma auditoria de composição ($n=60$) resultou em um ganho de 1,042×, aterrissando exatamente onde o teto de partilha de estágio previu, provando que os ganhos não se acumulam linearmente.
• Bases de Streaming: Em testes de streaming em taxa nativa, uma base densa de baixa FPS (4 quadros) frequentemente superou proxies complexos de janela de eventos, destacando que bases simples de recência são competidores sérios. A reutilização de cache cruzada padrão em modelos de 26B foi encontrada como insegura, produzindo texto divergente.

Significado e Alegações

O artigo posiciona-se não como um multiplicador universal de aceleração, mas como um instrumento de medição para a fronteira qualidade-computo de VLMs congelados.

1. Redefinição de Reutilização: A contribuição primária é a distinção entre "substituição semântica" (testar se uma resposta sobrevive com recursos em cache) e "trabalho pulado cronometrado" (redução real de relógio). O artigo alega aceleração apenas onde o trabalho cronometrado é demonstravelmente pulado.
2. Modo de Falha da "Bacia": Identifica um modo de falha específico no cache persistente onde o estado não reparado leva a saídas patológicas e propõe o re-preenchimento seletivo como o mecanismo de reparo necessário para sair dessa bacia.
3. Disciplina de Contabilidade: O artigo impõe o princípio C-CEILING: um ganho de componente é apenas uma vitória ponta a ponta se acelerar um estágio que possui uma participação significativa do relógio. Isso explica por que os ganhos de primeira passagem são modestos e por que números de destaque de tabelas diferentes não podem ser multiplicados.
4. Requisitos Futuros de Mídia: Os autores argumentam que os VLMs atuais são forçados a redescobrir o mundo a partir de RGB denso. O artigo motiva uma mudança para fluxos de mídia nativos de VLM que expõem atualizações de estado (movimento, incerteza, IDs de objetos, tempo do sensor) diretamente, permitindo que os modelos adquiram evidência fresca apenas onde a validação exigir.

Limitações: As alegações estão estritamente limitadas aos regimes testados (modelos congelados, benchmarks específicos como VideoMME e MVBench). O artigo declara explicitamente que os resultados não são leis universais; por exemplo, a semântica de cache de janela deslizante do Gemma bloqueou certas estratégias de reutilização persistente, e o roteamento do Qwen mostrou que diferenças de pixels não são oráculos semânticos. Os resultados de streaming são apresentados como evidência de limite e requisitos candidatos, em vez de um sistema de produção finalizado.