Resumo Técnico: CoRDS

Declaração do Problema

A Compreensão de Vídeo em Streaming (SVU) com Modelos Visão-Linguagem Grandes (VLMs) enfrenta um gargalo crítico: a necessidade de manter uma pegada de memória limitada ao processar fluxos de vídeo ilimitados em tempo real. Diferentemente da compreensão de vídeo offline, onde o contexto completo está disponível para amostragem de quadros ou compressão dependente de consulta, a SVU exige processamento causal e agnóstico à consulta, onde os quadros futuros são desconhecidos.

As soluções existentes dependem principalmente de compressão de cache de Chave-Valor (KV) usando heurísticas locais, token a token (por exemplo, recência, redundância temporal ou saliência baseada em norma). O artigo argumenta que esses métodos sofrem de uma limitação fundamental: eles não otimizam explicitamente a representatividade global da memória retida. Consequentemente, pistas que são individualmente fracas, mas coletivamente importantes (como detalhes visuais estáticos ou estruturas distribuídas temporalmente) são frequentemente descartadas porque carecem de saliência local no momento da compressão.

Metodologia: CoRDS

Os autores propõem o CoRDS (Seleção Representativa e Diversa Baseada em Cores), um framework sem treinamento e agnóstico à consulta que reformula a compressão de cache KV como um problema de seleção de cores representativo. Em vez de pontuar tokens independentemente, o CoRDS seleciona um pequeno subconjunto que cobre geometricamente o cache visual acumulado.

O método opera em três princípios fundamentais:

1. Representação Conjunta KV e Cobertura Bicritério

Os autores postulam que uma seleção eficaz deve levar em conta tanto as Chaves (que determinam a estrutura de recuperação) quanto os Valores (que determinam a informação lida pela atenção).

• Representação: Os tokens são representados em um espaço de características conjunto $\phi^{(KV)}_i = [k_i; v_i]$.
• Objetivo: Uma métrica de distância bicritério $d_\alpha(i, S)$ é definida para medir a distância de um token candidato $i$ até o conjunto selecionado $S$, equilibrando os erros de aproximação no espaço de chaves e no espaço de valores:
  $$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$$
  onde $\alpha \in [0, 1]$ controla o compromisso. Resultados empíricos sugerem que favorecer valores ($\alpha < 0.5$) produz melhor desempenho.
• Otimização: O subconjunto é selecionado de forma gananciosa usando uma regra de primeiro mais distante estilo D2, que sementeia centros de cluster proporcionais à sua distância quadrada dos centros escolhidos anteriormente. Isso fornece uma garantia de aproximação $O(\log k)$ para o objetivo de k-médias.

2. Diversidade Ortogonal para Não Redundância

Uma seleção puramente baseada em cobertura pode produzir um cores redundante onde múltiplos tokens residem em direções similares no espaço de características. Para abordar isso, o CoRDS introduz um termo anti-redundância ortogonal.

• Mecanismo: Para um token candidato, o método calcula o vetor residual ortogonal ao span das chaves (e valores) atualmente selecionadas.
• Pontuação: Uma pontuação de novidade baseada na norma quadrada desse residual é adicionada como um bônus suave à pontuação de cobertura. Isso é motivado pela seleção de subconjuntos log-determinante, que garante uma aproximação $(1 - e^{-1})$ para maximização submodular monótona.
• Pontuação Final: A pontuação de seleção combina a distância bicritério e a novidade ortogonal:
  $$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$$

3. Compressão Seletiva por Camada e Reutilização em Cascata

Para minimizar a sobrecarga computacional:

• Seleção de Camada: O seletor de cores é aplicado apenas às 25% inferiores das camadas do decodificador, onde a redundância visual é mais alta. Camadas posteriores, que codificam características condicionadas à tarefa, permanecem não comprimidas.
• Cascata entre Camadas: Um pequeno conjunto de camadas "âncora" realiza a seleção completa. Camadas "seguidoras" reutilizam os índices de tokens selecionados de suas camadas âncora sem recompute a seleção, reduzindo significativamente a latência enquanto preserva representações específicas de cada camada.

Principais Contribuições

1. Visão de Cores da Compressão em Streaming: Uma mudança da poda local de tokens para uma formulação agnóstica à consulta e orientada à cobertura que seleciona uma memória compacta representando o contexto de vídeo acumulado.
2. Cobertura Representativa Conjunta KV: A introdução de uma representação conjunta de chave-valor e um objetivo bicritério que equilibra explicitamente a estrutura de recuperação (chaves) e o conteúdo de saída (valores), demonstrando que selecionar em apenas um espaço é subótimo.
3. Diversidade Ortogonal: Um mecanismo anti-redundância fundamentado na seleção de subconjuntos log-determinante que favorece candidatos que contribuem com novas direções para o espaço de características, prevenindo o desperdício de orçamentos de tokens em informações redundantes.

Resultados Experimentais

O método foi avaliado em quatro VLMs de código aberto (Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video) em cinco benchmarks (EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench).

• Desempenho: Sob orçamentos de cache fixos (3K e 6K tokens), o CoRDS superou consistentemente as bases heurísticas como InfiniPot-V e StreamMem.
  • No MLVU, o CoRDS melhorou o desempenho em +4,2% sobre a melhor base com um orçamento de 6K.
  • Em taxas de compressão agressivas (1/16), o CoRDS frequentemente iguala ou excede o desempenho da base KV Completa (não comprimida), sugerindo que quais tokens são mantidos é mais crítico do que quantos.
• Eficiência em Streaming: Em benchmarks de streaming (OVO-Bench, StreamingBench), o CoRDS mostrou ganhos nas trilhas backward, em tempo real e forward, particularmente em tarefas que exigem evidências dispersas ao longo de longas durações (por exemplo, Raciocínio Prospectivo, Contagem).
• Análise de Cobertura: A análise da Função de Distribuição Acumulada (CDF) de cobertura confirma que o CoRDS retém um subconjunto mais representativo do cache completo em comparação com as bases, com distâncias de cosseno menores em relação ao conjunto original de tokens.
• Eficiência: A estratégia de cascata entre camadas mantém uma pegada de memória plana e alcança um throughput de pré-preenchimento comparável ou superior às bases, mesmo para vídeos de até 1000 segundos de duração.

Significado e Alegações

O artigo afirma que a seleção de cores representativos oferece um princípio mais eficaz do que a poda token a token para a compreensão de vídeo em streaming com restrições de memória. Ao otimizar explicitamente a cobertura geométrica do histórico acumulado em um espaço conjunto de chave-valor, o CoRDS mitiga o problema da "agulha no palheiro" inerente ao raciocínio de contexto longo.

Os autores enfatizam que sua abordagem é sem treinamento e agnóstica à consulta, tornando-a imediatamente aplicável a VLMs existentes baseados em transformadores sem retreinamento. Os resultados destacam que os ganhos de desempenho em configurações de streaming não surgem meramente do aumento do tamanho do cache, mas da retenção de um subconjunto menos redundante e mais informativo de tokens visuais. O artigo conclui que essa fundamentação geométrica fornece uma alternativa principiológica à compressão baseada em heurísticas para agentes de percepção persistente.