Resumo Técnico: OmniMem

Declaração do Problema

Os Modelos de Linguagem de Grande Escala Áudio-Visuais (av-LLMs) mostram uma promessa significativa para a compreensão de vídeos de longa duração, mas enfrentam um gargalo fundamental durante a inferência de streaming: o crescimento linear de tokens de vídeo e dos caches de Chave-Valor (KV). À medida que a duração do vídeo aumenta (por exemplo, vídeos de uma hora), os requisitos de memória excedem rapidamente os limites da GPU. Embora o processamento de streaming em blocos (chunked streaming) tenha emergido como uma solução prática, os métodos de compressão existentes sofrem de duas limitações primárias:

1. Tratamento Uniforme de Tokens: Os métodos atuais frequentemente aplicam uma métrica de seleção de tokens unificada (como similaridade de cosseno ou consulta proxy genérica) tanto para tokens de áudio quanto de vídeo. Isso falha ao não considerar o severo desequilíbrio de tokens entre as modalidades (tokens visuais frequentemente superam os de áudio em 30 a 40 vezes), levando ao subpeso sistemático ou ao descarte de informações de áudio críticas.
2. Critérios de Seleção Subótimos: Os métodos de streaming existentes normalmente dependem de "consultas proxy genéricas" (externas ao grafo de computação do modelo) para estimar a importância do token. Esses escores podem não refletir com precisão a perturbação real causada pela remoção de um token, levando potencialmente à remoção de estados informativos que não pontuam alto em um proxy genérico, mas que são cruciais para a saída específica do modelo.

Metodologia

Os autores propõem o OmniMem, um framework de streaming eficiente em memória, consciente de perturbações e consciente de modalidades, projetado para abordar essas limitações. O fluxo de trabalho processa o vídeo bloco a bloco, mantendo caches KV separados para tokens de áudio e de vídeo.

1. Seleção de Cache KV Consciente de Perturbação

Em vez de usar consultas proxy externas, o OmniMem seleciona pares KV para retenção com base em um critério que minimiza a distorção na saída da atenção após a remoção. O escore de seleção ($\psi_k$) para um token $k$ combina dois fatores:

• Importância (Escore de Atenção): A massa de atenção acumulada ($a_k$) direcionada ao token pelas consultas subsequentes. Valores altos indicam que o token é frequentemente usado pela próxima camada.
• Redundância (Similaridade de Cosseno): A similaridade de cosseno ($s_k$) entre o estado oculto do token e suas posições adjacentes. Alta similaridade indica redundância.

O escore de seleção é calculado como:
$$\psi_k = a_k^\lambda (1 - s_k)$$
onde $\lambda$ é um fator de normalização. Esta combinação multiplicativa garante que o sistema retenha tokens que sejam simultaneamente muito utilizados (alta importância) e não redundantes (baixa similaridade com vizinhos). Para calcular a similaridade sem excesso de overhead, o método utiliza estados ocultos (ou vetores de valor) em vez do cache KV completo.

2. Alocação de Orçamento Áudio-Visual (AVBA)

Para abordar o desequilíbrio de modalidades, o OmniMem introduz o AVBA, um mecanismo que aloca orçamentos de memória separados para os caches KV de áudio e de vídeo, em vez de aplicar um orçamento global uniforme.

• Métricas de Compressibilidade: O sistema calcula um escore de compressibilidade ($C$) para cada modalidade usando entropia de atenção normalizada e similaridade de cosseno média.
• Razão Dinâmica: Uma razão prévia de tokens visual-para-áudio ($r$) é estabelecida (definida como 5 no artigo). Os pesos reais de orçamento ($w_v, w_a$) são então ajustados com base nos escores de compressibilidade relativa das transmissões de áudio e vídeo. Isso garante que as modalidades menos compressíveis (frequentemente o áudio, como a fala humana) recebam alocação de memória adequada, mesmo que constituam uma pequena fração do número total de tokens.
• Alocação por Camada: O orçamento total é distribuído de forma não uniforme através das camadas do Transformer com base na compressibilidade específica de cada camada, com as camadas iniciais geralmente recebendo orçamentos maiores.

3. Ajuste Fino Consciente de Orçamento

Embora o OmniMem funcione como um método livre de treinamento (training-free), os autores exploram o ajuste fino supervisionado (SFT) com o esquema de orçamento alocado. Durante este processo, o modelo é treinado para consolidar informações úteis nos tokens de memória retidos. Para gerenciar custos computacionais para sequências longas, a retropropagação é truncada para as últimas $L-l$ camadas, garantindo o fluxo de gradiente através de todas as camadas do bloco final.

Principais Contribuições

O artigo resume suas contribuições da seguinte forma:

• Framework OmniMem: Um mecanismo de seleção de cache KV consciente de perturbação e de modalidade que combina importância baseada em atenção com redundância baseada em similaridade de cosseno para minimizar a distorção da saída após a remoção.
• Mecanismo AVBA: O primeiro mecanismo de alocação de orçamento áudio-visual para av-LLMs, que aborda as discrepâncias de representação de modalidade e evita que os tokens de áudio sejam marginalizados devido ao desequilíbrio na contagem de tokens.
• Ganhos de Desempenho: Demonstrou melhorias consistentes de precisão sobre as linhas de base de consulta proxy genérica e similaridade de cosseno, com ganhos adicionais alcançados através do ajuste fino consciente de orçamento.

Resultados Experimentais

Os experimentos foram conduzidos no VideoMME Long, LVBench e LVOmniBench utilizando o video-SALMONN 2+ (4B e 8B parâmetros) e Qwen2.5-Omni (7B parâmetros).

• Desempenho Livre de Treinamento: Sob orçamentos de memória idênticos (ex: 8K pares KV por camada), o OmniMem superou consistentemente as fortes linhas de base (InfiniPot-V, StreamMem, HERMES) por 2–4% em precisão absoluta.
  • No video-SALMONN 2+ (8B), o OmniMem alcançou melhorias de 4,5% no VideoMME Long, 3,0% no LVBench e 2,2% no LV-OmniBench em comparação com a melhor linha de base (HERMES).
  • As melhorias foram particularmente notáveis na partição "Omni-source" do StreamingBench, onde o equilíbrio áudio-visual é crítico.
• Ganhos de Ajuste Fino: A aplicação do ajuste fino consciente de orçamento proporcionou um adicional de 1–2% de precisão absoluta. Os ganhos mais significativos foram observados no LVBench (até 4,1% para o modelo 4B), sugerindo que o modelo aprende a utilizar o orçamento de memória fixo de forma mais eficaz para vídeos longos.
• Eficiência: O overhead de tempo de execução de memória foi mínimo (<1GB em GPUs H800), principalmente devido à retenção de estados ocultos para o cálculo de similaridade. A latência do primeiro token permaneceu comparável às linhas de base (~0,2s).

Significância e Alegações

O artigo posiciona o OmniMem como uma evolução necessária para av-LLMs de streaming, indo além da pontuação heurística de tokens para uma abordagem fundamentada que otimiza explicitamente o impacto da remoção de tokens nas saídas do modelo.

• Consciência de Modalidade: Os autores alegam que tratar tokens de áudio e vídeo de forma uniforme é uma falha fundamental nos métodos de streaming atuais. Ao introduzir o AVBA, eles demonstram que preservar a integridade da modalidade de áudio, que é menos frequente mas densa em informação, é crítico para a compreensão de longa duração.
• Consciência de Perturbação: A mudança de consultas proxy genéricas para uma seleção consciente de perturbação (minimizando a distorção da saída) é apresentada como um critério mais robusto para determinar a importância do token.
• Implantação Prática: O método é projetado para restrições de implantação realistas, operando sem a necessidade de prompts de usuário para determinar orçamentos e funcionando efetivamente dentro de limites estritos de memória para vídeos de uma hora.

Os autores concluem que, embora o OmniMem introduza um leve overhead de memória para o cálculo de similaridade, a troca gera ganhos de precisão consistentes e significativos, estabelecendo um novo padrão para a inferência áudio-visual de longa duração com restrição de memória.