💬 NLP

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding

O artigo apresenta o HERMES, uma arquitetura sem treinamento que trata o cache KV como memória hierárquica para permitir a compreensão eficiente e em tempo real de fluxos de vídeo, garantindo respostas instantâneas e reduzindo significativamente o uso de memória e tokens sem sacrificar a precisão.

Autores originais: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

Publicado 2026-04-17

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Haowei Zhang, Shudong Yang, Jinlan Fu, See-Kiong Ng, Xipeng Qiu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

🎬 O Problema: Assistir a um Filme Infinito sem Esquecer o Roteiro

Imagine que você está assistindo a um filme que nunca acaba (um vídeo ao vivo, como uma transmissão de notícias ou uma câmera de segurança). Você quer que um assistente de IA (um "robô inteligente") assista junto com você e responda perguntas sobre o que está acontecendo em tempo real.

O problema é que a memória desses robôs é limitada.

Se eles tentarem guardar cada segundo do filme, a memória do computador (GPU) explode e o robô trava.
Se eles guardarem apenas o que acabou de acontecer, eles esquecem o que ocorreu 10 minutos atrás e não conseguem responder perguntas sobre o início da história.
Se eles tentarem guardar tudo e depois "buscar" informações antigas de um disco rígido externo, demora tanto que a resposta chega depois que o filme já acabou (alta latência).

🚀 A Solução: HERMES (O "Cérebro Hierárquico")

Os pesquisadores criaram o HERMES. A grande sacada deles não foi criar um robô novo do zero, mas sim ensinar o robô existente a gerenciar sua própria memória de uma forma muito inteligente, sem precisar de treinamento extra (é como dar um novo manual de instruções, não reescrever o cérebro).

Eles olharam para como a IA "pensa" (atenção) e descobriram que diferentes camadas do cérebro da IA funcionam como diferentes tipos de memória humana. O HERMES organiza a memória do robô em três andares, como uma casa:

1. O Térreo: Memória Sensorial (O que acabou de entrar)

Analogia: Imagine que você acabou de entrar em uma sala barulhenta. Você percebe imediatamente o barulho mais recente, mas esquece o que foi dito há 5 segundos.
Como funciona no HERMES: Nas camadas mais rasas da IA, o sistema guarda apenas os quadros mais recentes do vídeo. É uma memória de curto prazo, focada no "agora". Se algo novo chega, o velho é descartado rapidamente.

2. O Primeiro Andar: Memória de Trabalho (A ponte)

Analogia: É como quando você está lendo um livro e precisa lembrar do parágrafo anterior para entender a frase atual. Você não guarda todo o livro, mas mantém o contexto imediato em mente.
Como funciona no HERMES: Aqui, a IA mistura o que acabou de acontecer com o que aconteceu um pouco antes. É uma zona de transição que equilibra o "agora" com o "recente".

3. O Porão: Memória de Longo Prazo (Os momentos marcantes)

Analogia: Pense em um álbum de fotos. Você não guarda cada foto de cada dia, mas guarda as fotos dos aniversários, casamentos e viagens. São os "pontos de ancoragem" da história.
Como funciona no HERMES: Nas camadas mais profundas da IA, o sistema identifica os quadros mais importantes (os "âncoras") que resumem cada cena. Em vez de guardar 100 quadros de uma conversa, ele guarda apenas o resumo essencial que permite entender o contexto geral do filme, mesmo horas depois.

⚡ Por que isso é revolucionário?

O HERMES faz três coisas mágicas que o tornam super rápido e eficiente:

Sem "Caça ao Tesouro" (Zero Extra Retrieval):
- Outros métodos: Quando você faz uma pergunta, o robô precisa parar, ir até um arquivo externo, buscar a informação antiga e voltar. Isso demora.
- HERMES: A informação já está organizada na memória interna do robô (o KV Cache). Quando você pergunta, a resposta é instantânea. É como ter todos os seus livros na estante da sala, em vez de ter que ir à biblioteca da cidade toda vez que precisa de um livro.
Economia Extrema de Espaço:
- O HERMES consegue entender vídeos longos usando até 68% menos memória do que os métodos atuais. Ele descarta o que é "lixo" (quadros repetitivos) e guarda o que é "ouro" (informação importante).
Velocidade Relâmpago:
- O tempo para a primeira resposta (TTFT) é 10 vezes mais rápido que os melhores métodos atuais. Você pergunta e a resposta sai quase que instantaneamente, mesmo que o vídeo tenha durado horas.

🧠 O Resumo da Ópera

O HERMES é como um assistente de cinema que tem uma memória perfeita, mas organizada de forma inteligente:

Ele lembra do que acabou de acontecer (Térreo).
Ele conecta o presente com o passado recente (Primeiro Andar).
Ele guarda os momentos chave de todo o filme no porão (Longo Prazo).

E o melhor: ele faz tudo isso sem precisar de um computador gigante, sem travar e respondendo na hora. Isso permite que assistentes de IA assistam a transmissões ao vivo, câmeras de segurança ou vídeos longos em tempo real, sem esquecer nada importante e sem gastar uma fortuna em energia.

Em suma: O HERMES transformou a memória bagunçada de uma IA em uma biblioteca organizada, permitindo que ela assista a vídeos infinitos e converse com você em tempo real.

Título: HERMES: KV Cache como Memória Hierárquica para Compreensão Eficiente de Vídeo em Streaming

1. O Problema

Os Modelos de Linguagem Multimodal (MLLMs) avançaram significativamente na compreensão de vídeos offline. No entanto, estender essas capacidades para vídeos em streaming (tempo real) permanece um desafio crítico devido a três requisitos conflitantes:

Desempenho Estável: Manter a precisão da compreensão ao longo de vídeos longos e contínuos.
Resposta em Tempo Real: Garantir baixa latência (TTFT - Time to First Token) para interações contínuas.
Eficiência de Memória: Operar com baixo custo de memória de GPU, evitando erros de Out-of-Memory (OOM).

Limitações das abordagens existentes:

Métodos Externos: Armazenam o conteúdo do vídeo em bancos de dados externos (captions ou patches) e realizam recuperação (retrieval) no momento da consulta. Isso introduz alta latência e falta de coesão end-to-end.
Métodos Internos (KV Cache): Abordagens anteriores como ReKV e LiveVLM armazenam segmentos anteriores em CPU ou disco, exigindo recuperação adicional e recursos computacionais externos quando uma pergunta do usuário chega, o que aumenta a latência.
Estratégias de Evicção: A maioria dos métodos utiliza estratégias de evicção grosseiras (como FIFO uniforme) em todas as camadas do modelo, ignorando as preferências de atenção específicas de cada camada, o que leva à perda de informações críticas.

2. Metodologia: HERMES

O HERMES (KV Cache as HiERarchical Memory for Efficient Streaming Video Understanding) é uma arquitetura livre de treinamento (training-free) e plug-and-play que reutiliza o KV Cache existente do modelo como uma estrutura de memória hierárquica.

A. Investigação Mecanística da Atenção

Os autores realizaram uma análise detalhada das camadas de decodificação de modelos MLLM (como LLaVA-OV e Qwen2.5-VL) e descobriram que diferentes camadas possuem preferências de atenção distintas para informações de vídeo:

Camadas Rasas (Memória Sensorial): Exibem um forte viés de recentidade (recency bias). Elas focam intensamente nos quadros mais recentes e esquecem rapidamente os anteriores.
Camadas Profundas (Memória de Longo Prazo): O viés de recentidade desaparece. A atenção torna-se esparsa e rítmica, focando em "tokens âncora" que representam resumos semânticos de quadros inteiros (um token a cada 196 tokens visuais).
Camadas Intermediárias (Memória de Trabalho): Atuam como uma transição, equilibrando informações recentes com representações semânticas de nível de quadro.

B. Componentes Principais do HERMES

Baseado na análise acima, o HERMES implementa três mecanismos principais:

Gerenciamento Hierárquico do KV Cache:
- Camadas Rasas: Calculam a importância dos tokens baseada em uma curva de esquecimento exponencial (teoria de Ebbinghaus), priorizando tokens recentes.
- Camadas Profundas: Calculam a importância baseada nos pesos de atenção em relação a um prompt genérico (pseudo-consulta), mantendo os tokens âncora que resumem o vídeo.
- Camadas Intermediárias: Interpolam entre a pontuação de recentidade e a pontuação de atenção, usando pesos dependentes da camada.
Suavização de Memória entre Camadas (Cross-Layer Memory Smoothing):
- Para evitar inconsistências onde tokens são eviccionados em uma camada mas mantidos em outra (o que quebraria a coerência visual), o HERMES propaga e suaviza os sinais de importância das camadas profundas para as rasas antes da seleção final de tokens.
Reindexação de Posição (Position Re-Indexing):
- Como o streaming acumula tokens infinitamente, os índices de posição podem exceder o limite do modelo. O HERMES reindexa os tokens retidos para um intervalo contíguo $[0, |M|)$ .
- Utiliza uma estratégia "Lazy" (preguiçosa) para streaming: a reindexação ocorre apenas quando os índices se aproximam do limite, preservando os índices originais dos tokens recentes para evitar drift posicional e reduzir custo computacional.

3. Principais Contribuições

Conceptualização Hierárquica: Pioneirismo em conceptualizar o KV Cache como um sistema de memória hierárquico (Sensorial, Trabalho, Longo Prazo) baseado em análise mecanística da atenção.
Método Livre de Treinamento: O HERMES não requer ajuste fino (fine-tuning) do modelo base, podendo ser integrado a qualquer MLLM existente.
Eficiência Extrema: Elimina a necessidade de recuperação externa ou recursos computacionais auxiliares no momento da consulta, garantindo respostas em tempo real.
Desempenho Superior: Mesmo reduzindo o número de tokens de vídeo em até 68% em comparação com amostragem uniforme, o método mantém ou supera a precisão em benchmarks de streaming.

4. Resultados Experimentais

Os experimentos foram conduzidos em modelos como LLaVA-OneVision e Qwen2.5-VL (de 0.5B a 32B parâmetros) em benchmarks de streaming (StreamingBench, OVO-Bench, RVS) e offline (VideoMME, Egoschema).

Acurácia em Streaming:
- No StreamingBench, o HERMES (baseado em Qwen2.5-VL-7B) atingiu 79.44% de precisão com apenas 4K tokens, superando o modelo base em 6.13% e todos os outros modelos open-source de 7B.
- No RVS (vídeos longos de 30-60 min), o HERMES obteve ganhos de até 11.4% em precisão em comparação com o modelo base com amostragem uniforme.
Latência e Eficiência:
- TTFT (Tempo para o Primeiro Token): O HERMES é 10x mais rápido que o estado da arte anterior (SOTA) em termos de latência de resposta.
- Memória GPU: Mantém um consumo de memória constante e compacto (aprox. 16-17 GB em uma A800), independentemente do número de quadros de entrada, eliminando o risco de OOM.
- Não há aumento de latência à medida que o vídeo cresce, diferentemente de métodos concorrentes.

5. Significância e Impacto

O HERMES representa um avanço fundamental na viabilidade de MLLMs para aplicações de vídeo em tempo real. Ao transformar o KV Cache em uma memória estruturada e hierárquica, o trabalho resolve o dilema entre latência, memória e precisão sem a necessidade de treinamento custoso.

Isso permite:

A implantação de assistentes de vídeo em tempo real em dispositivos com recursos limitados.
Interações contínuas e naturais com fluxos de vídeo longos (como vigilância, transmissão ao vivo ou videoconferência).
Uma nova direção de pesquisa focada na exploração da estrutura interna do KV Cache para gerenciamento de memória, em vez de depender de arquiteturas externas complexas.

Em resumo, o HERMES demonstra que uma gestão inteligente e mecanicamente fundamentada da memória interna do modelo é suficiente para alcançar compreensão de vídeo em streaming de alta performance e baixa latência.