StreamMeCo: Long-Term Agent Memory Compression for Efficient Streaming Video Understanding

1. O Problema

O entendimento de vídeo em fluxo contínuo (streaming) é crucial para aplicações como transmissões ao vivo, vigilância em tempo real e direção autônoma. Diferente do entendimento de vídeo offline, onde o modelo tem acesso a todo o conteúdo antes da inferência, o streaming exige que o agente processe informações visuais continuamente à medida que chegam.

Para lidar com vídeos extremamente longos, métodos recentes (como o M3-Agent) utilizam memória de agentes baseada em grafos. Neste paradigma, o vídeo é convertido em um grafo de memória contendo nós de texto (resumos), nós de rosto e nós de voz. No entanto, à medida que o vídeo progride, o grafo de memória cresce descontroladamente, resultando em:

• Alto custo de armazenamento e computação.
• Latência de recuperação inaceitável: A Figura 1 do artigo mostra que o tempo de recuperação da memória aumenta drasticamente com o número de nós de texto, impedindo respostas em tempo real.
• Perda de consistência: Métodos tradicionais de compressão de tokens ou cache KV frequentemente perdem informações críticas sobre entidades (como identidades humanas) e consistência de longo prazo.

2. Metodologia: StreamMeCo

O StreamMeCo é um framework de compressão de memória de agente de fluxo contínuo, livre de treinamento (training-free), projetado para comprimir o grafo de memória mantendo a precisão e melhorando a velocidade de recuperação. A abordagem é dividida em dois componentes principais:

A. Compressão de Memória de Texto (Baseada em Conectividade)

O método classifica os nós de texto do grafo em dois tipos e aplica estratégias de compressão distintas para cada um:

1. Nós de Texto Isolados (Edge-free Minmax Sampling - EMsampling):

   • Definição: Nós que não estão conectados a entidades específicas (ex: "A comida favorita do homem é arroz").
   • Técnica: Utiliza o algoritmo K-Means Esférico para agrupar os nós em clusters baseados em seus vetores de incorporação (embeddings).
   • Seleção: Dentro de cada cluster, aplica-se uma estratégia de amostragem Minmax. Seleciona-se primeiro o nó mais próximo do centro do cluster e, subsequentemente, os nós que estão mais distantes dos já selecionados (maximizando a distância mínima). Isso garante que os nós retidos sejam os mais representativos e diversos semanticamente.

2. Nós de Texto Conectados (Edge-aware Weighting Pruning - EWpruning):

   • Definição: Nós conectados a nós de rosto ou voz (ex: "A comida favorita do Mark é arroz").
   • Técnica: Constrói-se uma matriz de pesos de arestas baseada na importância da entidade.
   • Pontuação de Fusão: Calcula-se um escore final combinando duas métricas:
     • Importância da Entidade: Soma dos pesos das arestas conectando o nó de texto aos nós de rosto/voz.
     • Similaridade de Incorporação: Inverso da similaridade média com outros nós (para priorizar a diversidade).
   • Poda: Os nós com os maiores escores de fusão são mantidos, enquanto os redundantes são podados.

B. Mecanismo de Recuperação de Memória com Decaimento Temporal (TMR)

Para mitigar a degradação de desempenho causada pela compressão, o StreamMeCo introduz um mecanismo inspirado na memória humana:

• Decaimento Não Linear: A relevância dos nós de texto de segmentos de tempo mais antigos é reduzida exponencialmente ($e^{-\lambda(t-j)}$), simulando o esquecimento natural.
• Alocação Dinâmica: O número de nós recuperados de cada segmento de tempo é alocado dinamicamente com base na similaridade total do segmento com a consulta do usuário, após aplicar o decaimento.
• Benefício: Isso garante que informações críticas de segmentos recentes sejam priorizadas na recuperação, melhorando a precisão sem aumentar o custo computacional.

3. Contribuições Principais

1. Primeira Compressão de Memória para Agentes de Vídeo: StreamMeCo é o primeiro framework de compressão de memória projetado especificamente para agentes de vídeo em fluxo contínuo em escala industrial.
2. Métodos de Compressão Dual-Branco: Proposição dos módulos EMsampling (para nós isolados) e EWpruning (para nós conectados), que exploram as propriedades estruturais do grafo de memória para eliminar redundância.
3. Mecanismo de Recuperação TMR: Introdução de um mecanismo de decaimento temporal que supera os frameworks de recuperação anteriores, permitindo a recuperação eficiente de memórias recentes e críticas.
4. Desempenho Superior: Demonstração de que é possível comprimir o grafo de memória em 70% sem perda de precisão, e até mesmo com ganhos de acurácia.

4. Resultados Experimentais

Os experimentos foram realizados em três conjuntos de dados desafiadores: M3-Bench-robot, M3-Bench-web e Video-MME-Long.

• Acurácia: Sob uma compressão de 70% do grafo de memória, o StreamMeCo alcançou uma melhoria média de 1,0% na acurácia em comparação com o M3-Agent não comprimido.
• Velocidade: O método resultou em um aceleração de 1,87x no tempo de recuperação da memória.
• Comparação: O StreamMeCo superou significativamente:
  • Modelos MLLM fechados (Gemini-1.5-Pro, GPT-4o).
  • Modelos MLLM de código aberto (Qwen2.5-VL, Qwen2.5-Omni).
  • Outros modelos de vídeo em fluxo (MovieChat, Flash-VStream, TimeChat-Online, etc.).
• Análise de Ablação: A remoção de qualquer componente (amostragem, importância da entidade, similaridade ou TMR) resultou em queda de desempenho, confirmando a eficácia de cada parte do sistema. O TMR foi crucial para manter a performance em altas taxas de compressão (>50%).

5. Significado e Impacto

O StreamMeCo resolve um gargalo fundamental na implementação prática de agentes de IA para vídeo em tempo real: a escalabilidade da memória. Ao permitir que agentes mantenham uma memória de longo prazo eficiente e acessível sem custos computacionais proibitivos, este trabalho viabiliza:

• Aplicações em Tempo Real: Sistemas de vigilância e direção autônoma que podem "lembrar" de eventos passados com baixa latência.
• Eficiência de Recursos: Redução drástica no uso de GPU e armazenamento para processamento de vídeos longos.
• Generalização: A abordagem baseada em grafos é genérica e pode ser adaptada para outros frameworks de memória de agentes baseados em grafos, não se limitando apenas ao M3-Agent.

Em resumo, o StreamMeCo representa um avanço significativo na capacidade de sistemas de IA de entender e interagir com vídeos longos de forma contínua, equilibrando eficiência computacional com alta precisão cognitiva.