💻 computer science

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

O artigo propõe o MARC, um framework de aprendizado por reforço aumentado por memória que alcança uma precisão de compreensão de vídeo próxima à linha de base, reduzindo os tokens visuais em 95% e a memória de GPU em 72% por meio de uma nova estratégia de recuperação-e-compressão combinando um Recuperador de Memória Visual e um método de destilação de Otimização de Política Relativa de Grupo de Compressão.

Autores originais: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Publicado 2026-02-10

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um arquivo de filme massivo e de alta definição que precisa mostrar a um assistente muito inteligente, mas ocupado (um modelo de IA). O problema é que o arquivo é tão grande que o assistente fica sobrecarregado, fica sem memória e leva uma eternidade para te dar uma resposta. Este é o desafio atual da compreensão de vídeo por IA: vídeos são grandes demais para serem processados rapidamente.

O artigo apresenta um novo sistema chamado MARC (Compressão de Tokens por RL com Memória Aumentada) para resolver isso. Pense no MARC como um "editor inteligente" de duas etapas que encolhe um filme até o tamanho de uma única foto sem perder a história.

Veja como funciona, usando analogias simples:

1. O Problema: O Gargalo de "Informação Excessiva"

Atualmente, para entender um vídeo, os modelos de IA muitas vezes tentam observar cada um dos quadros, como se estivessem assistindo a um filme a 60 quadros por segundo. Se o vídeo for longo, isso cria uma montanha de dados.

A Analogia: Imagine tentar ler um livro de 500 páginas para responder a uma pergunta simples. É ineficiente. Você não precisa ler cada palavra em cada página; você só precisa dos capítulos específicos onde a resposta está escondida.

2. Etapa Um: O "Recuperador de Memória Visual" (O Bibliotecário Inteligente)

Antes que a IA tente comprimir o vídeo, ela primeiro precisa encontrar as partes certas. O artigo chama isso de Recuperador de Memória Visual (VMR).

Como funciona: Em vez de olhar para o vídeo como um fluxo contínuo, esta ferramenta age como um bibliotecário humano que entende histórias. Ela divide o vídeo em "eventos" (como cenas de um filme).
A Metáfora: Se você perguntar: "O que aconteceu quando o carro bateu?", o bibliotecário não mostra o filme inteiro. Ele imediatamente retira os 3 clipes específicos onde o acidente acontece e os momentos imediatamente antes e depois. Ele ignora as partes chatas onde nada acontece.
O Resultado: A IA agora só precisa lidar com alguns clipes curtos e relevantes, em vez do filme inteiro.

3. Etapa Dois: C-GRPO (O Treinamento "Mestre e Aprendiz")

Agora que a IA tem os clipes certos, ela ainda tem detalhes demais (tokens) para processar de forma eficiente. O artigo introduz um novo método de treinamento chamado C-GRPO.

A Analogia: Imagine um Chef Mestre (o Professor) que cozinha uma refeja complexa de 64 pratos usando uma cozinha completa. Então, você tem um Aprendiz (o Aluno) que só tem permissão para usar um pequeno fogareiro de acampamento e um único ingrediente.
O Desafio: Normalmente, se você forçar o Aprendiz a usar tão pouco, a comida terá um gosto terrível.
A Solução: O artigo utiliza um sistema de recompensa especial de "Aprendizado por Reforço" (Reinforcement Learning). O Aprendiz tenta cozinhar, e o sistema verifica: "O prato do Aprendiz ficou tão saboroso quanto o do Mestre, mesmo que ele tenha usado tão pouco?"
- Se o Aprendiz tiver sucesso, ele recebe uma recompensa.
- Se ele falhar, recebe uma penalidade.
O Resultado: Através deste processo de tentativa e erro, o Aprendiz aprende a extrair a essência do sabor (o raciocínio) usando apenas uma fração mínima dos ingredientes.

4. Os Resultados: Encolhendo o Elefante

O artigo afirma que, ao combinar o "Bibliotecário Inteligente" (encontrar os clipes certos) e o treinamento "Mestre/Aprendiz" (comprimir os dados):

Redução de Tamanho: Eles conseguem pegar um vídeo que normalmente exigiria 64 quadros de dados para ser compreendido e comprimi-lo para o equivalente a apenas 1 quadro. Isso é uma redução de dados de 95%.
Desempenho: Apesar de usar 95% menos dados, a capacidade da IA de responder perguntas permanece quase exatamente a mesma de quando ela viu os 64 quadros completos.
Velocidade e Memória:
- Memória: Utiliza 72% menos memória de computador (RAM).
- Velocidade: Gera respostas 23,9% mais rápido.

Por que isso é importante (Segundo o Artigo)

Os autores afirmam que isso torna possível executar esses modelos poderosos de vídeo-IA em dispositivos com recursos limitados. Eles mencionam especificamente aplicações como:

Resposta a perguntas de vídeo em tempo real (fazer perguntas sobre um vídeo enquanto ele acontece).
Sistemas de vigilância (monitorar câmeras sem precisar de supercomputadores).
Direção autônoma (carros que precisam entender o vídeo rapidamente com energia embarcada limitada).

Em resumo, o MARC ensina uma IA a ser uma "leitora dinâmica" em vez de uma "leitora de texto completo", encontrando os momentos mais importantes e aprendendo a entendê-los profundamente sem precisar processar o arquivo inteiro.

Resumo Técnico: MARC – Compressão de Tokens de RL com Memória Aumentada para Compreensão Eficiente de Vídeo

Declaração do Problema

Os Modelos de Linguagem Visual (VLMs) enfrentam gargalos computacionais significativos ao escalar da compreensão de imagens para a de vídeos. Altas taxas de quadros e longas durações de vídeo exigem o processamento de milhares de tokens, levando a aumentos acentuados nos custos de inferência, latência e uso de memória GPU. Isso dificulta a implantação em ambientes com restrições de recursos e sensíveis à latência, como direção autônoma e vigilância.

Embora a compressão de tokens seja uma solução promissora, os métodos existentes baseiam-se principalmente em estratégias livres de treinamento (ex: fusão de tokens espaciais ou temporais). Os autores argumentam que essas abordagens livres de treinamento inevitavelmente causam perda de informação durante a compressão, resultando em uma queda significativa no desempenho do modelo. O desafio central é alcançar uma redução agressiva de tokens (ex: reduzir um vídeo à contagem de tokens de uma única imagem) sem sacrificar as capacidades de raciocínio do modelo.

Metodologia

O artigo propõe o MARC (Compressão de Tokens baseada em Aprendizado por Reforço com Memória Aumentada), um framework de dois estágios projetado para recuperar informações relevantes antes de compactá-las.

1. Recuperador de Memória Visual (VMR)

Inspirado na ciência cognitiva e na teoria da segmentação de eventos, o VMR substitui janelas temporais de comprimento fixo por uma abordagem semântica baseada em eventos.

Segmentação Baseada em Eventos: Uma rede profunda de detecção de eventos particiona fluxos de vídeo contínuos em clipes semanticamente coerentes (fragmentos de memória visual) baseados em mudanças de cena, mudanças de tópico ou início de ações.
Recuperação de Memória: Representações de consulta e fragmentos visuais são mapeados em um espaço latente compartilhado usando aprendizado contrastivo. Uma busca de vizinho mais próximo recupera os $k$ fragmentos mais relevantes para a consulta do usuário.
Função: Este passo atua como um filtro, reduzindo o espaço de busca e garantindo que a compressão subsequente opere apenas em "memórias episódicas" contendo a evidência causalmente mais útil, em vez de quadros redundantes.

2. Compressão Temporal Consciente de Memória

Antes da destilação por RL, uma camada de compressão específica é aplicada aos segmentos recuperados:

Coerência Local: Dentro de cada segmento de evento recuperado, quadros consecutivos são fundidos com base na similaridade de cosseno para manter a dinâmica local enquanto se reduz a redundância.
Consolidação Global: Se o orçamento de tokens ainda for excedido, uma fusão entre segmentos leve é aplicada. Isso garante que a estrutura de evento definida pelo VMR seja preservada.

3. Otimização de Política de Grupo Relativa de Compressão (C-GRPO)

Para manter o desempenho sob compressão extrema (reduzindo a entrada para o equivalente a tokens de um único quadro), os autores introduzem o C-GRPO, uma estratégia de aprendizado por reforço de pós-treinamento.

Destilação Professor-Aluno: Uma rede "Professor" processa 64 quadros, enquanto uma rede "Aluno" processa a entrada comprimida de um único quadro.
Recompensa de Alinhamento de Retenção: Ao contrário do GRPO padrão que foca na correção da resposta, o C-GRPO introduz uma recompensa de compressão ( $r_c$ $r_{c}$ ). Esta recompensa é calculada com base na razão de retenção ( $\eta$ $η$ ), que mede quanto do desempenho do Professor o Aluno retém.
- $r_c = \alpha \cdot \max(0, \eta - \tau)$ , onde $\tau$ é um limiar mínimo de retenção aceitável (definido como 0,6).
Mecanismo de Portão (Gating): A recompensa de retenção é controlada pela correção ( $1[\text{correto}]$ ), garantindo que apenas gerações semanticamente válidas recebam o bônus. Isso evita o "reward hacking", onde o modelo poderia acertar por sorte sem realmente reter a capacidade de raciocínio.
Objetivo: A política é otimizada para maximizar a retenção da capacidade de raciocínio do Professor enquanto adere ao rigoroso orçamento de tokens.

Principais Contribuições

Framework MARC: Uma arquitetura inovadora que integra recuperação visual estruturada (VMR) com compressão de tokens via RL, permitindo a compreensão de vídeo eficiente que mimetiza a memória episódica humana.
Algoritmo C-GRPO: A primeira estratégia de RL de pós-treinamento especificamente projetada para compressão de tokens de vídeo. Ela destila com sucesso capacidades de raciocínio complexas de um Professor de alto número de tokens para um Aluno de baixo número de tokens, otimizando explicitamente para a retenção de desempenho.
Validação Empírica: Experimentos extensos em seis benchmarks demonstrando que o método alcança um desempenho próximo ao baseline com custos computacionais drasticamente reduzidos.

Resultados Experimentais

Os autores avaliaram o MARC em seis benchmarks: VSI-Bench, VideoMMMU, MMVU, MVBench, TempCompass e VideoMME, utilizando o Qwen2.5-VL-3B como backbone.

Desempenho: O MARC alcançou uma pontuação média de 42,20, quase idêntica ao baseline de 64 quadros de 42,21.
- Superou o baseline em MMVU, MVBench e TempCompass.
- Ultrapassou modelos maiores (ex: InternVL3.5-4B, Gemma-3-4B), apesar de utilizar um modelo de 3B parâmetros.
Redução de Tokens: O método reduziu os tokens visuais em 95% (de ~2590 tokens para ~123 tokens), utilizando efetivamente apenas o equivalente a um único quadro (4,71% dos tokens originais).
Ganhos de Eficiência:
- Memória GPU: Reduzida em 72,4% (de 41,63 GB para 11,48 GB em uma A6000).
- Latência: A latência de geração foi reduzida em 23,9%, com uma redução de 11,1% na latência de ponta a ponta para o processamento de amostras.
Estudos de Ablação:
- VMR: O uso isolado do VMR aumentou a precisão do baseline (média de 45,56 vs 42,21), provando o valor da recuperação baseada em eventos.
- C-GRPO vs. SFT: O MARC (C-GRPO) superou um baseline de Ajuste Fino Supervisionado (SFT) em 9,6% na pontuação média, destacando a superioridade da destilação por RL para tarefas de compressão.
- Limiar ( $\tau$ ): Um limiar de 0,6 proporcionou o equilíbrio ideal entre estabilidade e retenção de desempenho.

Significância e Alegações

O artigo afirma que o MARC oferece uma solução robusta para a compressão de pós-treinamento de modelos de grande escala, preenchendo a lacuna entre eficiência e precisão. Ao combinar a recuperação inspirada na cognição com a destilação baseada em RL, o método permite a implantação de VLMs em cenários com restrições severas de recursos, como perguntas e respostas de vídeo em tempo real, vigilância e direção autônoma.

Os autores enfatem que sua abordagem evita a degradação de desempenho típica dos métodos de compressão livres de treinamento. Em vez disso, ao tratar a compressão como um problema de alinhamento onde o aluno deve corresponder ao raciocínio do professor, o MARC mantém alta fidelidade mesmo ao reduzir a entrada para o equivalente a um único quadro de tokens. O trabalho é apresentado como um caminho prático para tornar a compreensão de vídeo escalável e implantável em aplicações do mundo real que exigem baixa latência.