Resumo Técnico: MemoryVAM

Declaração do Problema

Políticas de modelos de mundo de vídeo aprendem representações relevantes para a ação prevendo observações futuras, condicionando-se a uma janela de observação de comprimento fixo e curto. Embora eficaz para tarefas aproximadamente Markovianas, esse design falha em tarefas de manipulação de longo horizonte e múltiplos estágios, onde a ação correta depende de eventos anteriores que não estão mais visíveis na janela atual. Em tais cenários (ex: "pegar o bloco vermelho três vezes"), estados visualmente semelhantes exigem ações diferentes com base no progresso oculto da tarefa (ex: a contagem atual). Sem memória episódica, essas tarefas tornam-se não-Markovianas, causando falhas nas políticas quando elas não conseguem distinguir entre diferentes estágios de uma sequência repetitiva ou recordar o histórico espacial.

Metodologia: MemoryVAM

Os autores propõem o MemoryVAM, um mecanismo de memória episódica projetado para integrar o histórico em políticas de modelos de mundo de vídeo. A inovação central é o condicionamento de memória dupla, onde um conjunto compacto de tokens de memória influencia tanto as previsões futuras do backbone de vídeo quanto as decisões de controle do decodificador de ação.

1. Codificação do Histórico do Episódio

Em cada passo de tempo $t$, o sistema mantém um histórico de episódio $\mathcal{H}_t$ consistindo em embeddings visuais CLIP de quadros passados. O uso de embeddings CLIP permite que a memória rastreie mudanças semânticas relevantes para a tarefa, em vez de diferenças de pixels de baixo nível.

2. O Módulo Recap-Cue (RC)

O módulo RC processa o histórico de comprimento variável em uma representação de memória de tamanho fixo:

• Recap Compressor: Um Reamostrador baseado em Perceiver mapeia o histórico do episódio em uma matriz compacta de tokens de memória $\mathbf{G}$. Usando queries aprendidas, ele atende seletivamente a eventos que explicam o progresso da tarefa, capturando tanto o que aconteceu quanto quando aconteceu via codificação posicional sensível à ordem.
• Cue Gate: Um módulo leve estima uma pontuação de conclusão de tarefa $q_\omega$ baseada em características de pooling do backbone, tokens de memória e instruções de linguagem. Isso permite a terminação autônoma da tarefa sem exigir rótulos de progresso por quadro durante o treinamento; a supervisão é derivada dos limites de episódio nas demonstrações.

3. Condicionamento de Memória Dupla (Injeção)

Os tokens de memória $\mathbf{G}$ são injetados via dois caminhos complementares:

• Caminho 1 (Video Backbone): $\mathbf{G}$ é injetado nas camadas de atenção cruzada do backbone de vídeo.
  • Para backbones Cosmos DiT, os tokens de memória são anexados à matriz de condicionamento de texto.
  • Para backbones SVD UNet (ex: VPP), um ramo de memória separado é introduzido ao lado do ramo de texto.
  • Efeito: Isso garante que os futuros quadros previstos e as características intermediárias do backbone sejam condicionados ao histórico completo do episódio, alinhando a "imaginação" do modelo com o progresso da tarefa.
• Caminho 2 (Action Decoder): Os mesmos tokens de memória $\mathbf{G}$ são concatenados com os tokens de observação (derivados do backbone) e alimentados no decodificador de ação.
  • Efeito: Isso restringe diretamente a distribuição de ação com base na memória episódica, garantindo que a política selecione controles consistentes com o histórico.

4. Estratégia de Treinamento

O modelo emprega um procedimento de treinamento de dois estágios:

1. Estágio 1: Treina o backbone de vídeo e o módulo de memória usando objetivos de predição de vídeo, uma perda auxiliar de reconstrução delta e a perda do Cue Gate. Isso ensina a memória a codificar informações úteis para prever estados futuros e determinar a conclusão da tarefa.
2. Estágio 2: Treina a política de ação nas características resultantes condicionadas à memória, mantendo o backbone estável.

O mecanismo é agnóstico à arquitetura, sendo validado tanto em UNet (VPP) quanto em Diffusion Transformer (DiT) (Cosmos) backbones.

Principais Contribuições

1. Interface de Injeção Dupla: Um mecanismo de dois caminhos que integra tokens de Recap compactos tanto no backbone de vídeo quanto no decodificador de ação, permitindo que o histórico influencie conjuntamente os futuros imaginados e as características de controle.
2. Módulo Recap-Cue (RC): Um novo módulo que combina um compressor baseado em Perceiver para sumarização de histórico e um Cue Gate para conclusão autônoma de tarefa, treinado sem rótulos explícitos de progresso por passo.
3. Agnosticismo de Backbone: O método é validado através de distintos paradigmas de backbone de vídeo (UNet e DiT), demonstrando que a memória episódica é um requisito geral para políticas de modelos de mundo de vídeo de longo horizonte.

Resultados Experimentais

Os autores avaliaram o MemoryVAM em benchmarks de simulação e tarefas de robótica real que exigem recall episódico.

• Benchmark LIBERO-Mem:

  • Em tarefas que exigem recall episódico (contagem, sequenciamento, raciocínio espacial), o modelo melhorou as taxas médias de sucesso de 5% para 42,5% para o backbone UNet e de 3,0% para 40,5% para o backbone DiT.
  • Estudos de ablação mostraram que usar apenas o Caminho 1 (injeção no backbone) resultou em 28,5% de sucesso, enquanto o Caminho 2 (injeção no decodificador de ação) sozinho rendeu apenas 7,5%. A injeção dupla completa foi necessária para o desempenho ideal.
  • O MemoryVAM superou baselines de VLA aumentados com memória (ex: MemoryVLA, Gated Memory Policy) e baselines sem memória.

• Experimentos com Robô Real:

  • Toy Pickup ($k\times$): 78,3% de sucesso em tarefas de contagem (repetições de 1x, 3x, 5x).
  • Place and Return: 80,0% de sucesso em tarefas de recall espacial.
  • Shell Game: 75,0% de sucesso em tarefas de rastreamento sequencial envolvendo objetos ocultos.
  • Em contraste, políticas sem memória colapsaram (0% de sucesso) nessas tarefas quando o progresso da tarefa não era diretamente observável.

• Qualidade de Predição de Vídeo:

  • A injeção de memória melhorou significativamente a fidelidade de rollouts autorregressivos de longo horizonte. Por exemplo, no backbone UNet, os escores FVD melhoraram de 43,36 para 18,32 em um horizonte único e de 37,81 para 19,84 em um horizonte de 8x.
  • O Cue Gate reduziu com sucesso a "razão de parada" (movimento pós-conclusão), evitando que o modelo imagine ações desnecessárias após o alcance de um objetivo.

Significância e Alegações

O artigo postula que a memória episódica deve ser tratada como um componente integral do estado do modelo de mundo, e não meramente como uma entrada auxiliar para a política de ação. Ao permitir que o histórico do episódio molde tanto o que o robô imagina (predição futura) quanto como a política age (decodificação de controle), o MemoryVAM aborda a natureza não-Markoviana de tarefas de longo horizonte.

Os autores alegam que esta abordagem oferece um caminho escalável para sistemas de memória, pois o módulo de memória é supervisionado pelo objetivo generativo de vídeo (prevendo quadros futuros) em vez de depender exclusivamente de demonstrações rotuladas com ações. Isso permite que a memória aprenda sinais de progresso de tarefa que são consistentes com a dinâmica visual do ambiente. O trabalho demonstra que a memória episódica explícita é crucial para diversos backbones de vídeo terem sucesso em manipulações robóticas complexas e de múltiplos estágios.