MEM: Multi-Scale Embodied Memory for Vision Language Action Models

Este trabalho apresenta o MEM (Multi-Scale Embodied Memory), uma arquitetura de memória mista que combina representações de vídeo de curto prazo e texto de longo prazo para capacitar modelos de ação visual e linguística a executar tarefas robóticas complexas de longa duração e adaptar suas estratégias de manipulação de forma inteligente.

O essencial

Imagine que você está ensinando um robô a cozinhar o jantar de uma família inteira. Se você apenas disser ao robô "faça o jantar" e ele olhar apenas para o que está vendo agora, ele vai ficar perdido. Ele vai esquecer que já pegou o leite, vai esquecer que já lavou a panela e pode até tentar abrir a geladeira que já está fechada.

O problema é que a memória de um robô tradicional é muito curta. É como se ele tivesse um "amnésia" a cada segundo que passa.

Aqui entra o MEM (Memória Corporificada Multi-Escala), uma nova tecnologia apresentada por pesquisadores que funciona como um sistema de memória de dois níveis para robôs, combinando o melhor de dois mundos: a visão rápida e a sabedoria de longo prazo.

Vamos usar uma analogia simples para entender como isso funciona:

1. A Memória de Curto Prazo: "O Olho que Tudo Vê" (Vídeo)

Imagine que você está tentando pegar um copo de vidro que caiu e está escondido atrás de uma cadeira. Você precisa lembrar exatamente onde ele estava há 2 segundos para saber como alcançá-lo sem derrubar nada.

• Como o robô faz isso: O MEM usa um "encoder de vídeo" super eficiente. É como se o robô tivesse uma câmera de alta velocidade que grava os últimos segundos de ação e comprime essa informação em um "resumo visual".
• A Analogia: Pense nisso como o reflexo de um atleta. Se um jogador de futebol erra um chute, ele não precisa pensar "quem sou eu? onde estou?". Ele usa a memória muscular e visual imediata para corrigir o movimento na próxima tentativa. O MEM permite que o robô faça isso: se ele tentar pegar um objeto e falhar, ele "lembra" do vídeo dos últimos segundos para ajustar a pegada imediatamente, sem precisar de um manual de instruções.

2. A Memória de Longo Prazo: "O Diário de Bordo" (Texto)

Agora, imagine que o robô precisa cozinhar um prato complexo que leva 15 minutos. Ele precisa lembrar: "Já coloquei o sal?", "Já abri a geladeira?", "Qual é o próximo passo da receita?". Guardar 15 minutos de vídeo na memória seria como tentar ler um livro inteiro de uma vez só para tomar uma decisão rápida; seria muito lento e confuso.

• Como o robô faz isso: O MEM usa uma memória baseada em linguagem. Em vez de guardar o vídeo, o robô escreve um "diário" ou um "resumo" do que aconteceu.
• A Analogia: Pense no robô como um chef de cozinha experiente. Ele não precisa lembrar de cada segundo do processo de cortar a cebola. Ele apenas mantém em mente: "Já cortei a cebola, agora vou fritar". Se ele errar e tentar cortar a cebola de novo, o "diário" (a memória de texto) diz: "Ei, você já fez isso!".
• O Truque Inteligente: O sistema é inteligente o suficiente para resumir. Em vez de escrever "Peguei a tigela azul, depois a verde, depois a amarela...", ele escreve "Peguei três tigelas". Isso economiza espaço e mantém o robô rápido.

O Grande Desafio: O Robô que Esquece

Sem essa tecnologia, os robôs atuais (como o modelo $\pi0.6$) são como pessoas com um déficit de atenção severo. Se você pedir para eles limpar a cozinha inteira, eles podem limpar a pia, esquecer de fechar a geladeira, limpar a pia de novo e entrar em um loop infinito.

Com o MEM, o robô consegue:

1. Resolver tarefas longas: Limpar uma cozinha inteira ou preparar um sanduíche de queijo grelhado do início ao fim (até 15 minutos de duração).
2. Aprender com erros no momento: Se o robô tentar abrir uma geladeira e a porta estiver travada, ele lembra da tentativa falha e tenta abrir de outro ângulo ou empurrar com mais força, em vez de tentar a mesma coisa errada 10 vezes seguidas.
3. Ver o que está escondido: Se o braço do robô cobrir um objeto (occlusão), ele usa a memória de vídeo de frações de segundo para saber exatamente onde o objeto está, mesmo não conseguindo vê-lo no momento.

Em Resumo

O MEM é como dar ao robô um cérebro híbrido:

• Um sistema visual rápido (como um guarda-costas atento) que cuida dos detalhes imediatos e corrige erros na hora.
• Um arquivista de texto (como um assistente pessoal organizado) que mantém o registro do que já foi feito para que o robô não perca o rumo em tarefas longas.

Essa combinação permite que os robôs deixem de ser apenas máquinas que reagem ao "agora" e se tornem parceiros capazes de planejar e executar tarefas complexas do mundo real, como cozinhar, limpar e organizar, sem precisar de um humano segurando a mão o tempo todo.

Resumo técnico

Resumo Técnico: MEM (Multi-Scale Embodied Memory)

1. O Problema

Os modelos de Ação Visão-Linguagem (VLAs) atuais, embora eficazes em tarefas de manipulação de curto prazo, enfrentam desafios significativos ao lidar com tarefas de longo horizonte (que podem durar de 10 a 15 minutos ou mais) e observabilidade parcial.

• Ineficiência de Memória Densa: A abordagem convencional de inserir toda a sequência de observações passadas no contexto do modelo torna-se computacionalmente intratável para tarefas longas, gerando latências inaceitáveis para controle robótico em tempo real.
• Limitações de Representação Única:
  • Memória puramente baseada em imagens (vídeo) é rica em detalhes espaciais, mas consome muitos recursos e é difícil de manter por longos períodos.
  • Memória puramente baseada em texto é eficiente para conceitos semânticos de longo prazo, mas perde informações espaciais precisas necessárias para correções finas (ex: ângulo de preensão, oclusão).
• Falha em Adaptação: Sem memória de curto prazo, os robôs tendem a repetir erros (ex: tentar abrir uma porta na direção errada repetidamente) sem aprender com tentativas falhas recentes.

2. Metodologia: Multi-Scale Embodied Memory (MEM)

O MEM propõe uma arquitetura de memória multimodal que combina duas escalas de tempo e modalidades diferentes para resolver o problema de forma eficiente. O sistema é integrado ao modelo VLA generalista $\pi_0.6$.

A. Arquitetura Híbrida (Política de Alto e Baixo Nível)

O sistema divide a previsão de ações em duas políticas interconectadas:

1. Política de Alto Nível ($\pi_{HL}$): Gerencia a memória de longo prazo e planeja sub-tarefas.
2. Política de Baixo Nível ($\pi_{LL}$): Executa as ações contínuas com base na sub-tarefa atual e na memória visual recente.

B. Memória de Longo Prazo Baseada em Linguagem

• Função: Captura eventos semânticos abstratos (ex: "o prato já foi colocado no armário", "os ingredientes foram coletados").
• Mecanismo: A política de alto nível atualiza uma variável de estado de texto ($m_t$) a cada passo.
• Compressão Inteligente: Um LLM (Large Language Model) é utilizado durante o treinamento para resumir e comprimir o histórico de instruções. Em vez de listar cada objeto individualmente, o sistema aprende a generalizar (ex: "três tigelas no armário" em vez de listar cores e posições exatas de cada uma). Isso reduz o shift de distribuição entre treinamento e inferência e economiza tokens.

C. Memória de Curto Prazo Baseada em Vídeo (Video Encoder)

• Função: Captura detalhes finos, dinâmica do ambiente e resolve oclusões (ex: onde o braço do robô está bloqueando a visão do objeto).
• Inovação Técnica: Utiliza um codificador de vídeo eficiente baseado em Vision Transformers (ViTs).
  • Em vez de processar quadros individualmente (o que é lento), o encoder aplica atenção espacial e temporal de forma fatorada.
  • A cada 4 camadas do ViT, a atenção temporal é aplicada causalmente.
  • Eficiência: O encoder comprime a dimensão temporal, mantendo o número de tokens de entrada no backbone do VLA similar ao de modelos sem memória, permitindo latências de inferência abaixo de 300ms (tempo real).
  • Inicialização: O encoder pode ser inicializado a partir de pesos de ViTs pré-treinados, sem adicionar parâmetros aprendíveis novos significativos.

D. Integração e Treinamento

• O modelo é pré-treinado em uma mistura diversificada de dados: demonstrações teleoperadas, dados de rolagem de políticas, correções humanas, tarefas visão-linguagem e legendagem de vídeos.
• Durante o fine-tuning, a janela de memória visual pode ser expandida (até 18 quadros/54 segundos), enquanto a memória linguística mantém o histórico de minutos.

3. Principais Contribuições

1. Arquitetura Multimodal de Memória: A primeira abordagem a combinar efetivamente memória visual densa de curto prazo com memória semântica comprimida de longo prazo para robótica.
2. Codificador de Vídeo Eficiente: Uma arquitetura de encoder que permite o processamento de sequências de vídeo longas dentro de orçamentos de latência estritos, sem sacrificar a performance de modelos pré-treinados.
3. Adaptação em Contexto (In-Context Adaptation): Capacidade do modelo de corrigir estratégias de manipulação em tempo real com base em falhas recentes (memória de curto prazo), sem necessidade de re-treinamento.
4. Escalabilidade: Demonstração de que robôs podem realizar tarefas contínuas de até 15 minutos mantendo o contexto necessário.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas complexas de manipulação dextrosa (braço robótico e móvel).

• Tarefas de Longo Horizonte:

  • Configuração de Receita: O robô conseguiu coletar ingredientes de vários locais (geladeira, armários) e organizá-los, lembrando o que já foi feito.
  • Limpeza de Cozinha: O robô realizou uma limpeza completa (lavar pratos, limpar bancadas, guardar objetos), mantendo o estado de quais superfícies já foram limpas e quais objetos foram guardados.
  • Desempenho: O modelo MEM superou significativamente o $\pi_0.6$ (sem memória) e abordagens de memória "ingênuas" (como concatenar todo o texto ou usar pooling de imagens).

• Adaptação e Correção de Erros:

  • Em tarefas como pegar um palito de dente com altura de mesa não vista ou abrir uma geladeira com mecanismo desconhecido, o MEM adaptou a estratégia após uma falha inicial (ex: mudar a altura da preensão ou a direção de abertura).
  • Modelos sem memória repetiam o erro indefinidamente.

• Comparação com Outros Métodos:

  • Pool Memory (Memória de Pool): Falhou em tarefas que exigiam memória de longo prazo (ex: contar quantos objetos faltavam desempacotar).
  • Proprioceptive Memory (Memória Proprioceptiva): Funcionou apenas para lembrar o estado do robô, falhando em lembrar estados do ambiente (ex: onde um objeto foi escondido).
  • MEM: Foi o único modelo a ter alto desempenho em todas as capacidades de memória (parcialidade, contagem, temporização, memória espacial).

• Impacto do Pré-treinamento: A versão do MEM pré-treinada com dados diversos (robótica + vídeos da internet) superou significativamente uma versão que só aprendeu memória durante o fine-tuning, demonstrando que a diversidade de dados é crucial para a eficácia da memória.

5. Significado e Impacto

O trabalho MEM representa um avanço fundamental na viabilidade de robôs autônomos para tarefas domésticas e industriais complexas.

• Viabilidade Prática: Resolve o dilema entre a necessidade de memória longa e as restrições de latência de hardware, permitindo que robôs operem por dezenas de minutos sem "esquecer" o objetivo global.
• Robustez: A capacidade de adaptação em contexto torna os robôs mais resilientes a falhas e variações no ambiente, um requisito essencial para a implantação no mundo real.
• Futuro: Abre caminho para o desenvolvimento de políticas robóticas que podem aprender continuamente ao longo de semanas, meses ou anos, transcendendo o limite de um único episódio de execução.

Em resumo, o MEM demonstra que a combinação inteligente de representações visuais densas e semânticas textuais é a chave para desbloquear a verdadeira autonomia de longo prazo em robótica.