💻 computer science

Scaling Short-Term Memory of Visuomotor Policies for Long-Horizon Tasks

Este artigo apresenta o PRISM, uma arquitetura baseada em transformer com atenção com portão (gated attention) e compressão hierárquica que escala efetivamente a memória de curto prazo em políticas visuomotoras para tarefas de longo horizonte, juntamente com o benchmark ReMemBench para avaliação sistemática, alcançando melhorias significativas de desempenho sobre as linhas de base existentes sem depender de pré-treinamento em larga escala.

Autores originais: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Publicado 2026-06-16

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Rutav Shah, Rajat Kumar Jenamani, Xiaohan Zhang, Lingfeng Sun, Roberto Martín-Martín, Yuke Zhu, Deva Ramanan, Karl Schmeckpeper

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando cozinhar uma refeição complexa, mas toda vez que vira a cabeça para pegar um tempero, esquece instantaneamente o que estava fazendo. Você pode ligar o fogão, afastar-se para buscar uma panela e, então, esquecer de desligá-lo, ou pior, esquecer que já colocou o sal. Este é o problema que muitos robôs atuais enfrentam: eles são incrivelmente inteligentes ao ver o que está à frente deles agora, mas têm quase nenhuma "memória de curto prazo" do que aconteceu alguns segundos ou minutos atrás.

Este artigo apresenta um novo cérebro robótico chamado PRISM e um novo teste chamado REMEMBENCH para resolver esse problema. Veja como funciona, explicado de forma simples:

O Problema: Robôs com "Memória de Peixinho Dourado"

A maioria dos robôs modernos aprende observando humanos realizarem tarefas (como um aluno copiando um professor). No entanto, eles geralmente olham apenas para o quadro de vídeo atual. Se uma tarefa exige lembrar de algo que aconteceu 30 segundos atrás — como "eu liguei o fogão, então preciso esperar 2 minutos antes de desligá-lo" — o robô falha porque não tem memória de uma ação passada.

Se você tentar corrigir isso apenas dando ao robô um histórico de vídeo mais longo para observar, duas coisas ruins acontecem:

O Problema do Ruído: O robô fica sobrecarregado com excesso de informações. Ele pode começar a conectar detalhes aleatórios e inúteis (como um objeto distrator no fundo) às suas decisões, levando a erros.
O Problema do Esforço Pesado: Processar um histórico de vídeo longo exige uma quantidade massiva de poder computacional e memória, tornando o robô lento e caro de operar.

A Solução: PRISM (O Bibliotecário Inteligente)

Os autores construíram o PRISM, uma política de robô que atua como um bibliotecário inteligente em vez de um acumulador. Em vez de manter cada página de um livro em sua cabeça, ele usa dois truques engenhosos:

O Filtro de "Atenção Controlada" (O Segurança):
Imagine que a memória do robô é uma sala lotada. O PRISM tem um segurança na porta que decide quem entra e quem é expulso. Se o robô lembra que "pegou uma maçã vermelha", mas a tarefa atual é sobre uma tigela azul, o segurança bloqueia a memória da maçã vermelha para não distrair o robô. Isso impede que o robô faça conexões bobas entre eventos passados irrelevantes e ações atuais.
O Resumidor "Hierárquico" (O Âncora do Jornal):
Em vez de ler cada palavra individual de um longo histórico, o PRISM primeiro lê pequenos trechos da história e escreve um resumo curto para cada um. Depois, ele lê esses resumos para entender o enredo completo. Isso é como um âncora de jornal resumindo os eventos do dia em vez de ler cada relatório policial bruto. Isso torna o robô muito mais rápido e exige menos memória do computador, permitindo que ele se lembre de até dois minutos de histórico.

O Teste: REMEMBENCH (O Exame de Memória do Robô)

Para provar que seu robô realmente tem memória, os autores criaram o REMEMBENCH. Pense nisso como um "teste de habilitação" padronizado para a memória do robô. Ele não testa apenas se o robô consegue mover seu braço; ele testa quatro tipos específicos de memória de curto prazo:

Memória Espacial: "Onde eu coloquei aquela fruta?" (O robô deve encontrar um objeto que não consegue ver no momento).
Memória Prospectiva: "Preciso desligar o fogão em 2 minutos." (O robô deve lembrar uma ação futura baseada em um gatilho passado).
Memória de Associação de Objetos: "Eu lavei esta maçã, então devo colocá-la nesta tigela específica." (O robô lembra qual objeto combina com qual recipiente).
Memória de Conjunto de Objetos: "Preciso mover todos os palitinhos de pão, mas devo contá-los conforme avanço." (O robô mantém uma contagem contínua de um grupo de itens).

Os Resultados: Um Vencedor Claro

Quando testaram o PRISM contra outros robôs (incluindo aqueles com "memória longa" padrão ou diferentes tipos de cérebros de IA):

No Teste de Memória: O PRISM foi o vencedor claro, superando o próximo melhor robô por uma margem significativa (5% a 12% melhor).
Em Tarefas Padrão: Mesmo em tarefas que não testam explicitamente a memória, o PRISM teve um desempenho melhor. Por quê? Porque ter uma memória ajuda o robô a entender o contexto. Por exemplo, saber se ele "acabou de pegar" uma xícara ou está "prestes a colocá-la de lado" ajuda a evitar confusões.
Mundo Real: Quando tentaram o teste em um robô físico real, o robô sem memória falhou completamente (0% de sucesso), enquanto o PRISM obteve sucesso 30% das vezes.

A Conclusão

O artigo afirma que, ao usar um "segurança" para filtrar o ruído e um "resumidor" para economizar espaço, os robôs podem finalmente lembrar o que aconteceu alguns minutos atrás. Isso permite que eles lidem com tarefas domésticas longas e complexas que exigem uma sequência de etapas, em vez de apenas reagir ao momento imediato. Os autores disponibilizam o cérebro do robô (PRISM) e o teste (REMEMBENCH) para ajudar outros pesquisadores a construir robôs melhores e com maior capacidade de memória.

Resumo Técnico: Escalando a Memória de Curto Prazo de Políticas Visuomotoras para Tarefas de Longo Horizonte

1. Definição do Problema

Tarefas robóticas frequentemente exigem memória de curto prazo (abrangendo segundos a minutos) para lidar com a observabilidade parcial, como recuperar objetos que não estão mais visíveis ou cronometrar ações como desligar um eletrodoméstico. No entanto, a maioria das políticas visuomotoras atuais treinadas via aprendizado por imitação são míopes, dependendo apenas de entradas sensoriais imediatas sem aproveitar experiências passadas.

Estender as políticas baseadas em Transformers padrão para incluir janelas de contexto mais longas para resolver isso apresenta dois desafios críticos:

Correlações Espúrias: Atentar para históricos longos de forma ingênua introduz informações irrelevantes (ex: localizações de distratores passados), levando os modelos a aprender correlações falsas que degradam o desempenho quando o contexto muda.
Escalabilidade Computacional: A pegada computacional e de memória dos mecanismos de atenção padrão escala linear ou quadraticamente com o comprimento do contexto. Processar entradas visuais de alta dimensão ao longo de sequências temporais longas (ex: minutos) torna-se proibitivamente caro.

2. Metodologia: PRISM

Os autores propõem o PRISM (Arquitetura de Política com Memória de Curto Prazo), uma arquitetura baseada em Transformer projetada para utilizar efetivamente a memória de curto prazo através de duas inovações principais:

Atenção com Portão (Filtragem de Informação): Para mitigar correlações espúrias, o PRISM introduz um mecanismo de portão pós-atenção (post-attention gating). Este componente filtra seletivamente a informação recuperada, modulando a saída de cada bloco de atenção usando um portão aprendível condicionado às características da entrada atual. Isso permite que a política adapte-se para suprimir detalhes irrelevantes do histórico, reduzindo o ruído na previsão da ação.
Arquitetura Hierárquica (Eficiência): Para abordar a escalabilidade, o PRISM emprega um design hierárquico.
- Codificação Local: Um codificador de memória local processa as entradas sensoriais e as comprime em tokens compactos usando um resampler estilo Perceiver.
- Atenção Global: Um codificador de memória global computa a atenção sobre esses tokens comprimidos ao longo do tempo.
- Fusão: A informação global resultante é transmitida de volta e fundida com os tokens locais originais via conexões residuais.
- Benefício: Esta abordagem reduz a complexidade computacional de $O((n \cdot k_{tot})^2)$ para aproximadamente $O(n \cdot k_{tot} \cdot m + (n \cdot k_{tot}/m)^2)$ , onde $m$ é o fator de compressão. Também reduz significativamente a pegada de memória no tempo de teste ao fazer o cache apenas dos tokens de resumo comprimidos.

O PRISM é treinado usando aprendizado por imitação (behavior cloning) padrão sem perdas auxiliares ou módulos de memória externos, mapeando sequências de entradas sensoriais e ações passadas para ações futuras em um cenário de malha fechada (closed-loop).

3. Principais Contribuições

Arquitetura PRISM: Uma nova arquitetura de política que combina atenção com portão e sumarização hierárquica para escalar a memória de curto prazo para até dois minutos (a 2–3 Hz), mantendo a eficiência computacional e a robustez ao ruído.
REMEMBENCH: Um novo benchmark composto por oito tarefas diversas de manipulação doméstica abrangendo quatro categorias de memória de curto prazo derivadas da ciência cognitiva:
- Espacial: Recordar localizações de objetos (ex: recuperar frutas escondidas).
- Prospectiva: Reter intenções durante um atraso (ex: cozinhar carne por uma duração específica).
- Associativa de Objeto: Recordar associações objeto-localização (ex: retornar um item lavado ao seu pires original específico).
- Conjunto de Objetos: Manter e atualizar conjuntos de múltiplos objetos (ex: contar palitos de pão movidos para um micro-ondas).
- Diferente de benchmarks anteriores que focam em aspectos únicos ou testes de memória indiretos, o REMEMBENCH exige explicitamente a memória para o sucesso, pois as entradas sensoriais imediatas são insuficientes.

4. Resultados Experimentais

O artigo avalia o PRISM contra arquiteturas recorrentes (LSTM, Mamba), transformers recorrentes de nível de segmento (Transformer-XL) e outros variantes de Transformer (Linear Attention, Scene Memory Transformer) no REMEMBENCH e em benchmarks padrão.

Desempenho no REMEMBENCH: O PRISM alcança uma taxa de sucesso média de 41%, superando as bases mais fortes (SMT com 36%, PTP com 28%, Mamba com 25%) por uma margem absoluta de 5%–12%.
- Escalabilidade: O desempenho escala com o tamanho da memória; aumentar a janela de 1 para 512 passos melhora as taxas de sucesso de 16% para 42% sem saturação.
- Ablação: Remover o mecanismo de portão causa uma queda de 16 pontos no desempenho, confirmando sua necessidade para filtrar o histórico irrelevante.
Benchmarks Padrão (ROBOCASA & LIBERO):
- No ROBOCASA, o PRISM com memória (n=256) alcança 43% de sucesso, uma melhoria absoluta de 11% sobre sua variante sem memória e uma melhoria de 11% sobre a base de referência GR00T-N1-2B ajustada.
- No LIBERO, o PRISM alcança 89% de sucesso médio, uma melhoria de 15% sobre a base de referência OpenVLA ajustada e uma melhoria de 12% sobre sua variante sem memória.
- Os autores observam que adicionar memória ajuda a resolver a ambiguidade de ação em estados visualmente idênticos (ex: distinguir entre "acabou de agarrar" e "prestes a colocar"), reduzindo a multimodalidade mesmo em tarefas não explicitamente desenhadas para testar a memória.
Avaliação no Mundo Real: Em uma adaptação do mundo real da tarefa "Lavar e Retornar ao Recipiente", o PRISM alcançou 30% de sucesso, comparado a 15% para uma base de Transformer sem memória e 0% para uma política sem memória.
Eficiência: Com um comprimento de contexto de 512 passos, o PRISM reduz o uso de memória GPU de pico em 80% e o tempo de execução em 40% em comparação com a atenção global total e abordagens híbridas de janela deslizante.

5. Significância e Alegações

O artigo afirma que o PRISM e o REMEMBENCH estabelecem uma base para o desenvolvimento e avaliação de políticas visuomotoras aumentadas com memória de curto prazo capazes de lidar com tarefas de longo horizonte.

Generalização: Ao cobrir quatro categorias distintas de memória, o REMEMBENCH incentiva o desenvolvimento de mecanismos de memória gerais em vez de soluções isoladas e específicas para tarefas.
Escalabilidade: O PRISM demonstra que a memória de curto prazo pode ser escalada para minutos de interação sem os custos proibitivos associados à extensão ingênua da janela de contexto.
Robustez: O mecanismo de atenção com portão prova ser essencial para evitar que o modelo aprenda correlações espúrias em dados de longo horizonte ruidosos.

Os autores concluem que, embora os sucessos atuais no REMEMBENCH (em torno de 30–40%) indiquem que tarefas de longo horizonte continuam desafiadoras, os ganhos consistentes do aumento de memória através de diversas arquiteturas e benchmarks validam a abordagem. Eles identificam direções futuras, como a integração de memória persistente de longo prazo e o aproveitamento de pré-treinamento em escala de internet para módulos de memória, mas enfatizam que seu trabalho atual foca estritamente na mecânica da memória de curto prazo dentro do framework de aprendizado por imitação.