Memory, Benchmark & Robots: A Benchmark for Solving Complex Tasks with Reinforcement Learning

Este trabalho apresenta o MIKASA, um benchmark abrangente que inclui um framework de classificação, um conjunto de tarefas unificado e um ambiente de manipulação robótica com 32 tarefas, visando avaliar e avançar o aprendizado por reforço baseado em memória para tarefas complexas.

O essencial

Imagine que você está tentando ensinar um robô a fazer uma tarefa simples, como pegar uma maçã que está escondida debaixo de uma panela. Se o robô só olhar para a panela no momento em que você pede a maçã, ele não saberá onde ela está, porque não viu a maçã sendo colocada lá antes. Ele precisa de uma "memória" para lembrar o que viu segundos atrás.

Este artigo, apresentado na conferência ICLR 2026, trata exatamente desse problema: como medir e melhorar a memória de robôs e inteligência artificial.

Aqui está a explicação do trabalho, chamada MIKASA, usando uma linguagem simples e analogias do dia a dia:

1. O Problema: A "Amnésia" dos Robôs

Atualmente, existem muitos testes para ver se um robô é inteligente, mas a maioria deles é como um teste de matemática onde você pode ver todas as fórmulas na hora. Na vida real, porém, as coisas mudam. Objetos somem, luzes apagam e você precisa lembrar de algo que viu há um tempo.

Os pesquisadores notaram que não existe um "teste de QI" padronizado para memória robótica. Cada cientista cria seu próprio jogo para testar sua própria invenção, o que torna difícil comparar quem é realmente o melhor. É como se cada professor de escola criasse seu próprio exame de história sem seguir um padrão: um foca em datas, outro em nomes, e ninguém sabe quem realmente sabe história.

2. A Solução: O "Ginásio da Memória" (MIKASA)

Para resolver isso, a equipe criou o MIKASA (uma suíte de avaliação de habilidades intensivas em memória). Pense nele como um ginásio de musculação completo para a mente do robô.

Eles dividiram os exercícios de memória em 4 categorias principais, como se fossem diferentes tipos de treino:

• Memória de Objetos (O "Onde está meu celular?"): O robô precisa lembrar que um objeto existe, mesmo quando ele está escondido (como uma bola debaixo de um copo).
• Memória Espacial (O "Mapa Mental"): Lembrar onde as coisas estão no ambiente, mesmo que o robô tenha se movido.
• Memória Sequencial (O "Receita de Bolo"): Lembrar a ordem das coisas. "Primeiro coloque o ovo, depois a farinha". Se ele esquecer a ordem, o bolo fica estragado.
• Capacidade de Memória (O "Truque de Magia"): Quantas coisas o robô consegue guardar na cabeça ao mesmo tempo? 3 cores? 7 cores?

3. O Grande Desafio: 32 Novos Jogos

A parte mais importante do trabalho é o MIKASA-Robo. Eles criaram 32 tarefas diferentes para robôs de mesa (braços robóticos), que vão de simples a extremamente difíceis.

Exemplos dos jogos:

• O Jogo das Copas (Shell Game): Um robô vê uma bola vermelha sendo escondida sob um dos três copos. Depois, os copos são cobertos. O robô precisa tocar no copo certo. Se ele não tiver memória, é apenas um chute.
• Lembrar a Cor: O robô vê um cubo azul, depois a mesa fica vazia por um tempo, e aparecem 9 cubos de cores diferentes. Ele precisa escolher o azul.
• A Corrente de Cores: O robô vê uma sequência de cubos (Vermelho, Verde, Azul) e precisa tocá-los exatamente nessa ordem.

4. O Que Eles Descobriram? (A Prova Real)

Eles testaram robôs modernos, incluindo os mais famosos e avançados (chamados modelos VLA, que são como "cérebros" que entendem imagens e linguagem).

O resultado foi chocante:

• Quando o robô tinha memória total (viajando em "modo de verdade", vendo tudo o que acontece), ele acertava 100% das tarefas. Isso provou que os jogos não eram impossíveis, apenas exigiam memória.
• Quando colocaram o robô no modo real (apenas com câmeras, sem saber a posição exata das peças, precisando lembrar), a performance caiu drasticamente.
• Mesmo os robôs mais inteligentes do mundo hoje falharam miseravelmente nas tarefas que exigiam lembrar de algo por um longo tempo ou quando o objeto estava escondido. Eles agiam como se tivessem amnésia total.

5. A Analogia Final: O Robô com "Atenção Curta"

Imagine que você está assistindo a um filme. Se você tirar os óculos por 5 segundos e colocá-los de volta, você ainda sabe o que está acontecendo. Mas, se você tirar os óculos por 1 minuto, você esquece quem é o vilão e o que ele fez.

Os robôs atuais são como alguém que esquece o que viu assim que tira os óculos. Eles são ótimos em reagir ao que veem agora, mas péssimos em lembrar do que viram antes.

Conclusão

O papel MIKASA é um chamado de alerta para a comunidade científica: Nós precisamos construir robôs que realmente tenham memória de longo prazo. Sem isso, eles nunca conseguirão fazer tarefas complexas do dia a dia, como cozinhar, limpar a casa ou cuidar de idosos, onde é preciso lembrar o que foi feito há alguns minutos.

Eles liberaram todos os jogos e dados de graça para que qualquer pessoa possa tentar criar robôs com "cérebro" melhor. É como se eles tivessem aberto as portas de um laboratório de testes para que a próxima geração de robôs possa finalmente aprender a lembrar.

Resumo técnico

Título: MEMORY, BENCHMARK & ROBOTS: Um Benchmark para Resolver Tarefas Complexas com Aprendizado por Reforço

1. O Problema

A memória é um componente crítico para agentes de Inteligência Artificial (IA) lidarem com tarefas complexas que envolvem dependências temporais e espaciais, especialmente em cenários de observabilidade parcial (POMDPs). No entanto, o campo de Aprendizado por Reforço (RL) carece de um benchmark universal e padronizado para avaliar as capacidades de memória dos agentes.

As principais lacunas identificadas são:

• Fragmentação da Avaliação: Estudos existentes utilizam ambientes personalizados e específicos para cada algoritmo proposto, dificultando a comparação direta entre diferentes abordagens.
• Foco Limitado: Benchmarks atuais (como POPGym, DMLab-30, MemoryGym) focam em aspectos específicos (ex: apenas navegação ou quebra-cabeças abstratos) e não capturam a diversidade de demandas de memória encontradas na manipulação robótica real.
• Desconexão com a Robótica: A maioria dos simuladores de manipulação robótica trata tarefas como MDPs (processos de decisão de Markov totalmente observáveis), ignorando a necessidade de memória para lidar com oclusões, objetos ocultos e procedimentos de múltiplos passos.

2. Metodologia e Proposta

Os autores introduzem o MIKASA (Memory-Intensive Skills Assessment Suite for Agents), uma suíte de benchmarks abrangente projetada para preencher essas lacunas. A metodologia baseia-se em três pilares principais:

A. Taxonomia de Tarefas de Memória

Foi proposto um framework de classificação que organiza tarefas intensivas em memória em quatro categorias fundamentais, inspiradas na psicologia cognitiva:

1. Memória de Objeto: Manter informações sobre objetos quando estes se tornam temporariamente não observáveis (ex: permanência de objetos).
2. Memória Espacial: Lembrar localizações de objetos e navegar com base em mapas mentais de layouts ambientais.
3. Memória Sequencial: Processar e utilizar informações ordenadas temporalmente (ex: sequências de ações ou eventos).
4. Capacidade de Memória: Gerenciar múltiplas peças de informação simultaneamente (ex: lembrar a posição de vários objetos ao mesmo tempo).

B. MIKASA-Base

Um framework unificado baseado em Gymnasium que consolida ambientes de código aberto existentes sob uma API comum. Ele permite a avaliação sistemática de agentes em uma variedade de cenários, desde ambientes vetoriais diagnósticos até tarefas complexas baseadas em imagens.

C. MIKASA-Robo

O núcleo da contribuição, consistindo em 32 tarefas de manipulação robótica em mesa (tabletop manipulation) projetadas especificamente para testar habilidades dependentes de memória.

• Ambiente: Baseado no framework ManiSkill3, permitindo treinamento paralelo eficiente em GPU.
• Configurações: As tarefas variam em dificuldade (ex: 3, 5 ou 9 cores/objetos) e modos de observação (Estado completo, RGB + juntas, apenas RGB).
• Recompensas: Suporte tanto para recompensas densas (feedback contínuo) quanto esparsas (sucesso apenas no final), sendo as esparsas mais desafiadoras e realistas.
• Exemplos de Tarefas:
  • ShellGame: Lembrar a posição de uma bola sob copos após oclusão.
  • RememberColor/Shape: Lembrar a cor ou forma de um objeto e selecioná-lo entre distratores.
  • Intercept: Prever a trajetória de uma bola em movimento e interceptá-la.
  • TakeItBack: Mover um objeto para um alvo e depois retorná-lo à posição original (que não é mais visível).

3. Contribuições Principais

1. Classificação de Tarefas: Um framework sistemático para categorizar e avaliar mecanismos de memória em RL e robótica.
2. MIKASA-Base: Um benchmark padronizado e de código aberto para avaliação comparativa justa de agentes com memória.
3. MIKASA-Robo: Uma suíte de 32 tarefas robóticas de manipulação que isolam e estressam habilidades específicas de memória, com licenças MIT.
4. Datasets para RL Offline: Liberação de datasets de alta qualidade (1000 trajetórias de sucesso por tarefa) gerados por agentes especialistas, permitindo pesquisa em RL Offline e Aprendizado por Imitação.

4. Resultados Experimentais

Os autores realizaram extensas avaliações utilizando uma variedade de baselines (algoritmos de referência):

• Validação do Benchmark: Agentes PPO-MLP treinados no modo "estado completo" (MDP) alcançaram 100% de taxa de sucesso em todas as tarefas, provando que as tarefas são solucionáveis e que a dificuldade reside na observabilidade parcial e na necessidade de memória.
• RL Online (PPO-MLP vs. PPO-LSTM):
  • Em modo RGB+juntas (requer memória), o PPO-MLP (sem memória) falhou completamente.
  • O PPO-LSTM (com memória) superou o MLP em tarefas simples, mas sua performance caiu drasticamente (para quase zero) à medida que a complexidade (número de cores/objetos) aumentava, especialmente sob recompensas esparsas.
• RL Offline: Modelos como Decision Transformer (DT), RATE, CQL e Diffusion Policy falharam na maioria das tarefas, especialmente naquelas que exigiam alta capacidade de memória ou memória sequencial estrita.
• Modelos VLA (Vision-Language-Action): Modelos de ponta como Octo, OpenVLA, $\pi_0$ e SpatialVLA foram testados.
  • Eles mostraram desempenho aleatório ou muito baixo em tarefas que exigem retenção de informação ao longo de horizontes temporais longos e oclusão.
  • O desempenho degradou severamente quando a tarefa introduzia um intervalo ocluído, indicando que os modelos VLA atuais carecem de mecanismos de memória de longo prazo robustos.
• Experimentos no Mundo Real: Utilizando um braço robótico SO-101 e o modelo $\pi_0.5$, os resultados simulados foram replicados no mundo físico. O modelo funcionou bem em tarefas totalmente observáveis (MDP), mas falhou quase completamente na tarefa com oclusão e reordenação de objetos, confirmando que a limitação é a memória, e não o ruído de percepção ou controle.

5. Significado e Impacto

O trabalho do MIKASA é fundamental para o avanço da robótica e do RL por várias razões:

• Padronização: Oferece a primeira avaliação unificada e comparável para capacidades de memória em agentes de RL, permitindo o progresso real da área.
• Identificação de Limitações: Demonstra de forma conclusiva que os algoritmos atuais, incluindo os modelos VLA mais avançados, não conseguem lidar com dependências temporais de longo prazo em cenários de manipulação física.
• Direcionamento de Pesquisa: Ao isolar a memória de outras competências (como percepção e controle), o benchmark permite que os pesquisadores foquem no desenvolvimento de arquiteturas com mecanismos de memória explícitos e robustos.
• Reprodutibilidade: A liberação de código, datasets e scripts facilita a reprodução dos resultados e o desenvolvimento de novas soluções pela comunidade científica.

Em resumo, o MIKASA estabelece um novo padrão para avaliar e melhorar a capacidade de agentes robóticos de "lembrar" e raciocinar sobre o passado para tomar decisões presentes, um passo essencial para a criação de robôs autônomos verdadeiramente competentes em ambientes do mundo real.