Resumo Técnico: Avaliação de Desempenho da Memória de Robôs sob Interferência

Declaração do Problema

À medida que os robôs são implantados em ambientes realistas, eles devem operar através de inúmeras sessões e tarefas não relacionadas. Um desafio crítico para a implantação no mundo real é a capacidade de recuperar informações de sessões que ocorreram significativamente no passado, enterradas atrás de um histórico de interações irrelevantes. O problema central abordado é se os sistemas atuais de memória de robôs conseguem recuperar com sucesso informações prévias úteis quando estas são obscurecidas pela interferência de sessões não relacionadas.

Metodologia

Os autores introduzem o RoboMME-Interference, um benchmark de cross-session construído sobre o framework existente RoboMME [Dai et al., 2026]. A metodologia envolve a construção de um "buffer de histórico" para cada episódio de consulta, que serve como a entrada de memória para a política de Visão-Linguagem-Ação (VLA).

Construção do Benchmark

• Estrutura: Para cada consulta, o buffer de histórico contém a demonstração prévia relevante (a "lição") seguida por $k$ sessões distratoras não relacionadas.
• Níveis de Interferência: O número de sessões distratoras ($k$) é testado através de $\{0, 1, 3, 7\}$, representando interferência nula, leve, moderada e forte, respectivamente. Uma linha de base "sem histórico" com um buffer vazio também é incluída.
• Design dos Distratores: Os distratores são extraídos de diferentes famílias de tarefas em relação à consulta para evitar a introdução de fatos contraditórios (ex: alvos conflitantes) que tornariam a degradação de desempenho não interpretável. Cada distrator contribui com uma seção de comprimento fixo de 32 frames armazenados, garantindo a comparabilidade entre as sessões.
• Seleção de Tarefas: O benchmark utiliza nove famílias de tarefas do RoboMME onde a informação prévia necessária está contida em um vídeo de demonstração autossuficiente, distinto da fase de execução. Estas incluem:
  • Imitação: MoveCube, InsertPeg, PatternLock, RouteStick.
  • Referência condicionada a vídeo: VideoRepick, VideoPlaceButton, VideoPlaceOrder.
  • Permanência condicionada a vídeo: VideoUnmask, VideoUnmaskSwap.
  • Excluídas: Outras sete tarefas do RoboMME foram excluídas porque seus sinais estão intercalados dentro de um único episódio de execução, impedindo o isolamento de uma sessão prévia separável.

Sistemas Avaliados

O estudo avalia nove variantes de memória aumentada da política $\pi_{0.5}$ [Physical Intelligence et al., 2025], executando-as sem modificações através do benchmark. Os sistemas variam por representação de memória e mecanismo de integração:

• Representações: Perceptual (FrameSamp, TokenDrop), Recorrente (TTT, RMT) e Simbólica (excluída desta avaliação específica devido à dependência de anotações pré-definidas).
• Mecanismos de Integração: Concatenação de contexto, Modulador (LayerNorm adaptativa) e Especialista (atenção causal por blocos).
• Linha de Base (Baseline): A política padrão $\pi_{0.5}$ sem memória.

Principais Contribuições

1. Benchmark de Interferência Cross-Session: Uma extensão do RoboMME que mede explicitamente o impacto do comprimento da sessão e da memória não relacionada na precisão, inserindo um número controlado de sessões não relacionadas entre as memórias relevantes e as consultas.
2. Grade de Resultados Abrangente: Uma avaliação completa de nove sistemas de memória através de nove famílias de tarefas, fornecendo um detalhamento do nível de degradação de desempenho conforme a interferência aumenta. Isso inclui código, dados, figuras e análise liberados junto com o artigo.

Resultados

A avaliação revela um contraste acentuado entre o desempenho com memória limpa e o desempenho sob interferência:

• Desempenho com Memória Limpa ($k=0$): Quando o buffer de histórico contém apenas a lição relevante, as variantes de memória perceptual superam significativamente a linha de base sem histórico. O sistema de melhor desempenho, FrameSamp-Modulator, atinge uma taxa de sucesso de 45,3% (um aumento de 27,1 pontos percentuais em relação à sua linha de base de 18,2% sem histórico).
• Degradação sob Interferência: À medida que as sessões não relacionadas se acumulam ($k=1, 3, 7$), o desempenho de todos os sistemas decai constantemente.
  • O FrameSamp-Modulator cai aproximadamente 26 pontos percentuais de $k=0$ para $k=7$, retornando a cerca de 19,3%, o que é próximo ao seu piso original sem histórico.
  • O TokenDrop-Modulator cai de forma semelhante em ~16 pontos, terminando em 19,8%.
• Sensibilidade do Mecanismo de Integração: Sistemas com a mesma representação comportam-se de maneira diferente dependendo da integração. Por exemplo, o FrameSamp com uma integração Modulator supera vastamente o FrameSamp com integração Context ou Expert em $k=0$, mas todos convergem para a linha de base conforme a interferência aumenta.
• Variantes Recorrentes: As variantes recorrentes (TTT) não mostram ganho significativo sobre a linha de base sem histórico em qualquer comprimento de sessão, permanecendo em ou abaixo de 18% de sucesso.
• Variância de Tarefa e Dificuldade: Os benefícios de memória são desiguais entre as famílias de tarefas e níveis de dificuldade. Os ganhos são mais pronunciados em episódios de dificuldade fácil e média, enquanto episódios difíceis permanecem próximos ao piso de desempenho para todos os sistemas.

Significância e Alegações

O artigo alega que, embora as variantes de memória perceptual melhorem o sucesso quando fornecidas com um histórico limpo, elas falham em manter a robustez conforme as sessões não relacionadas se acumulam. Os sistemas atuais falham amplamente em memória de longo contexto e robustez à interferência, com o desempenho colapsando para o nível de um sistema sem memória assim que o número suficiente de distratores é introduzido.

Os autores posicionam este trabalho como um passo necessário para tornar a recuperação cross-session de longo horizonte mensurável para políticas de robôs, de forma semelhante a como a recuperação de longo prazo é avaliada para Grandes Modelos de Linguagem (LLMs). Eles concluem que a recuperação cross-session confiável está atualmente fora do alcance das políticas de robôs, mas observam que a literatura de memória de LLMs oferece um corpo de trabalho maduro para servir de base conforme os sistemas de memória de robôs evoluem.

Limitações observadas pelos autores:

• A avaliação é conduzida em simulação usando checkpoints liberados; a validação em robôs reais é um trabalho futuro.
• Os resultados refletem a amostragem sobre episódios, mas não a variação de execução para execução ou de treinamento (única semente por sistema).
• O benchmark é limitado a famílias de tarefas com demonstrações prévias separáveis.