Resumo Técnico: Política de Memória de Ação Comprimida (CAMP)

Declaração do Problema

Tarefas de manipulação robótica de longo horizonte e ricas em contato são inerentemente parcialmente observáveis. Nestes cenários, uma única observação visual raramente captura o contexto de ação completo do robô, incluindo tentativas anteriores, interações físicas ou a fase atual do progresso da tarefa. Consequentemente, políticas visuomotoras padrão e modelos de Visão-Linguagem-Ação (VLA) sofrem de "amnésia", agindo sobre sinais ambíguos que falham em distinguir estados que parecem visualmente idênticos, mas diferem em seu histórico de interação.

As soluções existentes enfrentam limitações significativas:

• Políticas sem memória: Falham em rastrear o progresso ou aprender com tentativas falhas em ambientes ricos em contato.
• Abordagens baseadas em VLA: Frequentemente exigem prompts humanos tediosos e não escaláveis para ditar o que lembrar, ou dependem da predição de observações visuais passadas/futuras de alta dimensão, o que é computacionalmente proibitivo e propenso a aprender detalhes irrelevantes para a tarefa.
• Memória Visual: Métodos que dependem de memória de tokens visuais ou recuperação de quadros-chave (keyframes) lutam quando a informação crítica está codificada no histórico de contato físico, em vez da aparência visual.

Metodologia: Política de Memória de Ação Comprimida (CAMP)

O CAMP aborda esses desafios aproveitando o próprio histórico de ações do robô como um sinal altamente informativo e autossupervisionado. A ideia central é que, ao aprender a reconstruir ações passadas, uma política pode naturalmente extrair e reter apenas a informação comportamental mais crítica necessária para desambiguar estados parcialmente observáveis.

A arquitetura CAMP consiste em três componentes primários:

1. Pré-treinamento do Módulo de Memória (Autossupervisionado)

Um módulo de memória recorrente (implementado como um LSTM de duas camadas) é pré-treinado para resumir o histórico de interação.

• Entrada: O módulo processa pares observação-ação, utilizando especificamente uma câmera de terceira visão fixa (para referência espacial consistente) e propriocepção.
• Objetivo: Em vez de memorizar sequências de ações brutas, o módulo prevê uma representação comprimida da trajetória de ação passada usando a Transformada Discreta de Cosseno (DCT).
• Função de Perda: O objetivo de treinamento combina:
  • Perda de Reconstrução ($L_{rec}$): Supervisiona a predição de coeficientes DCT no domínio da frequência. Um peso de frequência reduz os coeficientes de alta frequência, forçando a memória a capturar a estrutura de baixa frequência (forma) da trajetória enquanto descarta o ruído de nível de passo.
  • Consistência Temporal ($L_{cons}$): Garante que a reconstrução de uma ação passada fixa permaneça consistente conforme o episódio avança, evitando que a conta da memória derive.
• Resultado: O estado oculto $h_t$ torna-se um resumo latente compacto do histórico comportamental, em vez de um buffer bruto.

2. Discretização (Quantização Vetorial)

Para melhorar a generalização, o estado oculto contínuo $h_t$ é discretizado usando um Quantizador Vetorial (VQ).

• O estado é mapeado para a entrada mais próxima em um código de livro (codebook) aprendido.
• Esta discretização força a memória a codificar estados comportamentais de grão grosso em vez de identidades de trajetória de grão fino, o que os autores descobriram ser crucial para a generalização entre demonstrações.
• O estado quantizado é projetado para um código de memória $m_t$ que serve como o único sinal de histórico para a cabeça de ação.

3. Cabeça de Ação de Difusão

A cabeça de ação segue a estrutura da Política de Difusão (Diffusion Policy), prevendo um bloco de ações futuras.

• Condicionamento: O modelo de difusão é condicionado pela concatenação de características visuais (de câmeras de terceira pessoa e de pulso), propriocepção e o código de memória discretizado $m_t$.
• Cronograma de Treinamento: Um cronograma de aquecimento-então-ajuste fino (warm-up-then-finetune) em estágios é empregado. O módulo de memória é pré-treinado e congelado enquanto a cabeça de ação aprende a se adaptar a ele. Subsequentemente, a memória é descongelada e ajustada conjuntamente com a cabeça de ação. Isso evita que a perda de ação erode a informação de longo horizonte instalada durante o pré-treinamento.

Principais Contribuições

1. Formulação de Memória Autossupervisionada: Introduz a reconstrução do histórico de ação via compressão DCT como um sinal autossupervisionado escalável para capturar memória comportamental relevante para a tarefa sem supervisão externa.
2. A Arquitetura CAMP: Um novo framework que integra um módulo de memória recorrente (treinado via compressão de ação DCT) com uma política de difusão, permitindo manipulação de longo horizonte e rica em contato em ambientes parcialmente observáveis.
3. Benchmarks Inovadores: O lançamento do Memory-T-Bench (empurrar 2D rico em contato) e Memory-Manip-Bench (manipulação baseada em visão 3D), especificamente desenhados para avaliar tarefas dependentes de memória envolvendo rastreamento de progresso e aprendizado com falhas.
4. Validação Extensa: Demonstração empírica da superioridade do CAMP sobre baselines de estado da arte em simulação e quatro configurações de robôs reais.

Resultados Experimentais

Benchmarks de Simulação

• Memory-T-Bench: O CAMP supera significativamente a Política de Difusão (DP) sem memória em variantes parcialmente observáveis.
  • Multi-Alvos: 94,0% (CAMP) vs. 56,0% (DP).
  • Swap-Shuffle: 92,0% (CAMP) vs. 48,0% (DP).
  • Em tarefas totalmente observáveis (Push-T padrão), o CAMP performa de forma comparável ao DP (98,0% vs. 94,0%), demonstrando que não há penalidade para a memória quando ela não é necessária.
• Memory-Manip-Bench: O CAMP atinge uma taxa de sucesso média de 64,3%, superando o baseline mais forte (DP com 40,9%) em mais de 23%. Ele lidera em 6 de 7 tarefas, com as maiores margens em tarefas que exigem recall de estado (ex: Swap-Block: 86,0% vs. 18,0%).
• Eficiência de Dados: O sucesso do CAMP escala monotonicamente com o número de demonstrações (42% para 94% conforme as demos aumentam de 80 para 320), enquanto políticas sem memória não mostram ganho consistente, indicando que o gargalo para políticas sem memória é a observabilidade parcial, não o volume de dados.

Experimentos com Robôs Reais

Avaliado em quatro tarefas: Push-T-Multi-Goals, Swap-Can, Wipe-Plate e Probe-Insert.

• Baselines: Todos os baselines sem memória (ACT, DP, $\pi^{0.5}$, MemoryVLA) colapsaram para 0/10 de sucesso em Push-T-Multi-Goals, Swap-Can e Wipe-Plate.
• CAMP: Alcançou 7/10 de sucesso em todas as três tarefas e 11/15 em Probe-Insert.
• Modos de Falha: Os baselines falharam devido à oscilação entre objetivos, estagnação após trocas parciais ou entrada em loops infinitos (reuso de escovas/placas) porque não conseguiam rastrear quais sub-objetivos foram concluídos. O CAMP resolveu isso com sucesso através da lembrança das interações passadas.

Estudos de Ablação

• Discretização: Remover a quantização vetorial reduz o desempenho (94% $\to$ 60%), confirmando que estados comportamentais grosseiros generalizam melhor do que identidades de trajetória finas.
• Compressão: Substituir DCT por waypoints brutos ou DFT reduz o desempenho, destacando a necessidade da compressão de baixa frequência.
• Cronograma de Treinamento: O treinamento conjunto desde o início (66%) ou o pré-treinamento seguido de ajuste fino imediato (46%) falham. O cronograma warm-up-then-finetune é crítico para preservar a memória pré-treinada enquanto permite que ela se adapte à política.
• Reconstrução vs. Utilidade: A memória ajustada, embora alcance maior sucesso na política (94%), possui uma perda de reconstrução pior (1,46) em comparação com a memória pré-treinada (0,35). Isso indica que a política se beneficia de um resumo comprimido alinhado com a tomada de decisão, e não de uma reconstrução perfeita do passado.

Significância e Alegações

O artigo afirma que o CAMP é, tanto quanto os autores sabem, a primeira política a demonstrar sucesso substancial em tarefas de manipulação ricas em contato e parcialmente observáveis puramente através de memória aprendida.

Principais pontos enfatizados pelos autores:

• A memória resolve a observabilidade parcial: Ao comprimir o histórico de ação, o CAMP transforma problemas parcialmente observados em problemas efetivamente Markovianos para a política.
• A autossupervisão é suficiente: Robôs podem aprender memória comportamental robusta a partir de seu próprio histórico de ação sem precisar de rótulos de tarefas explícitos ou prompting humano.
• Escalabilidade: A abordagem evita o custo computacional da predição visual e os problemas de escalabilidade do engenharia de prompts manuais.

Os autores observam limitações: o método ainda tem dificuldades com requisitos de memória de horizonte extremamente longo, e estender o método para manipulação destreza permanece como uma direção aberta para trabalhos futuros.