Resumo Técnico: Modelos de Ação de Mundo Permitem Aprendizado de Imitação Contínuo com Replay Generativo Recorrente

1. Formulação do Problema

O artigo aborda o desafio do aprendizado de imitação contínuo para políticas robóticas, focando especificamente no esquecimento catastrófico. À medida que os Modelos de Ação de Mundo (WAMs) emergem como políticas robóticas de uso geral, capazes de unificar percepção, predição e controle, eles devem se adaptar a novas tarefas sequencialmente. No entanto, o ajuste fino (fine-tuning) sequencial padrão faz com que o modelo sobrescreva habilidades previamente aprendidas.

As soluções tradicionais dependem do Experience Replay (ER), que armazena e reproduz demonstrações humanas reais de tarefas anteriores. Os autores argumentam que essa abordagem é cada vez mais impraticável na robótica moderna, onde as políticas são frequentemente treinadas em conjuntos de dados de larga escala e proprietários que não são liberados publicamente, ou onde o armazenamento de demonstrações passadas é inviável. O problema central é: Como um robô pode reter habilidades aprendidas anteriormente durante a adaptação contínua sem acesso às demonstrações humanas originais?

2. Metodologia: Replay Generativo Recorrente (REGEN)

Os autores propõem o Recurrent Generative Replay (REGEN), um framework que aproveita as capacidades generativas intrínsecas dos WAMs para sintetizar trajetórias de pseudo-replay, eliminando a necessidade de armazenar demonstrações reais passadas.

Mecanismo Central

Os WAMs são definidos como políticas que modelam conjuntamente ações futuras ($\tilde{a}$) e observações visuais futuras ($\tilde{o}$), condicionadas a instruções de linguagem ($\ell$) e observações atuais ($o$). O REGEN explora isso ao consultar recursivamente o WAM para gerar trajetórias "alucinadas" para tarefas passadas.

O processo de geração para uma tarefa anterior $T_i$ (dada apenas sua instrução de linguagem $\ell_i$) procede em três estágios:

1. Inicialização: O rollout é iniciado com uma observação real amostrada das demonstrações da tarefa atual ($D_k$) para fornecer um contexto visual válido.
2. Geração Recorrente: O modelo prevê um bloco de ação (action chunk) e uma observação futura. Crucialmente, a observação futura gerada ($\tilde{o}_t$) é alimentada de volta como a observação de entrada para o próximo passo, em vez de usar dados reais. Esse loop recursivo continua até que uma condição de terminação seja atingida.
3. Terminação: A geração para quando um horizonte máximo é atingido ou quando a cabeça de recompensa interna do modelo prevê a conclusão da tarefa (ex: recompensa > 0,99 para passos consecutivos).

Objetivo de Treinamento

A política é atualizada via clonagem comportamental em um conjunto de dados combinado $D^+_k = D_k \cup R_k$, onde $D_k$ é o conjunto de demonstrações reais da tarefa atual e $R_k$ é o conjunto de trajetórias pseudo-sintetizadas para todas as tarefas anteriores. A função de perda minimiza a diferença entre as ações previstas pela política e as ações dentro dessas trajetórias pseudo, condicionadas às respectivas instruções da tarefa.

3. Principais Contribuições

O artigo delineia três contribuições primárias:

1. Framework REGEN: O primeiro framework de aprendizado de imitação contínuo que utiliza o próprio WAM como um mecanismo nativo de replay generativo, sintetizando trajetórias sem armazenar demonstrações reais passadas.
2. Validação Empírica: Demonstração de que o REGEN mitiga substancialmente o esquecimento catastrófico tanto em ambientes simulados (benchmarks LIBERO) quanto no mundo real (manipulador xArm7), preservando simultaneamente a transferência direta (forward transfer) para novas tarefas.
3. Análise de Limitações: Identificação dos gargalos específicos que impedem o replay generativo de igualar o experience replay real: (i) degradação visual de longo horizonte na geração recursiva, e (ii) inconsistências entre as observações futuras previstas e as ações geradas correspondentes.

4. Resultados Experimentais

Simulação (Benchmarks LIBERO)

Experimentos foram conduzidos nos suítes LIBERO-Spatial, LIBERO-Object e LIBERO-Goal.

• Desempenho: O REGEN reduziu a Transferência Negativa Retroativa (NBT) em mais de 50% em comparação ao Ajuste Fino Sequencial (Seq-FT) ingênuo. Por exemplo, no LIBERO-Goal, a NBT caiu de 100 (Seq-FT) para 44,9 (REGEN).
• Comparação: Embora o Experience Replay (ER) usando dados reais permaneça como o limite superior (upper bound), o REGEN superou significativamente outros baselines de não-replay (Seq-LoRA, EWC, PackNet) e aproximou-se do desempenho de métodos de ER privilegiado.
• Estabilidade de Representação: A análise do desvio da representação de ação mostrou que o REGEN manteve um desvio significativamente menor (0,12) comparado ao Seq-FT (0,30), preservando a estrutura interna da política.

Manipulação no Mundo Real

Testes foram realizados em um robô xArm7 com tarefas envolvendo a colocação de objetos (cenouras, berinjelas) em tigelas ou pratos.

• Resultados: O REGEN reduziu o esquecimento (NBT) de 96,3 para 60,5 e melhorou a Transferência Direta (FWT) de 50 para 80 em comparação ao Seq-FT.
• Significância: Isso confirma a viabilidade do método além da simulação, oferecendo uma abordagem prática para robôs reais onde a recolocação de dados passados é impossível.

5. Limitações e Direções Futuras

Os autores explicitamente observam que o REGEN ainda não é um substituto completo para o experience replay real. A lacuna de desempenho é atribuída a dois fatores principais:

1. Degradação da Fidelidade Visual: À medida que o modelo gera observações recursivamente, artefatos visuais e desfoque se acumulam. Essa degradação correlaciona-se com o aumento do esquecimento (NBT), conforme o sinal de supervisão enfraquece ao longo do tempo.
2. Inconsistência Ação-Observação: Existe um descompasso entre a taxa de sucesso "imaginada" (baseada em visuais gerados) e a taxa de sucesso "fundamentada" (baseada na execução de ações). O modelo frequentemente prevê resultados de sucesso visualmente plausíveis enquanto gera ações que são fisicamente insuficientes.

O artigo conclui que melhorar a fidelidade e a consistência da geração do WAM é a direção futura crítica necessária para fechar a lacuna entre o pseudo-replay e o experience replay real.

6. Significância

O artigo postula que "Um robô que consegue imaginar seu passado pode continuar aprendendo seu futuro". Ao estabelecer os WAMs como uma base para o aprendizado contínuo sem o armazenamento de demonstrações, o REGEN oferece um caminho para o aprendizado vitalício (lifelong learning) em robótica em cenários onde a privacidade de dados ou restrições de armazenamento impedem o uso de buffers de replay tradicionais. O trabalho destaca que as capacidades generativas dos WAMs podem servir como uma forma eficaz de memória implícita, desde que as limitações dos modelos generativos atuais sejam abordadas.