Resumo Técnico: CLAM - Modelos de Ação Latente Contínua para Aprendizado de Robôs a partir de Demonstrações Não Rotuladas

Declaração do Problema

O aprendizado de políticas de controle de robôs a partir de demonstrações depende tipicamente de dados de especialistas onde as ações são explicitamente rotuladas (ex: via teleoperação). A coleta de tais dados é cara, demorada e difícil de escalar, particularmente para o ajuste fino de modelos em diversos ambientes do mundo real. Embora vídeos de demonstração humana sejam abundantes e mais fáceis de coletar, eles carecem dos sinais de controle de robô de "verdade fundamental" (ground-truth) necessários para o aprendizado por imitação (IL) padrão. Além disso, converter vídeos humanos para observações compatíveis com robôs não fornece inerentemente os rótulos de ação ausentes.

O artigo aborda um cenário prático onde:

1. Dados de Especialista Não Rotulados: Existe um grande corpus de vídeos de demonstração de robôs (seja convertido de vídeos humanos ou logs existentes), mas que carece de rótulos de ação.
2. Dados de Brincar (Play Data) Isentos de Tarefa: Um pequeno conjunto de dados de transições de robô com rótulos de ação está disponível, mas estes são dados de "brincar" (não direcionados, não especialistas) em vez de demonstrações de especialistas específicas para uma tarefa.
3. Objetivo: Aprender uma política de alto desempenho para uma tarefa específica usando os vídeos de especialistas não rotulados e a pequena quantidade de dados de brincar isentos de tarefa, sem nunca coletar novas demonstrações de especialistas com rótulos de ação.

Metodologia: Modelos de Ação Latente Contínua (CLAM)

O CLAM é um framework de dois estágios projetado para inferir ações latentes contínuas e fundamentá-las em comandos motores executáveis.

1. Treinamento do Modelo de Ação Latente (LAM) (Estágio 1)

O núcleo do CLAM é um modelo de ação latente auto supervisionado que aprende a inferir ações entre observações consecutivas sem rótulos de verdade fundamental.

• Componentes:
  • Modelo de Dinâmica Inversa Latente (IDM): $f_\phi(z_t | o_{t-H}, \dots, o_t, o_{t+1})$ infere uma ação latente contínua $z_t$ entre as observações.
  • Modelo de Dinâmica Direta Latente (FDM): $g_\psi(o_{t+1} | o_{t-H}, \dots, o_t, z_t)$ prevê a próxima observação condicionada ao histórico atual e à ação latente inferida.
• Objetivo de Auto Supervisão: O modelo é treinado para minimizar o erro de reconstrução da observação futura ($L_{recon} = MSE(\hat{o}_{t+1}, o_{t+1})$). Este ciclo força a ação latente $z_t$ a codificar a informação de transição necessária dependente do estado.
• Espaço Latente Contínuo: Ao contrário de trabalhos anteriores que utilizam Quantização Vetorial (VQ) para discretizar ações, o CLAM utiliza um espaço de ação latente contínuo. Isso é crítico para tarefas de controle contínuo de alta dimensão, onde aproximações discretas falham.
• Treinamento Conjunto com Decodificador de Ação: Para garantir que as ações latentes sejam executáveis, o CLAM treina conjuntamente um decodificador de ação latente $p_\omega(a_t | z_t)$ usando o pequeno conjunto de dados de brincar isento de tarefa ($D_{labeled}$).
  • O decodificador mapeia ações latentes $z_t$ para comandos motores reais $a_t$.
  • O objetivo de treinamento combina a perda de reconstrução e a perda do decodificador de ação: $L_{CLAM} = L_{recon} + \beta L_{action-decoder}$.
  • Insight Crucial: O treinamento conjunto regulariza o espaço latente, garantindo que ele permaneça decodificável. O decodificador não é condicionado às observações, forçando a ação latente a ser um código de ação de baixo nível.

2. Treinamento da Política de Ação Latente (Estágio 2)

Uma vez que o LAM está pré-treinado:

• Relabelagem: O IDM treinado anota as demonstrações de especialistas não rotuladas ($D_{unlabeled-expert}$) com pseudo-ações latentes, criando um conjunto de dados de pares $(o_t, z_t)$.
• Aprendizado de Política: Uma política de ação latente $\pi_\theta(z_t | o_t)$ é treinada via aprendizado por imitação padrão (clonagem de comportamento) neste conjunto de dados relabelado.
• Inferência: Durante a execução, a política prevê uma ação latente $z_t$ dada uma observação, e o decodificador de ação pré-treinado $p_\omega$ converte $z_t$ em um comando motor físico.

Principais Contribuições

1. Relabelagem de Ação Latente Contínua: Os autores demonstram que a relabelagem de ação latente torna-se prática para controle robótico contínuo apenas quando se utiliza espaços latentes contínuos combinados com fundamentação conjunta (treinando o decodificador simultaneamente com o LAM).
2. Utilização Eficiente de Dados: O framework mostra que dados de brincar isentos de tarefa são suficientes para fundamentar ações latentes. Isso reduz drasticamente o custo de coleta de dados, pois elimina a necessidade de teleoperação de especialistas específica para a tarefa durante a fase de rotulagem de ações.
3. Implantação no Mundo Real: O CLAM é implantado com sucesso em um braço robótico WidowX físico através de quatro tarefas de manipulação, alcançando desempenho competitivo com políticas treinadas com rótulos de ação de especialistas privilegiados, apesar de nunca ter visto tais rótulos durante o treinamento.

Resultados Experimentais

O artigo avalia o CLAM no DMControl (locomoção), MetaWorld (manipulação) e em um robô real WidowX.

• Ganhos de Desempenho:
  • No DMControl (baseado em estado), o CLAM melhora o retorno normalizado médio em mais de 2× em comparação com a melhor linha de base (VPT).
  • No MetaWorld (baseado em imagem), o CLAM alcança taxas de sucesso de tarefa 2–3× maiores que as linhas de base como LAPO, LAPA e DynaMo.
  • O CLAM aproxima-se ou até supera o desempenho do BC-Expert (clonagem de comportamento treinada com ações de especialista de verdade fundamental), apesar de o BC-Expert ter acesso a rótulos privilegiados enquanto o CLAM não possui.
• Estudos de Ablação:
  • Contínuo vs. Discreto: Ações latentes discretas (usando VQ) apresentam um desempenho ruim em tarefas de controle contínuo. Ações latentes contínuas sozinhas proporcionam uma melhoria de aproximadamente 1.5×.
  • Treinamento Conjunto: Treinar conjuntamente o decodificador de ação com o LAM é essencial. Isso aumenta o desempenho em cerca de 3× quando combinado com ações latentes contínuas.
  • Escalabilidade de Dados: O desempenho escala com a quantidade de dados de especialistas não rotulados ($|D_{unlabeled}|$). O método também escala com a quantidade de dados de brincar ($|D_{labeled}|$) usados para fundamentação, superando o BC padrão que estagna rapidamente com dados não especialistas.
• Resultados de Robô Real: No WidowX, o CLAM resolve tarefas de manipulação (ex: montagem, coleta em caixas) com taxas de sucesso significativamente maiores que as linhas de base, muitas vezes igualando o desempenho da linha de base privilegiada BC-Expert.

Significância e Alegações

O artigo afirma que o CLAM representa uma solução escalável para aprender políticas de robôs a partir de dados sem ação. Sua principal significância reside em:

• Remover o Gargalo da Rotulagem de Especialistas: Demonstra que políticas de robôs eficazes podem ser aprendidas sem a coleta de demonstrações de especialistas com rótulos de ação específicos para a tarefa, que são caras.
• Alavancar Dados Baratos: Ao utilizar vídeos de robôs não rotulados abundantes e dados de brincar isentos de tarefa e baratos, o CLAM reduz a barreira de entrada para o aprendizado de robôs.
• Necessidade Arquitetônica: O trabalho estabelece que, para controle contínuo de alta dimensão, a combinação de espaços latentes contínuos e o treinamento conjunto do decodificador de ação não é apenas benéfica, mas essencial para o sucesso, distinguindo-se de modelos de ação latente anteriores projetados para domínios discretos.

Os autores observam que, embora o CLAM seja eficaz em configurações de robô único e tarefa única, trabalhos futuros são necessários para abordar desafios de generalização para vídeos da internet "no mundo real" (lidar com artefatos, lacunas de embodiment) e escalar para o aprendizado de múltiplos corpos (cross-embodiment).