Resumo Técnico: Imitação de Demonstrações Heterogêneas usando Modelos de Mundo de Ação Latente Fundamentada

Declaração do Problema

O aprendizado por imitação alcançou um sucesso significativo na manipulação visuomotora, mas sua escalabilidade é limitada pelo alto custo e pela escassez de demonstrações de alta qualidade com rótulos de ação para robôs alvo. Embora existam abundantes fontes de dados heterogêneos (ex: simulações, dispositivos portáteis manuais, vídeos humanos), elas apresentam três desafios críticos:

1. Descompasso de Espaço de Ação: Diferentes fontes frequentemente possuem espaços de ação incompatíveis ou carecem totalmente de rótulos de ação.
2. Variação Visual e de Incorporação (Embodiment): As fontes de dados exibem diferenças substanciais em pontos de vista de câmera, morfologias de robôs e contextos de cena que não refletem a física subjacente da tarefa.
3. Limitações de Soluções Existentes: As abordagens atuais para o treinamento conjunto em dados heterogêneos dependem de técnicas de alinhamento heurísticas e projetadas manualmente (ex: perdas de transporte ótimo, razões de mistura ajustadas empiricamente ou tokenizadores específicos) em vez de um aprendizado de representação baseado em princípios.

O artigo postula que uma abordagem mais fundamentada é necessária: as ações devem ser representadas com base em seu efeito físico no ambiente, e não em sua origem. Duas ações que conduzem um objeto ao longo da mesma trajetória devem compartilhar uma representação, independentemente de originarem de um robô real, de uma simulação ou de um dispositivo manual.

Metodologia: Modelos de Mundo de Ação Latente Fundamentada (GLAM)

Os autores propõem o GLAM, um framework que unifica dados heterogêneos em um espaço de ação latente compartilhado e invariante à fonte através de um par de modelos generativos acoplados. O pipeline opera em duas etapas:

Estágio 1: Pré-treinamento GLAM (Modelo de Mundo)

A inovação central é o aprendizado de um espaço de ação latente compartilhado ($z_t$) fundamentado na dinâmica do ambiente. Isso é alcançado através de dois modelos generativos treinados conjuntamente:

1. Modelo Heterogêneo ($p(X, O, Z)$): Treinado na mistura de dados alvo ($D_{tar}$) e dados auxiliares ($D_{aux}$). Como $D_{aux}$ carece de rótulos de ação, este modelo trata as ações como variáveis latentes inferidas puramente de transições de estado.

   • Ele utiliza um Modelo de Dinâmica Inversa (IDM), $q_\phi(z_t | x_t, x_{t+1})$, para inferir ações latentes diretamente das transições observadas (onde $x_t$ é um estado latente codificado a partir de observações).
   • Utiliza um modelo de dinâmica direta compartilhado, $p_\theta(x_{t+1} | x_t, z_t)$, para prever observações futuras.
   • Princípio: Ao compartilhar o IDM e a dinâmica direta entre todas as fontes de dados, o modelo impõe que as ações latentes sejam definidas por como elas afetam o ambiente, garantindo a invariância à fonte.

2. Modelo Alvo ($p(S, A, Z)$): Treinado apenas nos dados alvo rotulados ($D_{tar}$).

   • Inclui um Codificador de Ação, $q_\eta(z_t | s_t, a_t)$, que infere ações latentes a partir de ações de robô executáveis e estados proprioceptivos.
   • Inclui um termo de reconstrução de ação, $\log p_\theta(a_t | z_t)$, garantindo que o espaço latente permaneça fundamentado na semântica de controle específica do robô alvo.

Mecanismo de Alinhamento:
Para vincular esses dois modelos, os autores introduzem uma restrição de divergência KL assimétrica ($C_{KL}$). Esta restrição alinha a posterior do IDM (do modelo heterogêneo) com a posterior do Codificador de Ação (do modelo alvo) especificamente no conjunto de dados alvo.

• A assimetria (usando um stop-gradient no codificador alvo) garante que o IDM absorva a semântica de controle "privilegiada" dos dados alvo sem ser distorcido pelos sinais ambíguos dos dados auxiliares.
• O objetivo combinado minimiza os Limites Inferiores de Evidência Negativa (ELBOs) de ambos os modelos mais a restrição de alinhamento, criando um espaço latente unificado onde qualquer transição pode ser rotulada com uma ação latente compartilhada e consciente do controle.

Nota: Os autores também investigam uma variante usando máscaras de segmentação de objetos como observações em vez de frames RGB brutos para aguçar ainda mais o foco na dinâmica do objeto manipulado.

Estágio 2: Clonagem de Comportamento (BC) Alinhada ao Modelo de Mundo

Uma vez que o modelo GLAM é pré-treinado e congelado, ele serve como uma âncora de ação latente:

1. Rotulagem: Cada transição tanto em $D_{tar}$ quanto em $D_{aux}$ é rotulada com a ação latente inferida $z_t$ usando a média da posterior do IDM.
2. Treinamento de Política: Uma política de Clonagem de Comportamento (especificamente MIP, uma política de regressão leve) é treinada para mapear observações para esses blocos (chunks) de ação latente.
3. Execução: A saída da política (ações latentes) é decodificada de volta para ações de robô executáveis usando o decodificador de ação do modelo alvo.

Esta abordagem permite que dados auxiliares não rotulados sirvam como supervisão direta para a política de BC, substituindo efetivamente a teleoperação dispendiosa do robô alvo.

Principais Contribuições

1. Aprendizado de Representação Baseado em Princípios: O artigo altera o paradigma do alinhamento heurístico para o aprendizado de representações de ação fundamentadas na predição física. As ações são alinhadas se produzem a mesma transição ambiental, independentemente da fonte.
2. Arquitetura GLAM: A introdução de um framework generativo de modelo duplo (Heterogêneo + Alvo) conectado por alinhamento KL assimétrico e dinâmica direta compartilhada. Isso cria um espaço latente que é tanto invariante à fonte (aprendido de dados mistos) quanto consciente do controle (fundamentado nas ações do robô alvo).
3. Eficiência de Dados: O método demonstra que dados heterogêneos e não rotulados podem substituir efetivamente as demonstrações do robô alvo, reduzindo significativamente os requisitos de dados para implantação confiável.
4. Fundamentação Centrada no Objeto: A exploração do uso de máscaras de objetos como entradas para melhorar ainda mais a transferibilidade, focando na física do objeto manipulado.

Resultados Experimentais

Os autores avaliaram o GLAM em cinco tarefas de manipulação: três no mundo real (levantar, pegar e colocar, derrubar) e duas em simulação (empilhamento de 2 cubos e 3 cubos).

• Ganhos de Desempenho: As políticas alinhadas pelo GLAM superaram significativamente as linhas de base de Clonagem de Comportamento (MIP) e métodos anteriores de ação latente (CLAM, LAPA).
  • Alcançaram uma melhoria média de +48% na taxa de sucesso da tarefa em tarefas com a mesma configuração de escassez de dados.
  • Na tarefa bimanual complexa "empilhar três" (que tipicamente requer centenas de demonstrações), o GLAM alcançou uma taxa de sucesso de 72,7%, enquanto todas as linhas de base falharam (≤4%).
• Transferência entre Fontes: Experimentos qualitativos confirmaram que ações latentes inferidas de fontes não rotuladas (ex: simulações manuais UMI) puderam ser decodificadas e executadas com sucesso no robô alvo (Kinova) sem quaisquer rótulos de ação, validando o alinhamento do espaço latente.
• Eficiência de Dados: Em experimentos de escala, o GLAM-O (usando máscaras de objetos) igualou o desempenho de uma política BC padrão treinada em 500 trajetórias alvo usando apenas 100 trajetórias alvo aumentadas com 400 trajetórias auxiliares. Isso sugere que os dados auxiliares podem substituir os dados alvo em uma base de quase 1:1 em termos de ganho de desempenho.
• Máscaras de Objetos: O uso de máscaras de objetos como observações melhorou consistentemente o desempenho, particularmente em tarefas complexas como "derrubar" (+25%) e "empilhar três" (+16%), apoiando a hipótese de que a fundamentação centrada no objeto melhora a transferência.

Significância e Alegações

O artigo afirma que o GLAM fornece um paradigma para aprender de dados heterogêneos que supera o gargalo de dados no aprendizado por imitação. Ao tratar as ações como variáveis latentes fundamentadas em transições de ambiente, o método elimina a necessidade de receitas de alinhamento manuais.

Os autores enfatizam que o GLAM:

• Unifica dados rotulados e não rotulados em um único espaço latente invariante à fonte.
• Permite o uso direto de dados auxiliares abundantes e baratos (como simulações ou dados de dispositivos manuais) como supervisão para robôs alvo.
• Alcança desempenho de estado da arte em configurações de escassez de dados sem a necessidade de pré-treinamento em larga escala ou interações online massivas.

O trabalho é apresentado como um passo em direção à escala de políticas capazes para a "cauda longa" de tarefas do mundo real, aproveitando diversas fontes de dados imperfeitas através de um framework de aprendizado de representação fundamentado na física.