Resumo Técnico: MuGen - Controlador Generativo de Locomoção Multi-Habilidade para Robôs Humanoides

Declaração do Problema

Robôs humanoides alcançaram progresso significativo na locomoção bípede por meio de aprendizado por reforço profundo (RL). No entanto, abordagens existentes frequentemente dependem de modelagem de recompensa específica para tarefas, o que é desafiador de projetar e carece de generalização em diversas tarefas. Embora o aprendizado por imitação (IL) ofereça uma alternativa promissora ao aproveitar conjuntos de dados de movimento humano, os métodos atuais enfrentam duas limitações primárias:

1. Limitações Estruturais: Políticas de rastreamento ingênuas lutam para capturar a estrutura complexa do espaço de ações sob restrições cinemáticas e dinâmicas, tornando difícil extrair e reutilizar padrões de movimento distintos de conjuntos de dados em grande escala.
2. Confiabilidade Dinâmica: A separação entre geração de movimento e controle do robô frequentemente falha em garantir que trajetórias geradas sejam dinamicamente viáveis. Mesmo trajetórias cinematicamente plausíveis podem ser incontroláveis pela política de controle do robô, levando à instabilidade ou falha.

O MuGen aborda essas questões propondo um framework baseado em dados que aprende um sistema de controle generativo diretamente da simulação física, garantindo que as habilidades aprendidas sejam consistentes com as restrições dinâmicas do robô.

Metodologia

O MuGen emprega um framework de aprendizado Professor-Aluno combinado com Autoencoders Variacionais Quantizados Vetorialmente (VQ-VAEs) e Aprendizado por Reforço Baseado em Modelo (MBRL). O sistema é treinado em simulação (NVIDIA IsaacGym) utilizando o conjunto de dados de movimento LaFAN1.

1. Modelo Generativo e Embeddings de Habilidade

O núcleo do MuGen é um espaço latente estruturado para habilidades de movimento aprendido via VQ-VAE.

• Codificador ($E$): Mapeia estados do robô ($s$) e movimentos de referência ($m$) para embeddings contínuos ($z$).
• Gargalo VQ: Quantiza esses embeddings para a entrada mais próxima em um livro de códigos treinável ($\hat{z} = B(z)$), criando um espaço de habilidades discreto.
• Decodificador ($D$): Condiciona-se ao código quantizado e ao estado atual para produzir uma distribuição sobre alvos de juntas (ações).
• Modelo de Mundo ($W$): Um modelo de dinâmica diferenciável prevê o próximo estado ($s_{t+1}$) dado o estado atual e a ação. Isso preenche a lacuna entre referências cinemáticas e ações da política, permitindo otimização baseada em gradiente sem depender de gradientes de RL baseados em amostras.

2. Estratégia de Treinamento

O processo de treinamento é dividido em três etapas para garantir a destilação robusta da política:

• Pré-treinamento: A Política Professor é treinada usando informações privilegiadas (conhecimento completo do estado) e o modelo de mundo. Ela otimiza conjuntamente a política e o livro de códigos VQ para reconstruir movimentos de referência enquanto minimiza o erro de rastreamento.
• Aquecimento: A Política Aluno é introduzida. Ela observa informações limitadas (simulando restrições de sensores do mundo real) mas compartilha o livro de códigos congelado com o professor. O aluno é aquecido enquanto o professor continua a gerar trajetórias.
• Destilação: O professor e o livro de códigos são congelados. A política aluno é treinada para imitar o comportamento do professor. Uma nova estratégia de agendamento progressivo (inspirada em DAgger) é empregada: dentro de uma única trajetória de rolagem, o controle é alternado aleatoriamente entre o professor e o aluno, com a probabilidade de selecionar o professor sendo anneada linearmente a zero. Isso permite que o professor estabilize o robô se o aluno cometer erros, prevenindo mudanças abruptas de distribuição.

3. Destilação de Política

A política aluno aprende através de dois objetivos:

• Clonagem de Comportamento ($L_{BC}$): Minimizando a discrepância direta de ação entre o aluno e o professor.
• Alinhamento Latente ($L_{align}$): Incentivando o codificador do aluno a produzir embeddings compatíveis com o livro de códigos congelado do professor, facilitando a transferência de conhecimento ao nível de características.

Contribuições Principais

1. Framework de Locomoção Generativa: O MuGen introduz um framework que aprende um espaço latente discreto e dinamicamente viável para locomoção multi-habilidade diretamente de dados de movimento humano heterogêneos, eliminando a necessidade de funções de recompensa artesanais.
2. Destilação Professor-Aluno com VQ-VAE: O artigo propõe uma arquitetura específica onde um professor privilegiado aprende uma representação de habilidade baseada em VQ, que é então destilada em uma política aluno implantável usando um livro de códigos compartilhado. Isso permite a transferência de habilidades dinâmicas complexas para uma política com capacidades limitadas de observação.
3. Estratégia de Destilação Progressiva: Os autores desenvolvem um novo mecanismo de agendamento onde as políticas professor e aluno são misturadas dentro de trajetórias únicas durante a destilação. Essa abordagem mitiga a queda de desempenho frequentemente observada ao alternar de configurações de observação privilegiada para limitada.
4. Implantação no Mundo Real: O framework é validado em um robô humanoide Unitree G1, demonstrando a capacidade de rastrear movimentos não vistos (caminhada, corrida, agachamento, dança) e gerar novos movimentos autonomamente usando apenas sensores proprioceptivos a bordo.

Resultados Experimentais

Os autores avaliaram o MuGen no robô Unitree G1 e em simulação usando um subconjunto do conjunto de dados LaFAN1 (aproximadamente 1 hora de dados de locomoção).

• Desempenho de Rastreamento: Em simulação, o MuGen alcançou uma Taxa de Sobrevivência (SR) de 95,35% em movimentos não vistos, superando significativamente as linhas de base (MLP Vanilla: 60,70%, Baseado em VAE: 51,51%). Também demonstrou menor Erro Médio de Rotação de Juntas (MJRE) e Erro Médio de Velocidade Linear (MVE) em comparação com as linhas de base.
• Robustez: O sistema manteve a estabilidade sob randomização de domínio (variação de atrito, carga útil e ruído do sensor). Estudos de ablação confirmaram que embeddings de habilidades discretas (VQ) e histórico temporal moderado são críticos para a robustez.
• Capacidade Generativa: Ao treinar um "codificador prior" para amostrar habilidades latentes do livro de códigos baseando-se apenas no estado proprioceptivo, o sistema gerou com sucesso movimentos diversos e suaves (caminhada, corrida, virada) sem trajetórias de referência.
• Execução no Mundo Real: A política foi implantada no Unitree G1 a 30 Hz, executando com sucesso caminhadas em linha reta e caminhadas agachadas, demonstrando a capacidade do framework de preencher a lacuna sim-to-real.

Significado e Alegações

O artigo alega que o MuGen representa um passo significativo em direção a controladores generativos para robôs humanoides. Seu significado principal reside em:

• Generalização: A capacidade de aprender um conjunto de habilidades compacto a partir de dados não estruturados e aplicá-lo a movimentos não vistos e tarefas de geração sem retreinamento.
• Implantabilidade: A transferência bem-sucedida de uma política generativa complexa baseada em física para um robô humanoide do mundo real com sensoriamento limitado, superando a lacuna "sim-to-real" através de randomização de domínio e uma estratégia de destilação robusta.
• Eficiência: O método reduz a dependência de engenharia extensiva de recompensas, aproveitando a similaridade morfológica entre humanos e robôs para produzir comportamentos ágeis e expressivos.

Os autores reconhecem limitações, incluindo dificuldades em manter uma postura em pé estável (devido à subrepresentação de posturas estáticas nos dados de treinamento) e a dependência de um modelo de mundo simplificado. No entanto, eles postulam que este framework fornece uma base escalável para trabalhos futuros em geração de movimento orientada por prompts e adaptação a terrenos mais complexos.