DreamControl-v2: Simpler and Scalable Autonomous Humanoid Skills via Trainable Guided Diffusion Priors

Resumo Técnico: DreamControl-v2

1. O Problema

O desenvolvimento de habilidades autônomas de locomanipulação (locomoção + manipulação) para humanoides é um desafio aberto na robótica. Embora o Aprendizado por Reforço (RL) tenha tido sucesso em locomoção, aplicá-lo a tarefas complexas de interação com o ambiente é difícil devido aos desafios de planejamento de longo horizonte.

A abordagem anterior, DreamControl, utilizava modelos de difusão de movimento humano "prontos para uso" (off-the-shelf) como prior generativo para guiar políticas de RL. No entanto, essa abordagem apresentava limitações críticas de escalabilidade e utilidade:

• Pipeline de "Gerar e Retargetar": O modelo gerava movimentos em espaço humano (baseado em dados de captura de movimento humana) que precisavam ser retargetados (adaptados) para o robô.
• Perda de Restrições Espaciais: Restrições espaciais definidas no espaço humano (ex: "pegar a caixa na posição X") não eram preservadas após o retargeting para o robô, pois a cinemática é diferente.
• Ajuste Manual Intensivo: Para compensar, era necessário um processo de tentativa e erro (prompting manual) para ajustar as condições de entrada até que o robô alcançasse o objetivo, o que é trabalhoso e não escala bem.
• Filtragem Manual: Muitos movimentos gerados eram inválidos para o robô, exigindo filtragem manual de trajetórias.

2. Metodologia: DreamControl-v2

O DreamControl-v2 propõe uma mudança fundamental: treinar um modelo de difusão guiado diretamente no espaço de ação do robô, em vez de usar um modelo humano genérico.

A. Construção de um Dataset no Espaço do Robô (Robot-Space Dataset)

• Retargeting Prévio em Larga Escala: Os autores agregam grandes conjuntos de dados heterogêneos (AMASS, HumanML3D, GRAB, Nymeria e dados de teleoperação) e os retargetam para o formato do robô Unitree G1 antes do treinamento do modelo.
• Unificação: Isso cria um espaço de representação unificado e consistente para o robô, permitindo que o modelo aprenda diretamente as dinâmicas e limitações do corpo do robô.
• Filtragem Automatizada: Um pipeline automatizado remove trajetórias inviáveis (ex: corrida em esteira sem velocidade da esteira) e segmenta dados baseados em anotações de texto (ex: "abrir gaveta").

B. Treinamento do Prior de Difusão

• Modelo: Utiliza a arquitetura OmniControl (inicializada com pesos do MDM - Motion Diffusion Model), mas treinada exclusivamente no dataset retargetado para o G1.
• Condição: O modelo gera trajetórias condicionadas a:
  1. Instruções de texto de vocabulário aberto.
  2. Sinais de controle espaço-temporal (restrições de posição de juntas específicas em tempos específicos).
• Parametrização: As trajetórias são representadas usando o formato SMPL (padrão em geração de movimento humano), mapeando as 22 juntas semânticas do humano para as juntas correspondentes do G1, facilitando a adaptação de modelos existentes.

C. Pipeline de RL e Implantação

• Geração de Referências: O modelo de difusão gera múltiplas trajetórias de referência que satisfazem as restrições no espaço do robô.
• RL Físico: Uma política de RL é treinada para rastrear essas trajetórias de referência enquanto executa a tarefa. A rastreamento é tratado como um sinal de recompensa, não como observação de entrada, permitindo execução autônoma.
• Implantação Sim2Real: A política é implantada no robô Unitree G1 real, utilizando apenas sinais proprioceptivos e poses de objetos no frame local do robô.

3. Principais Contribuições

1. Mudança de Paradigma (Human-Space para Robot-Space): Ao invés de gerar em espaço humano e adaptar, o modelo é treinado nativamente no espaço do robô. Isso elimina a necessidade de ajuste fino de prompts (trial-and-error) para satisfazer restrições espaciais.
2. Escalabilidade e Automação: O pipeline remove a necessidade de filtragem manual de trajetórias e de correções específicas para cada tarefa (como Inverse Kinematics manual para tarefas não cobertas por datasets padrão).
3. Dataset Unificado Heterogêneo: A criação de um dataset massivo que combina dados de movimento humano bruto e dados de robô refinados, permitindo a aprendizagem de uma ampla gama de habilidades de interação.
4. Validação em Robô Real: Demonstração bem-sucedida de 8 habilidades complexas (ex: abrir gaveta, agachar e pegar, socar) no robô Unitree G1.

4. Resultados e Análise

Os experimentos foram realizados em simulação (Isaac Sim) e no robô real Unitree G1.

• Qualidade da Trajetória (Difusão):

  • O modelo treinado com o Full-Mix (AMASS + Nymeria + GRAB + OmniRetarget) superou consistentemente o modelo zero-shot (OmniControl original) e variantes treinadas apenas com AMASS.
  • Métricas como FID (similaridade de distribuição) e Skating Ratio (deslizamento de pés) melhoraram significativamente, indicando movimentos mais realistas e fisicamente plausíveis.
  • O modelo Full-Mix generalizou bem para tarefas não presentes no dataset original (Grupo 1: abrir gaveta, agachar), onde o modelo base falhava.

• Desempenho do RL (Política):

  • Escalonamento de Dados: Aumentar o número de trajetórias de referência geradas pelo difusor para treinamento do RL resultou em taxas de sucesso mais altas e robustas.
  • Comparação com Baseline: O DreamControl-v2 alcançou taxas de sucesso superiores em tarefas complexas de interação (Grupo 1) comparado ao DreamControl original (que exigia intervenção manual), mantendo desempenho alto em tarefas simples (Grupo 2).
  • Eficiência: A abordagem de pré-retargeting eliminou a ineficiência de amostragem do método de calibração de prompt em tempo de inferência (que rejeitava >90% das amostras no baseline, contra ~32% de rejeição no método proposto).

• Iniciação de Rede: O uso de pesos pré-treinados do MDM (treinado em humanos) mostrou-se crucial, permitindo convergência rápida e alta fidelidade, superando modelos treinados do zero.

5. Significado e Impacto

O DreamControl-v2 representa um avanço significativo na aquisição de habilidades para humanoides ao resolver o gargalo da adaptação entre dados humanos e robóticos.

• Simplicidade: Transforma um processo complexo e manual em um pipeline automatizado e escalável.
• Generalização: Ao treinar diretamente no espaço do robô com dados diversos, o sistema aprende a "física" do robô desde o início, resultando em trajetórias que são naturalmente viáveis para o hardware.
• Reprodutibilidade: A abordagem sugere que a combinação de grandes datasets de movimento humano com retargeting prévio e treinamento de modelos específicos de domínio é o caminho para a robótica de humanoides autônomos generalistas, reduzindo a dependência de demonstrações caras e escassas de teleoperação.

Em suma, o trabalho demonstra que escalar a geração de trajetórias de referência em espaço nativo do robô é fundamental para obter políticas de RL robustas e autônomas para tarefas complexas de locomanipulação.