Resumo Técnico: Humanoid-DART

Declaração do Problema

A loco-manipulação humanoide requer controle de corpo inteiro coordenado e interação dinâmica com objetos. Embora avanços recentes em aprendizado por imitação e aprendizado por reforço (RL) tenham permitido habilidades de locomoção impressionantes ao rastrear demonstrações de especialistas, escalar essas abordagens para a loco-manipulação rica em contatos continua sendo um desafio significativo. Diferente da locomoção, a loco-manipulação envolve um espaço de tarefa contínuo e amplo, definido conjuntamente pelo movimento do corpo, estados do objeto e interações ambientais. Variações na pose do objeto, configuração de transporte, estratégia de preensão e tempo de interação criam um espaço combinatório que é proibitivamente caro de cobrir apenas com demonstrações humanas. Métodos existentes geralmente dependem de grandes conjuntos de dados de movimento humano ou focam no rastreamento de um único comportamento de referência, falhando em resolver robustamente diversas tarefas de loco-manipulação sob condições variadas com dados iniciais esparsos.

Metodologia

O artigo propõe o Humanoid-DART, um framework auto-supervisionado e iterativo projetado para dar o boot a partir de um conjunto esparso de demonstrações iniciais e expandir progressivamente seu repertório comportamental. O pipeline alterna entre dois componentes estreitamente acoplados: um gerador de movimento condicionado a objetivos e uma política de rastreamento de movimento baseada em física.

1. Visão Geral do Algoritmo

O sistema opera como um currículo evolutivo sobre uma distribuição de habilidades definida por um arquivo de elite $E$ de trajetórias bem-sucedidas.

• Amostragem de Objetivos: Em cada iteração, o currículo amostra novos estados de objetivo ao redor da distribuição atual em $E$, visando tanto o refinamento de habilidades existentes quanto a exploração de regiões sub-representadas.
• Geração Cinemática: Um modelo de difusão condicionado a objetivos ($\pi_\theta$) gera trajetórias de referência cinemáticas para os objetivos amostrados. Essas trajetórias podem conter inconsistências físicas (ex: deslizamento de pés, penetrações).
• Avaliação Física: Uma política de rastreamento de movimento ($\pi_\phi$), treinada via RL, executa essas referências cinemáticas em um simulador de física. Ela atua como um filtro dinâmico, convertendo planos potencialmente inviáveis em rollouts fisicamente consistentes.
• Seleção e Relabelagem: Os rollouts resultantes são avaliados usando uma função de aptidão $F(\tau)$ que mede a fidelidade de rastreamento, correção de contato e estabilidade. Trajetórias que excedem um limiar $\tau_f$ são retidas no arquivo de elite $E$. Crucialmente, rollouts bem-sucedidos que não correspondem perfeitamente ao objetivo amostrado são relabelados com suas métricas de tarefa alcançadas, convertendo "quase-acertos" em sinais de treinamento válidos.
• Atualização Iterativa: Tanto o gerador de difusão quanto a política de rastreamento são retreinados no arquivo expandido, aumentando progressivamente a diversidade de trajetórias viáveis e a cobertura do espaço de tarefa.

2. Componentes Arquiteturais Principais

• Gerador de Movimento Cinemático (Diffusion Transformer):
  • Backbone de Dupla Ramificação: A arquitetura separa o estado em um fluxo global (movimento da raiz e características relativas ao objeto) e um fluxo local (pose do corpo/articulações). O fluxo local realiza atenção cruzada com o fluxo global, desacoplando a navegação grosseira da síntese de pose refinada enquanto mantém a sincronização.
  • Desmascaramento Parcial Estruturado: Durante o treinamento, o modelo revela seletivamente grupos de características com ruído de frames futuros. Isso encoraja o planejador a inferir componentes de movimento ausentes a partir de observações parciais, aprendendo correlações entre grupos de características (ex: entre a pose de corpo inteiro e a interação com o objeto) em vez de tratá-los independentemente.
  • Inferfência: Utiliza síntese auto-regressiva sobre segmentos sobrepostos com inpainting de histórico (estilo RePaint) para garantir consistência temporal.
• Política de Rastreamento de Movimento:
  • Um controlador ator-crítico assimétrico inspirado em DeepMimic, treinado com Otimização de Política Próxima (PPO).
  • Ele observa um horizonte de referência de 5 passos, estado proprioceptivo e pose do objeto, com o crítico recebendo o estado privilegiado da simulação.
  • O treinamento incorpora randomização de domínio (massa do objeto, fricção, empurrões) para garantir a transferência sim-to-real.
• Currículo e Relabelagem de Objetivos:
  • Amostragem de Alvo de Fronteira: O espaço de tarefa é discretizado em bins. Pesos de amostragem são atribuídos com base na distância dos bins em relação ao conjunto de elite atual: Refinar (próximo aos elites existentes), Explorar (distância intermediária) e Fronteira (longe, regiões não resolvidas). Os bins de exploração são ponderados mais alto para impulsionar a expansão da cobertura.
  • Relabelagem de Objetivo: Em vez de descartar rollouts que falham em atingir o objetivo amostrado, o sistema trata retroativamente o estado alcançado como o objetivo pretendido, fornecendo um sinal de aprendizado denso mesmo quando o gerador está sub-treinado.

Principais Contribuições

1. Pipeline Humanoid-DART: O primeiro pipeline de aumento de trajetória iterativo para aprender habilidades de loco-manipulação condicionadas a objetivos a partir de demonstrações esparsas.
2. Novas Escolhas de Design:
   • Um Diffusion Transformer (DiT) hierárquico condicionado a objetivos com uma arquitetura de dupla ramificação e desmascaramento parcial estruturado para melhorar a síntese de trajetórias em regimes de dados esparsos.
   • Um controlador de corpo inteiro via RL condicionado à pose do objeto para rastrear as trajetórias geradas.
   • Um algoritmo baseado em currículo com uma estratégia de relabelagem de objetivo que converte rollouts de quase-acerto em sinais de treinamento válidos.
3. Validação Empírica: Demonstração do framework em quatro tarefas de loco-manipulação (empurrar, chutar, entrega manual e pick-and-place) usando um humanoide Unitree G1. O sistema atinge cobertura do espaço de tarefa a partir de apenas quatro demonstrações base e generaliza para objetivos significativamente além da distribuição semente.

Resultados Experimentais

• Cobertura do Espaço de Tarefa: Na tarefa de pick-and-place, o Humanoid-DART alcançou 96,4% de cobertura do espaço de tarefa alvo começando de apenas quatro demonstrações base (aprox. 20 segundos de movimento). Isso representa um crescimento de 0,1% para quase total cobertura ao longo de quatro gerações.
• Generalização: O sistema gerou e rastreou com sucesso trajetórias para objetivos 4 a 5 vezes mais distantes do que as demonstrações base, demonstrando generalização robusta.
• Implantação no Mundo Real: As trajetórias geradas foram implantadas com sucesso em um humanoide físico Unitree G1 para as tarefas de empurrar, chutar e pick-and-place, confirmando a viabilidade dinâmica no hardware.
• Estudos de Ablação:
  • Arquitetura: Remover a estrutura de dupla ramificação (colapsando para um DiT plano único) causou a queda da taxa de sucesso de alcance de objetivo de 1,00 para 0,25. O desmascaramento parcial estruturado melhorou a retidão do caminho e a consistência do agarrar.
  • Baselines: Comparado ao "Movimento Parametrizado" (que foca em regiões de alta qualidade estreitas) e ao "Difusão Hierárquica + RL" (treinados conjuntamente sem o loop evolutivo), o Humanoid-DART demonstrou cobertura de espaço de tarefa superior. O loop evolutivo foi identificado como o principal motor de desempenho.
  • Inicialização: Trajetórias semente dinamicamente viáveis (DF) levaram a uma convergência mais rápida e maior cobertura em comparação com sementes cinematicamente viáveis (KF), que frequentemente continham inconsistências físicas que o modelo de difusão amplificava.

Significância e Alegações

O artigo afirma que o Humanoid-DART aborda o gargalo da escassez de dados na loco-manipulação humanoide ao alavancar modelos generativos para expandir iterativamente o conjunto de referências de trajetória. Ao desacoplar a geração de movimento de alto nível do controle de baixo nível e utilizar um currículo com relabelagem de objetivo, o framework permite o aprendizado de políticas robustas e condicionadas a objetivos com supervisão humana mínima. Os autores enfatizam que esta abordagem permite a descoberta de comportamentos diversos e habilidades de longo horizonte que se estendem muito além do escopo das demonstrações semente iniciais, oferecendo um caminho escalável para a manipulação generalista de humanoides sem a necessidade de massivos conjuntos de dados de movimento humano.

Limitações e Trabalho Futuro: A avaliação atual é restrita a uma única geometria de objeto e terreno plano. Os autores observam que o pipeline herda vieses das demonstrações semente e depende de uma função de aptidão ajustada manualmente. O trabalho futuro visa estender o framework para diversos objetos, propriedades de contato e terrenos irregulares, e substituir a função de aptidão por um critério aprendido e adaptativo.