Resumo Técnico: DynaRetarget

Declaração do Problema

Gerar comportamentos de locomoção e manipulação viáveis para robôs humanoides é um desafio complexo devido à subatuacão tanto do robô quanto do objeto manipulado, juntamente com interações de contato intrincadas. Enquanto abordagens tradicionais dependem de otimização de trajetória baseada em gradiente (TO) ou aprendizado por reforço profundo (RL), elas enfrentam limitações distintas. A TO baseada em gradiente frequentemente requer aumento baseado em busca para exploração suficiente, enquanto o RL luta com eficiência de exploração e frequentemente necessita de pesada modelagem de recompensa para movimentos individuais.

Uma alternativa promissora envolve o redirecionamento de demonstrações humanas para robôs humanoides para aliviar problemas de exploração, usando as trajetórias resultantes para treinar políticas de RL. No entanto, os métodos existentes de redirecionamento resolvem principalmente problemas de otimização cinemática. Essas abordagens são suscetíveis a inconsistências físicas e geométricas, como patinação dos pés, penetrações e contatos ausentes, que são particularmente prejudiciais para tarefas de locomoção e manipulação. Além disso, métodos recentes de controle preditivo de modelo baseado em amostragem (SBMPC), embora melhorem a consistência, operam em horizontes curtos. Essa natureza míope os torna propensos a falhas em tarefas de longo horizonte, especialmente quando as trajetórias cinemáticas de referência contêm imperfeições que não podem ser corrigidas dentro de uma janela de tempo limitada.

Metodologia: DynaRetarget

O artigo apresenta o DynaRetarget, um pipeline completo projetado para redirecionar movimentos humanos para políticas de controle de humanoides. A inovação central é um novo framework de Otimização de Trajetória Baseada em Amostragem (SBTO) que refina trajetórias cinemáticas imperfeitas em movimentos dinamicamente viáveis.

1. Visão Geral do Pipeline

O pipeline DynaRetarget opera em três etapas:

1. Redirecionamento Cinemático: Um processo de redirecionamento baseado em cinemática inversa (IK) converte demonstrações humano-objeto em trajetórias robô-objeto cinematicamente viáveis. Esta etapa inicial frequentemente produz artefatos como contatos ausentes ou inconsistências geométricas devido a diferenças morfológicas.
2. Refinamento Dinâmico (SBTO): A trajetória cinemática serve como referência para o módulo SBTO. O SBTO refina a trajetória para garantir consistência física, corrigindo artefatos como contatos ausentes.
3. Treinamento de Política RL: As trajetórias refinadas e dinamicamente consistentes são usadas para treinar uma política de rastreamento RL em simulação usando randomização de domínio. A política aprendida é então transferida zero-shot para hardware humanoide do mundo real.

2. Otimização de Trajetória Baseada em Amostragem (SBTO)

Diferentemente do SBMPC padrão, que resolve problemas de horizonte curto de forma recorrente, o SBTO avança incrementalmente o horizonte de otimização para resolver o problema completo de longo horizonte.

• Expansão Incremental do Horizonte: O SBTO otimiza variáveis de controle (nós de interpolação) incrementalmente. Ele começa otimizando o primeiro nó, depois os dois primeiros, e assim por diante, até que todos os nós sejam otimizados. Este processo inicia com aquecimento problemas de maior horizonte usando as soluções de horizontes mais curtos.
• Convergência Adaptativa: O algoritmo emprega um critério adaptativo para determinar quando incrementar o horizonte. Ele monitora os valores diagonais da matriz de covariância ($\Sigma$) da distribuição de amostragem. Um incremento ocorre apenas quando o valor diagonal máximo cai abaixo de um limiar ($\sigma_{min}$), indicando convergência suficiente para o subconjunto atual de variáveis. Isso previne convergência prematura e permite que o otimizador escape de mínimos locais pobres.
• Otimização de Eficiência (SBTO skip): Para abordar custos computacionais em problemas de longo horizonte, os autores propõem uma variante "SBTO skip". Esta implementação armazena em cache segmentos de trajetória inicial que já convergiram (variância abaixo de $\sigma_{skip}$) e pula sua recomputação durante rolagens subsequentes, reduzindo significativamente os passos de simulação.
• Função de Custo: A otimização minimiza uma função de custo que penaliza desvios na posição e velocidade do estado, rastreamento de poses de tronco/pés/mãos e termos relacionados a contatos (desencorajando colisões indesejadas).

Contribuições Principais

1. Novo Framework de Otimização: O artigo apresenta o primeiro método de otimização de trajetória baseado em amostragem capaz de redirecionar demonstrações cinemáticas imperfeitas para comportamentos de locomoção e manipulação de humanoides dinamicamente viáveis, considerando o horizonte completo do problema.
2. Desempenho Superior: Os autores validam a abordagem em centenas de movimentos (conjunto de dados OmniRetarget), demonstrando taxas de sucesso de redirecionamento significativamente maiores em comparação com baselines SBMPC de última geração (por exemplo, SPIDER).
3. Generalização Robusta: O framework generaliza através de propriedades variáveis de objetos (massa, tamanho, geometria) usando um único objetivo de rastreamento, permitindo o refinamento de demonstrações diversas sem retreinamento.
4. Benefícios para RL a Montante: O artigo demonstra que trajetórias refinadas pelo SBTO melhoram significativamente a eficiência de treinamento e a robustez de políticas de rastreamento RL a montante, permitindo transferência zero-shot para hardware real.

Resultados e Avaliação

Os autores avaliaram o SBTO em 285 movimentos envolvendo um robô humanoide G1 interagindo com uma caixa (pegar, chutar, empurrar, arrastar).

• Taxa de Sucesso: O SBTO alcançou uma taxa de sucesso de 74,6% (76,8% com a variante "skip"), quase o dobro da taxa de sucesso de 37,9% da baseline SBMPC (SPIDER). O sucesso foi definido como manter erro de posição do objeto <10 cm e erro de rotação <25°.
• Qualidade da Trajetória: O SBTO produziu trajetórias mais suaves em comparação com a baseline.
• Eficiência Computacional: Embora o SBTO padrão fosse computacionalmente caro, a variante "SBTO skip" reduziu os custos computacionais por um fator de três, tornando-o mais eficiente que a baseline enquanto mantinha desempenho superior.
• Análise do Algoritmo: Experimentos mostraram que o processo de inicialização com aquecimento incremental do SBTO mitiga efetivamente problemas de convergência encontrados em TO de horizonte fixo. Além disso, o "horizonte efetivo" do SBTO (a duração sobre a qual variáveis de decisão iniciais são ativamente refinadas) foi encontrado substancialmente maior que o olhar à frente por incremento ou o horizonte fixo do SBMPC, explicando sua capacidade de lidar com tarefas de longo horizonte.
• Transferência RL: Políticas RL treinadas em trajetórias refinadas pelo SBTO convergiram significativamente mais rápido e alcançaram taxas de sucesso mais altas (97,09%) na transferência para o mundo real em comparação com políticas treinadas apenas em dados redirecionados cinematicamente (79,41%). As políticas treinadas com SBTO aprenderam com sucesso comportamentos desafiadores, como manipulação de objetos usando pernas, sem modelagem adicional de currículo.

Significado

O artigo afirma que o DynaRetarget aborda um grande gargalo na coleta de dados do mundo real para robôs humanoides: a escassez de demonstrações de locomoção e manipulação de alta qualidade e fisicamente consistentes. Ao permitir o redirecionamento robusto de diversas demonstrações humanas em movimentos dinamicamente viáveis, o framework abre a porta para a geração de conjuntos de dados sintéticos em grande escala. Essa capacidade facilita o treinamento de políticas RL robustas que podem ser implantadas diretamente em hardware do mundo real, fechando a lacuna entre simulação e realidade para tarefas complexas ricas em contato.