Resumo Técnico: HiWET

Declaração do Problema

A loco-manipulação humanoide requer a execução de tarefas de manipulação precisas enquanto se mantém a estabilidade dinâmica durante o movimento da base. As abordagens existentes enfrentam duas limitações primárias:

1. Formulação Centrada no Corpo: A maioria dos métodos baseados em comandos opera em frames centrados no corpo. Isso falha em corrigir inerentemente o desvio cumulativo no frame de mundo induzido pela locomoção de pernas, levando a uma degradação da precisão do efetor final no frame global.
2. Otimização no Espaço de Juntas: Métodos de imitação de movimento de corpo inteiro tipicamente otimizam erros no espaço de juntas em vez de precisão no espaço de tarefas, carecendo de garantias teóricas para o rastreamento preciso do efetor final e frequentemente exigindo trajetórias de referência densas e dispendiosas.
3. Desafios de Acoplamento: O acoplamento estreito entre a dinâmica da parte superior e inferior significa que movimentos agressivos dos braços podem desestabilizar a marcha, enquanto a locomoção impacta os efetores finais. Quando as tarefas se estendem além do workspace alcançável estático, as formulações centradas no corpo não abordam explicitamente a necessidade de transportar ativamente a base para manter a alcançabilidade.

Metodologia

Os autores propõem o HiWET (Hierarchical World-Frame End-Effector Tracking), um framework de aprendizagem por reforço hierárquica (HRL) que desacopla o raciocínio global da execução dinâmica. O sistema é modelado como um Processo de Decisão Semi-Markoviano (Semi-MDP) operando em duas escalas temporais.

1. Arquitetura Hierárquica

• Política de Alto Nível (Comandante, $\pi_H$): Opera em uma frequência mais baixa (a cada $K$ passos) no frame de mundo. Atua como um planejador de tarefas, interpretando alvos globais do efetor final e gerando submetas estruturadas: velocidade da base ($v_{des}^b$), altura do corpo ($h_{des}$) e poses do efetor final relativas ao corpo ($bT_{des}$). Ela raciocina explicitamente sobre o acoplamento geométrico entre locomoção e manipulação para remodelar o workspace operacional.
• Política de Baixo Nível (Rastreador, $\pi_L$): Opera em alta frequência para traduzir submetas em comandos de espaço de juntas. Garante estabilidade dinâmica e viabilidade física. O humanoide é decomposto em subsistemas de parte superior (braços/cintura) e parte inferior (pernas).

2. Componentes Técnicos Principais

• Prior de Variedade Cinemática (KMP): Uma rede neural pré-treinada que fornece referências de juntas cinematicamente consistentes para a parte superior do corpo com base em poses desejadas do efetor final e um peso de regularização da cintura ($\alpha$).
  • A política de baixo nível aprende correções residuais ($\Delta q$) adicionadas à referência do KMP ($\hat{q}$) em vez de alvos absolutos de juntas. Isso reduz a dimensionalidade da exploração e mitiga comportamentos cinematicamente inválidos.
  • O parâmetro $\alpha$ permite que a política de alto nível module o engajamento do torso, negociando entre alcançabilidade (utilizando a redundância da cintura) e equilíbrio dinâmico (estabilizando o Centro de Massa).
• Estimador de Estado: Um módulo neural treinado para inferir variáveis de estado privilegiadas (ex: velocidade linear da base, poses do efetor final) a partir do histórico de observação, compensando a observabilidade parcial durante a implantação.
• Amostragem por Importância (IS): Para abordar a ineficiência da amostragem cartesiana uniforme (que frequentemente gera alvos inalcançáveis ou mal condicionados), os autores selecionam um dataset priorizado. Este dataset é filtrado pelo erro de reconstrução de Cinemática Inversa (IK) e ponderado por um índice de manipulabilidade. A distribuição de comando de treinamento é uma mistura de amostragem uniforme e este prior curado.
• Modelagem de Recompensa (Reward Shaping):
  • Baixo Nível: Inclui rastreamento de referência do KMP, rastreamento de altura da base consciente do joelho (ponderação assimétrica para margens de flexão/extensão) e regularização para suavidade.
  • Alto Nível: Incentiva a otimização do workspace (alinhando o heading da base com os alvos), rastreamento preciso do efetor final no frame de mundo e estabilidade.

3. Procedimento de Treinamento

O framework emprega um processo de treinamento em dois estágios:

1. Estágio 1 (Rastreador): A política de baixo nível é treinada para seguir comandos de efetor final relativos à base usando o KMP e amostragem por importância.
2. Estágio 2 (Comandante): A política de alto nível é treinada com a política de baixo nível congelada. Um currículo espacial é utilizado, começando com alvos próximos à base do robô e expandindo progressivamente o alcance conforme o erro de rastreamento diminui.

Principais Resultados

O framework foi validado no humanoide Unitree G1 (29 DoF) em simulação e via transferência zero-shot sim-to-real.

• Precisão de Rastreamento: Em simulação, o HiWET alcançou um erro de rastreamento do efetor final no frame de mundo de 12,4 mm com baixa variância.
• Estudos de Ablação:
  • Remover o KMP aumentou o erro da mão para 25,2 mm com uma variância 5$\times$ maior, confirmando a necessidade de orientação cinemática.
  • Remover o Estimador de Estado degradou o rastreamento em quase 10 mm, destacando a necessidade de feedback preciso para compensar oscilações de locomoção.
  • Remover a Amostragem por Importância resultou em erro maior (16,1 mm), demonstrando o valor de focar em regiões funcionais do workspace.
• Comparação: O HiWET superou o baseline HOMIE, reduzindo o RMSE da velocidade linear da base em aproximadamente 20%.
• Sim-to-Real: A política de baixo nível transferiu-se com sucesso para o robô físico sem ajuste fino, demonstrando locomoção estável sob diversos comandos de manipulação.
• Tarefas de Longo Horizonte: O sistema rastreou com sucesso trajetórias geométricas complexas (estrelas, corações, espirais) no frame de mundo, mantendo estabilidade dinâmica enquanto navegava para as regiões alvo.

Significância e Alegações

O artigo afirma que o HiWET fornece uma solução eficaz e escalável para loco-manipulação humanoide de longo horizonte ao abordar explicitamente o acoplamento geométrico entre a base e os efetores finais.

• Consistência no Frame de Mundo: Ao formular a tarefa como rastreamento de efetor final no frame de mundo, o controlador compensa ativamente distúrbios da base e remodela o workspace operacional através da locomoção, uma capacidade ausente em abordagens centradas no corpo.
• Controle Desacoplado: A separação hierárquica de "para onde ir" (planejamento global) e "como mover-se" (execução dinâmica) permite a otimização especializada tanto para alcançabilidade quanto para estabilidade.
• Eficiência: A integração do Prior de Variedade Cinemática via aprendizado residual fundamenta a política em variedades de manipulação válidas, acelerando o aprendizado e melhorando a precisão do rastreamento sem sacrificar a adaptabilidade dinâmica.

Os autores concluem que esta abordagem permite o rastreamento preciso e estável do efetor final em tarefas de longo horizonte e demonstra transferência robusta zero-shot para hardware real.