Humanoid Hanoi: Investigating Shared Whole-Body Control for Skill-Based Box Rearrangement

Título: Humanoid Hanoi: Investigando o Controle Corporal Total Compartilhado para Rearranjo de Caixas Baseado em Habilidades

1. Problema Investigado

O artigo aborda o desafio de rearranjo de caixas de longo horizonte por humanoides. Esta tarefa exige transformar uma configuração inicial de caixas empilhadas em uma configuração alvo, respeitando restrições de colocação e empilhamento.

• Desafios Principais: A execução de longo horizonte acumula pequenos erros de habilidades individuais (locomoção e manipulação), levando a falhas catastróficas que não são visíveis em avaliações isoladas.
• Limitação das Abordagens Atuais: Sistemas que treinam habilidades independentes e as compõem frequentemente utilizam controladores de baixo nível separados para cada habilidade. Isso cria descontinuidades nas dinâmicas de controle nas transições, aumenta o risco de instabilidade transitória e não explora a estrutura corporal total compartilhada, dificultando a escalabilidade.

2. Metodologia Proposta

Os autores propõem uma arquitetura de controle modular baseada em habilidades, onde todas as habilidades são executadas através de um Controlador Corporal Total (WBC) Compartilhado e Agnóstico à Tarefa.

• Arquitetura de Controle:

  • Habilidades de Alto Nível: Um conjunto pequeno de habilidades reutilizáveis (ex: GoTo sem carga, GoTo com caixa, Pegar (Pickup), Colocar (Place)). Cada habilidade é uma política aprendida que mapeia observações para comandos de nível de tarefa.
  • WBC Compartilhado: Todas as habilidades enviam comandos para um único controlador WBC (baseado no Masked Humanoid Controller - MHC pré-treinado). O WBC gera alvos de posição PD para as juntas, mantendo uma estrutura de controle de malha fechada consistente, independentemente da habilidade ativa.
  • Vantagem: A composição de habilidades altera apenas a distribuição de comandos de alto nível, sem trocar as leis de controle de baixo nível, simplificando a integração e evitando instabilidades nas transições.

• Expansão de Cobertura do WBC (Data Aggregation):

  • O problema central é que um WBC pré-treinado pode não cobrir as distribuições de estado e comando induzidas por novas composições de habilidades ou variações de domínio (sim-to-real).
  • Solução: Os autores propõem um procedimento de agregação de dados baseado em rollouts.
    1. Executam o sistema hierárquico (habilidades + WBC atual) em simulação com randomização de domínio.
    2. Coletam as sequências de comandos (diretivas) bem-sucedidas geradas durante a execução de habilidades compostas.
    3. Adicionam essas trajetórias ao conjunto de dados de referência para retreinar o WBC compartilhado, expandindo sua cobertura para estados "de canto" (extremos) sem introduzir parâmetros específicos por habilidade ou mudar a arquitetura.

• Benchmark: Humanoid Hanoi:

  • Introduziram um novo benchmark inspirado no jogo "Torre de Hanói". O robô deve mover e empilhar três caixas entre três torres, respeitando regras de empilhamento (uma caixa por vez, ordem fixa).
  • O benchmark testa a reutilização repetida de habilidades, precisão de colocação e robustez a estados não nominais acumulados.

3. Principais Contribuições

1. Composição via WBC Compartilhado: Investigação de uma arquitetura onde habilidades independentes são executadas por um único controlador corporal total, eliminando a necessidade de controladores de baixo nível específicos por habilidade.
2. Expansão de Cobertura via Agregação de Dados: Demonstração de que a retreinagem do WBC compartilhado com dados de execução em malha fechada (rollouts) melhora significativamente a robustez sob deslocamento de distribuição, superando abordagens de fine-tuning específico por habilidade ou políticas residuais.
3. Benchmark Humanoid Hanoi: Criação de um padrão de avaliação público para rearranjo de caixas de longo horizonte, com métricas de sucesso e precisão, disponível em simulação e testado em hardware real.

4. Resultados

Os experimentos foram conduzidos em simulação (MuJoCo) e no robô humanoide Digit V3.

• Simulação (Análise de Habilidades Individuais):

  • O método proposto (Extended) superou as abordagens de base (WBC congelado), fine-tuning específico e políticas residuais em métricas de estabilidade (erro de centro de massa, distribuição de força) e sucesso, especialmente em alturas baixas onde as margens de equilíbrio são críticas.
  • O Extended manteve o desempenho no rastreamento do corpo superior, provando que a expansão de dados não degradou habilidades existentes.

• Simulação (Benchmark Humanoid Hanoi):

  • Em tarefas de longo horizonte (7 movimentos, 28 chamadas de habilidades), o método Extended alcançou a maior taxa de sucesso completo (aprox. 70% sem randomização dinâmica e 49% com randomização), enquanto as outras abordagens sofreram quedas acentuadas de desempenho à medida que a tarefa avançava.
  • O método demonstrou maior robustez a erros acumulados e variações ambientais.

• Hardware (Digit V3):

  • Testes reais em três configurações fixas resultaram em uma taxa de sucesso global de 40%.
  • As falas foram atribuídas principalmente a: falhas na percepção (AprilTags), erros de alinhamento na transição entre habilidades e interações físicas imprecisas durante a colocação.
  • O robô executou rearranjos autônomos completos por mais de 5 minutos, validando a viabilidade da abordagem no mundo real.

5. Significado e Conclusão

O trabalho demonstra que a robustez em tarefas de longo horizonte para humanoides pode ser aprimorada mantendo uma interface de controle de baixo nível unificada, em vez de fragmentar o controle por habilidade.

• Insight Chave: A falha em composições longas muitas vezes não vem da habilidade em si, mas da incapacidade do controlador de baixo nível de lidar com estados induzidos por erros de execução anteriores.
• Impacto: A abordagem de "manutenção do WBC" via agregação de dados oferece um caminho escalável para adicionar novas habilidades sem reescrever o controlador de baixo nível ou treinar controladores específicos para cada transição.
• Futuro: Os autores identificam a necessidade de locomção consciente de objetos, comportamentos de estabilização mais fortes e a substituição de marcadores externos por percepção a bordo (SLAM/detecção de objetos) para melhorar a robustez no hardware real.

Em suma, o artigo estabelece um novo paradigma para o controle de humanoides em tarefas complexas, priorizando a consistência do controlador de baixo nível e a adaptação contínua baseada em dados de execução real.