Resumo Técnico: VOFA – Empurrão de Objeto Visual com Objetivo e Controle Adaptativo de Força para Humanoides

Declaração do Problema

O artigo aborda o desafio de permitir que robôs humanoides realizem empurrão de objeto direcionado a objetivo (loco-manipulação) utilizando apenas percepção egocêntrica a bordo. Essa capacidade é crítica para aplicações do mundo real, como reorganização de inventário em armazéns. O sistema deve operar de forma robusta sob três restrições principais:

1. Propriedades Físicas Desconhecidas: O robô deve lidar com objetos de massas e coeficientes de atrito com o solo variados e desconhecidos.
2. Percepção A Bordo Ruidosa: O sistema não pode depender de informações privilegiadas sobre o estado do objeto (por exemplo, posição ou velocidade reais do objeto) e deve funcionar utilizando imagens de profundidade ruidosas e dados proprioceptivos.
3. Adaptabilidade em Malha Fechada: O robô deve adaptar-se em tempo real a diversas configurações de objeto-objetivo, incluindo casos em que o robô deve reposicionar-se em relação ao objeto e ao objetivo antes de iniciar o contato.

Soluções existentes frequentemente falham em atender a esses critérios simultaneamente, seja dependendo de sensoriamento privilegiado, carecendo de robustez a variações físicas ou falhando em adaptar-se a diferentes configurações de objetivo sem definições manuais de etapas.

Metodologia

Os autores propõem o VOFA (Empurrão de Objeto Visual com Objetivo e Controle Adaptativo de Força), um sistema hierárquico de dois níveis projetado para o robô humanoide Booster T1.

1. Arquitetura Hierárquica

• Política Visuomotora de Alto Nível: Esta política processa observações a bordo (propriocepção e imagens de profundidade) e uma posição de objetivo desejada para gerar comandos de alto nível. Ela opera a 50 Hz.
• Controlador Adaptativo de Força de Baixo Nível: Este controlador traduz comandos de alto nível em ações de nível de junta. Baseia-se na estrutura FALCON, explicitamente projetada para lidar com forças externas substanciais e desconhecidas nos efetuadores finais, garantindo estabilidade durante a interação com objetos de massa variável.

2. Estratégia de Treinamento: Destilação Professor-Aluno

Para superar o desafio de aprender a partir de entradas visuais ruidosas, o VOFA emprega uma estrutura Professor-Aluno:

• Política Professor: Treinada usando Otimização de Política Proximal (PPO) com informações privilegiadas (por exemplo, orientação exata do objeto, velocidade linear da base e estado do objeto). Esta política aprende o comportamento ótimo para empurrão condicionado ao objetivo.
• Política Aluno: Destilada a partir do professor usando DAgger (Agregação de Conjuntos de Dados). O aluno substitui as entradas privilegiadas por histórico proprioceptivo a bordo e imagens de profundidade.
• Aumento Visual: Para fechar a lacuna sim-real, o treinamento do aluno incorpora randomizações visuais, incluindo perturbação do plano distante de profundidade, ruído de profundidade correlacionado e exclusão de pixels, para simular artefatos de sensores e desordem de fundo.

3. Projeto de Recompensa

O treinamento utiliza uma função de recompensa composta com quatro termos principais:

• Recompensa de Alcance ($R_{reach}$): Incentiva ambos os efetuadores finais a se aproximarem do objeto.
• Recompensa de Empurrão ($R_{push}$): Recompensa a redução da distância entre o objeto e o objetivo.
• Recompensa de Rastreamento de Cabeça ($R_{track}$): Incentiva o robô a rastrear visualmente o objeto com sua câmera.
• Recompensa de Alinhamento Objeto-Objetivo ($R_{align}$): Um componente inovador que incentiva o robô a reposicionar-se para o lado do objeto oposto ao objetivo antes de empurrar. Isso elimina a necessidade de etapas de treinamento definidas manualmente e promove planejamento de longo horizonte sobre estratégias de contato míopes.

4. Simulação e Randomização de Domínio

O treinamento é conduzido no Isaac Gym com extensa randomização da massa do objeto (1–8 kg), atrito e posicionamentos iniciais objeto-objetivo. Para abordar a lacuna sim-real na visão, o sistema randomiza as extrínsecas da câmera (translações e rotações) e emula padrões de ruído de sensor observados em câmeras de profundidade do mundo real (ZED 2i).

Contribuições Principais

1. Sistema Condicionado a Objetivo Visual: Introdução do VOFA, um sistema capaz de empurrão direcionado a objetivo em malha fechada através de diversas configurações de objeto-objetivo usando apenas percepção visual a bordo.
2. Robustez a Massas Desconhecidas: Demonstração de um sistema que empurra com sucesso objetos com massas diversas e previamente não vistas, incluindo cargas de até 17 kg (excedendo metade do peso corporal do robô), sem retreinamento nessas massas específicas.
3. Validação em Hardware Real: Implantação bem-sucedida no robô humanoide Booster T1, alcançando altas taxas de sucesso tanto em simulação quanto em experimentos do mundo real através de configurações de cena variadas e propriedades físicas.

Resultados Experimentais

O sistema foi avaliado tanto em simulação em grande escala quanto em ensaios no mundo real no Booster T1.

• Taxas de Sucesso: O VOFA alcançou mais de 90% de sucesso em simulação e mais de 80% de sucesso em ensaios do mundo real.
• Robustez à Massa: Em experimentos do mundo real, o sistema empurrou com sucesso um objeto de 17 kg (uma caixa de 5 kg com 12 kg de peso adicionado), apesar de ter sido treinado em massas de até 8 kg.
• Adaptabilidade de Configuração: O sistema manteve altas taxas de sucesso (>90% para a política aluno) através de configurações de objetivo frontal, lateral e traseira.
• Estudos de Ablação:
  • Controle Adaptativo de Força: A remoção do controlador de baixo nível adaptativo de força resultou em uma queda significativa nas taxas de sucesso (por exemplo, de 91,38% para 59,32% para a política aluno) e comportamentos instáveis como "chutar" o objeto.
  • Recompensa de Alinhamento: A remoção da recompensa de alinhamento objeto-objetivo levou a falhas de contato prematuras, particularmente em configurações de objetivo traseiro onde o reposicionamento é necessário.
  • Randomização Visual: O treinamento sem randomizações visuais levou a degradação substancial de desempenho em cenários laterais e traseiros do mundo real devido à sensibilidade ao ruído de fundo e incompatibilidade de domínio.
• Capacidades em Malha Fechada: Demonstrações no mundo real mostraram que o robô podia recuperar-se de perturbações laterais externas, compensar distribuições de centro de massa descentradas e empurrar sequencialmente objetos para múltiplos objetivos sem reinicialização.

Significado e Alegações

O artigo alega que o VOFA representa um passo significativo em direção à loco-manipulação autônoma robusta de humanoides em ambientes não estruturados. Ao desacoplar o planejamento visuomotor de alto nível do controle adaptativo de força de baixo nível, o sistema simplifica o treinamento da política enquanto mantém a robustez a variações físicas.

Os autores enfatizam que a recompensa de alinhamento objeto-objetivo é crítica para permitir que o robô aprenda comportamentos complexos de longo horizonte (reposicionamento antes de empurrar) sem etapas manuais. Além disso, a transferência bem-sucedida para hardware do mundo real com cargas pesadas (17 kg) demonstra que a combinação de controle adaptativo de força e randomização visual mitiga efetivamente a lacuna sim-real.

O trabalho conclui observando limitações atuais, especificamente o foco em cenários de objeto único e a dependência de um módulo externo para posicionamento relativo do objetivo. Trabalhos futuros visam estender a estrutura para ambientes multi-objeto e desenvolver raciocínio totalmente ponta a ponta para localização de objeto e objetivo a partir de entrada sensorial bruta.