Resumo Técnico: Aprendizado por Reforço Hierárquico Baseado em Afordância para Pedipulação de Quadrúpedes

Definição do Problema

A manipulação autônoma de objetos por robôs quadrúpedes permanece um desafio significativo de pesquisa. Embora estudos anteriores tenham utilizado com sucesso o aprendizado por reforço (RL) para o aprendizado de políticas de baixo nível (locomoção e manipulação básica), a execução de tarefas em ambientes de mundo aberto frequentemente depende de trajetórias de alto nível projetadas por especialistas. Especificamente, a seleção autônoma tanto de uma pose de base de robô viável quanto de um ponto de interação acessível em um objeto alvo é subexplorada. Esta lacuna é crítica porque manipular objetos em terrenos irregulares introduz complexidades como geometria de superfície não modelada, fricção desconhecida e a necessidade de manter o equilíbrio nos membros restantes enquanto um membro interage com o objeto. As abordagens atuais frequentemente carecem da capacidade de identificar autonomamente poses conscientes de afordância que considerem o alcance do objeto, características do terreno local e características da superfície sem orientação humana.

Metodologia

Os autores propõem uma estrutura de aprendizado por reforço (RL) hierárquica de três níveis que integra análise de afordância baseada em visão com políticas de controle desacopladas. O sistema é projetado para navegar autonomamente até um objeto alvo, identificar um ponto de interação viável e executar uma tarefa de "pedipulação" (manipulação usando as pernas do robô).

1. Arquitetura Hierárquica

A estrutura consiste em três camadas distintas:

• Alto Nível (Afordância de Pose e Navegação): Um módulo baseado em visão processa dados de nuvem de pontos LiDAR para segmentar o terreno e os objetos. Ele calcula as inclinações locais do terreno e a geometria do objeto para gerar uma pose de base de objetivo acessível (posição e orientação/heading) para o robô. Esta pose garante que o robô esteja ao alcance do objeto e orientado corretamente em relação à inclinação do terreno.
• Nível Médio (Política de Navegação): Esta política recebe a pose de objetivo e o estado do robô (velocidade, orientação) para prever comandos de velocidade. Ela guia o controlador de baixo nível de maneira em malha fechada para alcançar a posição de base alvo.
• Baixo Nível (Políticas de Locomoção e Pedipulação):
  • Locomoção: Uma política pré-treinada produz posições de junta para executar os comandos de velocidade da camada de navegação.
  • Pedipulação: Assim que o robô atinge a pose de objetivo, o sistema alterna para a política de pedipulação. Esta política é condicionada a waypoints de alto nível gerados via interpolação de spline cúbica entre uma posição "home", um ponto de contato identificado pela visão no objeto e um ponto de deslocamento intermediário. A política controla o efetuador final (especificamente o pé dianteiro direito) para empurrar o objeto enquanto mantém o equilíbrio com as outras três pernas.

2. Planejamento Baseado em Afordância

A inovação central reside no módulo de afordância de pose. Em vez de depender de trajetórias pré-definidas, o sistema computa dinamicamente:

• Pose de Base de Objetivo: Derivada do centro do objeto, da direção de empuxo desejada e da inclinação local do terreno.
• Ponto de Interação: Determinado pela análise da geometria da superfície do objeto para encontrar o ponto mais próximo do efetuador final, maximizando o comprimento da trajetória de contato.
• Geração de Trajetória: Uma spline cúbica é construída para garantir transições suaves com restrições de velocidade zero nos pontos de início e fim, com altura limitada para segurança.

3. Treinamento e Implementação

• Ambiente: As políticas foram treinadas no ecossistema Isaac Sim utilizando a plataforma de quadrúpede Unitree Go2.
• Algoritmo: Arquitetura ator-crítico com Otimização de Política de Proximidade (PPO).
• Randomização de Domínio: O treinamento incluiu a randomização da massa da base, centro de massa, forças externas e inclinações do terreno para garantir robustez.
• Implantação no Mundo Real: O sistema foi implantado usando um framework ROS2 com um Filtro de Kalman Estendido de Estado de Erro (ESEKF) para estimativa de estado e uma máquina de estados finitos (FSM) para gerenciar modos operacionais.

Principais Contribuições

O artigo descreve quatro contribuições primárias:

1. Geração de Comando de Pose Baseada em Afordância Visual: Um módulo que gera poses de objetivo tanto para a base do robô quanto para o efetuador final, explicitamente considerando alcance, inclinação do terreno e características da superfície do objeto.
2. Estrutura de RL Hierárquica de Múltiplos Níveis: Um sistema que permite navegação e pedipulação totalmente autônomas, onde comportamentos de alto nível abstraem as políticas de baixo nível como caixas-pretas.
3. Transferência Sim-to-Real: Uma implementação bem-sucedida demonstrando a capacidade do sistema de transferir da simulação para ambientes externos não estruturados no mundo real.
4. Dataset de Interação com Objetos: Um conjunto de dados contendo telemetria do robô (incluindo feedback de força do efetuador final), características do objeto e poses de interação, destinado a facilitar pesquisas futuras em exploração de objetos.

Resultados Experimentais

A estrutura foi avaliada tanto em simulação quanto em configurações do mundo real envolvendo posicionamentos aleatórios de objetos em várias inclinações.

• Simulação:
  • Eficácia da Afordância: Experimentos mostraram que o uso da pose de objetivo baseada em afordância (incorporando a inclinação do terreno) resultou em maior eficiência de deslocamento do objeto em comparação com poses de objetivo aleatórias ou fixas.
  • Seleção do Ponto de Contato: A seleção do ponto de interação mais próximo do efetuador final rendeu a maior eficiência (deslocamento por unidade de força), superando estratégias baseadas na proximidade com a base do robô ou centros geométricos.
• Mundo Real:
  • Navegação: O robô alcançou um erro de posição médio de 0,12 m e um erro de yaw médio de 16,37° ao atingir poses de objetivo em inclinações de até ~9°.
  • Pedipulação: O sistema alcançou uma taxa de sucesso de 86% para interação com objetos (definida por um limiar de força de 25 N).
  • Desempenho: Em tentativas bem-sucedidas, o robô alcançou um deslocamento médio de objeto de 0,17 m com uma força de contato de pico média de 33 N, resultando em uma pontuação de eficiência média de 0,51 m N⁻¹.
  • Robustez: O sistema lidou com sucesso com transições dinâmicas de navegação para manipulação sem intervenção humana, baseando-se apenas em verificações de segurança via controles sem fio.

Significância e Alegações

O artigo afirma que este trabalho aborda uma lacuna crítica na robótica autônoma ao permitir o planejamento de pedipulação centrado no objeto em ambientes de mundo aberto. Ao contrário de métodos anteriores que dependem de orientação de especialistas ou focam apenas no controle de baixo nível, esta estrutura permite que um robô quadrúpede possa:

• Identificar autonomamente poses de base e pontos de interação viáveis com base em afordâncias visuais.
• Executar tarefas de manipulação complexas (empurrar objetos) sem trajetórias pré-projetadas ou demonstrações humanas.
• Operar efetivamente em ambientes não estruturados com variações de inclinação de terreno.

Os autores posicionam essa capacidade como altamente relevante para aplicações como exploração planetária, coleta de amostras e operações de resgate, onde a teleoperação em tempo real é inviável devido à latência ou perigo. O estudo enfatiza que o sistema alcança manipulação destreza usando o hardware de pernas existente, evitando a necessidade de braços manipuladores adicionais, aproveitando assim a manobrabilidade inerente dos robôs quadrúpedes. Os autores observam modestamente que, embora o sistema seja eficaz, o acúmulo de erros entre componentes interconectados (visão, estimativa de estado, controle) continua sendo um desafio para tarefas de alta precisão, e o trabalho futuro se concentrará em aproveitar os dados coletados para aprender melhores representações centradas em objetos.