Resumo Técnico: Aprendizado por Reforço Guiado para Salto Omnidirecional 3D em Robôs Quadrúpedes

Declaração do Problema

Robôs quadrúpedes enfrentam desafios significativos ao executar saltos, particularmente aqueles que excedem o comprimento de suas pernas ou ocorrem em ambientes não planos. Embora existam métodos baseados em otimização, eles frequentemente sofrem com altos custos computacionais, sensibilidade à inicialização e dependência de modelos de sistema precisos, que são difíceis de manter em ambientes não estruturados. Por outro lado, as abordagens padrão de Aprendizado por Reforço (RL) de Ponta a Ponta (E2E), embora promissoras, geralmente exigem milhões de etapas de treinamento devido a sinais de recompensa esparsos e falta de interpretabilidade, tornando a certificação de segurança difícil. O problema central abordado é a necessidade de uma estratégia de controle que seja eficiente em amostras, robusta a incertezas de modelo, capaz de realizar saltos 3D omnidirecionais (incluindo mudanças de elevação e rotações) e suficientemente explicável para garantir a viabilidade física.

Metodologia

Os autores propõem uma estrutura de Aprendizado por Reforço Guiado (GRL) que injeta intuição física no processo de aprendizado, afastando-se do controle E2E bruto. A metodologia é estruturada em torno de três componentes principais:

1. Parametrização da Trajetória

Em vez de aprender torques ou posições das juntas diretamente, a política aprende uma trajetória de alto nível no espaço cartesiano.

• Parametrização Híbrida: A trajetória da fase de empuxo é modelada usando uma combinação de curvas de Bézier e um modelo de Movimento Retilíneo Uniformemente Acelerado (MRUA).
  • A fase inicial utiliza uma curva de Bézier cúbica para modelar o movimento de "carregamento" e descompressão, garantindo suavidade e diferenciabilidade.
  • Para superar os limites de expressividade das curvas de Bézier durante a fase explosiva de decolagem (que pode levar a violações do espaço de trabalho, como o ventre do robô tocar o chão), a trajetória transita para um segmento MRUA. Isso permite velocidades de decolagem mais altas enquanto mantém a viabilidade.
• Controle de Orientação: Uma curva de Bézier separada parametriza a orientação do tronco (ângulos de Euler), permitindo manobras dinâmicas como saltos de torção no lugar.
• Espaço de Ações: O agente de RL produz um conjunto reduzido de 13 parâmetros (por exemplo, intervalos de tempo, coordenadas esféricas para posição/velocidade de decolagem, multiplicadores de velocidade e alvos de orientação) em vez de comandos brutos das juntas. Isso reduz drasticamente o espaço de busca.

2. Estrutura de Aprendizado

• Algoritmo: O sistema utiliza Otimização de Política Proximal (PPO).
• Espaço de Estados: O estado é definido no espaço de tarefas (deslocamento até o alvo em posição e orientação), tornando a política agnóstica a morfologias específicas de robôs. Informações de nível de junta são excluídas para evitar overfitting a hardware específico.
• Função de Recompensa: Uma função de recompensa fisicamente informativa é projetada para equilibrar o sucesso da tarefa com a segurança. Ela inclui:
  • Recompensa Positiva: Uma recompensa de alvo de pouso que escala com a distância do salto e penaliza o erro de pouso.
  • Penalidades: Custos por violar restrições de trajetória (limites das juntas, cones de atrito, limites de torque), erros de rastreamento e condições de toque inseguras (ricochete, alta velocidade angular).
• Filtro de Segurança: Uma verificação de segurança post-hoc utiliza equações balísticas para verificar se uma ação proposta pode fisicamente atingir a altura do alvo antes da execução, adicionando uma camada de explicabilidade.

3. Execução de Controle

A trajetória cartesiana aprendida é mapeada para posições das juntas via Cinemática Inversa (CI). Um controlador de baixo nível Proporcional-Derivativo (PD) com compensação de gravidade rastreia essas referências. Essa separação permite que a política de RL de alto nível foque na geração de trajetória, enquanto confia no controle clássico para robustez contra incertezas de atrito e inércia.

Principais Contribuições

1. Estratégia GRL Inovadora: Um método de RL eficiente em amostras para salto 3D omnidirecional que aproveita a intuição física (Bézier + MRUA) para guiar o processo de aprendizado, evitando a natureza de "caixa preta" das abordagens E2E.
2. Espaço de Ações Agnóstico ao Robô: Uma formulação onde as ações são definidas no espaço de tarefas (posição/orientação cartesianas), permitindo que a política generalize entre diferentes morfologias quadrúpedes (demonstrado via transferência zero-shot).
3. Previsibilidade e Segurança: A natureza paramétrica da trajetória permite a previsão determinística de pontos de pouso e a implementação de filtros de segurança, abordando a lacuna de certificação de segurança no RL.
4. Aprendizado de Etapa Única: Diferentemente de abordagens baseadas em currículo que exigem treinamento multi-etapa, este método alcança o objetivo final em uma única etapa de aprendizado, reduzindo significativamente o tempo e a complexidade do treinamento.

Resultados

O método foi validado através de extensas simulações e experimentos no mundo real em dois robôs quadrúpedes: o Unitree Go1 e o Aliengo.

• Eficiência de Amostras: A política convergiu em aproximadamente 2.000 etapas de treinamento (15 horas), uma redução significativa em comparação com métodos E2E que frequentemente exigem milhões de etapas.
• Precisão e Viabilidade:
  • Saltos Planos: Alcançou erros de pouso inferiores a 5 cm para saltos dentro de um raio de 0,5 metro.
  • Saltos Verticais: Executou com sucesso saltos para cima de até 0,26 metros e saltos para baixo de até 0,4 metros.
  • Rotações: Demonstrou a capacidade de realizar rotações de guinada no lugar com um erro de orientação máximo de aproximadamente 6 graus.
• Robustez:
  • Sim-a-Sim: A política manteve o desempenho quando transferida para um simulador diferente (Locosim) e sob variações de massa (até 50%) e amortecimento das juntas, sem exigir randomização de domínio durante o treinamento.
  • Sim-a-Real: Experimentos no mundo real no Go1 e no Aliengo mostraram alta repetibilidade. Embora os erros absolutos tenham sido ligeiramente maiores no Aliengo mais pesado (atribuídos ao atrito não modelado), o desvio padrão permaneceu baixo, indicando comportamento consistente.
• Transferência Zero-Shot: Uma política treinada no Go1 foi aplicada com sucesso ao robô Aliengo (que possui massa e comprimentos de elos diferentes) com apenas ajustes de controle de baixo nível, validando a formulação no espaço de tarefas.
• Comparação com o Estado da Arte: Comparado à abordagem E2E de ponta de Atanassov et al. [39], o método proposto alcançou precisão comparável ou superior com significativamente menos amostras, maiores elevações de salto (0,26m vs. 0,1m) e uma região viável mais uniforme.

Significado e Alegações

O artigo afirma que, ao integrar intuição física (guiada por curvas de Bézier e física balística) na estrutura de RL, é possível superar as principais limitações tanto da otimização tradicional (custo computacional, dependência de modelo) quanto do RL E2E padrão (ineficiência de amostras, falta de interpretabilidade).

Os autores enfatizam que sua abordagem:

• Permite Aplicação em Tempo Real: A rede neural leve e a trajetória pré-calculável permitem planejamento em nível de milissegundos.
• Garante Viabilidade Física: O método respeita inerentemente os limites das juntas e as restrições de atrito através do design da recompensa e das restrições do espaço de ações, reduzindo o risco de comportamentos inseguros.
• Facilita a Generalização: Ao desacoplar a política de configurações específicas das juntas, o método suporta transferência entre diferentes plataformas robóticas sem retreinamento do zero.
• Simplifica o Treinamento: O processo de aprendizado de etapa única elimina a necessidade de agendamento complexo de currículo e engenharia extensiva de recompensas.

Os autores concluem que, embora o método atual seja puramente cinemático e assuma velocidade inicial zero, ele representa um passo significativo para tornar o salto dinâmico robusto, seguro e eficiente para robôs com pernas em ambientes complexos. Trabalhos futuros são identificados como a extensão do método para dinâmicas controladas por torque, tratamento de velocidades iniciais não nulas e incorporação de terrenos deformáveis.