Resumo Técnico: RL Guiado por Referência Consistente com Terreno para Navegação de Humanoides

Declaração do Problema

Os métodos contemporâneos de locomoção de humanoides alcançaram alta agilidade e robustez, frequentemente aproveitando dados humanos ou otimização de trajetória para guiar o Aprendizado por Reforço (RL). No entanto, um gargalo significativo permanece na implantação desses comportamentos em pilhas de navegação maiores para ambientes complexos e não estruturados. As abordagens existentes de RL guiado por referência enfrentam duas limitações primárias:

1. Falta de Interface de Planejamento: Muitos métodos exigem trajetórias de referência com graus de liberdade completos ou captura de movimento ao vivo como entradas, tornando-os incompatíveis com planejadores de navegação padrão que emitem comandos de velocidade simples (por exemplo, velocidades SE(2)).
2. Ausência de Condicionamento Ambiental: Pipelines padrão de geração de referência não levam em conta a geometria do terreno (por exemplo, apoios válidos, escadas, rampas). Consequentemente, políticas treinadas em referências estáticas lutam para rastrear trajetórias em terrenos acidentados, levando a instabilidade ou falha quando implantadas em ambientes reais centrados no ser humano.

Embora algumas obras abordem a locomoção perceptiva sem referências, elas frequentemente carecem da robustez dos métodos guiados por referência. Por outro lado, os métodos guiados por referência frequentemente falham em integrar-se com pilhas de autonomia ou adaptar-se ao terreno. Este artigo aborda a interseção entre RL guiado por referência perceptivo e autonomia de navegação em malha fechada.

Metodologia

O método proposto, RL Guiado por Referência Consistente com Terreno, sintetiza trajetórias de referência consistentes com o ambiente diretamente dentro do loop de treinamento de RL. O sistema é projetado para emitir uma política que aceita comandos de velocidade SE(2) padrão, enquanto utiliza dados de câmera de profundidade para adaptação ao terreno.

1. Síntese de Referência Consistente com o Ambiente

A inovação central é a geração rápida de trajetórias de referência usando um modelo de Pêndulo Invertido Linear (LIP) que é modulado para corresponder à geometria do terreno.

• Geração Base: Um comando de velocidade SE(2) desejado ($v_d$) é convertido em comprimentos de passo desejados e uma trajetória de Centro de Massa (CoM) usando a dinâmica do modelo LIP. Isso gera uma referência nominal para o CoM, o pé de balanço e os braços.
• Projeção no Terreno: Antes que o agente de RL receba a referência, o sistema projeta a localização do passo desejado no apoio válido mais próximo derivado da geometria do terreno (representada como uma grade de polígonos).
• Modificação da Trajetória:
  • Passos: O passo desejado é projetado no apoio válido, e o rolo e o arfagem do terreno naquele ponto são incorporados.
  • Pé de Balanço: A trajetória do pé de balanço é modificada para conectar a pose inicial à pose projetada, incluindo a orientação do terreno. A altura $z$ é ajustada adicionando a altura do casco convexo superior dos pontos do terreno ao longo do caminho de balanço para garantir folga.
  • CoM: A trajetória de altura do CoM é ajustada com base na linha que une o pé de apoio atual à localização do passo projetado.
• Eficiência: Esta síntese executa rapidamente dentro do loop de treinamento, permitindo que a política aprenda com referências que são fisicamente consistentes com o ambiente imediato.

2. Política de Locomoção e Treinamento

• Arquitetura: A política utiliza uma arquitetura baseada em Perceptron Multicamada (MLP) de estágio único. Ela mapeia a propriocepção e uma única imagem de câmera de profundidade (resolução 26x30) diretamente para ações.
• Percepção: Uma câmera de profundidade ZED Mini montada no tronco do robô fornece a entrada. Na simulação, isso é modelado via lançamento de raios com subamostragem agressiva para imitar ruído e artefatos do mundo real.
• Design de Recompensa: O treinamento utiliza Funções de Lyapunov de Controle (CLF-RL). Funções de Lyapunov quadráticas são definidas para objetivos de rastreamento (pélvis, pé de balanço, juntas). A função de recompensa consiste em dois termos:
  1. Um termo que incentiva o rastreamento próximo do sinal de referência.
  2. Um termo que incentiva o cumprimento da condição de decrescimento de Lyapunov (garantindo que o sistema se mova em direção à referência).
     Esta abordagem densifica o sinal de recompensa, fornecendo feedback mesmo quando o rastreamento é imperfeito, mas está melhorando.
• Atores-Críticos Assimétricos: O ator recebe propriocepção e dados de profundidade ruidosos, enquanto o crítico recebe observações livres de ruído e informações privilegiadas (referências de verdade fundamental, estados de contato, etc.).

3. Pilha de Autonomia de Navegação

A política de locomoção treinada é integrada a uma pilha de autonomia completa através de uma interface limpa de velocidade SE(2).

• Planejador: Um planejador de Controle Preditivo por Modelo (MPC) opera em um integrador único com modelo de orientação. Ele recebe uma pose de objetivo e um mapa de ambiente (gerado via LiDAR e FAST-LIO2) para planejar caminhos livres de colisões.
• Funções de Barreira de Controle (CBF): O MPC incorpora restrições CBF de tempo discreto para garantir a evasão de obstáculos e robustez contra erros de rastreamento.
• Execução: O MPC emite uma trajetória de comandos de velocidade, que são rastreados por um controlador de feedback e passados para a política de locomoção de RL.

Principais Contribuições

1. Síntese de Referência Condicionada ao Ambiente: O artigo introduz o primeiro pipeline de RL guiado por referência para humanoides onde as referências são moduladas online para serem consistentes com a geometria do terreno (escadas, rampas, apoios discretos) usando um modelo LIP de ordem reduzida dentro do loop de treinamento.
2. Arquitetura Simplificada: A política resultante depende exclusivamente de um MLP sem buffers de histórico, eliminando a necessidade de destilação complexa ou redes recorrentes, ainda assim alcançando desempenho comparável a modelos baseados em atenção.
3. Integração de Autonomia em Malha Fechada: O método integra com sucesso uma política de RL guiada por referência perceptiva em uma pilha de navegação padrão. Ele demonstra navegação autônoma de longo horizonte (>70m) no Unitree G1 através de ambientes externos contendo terrenos acidentados e múltiplos lances de escadas consecutivos, com toda a sensoriamento e computação a bordo.

Resultados

Simulação

• Desempenho de Rastreamento: Condicionar as referências ao ambiente melhorou significativamente o desempenho de rastreamento em comparação com o uso de referências não modificadas (agosticas ao ambiente). Em terrenos de escada, o erro de rastreamento foi reduzido por um fator de dois.
• Complexidade do Modelo: A política baseada em MLP simples ("Nossa") alcançou erros de rastreamento estatisticamente semelhantes a uma arquitetura mais complexa com atenção cruzada ("Nossa (Attn)") em terrenos planos, inclinados e de escada. No entanto, a versão MLP exigiu significativamente menos VRAM (14GB vs. 60GB) e é mais fácil de implementar.

Implantação em Hardware

• Plataforma: Robô humanoide Unitree G1 equipado com uma câmera de profundidade ZED Mini e um LiDAR Livox MID360.
• Desempenho: O sistema realizou com sucesso navegação autônoma em malha fechada em ambientes externos centrados no ser humano.
  • Escadas: O robô navegou autonomamente por 15 escadas consecutivas.
  • Longo Horizonte: O robô navegou por mais de 70 metros, atravessando raízes de árvores, terrenos acidentados, meio-fios e dois conjuntos de escadas.
  • Transição Interno/Externo: O robô subiu escadas externas, entrou em um prédio e subiu escadas internas.
• Comparação: Diferentemente de trabalhos anteriores que dependem de controladores cegos baseados em modelo para navegação ou métodos de RL perceptivos não integrados em pilhas de autonomia, este trabalho demonstra uma política guiada por referência condicionada à percepção servindo como a camada de locomoção para uma pilha de autonomia completa.

Significado e Alegações

O artigo afirma que este trabalho preenche a lacuna entre a locomoção guiada por referência de alto desempenho e a autonomia de navegação prática. Ao sintetizar referências que são consistentes com o terreno durante o treinamento, o método permite que a política de RL aprenda comportamentos robustos para ambientes não estruturados sem exigir arquiteturas complexas baseadas em histórico.

O significado reside na interface de velocidade SE(2), que permite que a política de locomoção seja um componente plug-and-play para planejadores de navegação padrão. Isso permite a implantação de locomoção ágil e perceptiva de humanoides em cenários do mundo real (escadas, terrenos acidentados) que eram anteriormente inacessíveis a métodos guiados por referência devido à sua falta de condicionamento ambiental e compatibilidade com planejamento. Os autores posicionam isso como um passo em direção à navegação geral de humanoides em ambientes centrados no ser humano, indo além de terrenos planos ou terrenos personalizados construídos em laboratório.