Unleashing the Agility of Wheeled-Legged Robots for High-Dynamic Reflexive Obstacle Evasion

1. Declaração do Problema

Robôs com rodas e pernas combinam a eficiência energética das rodas com a adaptabilidade do terreno das pernas, tornando-os ideais para ambientes complexos. No entanto, permitir a evasão reflexiva de obstáculos de alta dinâmica (evitar rapidamente ameaças em movimento rápido) permanece um desafio significativo devido a:

• Morfologia Híbrida: O acoplamento das dinâmicas de rolamento e passo cria problemas de controle complexos.
• Restrições Não Holonômicas: As rodas impõem restrições que limitam mudanças instantâneas de direção em comparação com sistemas puramente com pernas.
• Latência Computacional: Métodos tradicionais baseados em otimização (por exemplo, Controle Preditivo de Modelo) lutam com os espaços de estado de alta dimensão e a cinemática de corpo inteiro necessários para manobras explosivas em tempo real.
• Confusão de Modo: Estruturas existentes frequentemente falham em transitar perfeitamente entre o rolamento eficiente de alta velocidade e manobras evasivas agressivas, levando à instabilidade ou colisões.

2. Metodologia: A Estrutura AWARE

Os autores propõem o AWARE (Adaptive Wheeled-Legged Avoidance and Reflexive Evasion), uma estrutura de aprendizado por reforço (RL) hierárquica projetada para desacoplar a avaliação de ameaças da execução da locomoção.

A. Arquitetura Hierárquica

O sistema consiste em dois módulos distintos:

1. Política Evasiva de Alto Nível (O Planejador):
   • Entrada: Propriocepção do robô, estado do obstáculo (posição, velocidade, raio) e uma Taxa de Aproximação Relativa (RAR) ($\kappa$) calculada, que quantifica o nível de ameaça.
   • Função: Gera um comando de velocidade desejado ($v_{cmd}$) e seleciona explicitamente um modo de evasão através de uma distribuição Gumbel-Softmax.
   • Saída: Um vetor one-hot que roteia o comando para um de dois especialistas de baixo nível.
2. Controlador de Locomoção de Duplo Modo de Baixo Nível (O Executor):
   • Especialista 1 ($\pi_{low}$): Uma Rede Omnidirecional de Baixa Velocidade treinada para rastreamento preciso e navegação suave em cenários não urgentes. Surgem naturalmente rolamento, passos e marchas híbridas.
   • Especialista 2 ($\pi_{high}$): Uma Rede Ágil de Alta Dinâmica treinada para manobras extremas (alta aceleração, frenagem e salto). Especializa-se em avanços agressivos para frente e desvios laterais.
   • Roteamento: A política de alto nível roteia deterministicamente os comandos para $\pi_{low}$ ou $\pi_{high}$ com base no nível de ameaça.

B. Paradigma de Treinamento em Duas Etapas

A estrutura utiliza um pipeline de treinamento desacoplado no simulador Isaac Lab:

1. Etapa 1: Pré-treinamento dos Especialistas de Baixo Nível:
   • $\pi_{low}$ é treinado em comandos omnidirecionais de baixa velocidade.
   • $\pi_{high}$ é treinado em tarefas de evasão extrema, incluindo partidas de alta aceleração e frenagem rápida (usando sequências de comandos históricos para aprender a lógica de desaceleração).
2. Etapa 2: Aprendizado de Currículo de Alto Nível:
   • A política de alto nível é treinada com os especialistas de baixo nível congelados.
   • Currículo: As velocidades dos obstáculos são progressivamente aumentadas com base nas taxas de sucesso.
   • Função de Recompensa: Projetada para maximizar o sucesso da tarefa (evitação de colisões com margens de segurança) enquanto penaliza falsos positivos (evasão desnecessária), erros de rastreamento e ineficiência energética.

C. Transferência Sim-to-Real

Para implantar no robô físico M20 com rodas e pernas, os autores empregam Randomização de Domínio estruturada (Tabela II no artigo) cobrindo:

• Distâncias e velocidades dos obstáculos.
• Inicialização da base do robô (posição, orientação).
• Ganhos de atuador (rigidez/amortecimento) e perturbações externas.
• Parâmetros do corpo (massa, inércia, atrito).

3. Principais Contribuições

1. Formulação da Evasão de Alta Dinâmica: Definiu o problema da evasão reflexiva para robôs com rodas e pernas, abordando o desafio único das restrições não holonômicas em altas velocidades.
2. Desacoplamento Hierárquico: Propôs uma estrutura que separa a tomada de decisão consciente de ameaças da execução de duplo modo, mitigando efetivamente a "confusão de modo" entre navegação e evasão.
3. Comportamentos Emergentes: Demonstrou que o sistema aprende naturalmente marchas distintas e comportamentalmente separadas, incluindo Avanços para Frente (baseados em rolamento) e Desvios Laterais (baseados em passos), que são distintos das marchas de navegação padrão.
4. Validação no Mundo Real: Implimentou com sucesso o sistema em um robô físico enfrentando ameaças dinâmicas (lançamento de caixas, espetos de vara, chutes humanos).

4. Resultados Experimentais

Resultados de Simulação (Isaac Lab)

• Desempenho: O AWARE superou significativamente as linhas de base (REBot e RB-MPC) na Taxa de Sucesso de Evasão (ASR) e na Distância de Manobra de Evasão (AMD), especialmente sob tempos de reação curtos (<1s).
• Análise de Marcha: A visualização t-SNE confirmou que o sistema aprende clusters distintos para marchas de baixa velocidade (Passos, Rolamento, Híbrido) e modos de evasão de alta velocidade (Avanço para Frente, Desvio Lateral).
• Estudos de Ablação: A remoção da arquitetura de duplo modo causou confusão de modo severa e falhas de equilíbrio. A remoção do aprendizado de currículo levou a uma convergência mais lenta.
• Métricas Dinâmicas: O Modo de Rolamento demonstrou superior Aceleração de Escape Transiente (TEA) (4,13 m/s²) e Aceleração Normalizada por Torque (TNA) em comparação com o Modo de Passo, provando que o rolamento é mais eficaz para partidas explosivas.

Implantação no Mundo Real (Plataforma M20)

• Cenários: Testado contra caixas lançadas, varas espetadas e chutes de pés humanos de vários ângulos.
• Desempenho: Alcançou uma ASR média de 59% e uma AMD de 1,1m.
• Observações: O robô alternou com sucesso entre navegação suave e evasão reflexiva. Embora a taxa de sucesso tenha sido menor do que na simulação (devido a limitações de hardware e lacunas sim-to-real), o sistema demonstrou capacidades reativas robustas em tempo real.

5. Significado

Este trabalho preenche uma lacuna crítica na robótica, permitindo que sistemas com rodas e pernas operem com segurança em ambientes densos, imprevisíveis e centrados no ser humano.

• Agilidade: Prova que robôs com rodas e pernas podem aproveitar sua natureza híbrida para realizar manobras explosivas que sistemas puramente com rodas ou puramente com pernas lutam para executar com eficiência.
• Segurança: Ao integrar a evasão reflexiva com a navegação, a estrutura oferece um caminho viável para implantar robôs móveis em ambientes dinâmicos, como entrega urbana ou inspeção industrial, onde obstáculos em movimento rápido são comuns.
• Avance Metodológico: A abordagem de RL hierárquico com aprendizado de currículo fornece um modelo escalável para treinar políticas de locomoção complexas e multimodais sem depender de solucionadores de otimização computacionalmente caros.