REAL: Robust Extreme Agility via Spatio-Temporal Policy Learning and Physics-Guided Filtering

1. O Problema

O "parkour" robótico extremo exige que robôs quadrúpedes (e bípedes) executem manobras ágeis em terrenos descontínuos, desordenados e dinamicamente desafiadores. Isso requer avaliação rápida do terreno, transições de marcha, colocação precisa dos pés e regulação contínua do equilíbrio.

Apesar dos avanços recentes em aprendizado por reforço (RL), os sistemas existentes são fundamentalmente frágeis à degradação perceptiva. Em condições extremas (impactos, rotações rápidas, fases de voo), ocorrem ruído visual, borrão de movimento e latência.

• Falha Catastrófica: Métodos atuais tratam a percepção como uma entrada direta e feedforward. Se a visão é corrompida ou perdida brevemente, o ruído propaga-se diretamente para os comandos motores, causando quedas.
• Falta de Memória: A maioria das abordagens não utiliza memória temporal de curto prazo para reter informações sobre o terreno recente quando a visão falha.
• Estimativa de Estado Inconsistente: Estimadores de estado determinísticos frequentemente ignoram incertezas e não respeitam a consistência da dinâmica de corpo rígido, falhando durante escorregões ou impactos.

2. Metodologia: O Framework REAL

O REAL (Robust Extreme Agility Learning) é um framework de aprendizado de política end-to-end projetado para locomoção quadrúpede robusta sob corrupção sensorial. Ele unifica raciocínio estruturado de terreno, memória espaço-temporal adaptativa e estimativa de estado guiada por física.

O treinamento segue um paradigma de dois estágios (Professor-Aluno):

A. Aprendizado de Política Espaço-Temporal (Spatio-Temporal Policy Learning)

• Política Professor (Privilegiada): Treinada em simulação com acesso a informações privilegiadas (pontos de varredura do terreno, waypoints). Utiliza um mecanismo de atenção cruzada para estabelecer associações estruturadas entre o estado proprioceptivo do corpo e a geometria do terreno. O estado do corpo "interroga" a representação do terreno para recuperar características relevantes para a próxima ação.
• Política Aluno (Implantável): Destilada do professor para operar apenas com sensores a bordo (câmera de profundidade e propriocepção).
  • Fusão FiLM (Feature-wise Linear Modulation): As características visuais da imagem de profundidade são moduladas dinamicamente pelo estado proprioceptivo. Isso atua como um filtro sensorial adaptativo: se a visão é pouco confiável (ex: borrão), o proprioceptivo suprime os recursos visuais errôneos.
  • Backbone Mamba: Em vez de Transformers (que têm complexidade quadrática e atrasos), o aluno utiliza uma arquitetura Mamba (Modelos de Espaço de Estado). Isso permite modelagem temporal eficiente com complexidade de inferência O(1), mantendo uma memória de longo prazo para reconstruir o terreno quando a visão falha.

B. Filtragem Guiada por Física (Physics-Guided Filtering)

Para garantir estimativas de estado consistentes e robustas:

• Estimador Neural de Velocidade: Uma rede 1D ResNet processa uma sequência de 10 quadros de dados proprioceptivos (IMU, encoders) para prever a velocidade e sua incerteza (distribuição Gaussiana).
• Filtro de Kalman Estendido (EKF): A previsão neural é fundida com um modelo de dinâmica de corpo rígido via EKF.
  • Se a rede neural indica alta incerteza (ex: durante uma fase de voo ou escorregão), o ganho de Kalman reduz a correção, confiando mais na dinâmica física.
  • Isso previne drift e estimativas fisicamente implausíveis durante manobras agressivas.

C. Estratégia de Gatilho de Perda Consistente (Consistency-Aware Loss Gating)

Para estabilizar a destilação do professor para o aluno:

• Um mecanismo de gatilho adaptativo ($\lambda$) balanceia dinamicamente a Imitação (Behavioral Cloning - BC) e o Aprendizado por Reforço (RL).
• Se a discrepância entre a ação do aluno e a do professor for grande (indicando instabilidade sob ruído), o treinamento prioriza a imitação para garantir segurança.
• À medida que o aluno se torna consistente, o foco muda para o RL, permitindo exploração e adaptação ao ruído.

3. Contribuições Principais

1. Framework REAL: Um novo paradigma de aprendizado de política espaço-temporal que captura associações cruzadas (propriocepção-terreno) para locomoção robusta e computacionalmente eficiente.
2. Filtragem Guiada por Física: Um módulo que modela explicitamente a incerteza e impõe consistência de corpo rígido, garantindo estimativas de estado confiáveis durante manobras de alta dinâmica.
3. Estratégia de Gatilho Adaptativo: Uma técnica que equilibra imitação e RL para estabilizar a destilação de políticas e melhorar a transferência simulação-realidade (sim-to-real).
4. Validação em Hardware: Demonstração de transferência zero-shot para um robô real (Unitree Go2), superando o estado da arte em terrenos extremos e sob degradação sensorial severa.

4. Resultados Experimentais

Os experimentos foram realizados no simulador Isaac Gym e no robô quadrúpede Unitree Go2.

• Desempenho em Terrenos Extremos: O REAL alcançou uma taxa de sucesso (SR) global de 78%, superando significativamente as bases (Extreme Parkour: 16%, RPL: 4%, SoloParkour: 39%).
• Robustez à Degradação Sensorial:
  • Sob oclusão de campo de visão (FOV) severa, o REAL manteve 72% de sucesso, enquanto outras abordagens caíram drasticamente ou falharam completamente.
  • O sistema consegue operar com uma "zona cega" visual de 1 metro antes de obstáculos, utilizando apenas a memória proprioceptiva e temporal.
• Eficiência Computacional:
  • O backbone Mamba garante um tempo de inferência médio de 13,1 ms por passo (com sequência de 10 quadros), atendendo estritamente ao orçamento de controle em tempo real de 20 ms (50 Hz).
  • Em contraste, uma base baseada em Transformers violou o limite de tempo (23,07 ms).
• Transferência Simulação-Realidade: O robô executou com sucesso saltos em plataformas altas, navegação em caixas espalhadas e escalada de escadas íngremes sem ajuste fino (zero-shot).

5. Significado e Impacto

O trabalho REAL representa um avanço crucial para a aplicação de robôs em ambientes não estruturados e críticos (como resposta a desastres e exploração planetária).

• Resiliência: Demonstra que robôs podem manter a agilidade extrema mesmo quando os sensores falham temporariamente, algo essencial para cenários do mundo real onde poeira, fumaça ou impactos podem cegar a visão.
• Arquitetura Eficiente: A adoção do Mamba em vez de Transformers resolve o gargalo de escalabilidade de sequência para controle em alta frequência, tornando o aprendizado profundo viável em hardware embarcado com recursos limitados.
• Segurança Física: A integração de estimadores de incerteza com dinâmica de corpo rígido evita que erros de percepção levem a comandos motores que quebram o robô ou causam quedas catastróficas.

Em resumo, o REAL estabelece um novo padrão para locomoção robótica robusta, provando que a combinação de memória temporal, fusão sensorial adaptativa e consistência física é a chave para a verdadeira agilidade em ambientes hostis.