Resumo Técnico: Aprendizado Eficiente de Locomoção Robusta Baseada em Torque através de Aprendizado por Reforço com Supervisão Baseada em Modelo

Declaração do Problema

Aprender políticas de locomoção baseadas em torque eficazes para robôs bipedais continua sendo um desafio significativo. Embora o controle de torque permita comportamentos responsivos e complacentes, ele exige o manejo preciso de dinâmicas complexas e não lineares. O aprendizado direto da política ao nível de torque é particularmente difícil na presença de incertezas do mundo real, como incerteza de contato, ruído de sensores, atrasos de atuação e dinâmicas não modeladas (ex: fricção nas juntas, flexibilidades estruturais).

Métodos de controle tradicionais baseados em modelos (ex: planejamento de trajetória DCM com Controle de Corpo Inteiro - WBC) dependem de modelos de sistema precisos. No entanto, seu desempenho degrada quando as discrepâncias entre o modelo e o sistema físico tornam-se substanciais. Por outro lado, abordagens de Aprendizado por Reforço Profundo (DRL) puramente orientadas a dados, embora robustas a erros de modelagem via randomização de domínio, frequentemente sofrem com ineficiência de dados, sensibilidade ao design de recompensa e falta de interpretabilidade ou garantias de segurança. Estratégias híbridas existentes geralmente dependem exclusivamente de sinais de recompensa, exigindo extensas iterações de tentativa e erro e oferecendo orientação limitada durante o treinamento.

Metodologia

Os autores propõem um framework de controle que integra a locomoção bipedal baseada em modelo com o aprendizado por reforço residual (RL), aprimorado por um novo mecanismo de supervisão baseado em modelo. A arquitetura consiste em três componentes primários:

1. Política Base ($\pi_b$): Um controlador baseado em modelo composto por um planejador de trajetória de Componente Divergente de Movimento (DCM) e um Controlador de Corpo Inteiro (WBC) baseado em dinâmica inversa. Esta política opera sob um modelo de dinâmica impreciso e observações de estado ruidosas, servindo como uma fundação confiável, porém imperfeita.
2. Política Oráculo ($\pi^*$): Um controlador baseado em modelo com acesso "privilegiado" a informações de sistema de verdade fundamental (ground-truth), incluindo dinâmica de robô exata, estado real (livre de ruído) e parâmetros de motor (ex: atrasos de atuação, eficiência). Esta política gera ações corretivas ideais sob condições randomizadas, mas é utilizada apenas durante o treinamento como um supervisor.
3. Política de RL Residual ($\pi_r$): Uma política aprendível treinada via Otimização de Política Próxima (PPO) para gerar comandos de torque residuais que compensam as imprecisões da Política Base.

Componentes Técnicos Principais:

• Randomização de Domínio: O ambiente de treinamento randomiza o ruído dos sensores, a dinâmica do robô (massa, fricção, amortecimento, eficiência do motor) e fatores ambientais (fricção do piso, irregularidades) para expor a política à variabilidade do mundo real.
• Aprendizado por Reforço Supervisionado: Diferente do RL padrão que depende apenas de modelagem de recompensa, este framework introduz um termo de perda supervisionada ($L_{sup}$). A política residual é explicitamente guiada para mimetizar as ações corretivas da Política Oráculo.
  • A perda total é uma soma ponderada: $L_{total} = \omega_{rl} L_{rl} + \omega_{sup} L_{sup}$.
  • A perda supervisionada incentiva a política a atribuir alta probabilidade à ação residual do Oráculo ($\tau^*_t - \tau^b_t$).
• Espaço de Observação: A política utiliza uma rede neural recorrente (LSTM) para processar um histórico de observações ruidosas (estados das juntas, torques da política base, erros de rastreamento). A rede do crítico utiliza adicionalmente observações privilegiadas (estados reais, torques do Oráculo) para uma estimativa de valor mais precisa durante o treinamento.

Principais Contribuições

O artigo delineia quatro contribuições principais:

1. Framework de Controle Integrado: Uma arquitetura inovadora que combina a confiabilidade estruturada do controle baseado em modelo com a adaptabilidade do RL residual para mitigar imprecisões de modelo.
2. Política Oráculo Baseada em Modelo: A introdução de uma política Oráculo que aproveita informações privilegiadas para gerar sinais de controle próximos do ideal, servindo como um supervisor para o processo de aprendizado.
3. Objetivo de RL Supervisionado: Um framework de treinamento que incorpora ações do Oráculo em uma perda supervisionada, complementando o objetivo padrão de RL para melhorar a eficiência do aprendizado sem depender exclusivamente de engenharia de recompensa.
4. Validação Cross-Platform: Avaliações abrangentes em três robôs bipedais distintos (Kangaroo, Unitree H1-2 e Bruce), demonstrando robustez e generalização através de diferentes plataformas de hardware sem ajuste específico de parâmetros.

Resultados

O método foi avaliado nos robôs Kangaroo, Unitree H1-2 e Bruce sob extensa randomização de domínio ($\beta=1$).

• Desempenho vs. Baselines:
  • Oráculo (O): Alcançou 100% de taxa de sucesso em todas as plataformas com erros de rastreamento mínimos, validando seu papel como um supervisor eficaz.
  • Política Base (B): Falhou completamente (0% de sucesso) sob randomização, destacando a fragilidade do controle baseado em modelo padrão sem adaptação.
  • RL Residual Padrão (ResRL): Mostrou baixo desempenho (0-10% de sucesso), lutando para aprender locomoção baseada em torque sem orientação explícita.
  • Aprendizado por Imitação (IL): Desempenhou bem no Kangaroo (70-100% de sucesso), mas teve dificuldades no Bruce (80% de sucesso), sugerindo sensibilidade à confiabilidade do Oráculo em regimes dinâmicos específicos.
  • Método Proposto (BOR - Base + Oracle Residual): Alcançou 100% de sucesso no Kangaroo e H1-2, e 80% no Bruce. Superou significativamente o ResRL padrão e o IL puro, aproximando-se do nível de desempenho do Oráculo em DCM e rastreamento de pé.
• Robustez à Incerteza: Quando testado com níveis variados de randomização ($\beta \in [0.1, 0.7]$), o método proposto manteve uma taxa de sucesso de 100%, enquanto o Controlador Baseado em Modelo (MBC) padrão falhou significativamente conforme a incerteza aumentava.
• Eficiência de Treinamento: A abordagem supervisionada convergiu para mais de 80% de taxa de sucesso em apenas 1.500 episódios (aprox. 4,16 horas de simulação), enquanto o RL residual padrão mostrou pouco progresso sob as mesmas condições.
• Generalização: O framework transferiu com sucesso para terrenos irregulares e diferentes morfologias de robôs sem necessidade de reajuste, demonstrando a capacidade de aprender comportamentos adaptativos que vão além da simples imitação do Oráculo.

Significância e Alegações

O artigo afirma que esta abordagem efetivamente preenche a lacuna entre o controle baseado em modelo e o RL orientado a dados. Ao integrar priors baseados em modelo com adaptação orientada a dados, o método oferece uma solução escalável para a transferência sim-to-real em locomoção bipedal.

Os autores enfatizam que o framework melhora a eficiência de aprendizado e a robustez ao usar o Oráculo para guiar a política em direção a comportamentos corretivos sem a necessidade de extensa engenharia de recompensa. Eles observam que, embora o Oráculo forneça um sinal de supervisão forte, o componente de RL é crucial para explorar ações que se desviem do Oráculo quando necessário (ex: em condições altamente estocásticas ou em terrenos irregulares onde o planejamento baseado em modelo do Oráculo pode ser subótimo). O trabalho demonstra que o aprendizado por reforço supervisionado fornece uma solução eficiente, robusta e transferível para o controle de locomoção baseada em torque em robôs humanoides.