Learning Gait-Aware Quadruped Locomotion with Temporal Logic Specifications

Resumo Técnico: Aprendizado de Locomoção de Quadrúpedes com Consciência de Passo via Especificações de Lógica Temporal

Definição do Problema
O aprendizado por reforço (RL) para locomoção de quadrúpedes atualmente depende fortemente de funções de recompensa de Markov fixas e artesanais. Embora eficazes para aprender passos únicos dominantes (ex: trote), essas abordagens sofrem de duas limitações primárias:

1. Falta de Interpretabilidade: As políticas aprendidas são frequentemente "caixas pretas", onde a conexão entre os termos de recompensa e falhas comportamentais específicas é opaca.
2. Controle de Passo Limitado: Funções de recompensa estáticas têm dificuldade em induzir regimes de passo distintos (caminhada-trote, trote, salto/bound) ou transições suaves entre eles baseadas na velocidade. Elas frequentemente falham em impor explicitamente a estrutura temporal de padrões de contato necessária para diferentes velocidades, levando a um treinamento instável ou rastreamento de comando deficiente em altas velocidades.

Os autores abordam o desafio de aprender uma política única que possa adaptar sua estrutura de passo através de múltiplos regimes de velocidade, mantendo segurança, estabilidade e rastreamento preciso de velocidade.

Metodologia
O framework proposto substitui recompensas heurísticas por especificações de Lógica Temporal de Sinais (STL) para codificar comportamentos desejados. A metodologia central envolve:

1. Seleção de Passo Dependente de Modo:
   O sistema define três modos de locomoção baseados na velocidade de avanço comandada ($v_{cmd}$), utilizando o número de Froude para determinar os limiares de transição:

• Caminhada-Trote (W): $0 \le v_{cmd} \le 0.7$ m/s.
• Trote (T): $0.7 < v_{cmd} \le 1.7$ m/s.
• Salto/Bound (B): $v_{cmd} > 1.7$ m/s.
  A histerese é aplicada para evitar o efeito de chattering (oscilação) de modo próximo aos limites de transição.

2. Mineração de Especificação STL Baseada em Dados:
   Em vez de ajustar manualmente parâmetros lógicos, os autores utilizam uma abordagem baseada em dados:

• Trajetórias de Especialistas: Eles coletam 50 execuções (rollouts) de especialistas por regime (caminhada-trote, trote, salto) a partir de modelos especializados.
• Templates de STL Paramétrica (PSTL): Eles definem templates paramétricos para segurança (limites de torque, limites de roll/pitch, altura do CoM), rastreamento de velocidade e estrutura de passo (padrões de contato, fatores de dever/duty factors, sincronização de fase).
• Calibração de Parâmetros: Os limiares para os predicados de STL são ajustados aos dados dos especialistas usando quantis empíricos (ex: percentil 99 para magnitudes de erro) para garantir que as especificações sejam satisfeitas por comportamentos bem-sucedidos sem penalizar excessivamente o ruído transiente.

3. Modelagem de Recompensa via Robustez:
   As especificações de STL são convertidas em um sinal de recompensa denso e contínuo usando semântica de robustez quantitativa.

• Predicados: Predicados específicos são definidos para cada modo (ex: erro de fase diagonal para o trote, ocupação de fase aérea para o salto, supressão de padrões diagonais para o salto).
• Agregação: Os valores de robustez ($\rho$) para segurança, rastreamento e restrições de padrão são agregados usando uma função soft-min que preserva o sinal e normalizados via $\tanh(\rho)$ para mapear para $[-1, 1]$.
• Recompensa Final: A recompensa escalar é uma soma ponderada dos termos de robustez normalizados menos uma penalidade de eficiência energética (esforço de torque).

4. Pipeline de Treinamento:
   A abordagem é instanciada no robô quadrúpede Barkour vb da Google no simulador MuJoCo XLA (MJX).

• Algoritmo: O PPO (Proximal Policy Optimization) é utilizado.
• Otimização: Paralelização em GPUs e randomização de domínio são empregadas para melhorar a velocidade de treinamento e a robustez da política.
• Currículo: O treinamento começa com intervalos de velocidade mais baixos e expande gradualmente para incluir o regime de "salto".

Principais Contribuições

1. Recompensas Baseadas em Lógica com Consciência de Modo: Um framework onde diferentes velocidades comandadas ativam distintas especificações de STL, permitindo que uma única política aprenda múltiplas estruturas de passo.
2. Aprendizado de Parâmetros Baseado em Dados: Um pipeline que ajusta templates de passo paramétricos diretamente de trajetórias de especialistas, produzindo especificações interpretáveis alinhadas com estatísticas de passo reais em vez de suposições heurísticas.
3. Política de Múltiplos Passos Unificada: Uma política única que rastreia com sucesso comandos de velocidade através dos regimes de caminhada, trote e salto, alcançando erros de rastreamento de comando menores em comparação com baselines heurísticos.
4. Diagnósticos Interpretáveis: O uso de sinais de robustez de STL permite a atribuição de falhas. Se uma execução falha, predicados violados específicos (ex: suporte insuficiente, limites de atuador) podem ser identificados, fornecendo uma ferramenta prática para depuração.

Resultados Experimentais
Os autores avaliaram a política moldada por STL contra dois baselines utilizando recompensas artesanais (heurística-melhor e heurística-padrão) no robô Barkour.

• Métricas: Custo de Transporte (CoT), taxa de sobrevivência e taxa de sucesso (definida como velocidade média de avanço dentro de $\pm 15\%$ do comando).
• Desempenho: A política baseada em STL demonstrou um rastreamento de velocidade mais rigoroso e um treinamento mais estável.
• Robustez em Alta Velocidade: Crucialmente, a política de STL manteve taxas de sobrevivência e sucesso perfeitas em todo o intervalo de velocidade testado, incluindo comandos de alta velocidade ($1.9 - 2.1$ m/s), onde os baselines heurísticos começaram a degradar seu desempenho.

Significância e Alegações
O artigo afirma que seu framework oferece uma alternativa estruturada, analisável e orientada por especificações tanto para métodos de representação latente de caixa preta quanto para modelagem de recompensa puramente heurística. Ao codificar objetivos de locomoção como especificações lógicas, a abordagem:

• Fornece controle explícito sobre comportamentos de passo e sequências de contato.
• Aumenta a interpretabilidade ao vincular falhas de política a violações lógicas específicas.
• Resolve o desafio de engenharia de aprender uma política unificada que se adapta sua estrutura de passo através de regimes de velocidade sem exigir controladores separados ou mecanismos de alternância hierárquicos complexos.

O trabalho demonstra que especificações formais podem ser integradas efetivamente em pipelines de RL profundo para melhorar tanto o desempenho quanto a capacidade de depuração de políticas de locomoção de pernas.