Gain Tuning Is Not What You Need: Reward Gain Adaptation for Constrained Locomotion Learning

Resumo Técnico: Adaptação de Ganho de Recompensa para Aprendizado de Locomoção com Restrições

Definição do Problema
As técnicas existentes de aprendizado de locomoção robótica, particularmente aquelas baseadas em Aprendizado por Reforço (RL), enfrentam dois desafios críticos. Primeiro, elas dependem fortemente da seleção offline dos ganhos de ponderação de recompensa, um processo que consome muito tempo, exige extensa sintonia de hiperparâmetros e frequentemente resulta em resultados subótimos se os valores forem selecionados incorretamente. Segundo, as abordagens tradicionais de RL são propensas a violações de restrições (ex: quedas, exceder limites físicos) durante o processo de treinamento devido à exploração aleatória. Embora existam técnicas de RL com Restrições (CRL) para impor segurança, muitas ainda sofrem com violações de restrições durante o aprendizado ou exigem formulações matemáticas complexas (ex: Funções de Barreira de Controle) e otimização iterativa (ex: métodos primal-dual) que retardam o ajuste dos ganhos de penalidade. Consequentemente, alcançar violações de restrição próximas de zero enquanto se maximiza o desempenho em robôs físicos do mundo real permanece um desafio não resolvido.

Metodologia: ROGER
Os autores propõem o ROGER (Reward-Oriented Gains via Embodied Regulation), um método que adapta os ganhos de ponderação de recompensa online com base nas penalidades recebidas durante a interação incorporada, eliminando a necessidade de extensa sintonia offline.

• Mecanismo Central: O ROGER equilibra dinamicamente a razão entre recompensas positivas (objetivos da tarefa primária) e recompensas negativas (penalidades de restrição).
  • Quando o robô está em estados seguros (longe dos limiares de restrição), a razão favorece a recompensa primária para priorizar o desempenho.
  • À medida que o robô se aproxima dos limiares de restrição, a razão muda automaticamente para aumentar os ganhos de penalidade e reduzir os ganhos primários, desencorajando efetivamente ações inseguras.
• Formulação Matemática: O método utiliza uma configuração de múltiplos canais de recompensa onde as recompensas e penalidades são armazenadas de forma independente. Em cada instante $t$, os ganhos de ponderação são computados como:
  • $\lambda_{0t} = 1 - \Delta_t$ (Ganho da recompensa primária)
  • $\lambda_{it} = r_{\lambda_{it}} \Delta_t$ (Ganho de penalidade para a restrição $i$)
  • Aqui, $\Delta_t$ é uma soma truncada das penalidades de restrição estimadas em relação aos seus limiares ($\tau$), garantindo que a soma dos ganhos seja igual a 1. A razão de contribuição $r_{\lambda_{it}}$ distribui os pesos de penalidade com base na severidade de violações de restrição específicas.
• Hiperparâmetros: A abordagem baseia-se em hiperparâmetros intuitivos, especificamente os limiares de restrição ($\tau$) derivados dos limites físicos do sistema (ex: orientação máxima do hardware), em vez de coeficientes de penalidade complexos que exigem busca em grade (grid search).
• Integração: O ROGER é projetado como um mecanismo adicional (add-on) para estruturas de aprendizado existentes (ex: AGOL para quadrúpedes, PPO para robôs hopper), adaptando a estrutura de recompensa em tempo real sem alterar o algoritmo de atualização da política subjacente.

Principais Contribuições

1. Satisfação de Restrições: O ROGER garante violações de restrição próximas de zero durante todo o processo de aprendizado ao ajustar dinamicamente os ganhos antes que as violações ocorram, em vez de reagir após o fato.
2. Sintonia Simplificada: O método elimina a necessidade de extensa sintonia offline de ganhos ao utilizar limiares físicos intuitivos, reduzindo significativamente o tempo e o risco associados à seleção de hiperparâmetros.
3. Otimização de Desempenho: Ao priorizar o desempenho apenas quando seguro, o ROGER alcança recompensas primárias mais altas em comparação com a ponderação fixa e outras técnicas de ponderação adaptativa.

Resultados Experimentais
Os autores avaliaram o ROGER em um robô quadrúpede Unitree B1 de 60 kg (tanto em simulação quanto no mundo real) e em um hopper do MuJoCo.

• Locomoção de Quadrúpede (Simulação e Mundo Real):
  • Violações de Restrição: Em simulação, o ROGER alcançou violações próximas de zero (1 violação em 50.000 passos de tempo), superando métodos adaptativos de ponta como o CRPO (0 violações em 25.000 passos de tempo, mas com menor desempenho) e métodos de ponderação fixa. Em testes no mundo real, o robô físico completou 300 episódios de aprendizado (aprox. 1 hora) sem cair, mantendo os ângulos de roll e pitch abaixo do limiar de 10°.
  • Desempenho: O ROGER alcançou uma velocidade frontal final de 0,6 m/s, que é 50% superior às técnicas de ponta equivalentes (penalidade de ganho fixo e CRPO) e igualou o desempenho do treinamento com apenas as recompensas primárias, mas com segurança garantida.
  • Adaptabilidade: O robô aprendeu com sucesso a locomover-se em terrenos desafiadores (superfícies escorregadias, cascalho solto, degraus aleatórios) e sob cargas dinâmicas sem sensores exteroceptivos, demonstrando que políticas de controle viáveis emergiram através da exploração enquanto satisfaziam as restrições.
• Locomoção de Hopper (MuJoCo):
  • O ROGER foi testado em um hopper de uma única perna onde as suposições de otimalidade de penalidade zero e dinâmica suave foram violadas.
  • Métricas: O ROGER alcançou uma melhoria de 20% na distância de salto sobre a função de recompensa padrão, uma redução de 57% no uso de torque e uma redução de 59% no desvio de orientação.
  • Robustez: Mesmo sob restrições mais rigorosas (limiares reduzidos pela metade), o ROGER manteve o salto frontal sem mover-se para trás, demonstrando sua capacidade de se adaptar a dinâmicas de sistema sensíveis.

Significância e Alegações
O artigo afirma que o ROGER contribui para o campo do aprendizado de locomoção robótica contínua no mundo real com satisfação de restrições. Ao alavancar a interação incorporada para regular dinamicamente os ganhos de recompensa, o método simplifica o processo de sintonia de ganhos de ponderação de recompensa. Essa redução na complexidade de sintonia facilita potencialmente o desenvolvimento de robôs físicos que podem aprender de forma segura e eficaz no mundo real, abordando a lacuna crítica onde as técnicas atuais ou falham em garantir a segurança durante o treinamento ou exigem quantidades proibitivas de sintonia manual. Os autores enfatizam que, embora o ROGER garanta que o valor esperado das restrições seja satisfeito, ele não garante a ausência de quedas em todos os cenários (particularmente com dinâmicas sensíveis), mas melhora significativamente o desempenho e a segurança em comparação com as linhas de base existentes.