Resumo Técnico: Críticos Regularizados por Lipschitz Levam à Robustez de Política Contra Incerteza na Dinâmica de Transição

Declaração do Problema

Políticas de Aprendizado por Reforço (RL) frequentemente sofrem degradação de desempenho ao serem implantadas em hardware real devido ao hiato "sim-to-real". Este hiato surge de discrepâncias entre as dinâmicas de transição simuladas e reais causadas por erros de identificação de sistema e modelagem idealizada. Embora a Randomização de Domínio tente mitigar isso treinando através de parâmetros físicos randomizados, ela frequentemente falha em generalizar além das distribuições predefinidas.

O Aprendizado por Reforço Robusto (Robust RL) aborda isso otimizando o desempenho para o pior caso dentro de um conjunto de incerteza. No entanto, as abordagens existentes enfrentam duas limitações primárias:

1. Limitações do MDP Conservador de Estado (SC-MDP): Métodos como o Regularizador Baseado em Gradiente (GBR) aproximam a função de valor de pior caso usando expansões de Taylor de primeira ordem. Essas aproximações podem ser não confiáveis quando a região local é grande ou quando os gradientes da rede de valor não são regularizados. Além disso, esses métodos carecem de validação abrangente em tarefas de controle robótico complexas e do mundo real.
2. Regularização de Crítico Subexplorada: Embora a regularização de Lipschitz seja conhecida por impor suavidade em redes neurais, seu efeito independente na rede do crítico dentro de uma estrutura de RL robusto permanece subexplorado. Não está claro se um crítico regularizado por Lipschitz sozinho pode aumentar a robustez da política contra a incerteza da dinâmica de transição.

Metodologia: PPO-PGDLC

Os autores propõem o PPO-PGDLC, uma estrutura que integra o Gradiente Descendente Projetado (PGD) com um Crítico Regularizado por Lipschitz (LC) no algoritmo Proximal Policy Optimization (PPO). O método aborda o problema da Estimativa de Valor de Pior Caso (WCVE).

1. Estimativa de Valor de Pior Caso via PGD

Em vez de confiar em aproximações de primeira ordem (como o GBR) para estimar o valor mínimo dentro de um conjunto de incerteza, o PPO-PGDLC busca explicitamente o estado adversário.

• Formulação: O problema é definido como encontrar um estado $\hat{s}$ dentro de uma bola $L_\infty$ de raio $\epsilon$, denotada por $B_{\epsilon, \infty}(s)$, que minimize a função de valor do estado $V(\hat{s})$.
• Algoritmo: Os autores empregam um solver PGD iterativo (Algoritmo 1) para encontrar este estado adversário. Em cada etapa, o estado é atualizado na direção do gradiente negativo da função de valor e projetado de volta no conjunto de restrição. Isso fornece uma aproximação mais precisa do operador de Bellman robusto do que simples regularizadores baseados em gradiente.

2. Crítico Regularizado por Lipschitz

Para abordar a instabilidade de aproximadores de função profundos e a potencial imprecisão de gradientes em paisagens não convexas, os autores impõem continuidade de Lipschitz local na rede do crítico.

• Mecanismo: Um termo de penalidade baseado na norma do gradiente é adicionado à função de perda do crítico: $L_{new} = L_{ori} + \lambda \cdot ||\nabla_s V(s)||$.
• Racional: Trabalhos teóricos sugerem que, se a recompensa, a política e a dinâmica forem contínuas de Lipschitz, as funções de valor também serão Lipschitz. Ao restringir os gradientes do crítico, o método impõe suavidade local, reduzindo o "pessimismo" do valor de pior caso aproximado e estabilizando as atualizações da política.

3. Integração com PPO

A estrutura modifica o estimador de vantagem padrão do PPO. Em vez de usar o valor do próximo estado nominal, o cálculo da vantagem utiliza o valor do estado adversário encontrado pelo solver PGD ($h(s, \epsilon, V)$).

• Vantagem Modificada: $\hat{A}^h_t$ é calculado usando erros de diferença temporal derivados dos valores de pior caso resolvidos pelo PGD.
• Funções de Perda:
  • Perda do Ator: Utiliza a vantagem modificada $\hat{A}^h_t$ dentro do objetivo substituto clipado padrão do PPO.
  • Perda do Crítico: Combina o erro residual padrão (ajuste de recompensas-para-o-futuro de $n$ passos) com o termo de regularização de Lipschitz local.

Contribuições Principais

1. Estrutura Nova: A introdução do PPO-PGDLC, que combina a busca explícita de estado de pior caso (via PGD) com a regularização de Lipschitz do crítico, preenchendo a lacuna entre MDPs robustos teóricos e aprendizado prático de ator-crítico.
2. Investigação da Regularização do Crítico: O artigo investiga e valida explicitamente a hipótese de que críticos regularizados por Lipschitz aumentam a robustez da política, um fator anteriormente subexplorado na literatura de SC-MDP.
3. Validação no Mundo Real: Diferente de muitos artigos de RL robusto limitados à simulação, este trabalho valida a abordagem em um robô quadrúpede real (Unitree Go2), demonstrando transferência sim-to-real sem ajuste fino (fine-tuning).

Resultados Experimentais

Benchmarks de Controle Clássico (Cartpole e Ant)

• Métrica de Robustez: Os autores introduzem a $\rho$-robustez, medindo a recompensa média mínima dentro de um "raio de ataque" $\rho$ em uma grade de parâmetros físicos perturbados (massa e fricção).
• Descobertas:
  • O PPO-PGDLC alcançou os valores de $\rho$-robustez mais altos em quase todos os raios e limites de incerteza ($\epsilon$) testados em comparação com o PPO padrão, PPO-GBR e um PPO-PGD ablacionado (PGD sem LC).
  • Na tarefa Ant, o PPO-PGDLC convergiu para uma recompensa final mais alta e manteve um desempenho superior sob perturbações de massa e fricção.
  • Os resultados indicam um compromisso (trade-off): conjuntos de incerteza excessivamente grandes podem prejudicar o desempenho, mas o crítico regularizado por Lipschitz ajuda a mitigar essa degradação.

Locomoção Quadrupede no Mundo Real (Unitree Go2)

• Configuração: Políticas foram treinadas em simulação e implantadas em um robô Unitree Go2 com cargas adicionadas (2kg e 4kg) sem ajuste fino.
• Métricas de Suavidade: Os autores avaliaram a Suavidade de Ação (AS), a Razão de Flutuação de Segunda Ordem (SFR) e o Erro de Rastreamento de Velocidade (VTE).
  • O PPO-PGDLC demonstrou Constantes de Lipschitz Locais (LLC) significativamente menores para as redes do crítico (até 96,6% de redução) e do ator em comparação ao PPO padrão.
  • Na implantação, o PPO-PGDLC produziu ações mais suaves (menores AS e SFR) e rastreamento de velocidade comparável ou melhorado sob cargas variáveis em comparação ao PPO padrão.
• Especificidade da Tarefa: O peso de regularização ideal ($\lambda$) variou conforme o passo (ex: $\lambda=10^{-3}$ para bounding vs. $\lambda=5 \times 10^{-5}$ para trotting), sugerindo que o nível ideal de suavização do crítico é dependente da tarefa.

Significância e Alegações

O artigo afirma que o PPO-PGDLC oferece uma formulação principiológica e computacionalmente tratável para RL robusto. Sua principal significância reside em demonstrar que a suavidade do crítico é um fator crítico, porém anteriormente subutilizado, para alcançar a robustez da política.

Ao combinar a busca explícita de estado adversário com restrições de gradiente no crítico, o método produz políticas que não são apenas mais robustas à incerteza da dinâmica de transição, mas também geram ações mais suaves e estáveis em hardware real. Os autores concluem que sua abordagem fornece novos insights sobre como a regularização do crítico contribui para a transferência sim-to-real confiável, oferecendo uma alternativa viável à randomização de domínio para tarefas onde as perturbações ambientais surgem de fontes além das distribuições predefinidas.