Constraint-Enhanced Reinforcement Learning Based on Dynamic Decoupled Spherical Radial Squashing

Este artigo apresenta o Esquadrilhamento Radial Esférico Dinâmico e Desacoplado (DD-SRad), um método de aprendizado por reforço aprimorado por restrições que resolve a incompatibilidade geométrica entre limites de taxa de atuadores heterogêneos e restrições isotrópicas ao calcular raios adaptativos à posição e por junta, alcançando assim zero violações de restrição, retropropagação exata de gradientes e desempenho superior em tarefas tanto em simulação quanto em implantações de robôs humanoides de alta fidelidade.

O essencial

Imagine que você está ensinando um robô a andar, dançar ou correr usando um controle de videogame. No mundo real, as juntas do robô (como joelhos, quadris e tornozelos) têm limites físicos sobre a velocidade com que podem se mover. Se você pedir ao joelho de um robô para saltar de uma posição para outra muito rapidamente, o motor pode queimar, ou o robô pode tropeçar e cair.

O problema é que cada junta tem um limite de velocidade diferente. Os quadris do seu robô podem ser fortes e rápidos, capazes de se mover rapidamente, enquanto seus tornozelos são delicados e lentos. Isso é como um carro em que o motor pode girar em altas rotações, mas as rodas estão presas na lama e só conseguem girar lentamente.

O Problema: O Erro "Tamanho Único"

Métodos anteriores para ensinar robôs tentaram lidar com esses limites de velocidade impondo um "teto de velocidade global" para todo o robô. Imagine que você tem um grupo de corredores: um velocista, um maratonista e um toddler. Se você disser a todos eles: "Vocês só podem correr tão rápido quanto o toddler", o velocista é restringido desnecessariamente. Se você disser: "Corram o mais rápido que puder", o toddler fica para trás (ou, no caso do robô, quebra).

Em termos matemáticos, o artigo afirma que os métodos antigos tentavam encaixar um círculo perfeito (uma esfera) dentro de uma caixa retangular de movimentos permitidos.

• A Caixa: Representa o mundo real, onde o quadril pode se mover muito, mas o tornozelo só pode se mover um pouco.
• O Círculo: Representa o antigo método de IA. Ele tenta encaixar um círculo dentro dessa caixa.
• O Resultado: O círculo deixa enormes cantos vazios na caixa. O robô é instruído a não mover seu quadril tão rápido quanto fisicamente poderia, apenas para manter o "círculo" seguro. Isso desperdiça o potencial do robô.

A Solução: DD-SRad (Compressão Radial Esférica Desacoplada Dinamicamente)

Os autores criaram um novo método chamado DD-SRad. Pense nele como dar ao robô uma luva inteligente e ajustável para cada dedo (junta) individualmente.

Em vez de uma única regra grande para toda a mão, o DD-SRad calcula um "limite de velocidade" específico para cada dedo com base em:

1. Quão rápido aquele dedo específico pode se mover.
2. Onde aquele dedo está localizado atualmente.

Se o quadril do robô estiver em uma posição onde pode se mover rapidamente com segurança, a "luva" permite que ele vá. Se o tornozelo estiver perto de seu limite, a "luva" aperta apenas para aquele tornozelo.

A Analogia:
Imagine que você está dirigindo um carro com um pedal de acelerador muito sensível e um freio pesado.

• Método Antigo: Você coloca um bloco de madeira sob o pedal do acelerador para que você não possa pressioná-lo mais do que 1 polegada. Isso mantém você seguro, mas você não pode acelerar mesmo quando a estrada está livre.
• DD-SRad: Você tem um pedal inteligente que sabe exatamente o quão forte você pode pressionar com base na sua velocidade atual e nas condições da estrada. Ele permite que você pise fundo quando seguro, mas afasta suavemente quando você está perto de uma parede.

Por Que Isso Importa (Os Resultados)

O artigo testou isso em robôs digitais (em um simulador chamado MuJoCo) e em simulações de alta fidelidade de humanoides reais (Unitree H1 e G1).

1. Zero Juntas Quebradas: O método garante que o robô nunca peça a uma junta para se mover mais rápido do que seu limite. É uma garantia de segurança de 100%.
2. Desempenho Máximo: Como deixa de restringir as juntas rápidas, os robôs aprenderam a se mover melhor e mais rápido do que os métodos anteriores. Nos testes, alcançaram as pontuações mais altas possíveis sem nunca violar uma regra.
3. Melhor Cobertura: O artigo afirma que este método cobre 30% a 50% a mais dos movimentos possíveis do que os antigos métodos de "círculo". Ele preenche os "cantos" da caixa que anteriormente estavam vazios.
4. Sem Lentidão: Diferente de outros métodos que exigem cálculos matemáticos complexos (resolução de equações) a cada passo para verificar a segurança, o DD-SRad faz isso instantaneamente com uma fórmula simples. É rápido o suficiente para controle em tempo real.

A Conclusão

O artigo argumenta que, para tornar os robôs seguros e ágeis no mundo real, precisamos parar de tratar todas as juntas da mesma forma. Ao dar a cada junta seu próprio "limite de velocidade" personalizado que muda dinamicamente conforme o robô se move, podemos desbloquear todo o potencial do robô sem arriscar danos. Os autores demonstraram com sucesso isso em humanoides simulados, mostrando um caminho claro do manual técnico (folha de dados) de um robô até uma máquina implantada com segurança e de alto desempenho.

Resumo técnico

Resumo Técnico: Esquadrinhamento Radial Esférico Desacoplado Dinâmico (DD-SRad)

1. Declaração do Problema

A implantação de políticas de aprendizado por reforço (RL) em robôs físicos exige o atendimento a restrições de taxa de atuador: limites rígidos sobre a velocidade com que o comando de posição de cada junta pode mudar por passo de controle ($|a^i_t - a^i_{t-1}| \le \delta^i$). Esses limites são estruturalmente heterogêneos; devido a diferenças na inércia do motor e na rigidez da transmissão, o limite de taxa $\delta^i$ varia significativamente entre as juntas (por exemplo, as juntas do quadril frequentemente permitem taxas muito mais altas do que as juntas do tornozelo).

Os métodos existentes falham em lidar com essa heterogeneidade geometricamente:

• Abordagens MPC/QP incorrem em sobrecarga de solucionador em tempo de execução e sofrem com inconsistência entre treinamento e implantação, impedindo a otimização ponta a ponta.
• Métodos de MDP Constrained (CMDP) (por exemplo, CPO, FOCOPS) oferecem apenas garantias na forma esperada, permitindo violações transitórias por passo que podem danificar o hardware.
• Métodos de parametrização de ação tipicamente impõem restrições isotrópicas de bola $\ell_2$ (por exemplo, Esquadrinhamento Radial Esférico, SRad). Sob restrições heterogêneas, uma bola $\ell_2$ com raio $R = \min_i \delta^i$ cobre insuficientemente o conjunto viável real (um hiperretângulo $\ell_\infty$). A razão de volume da bola $\ell_2$ para o conjunto viável real degrada-se exponencialmente com a dimensão e a heterogeneidade, comprimindo efetivamente o espaço de exploração para juntas de alto orçamento.
• Métodos de clipping $\ell_\infty$ (por exemplo, BoxPre+) cobrem a geometria correta, mas truncam gradientes na fronteira, perdendo informações direcionais durante as atualizações da política.

O desafio central é alcançar satisfação de restrição por passo rígida, cobertura exata $\ell_\infty$ do conjunto viável e retropropagação de gradiente ponta a ponta sem sobrecarga de solucionador em tempo de execução.

2. Metodologia: DD-SRad

O artigo propõe o Esquadrinhamento Radial Esférico Desacoplado Dinâmico (DD-SRad), uma parametrização de ação analítica suave que resolve o desajuste geométrico entre a saída da política e as restrições de taxa heterogêneas.

Mecanismo Central

Diferentemente do SRad, que usa um único raio global $R$, o DD-SRad calcula um raio efetivo adaptativo à posição $R^i_{\text{eff}}$ independentemente para cada dimensão de ação $i$:
$$R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) = \begin{cases} \min(\delta^i, a^i_{\max} - a^i_{\text{prev}}) & \text{se } u^i > 0 \\ \min(\delta^i, a^i_{\text{prev}} - a^i_{\min}) & \text{se } u^i < 0 \\ \delta^i & \text{se } u^i = 0 \end{cases}$$

O mapeamento transforma uma ação latente $u \in \mathbb{R}^d$ na ação física $a$ por meio de esquadrinhamento esférico independente por dimensão:
$$a^i = a^i_{\text{prev}} + R^i_{\text{eff}}(u^i, a^i_{\text{prev}}) \cdot \frac{u^i}{\sqrt{1 + (u^i)^2}}$$

Propriedades Chave

1. Alinhamento Geométrico: O conjunto alcançável do DD-SRad é exatamente o hiperretângulo $\ell_\infty$ definido pelos limites de taxa e limites de posição, recuperando o volume perdido por bases isotrópicas $\ell_2$.
2. Satisfação de Restrição Rígida: O mapeamento garante $|a^i - a^i_{\text{prev}}| \le \delta^i$ e $a^i \in [a^i_{\min}, a^i_{\max}]$ com probabilidade 1 para qualquer ação latente $u$.
3. Preservação de Gradiente: O mapeamento é suave e analítico (exceto em $u=0$, um evento de medida zero). A Jacobiana é uma matriz diagonalmente definida positiva, garantindo que toda a informação direcional do gradiente do crítico seja propagada para a política sem truncamento.
4. Zero Sobrecarga: Como uma camada plug-and-play, não requer solucionadores em tempo de execução (QP/MPC) e integra-se diretamente a backbones off-policy como SAC e TD3.

3. Contribuições Principais

• Alinhamento Geométrico: O DD-SRad alcança cobertura exata $\ell_\infty$ do conjunto viável por meio de raios adaptativos por dimensão, recuperando sistematicamente o volume perdido por bases $\ell_2$ sob restrições heterogêneas.
• Garantias Teóricas: O artigo prova a satisfação de restrição rígida por passo com probabilidade 1 e estabelece limites no número de condição da Jacobiana, garantindo gradientes bem condicionados.
• Compatibilidade Ponta a Ponta: A forma analítica suave suporta retropropagação exata do gradiente da política com zero sobrecarga de solucionador em tempo de execução, compatível com algoritmos off-policy padrão.
• Validação Empírica: Experimentos extensivos demonstram que o DD-SRad alcança o maior retorno de tarefa com zero violações de restrição, superando as bases tanto nos benchmarks MuJoCo quanto em simulações de alta fidelidade IsaacLab.

4. Resultados Experimentais

Os autores avaliaram o DD-SRad no MuJoCo (Ant, Humanoid, HalfCheetah, Hopper) e no IsaacLab (robôs humanoides Unitree H1 e G1).

Benchmarks MuJoCo

• Desempenho: Sob restrições heterogêneas rigorosas, o DD-SRad alcançou o maior retorno em todas as 8 configurações ambiente-backbone (SAC e TD3), frequentemente igualando ou excedendo o limite superior sem restrições.
• Utilização de Restrição: O DD-SRad demonstrou melhoria de 30%–50% na cobertura do espaço de restrição em comparação com bases esféricas. Diferentemente do SRad-Strict, que sofreu colapso estrutural (por exemplo, 68,8% de violação de restrição no Ant-SAC), o DD-SRad manteve zero violações.
• Comparação: O DD-SRad superou o clipping $\ell_\infty$ (BoxPre+) em 5%–14% no retorno, confirmando que a propagação suave de gradiente é superior ao truncamento de gradiente nas fronteiras.

Simulação de Alta Fidelidade (IsaacLab)

• Robustez: Usando especificações oficiais de junta para o Unitree H1 (terreno acidentado) e G1 (terreno plano), o DD-SRad alcançou locomoção ótima.
  • H1 (Acidentado): O DD-SRad alcançou um retorno de 37,14 com uma taxa de queda de 48,7%, superando significativamente o BoxPre+ (retorno de 23,11, 70,2% de queda) e o SRad-Strict (retorno de 0,83, 100% de queda).
  • G1 (Plano): O DD-SRad alcançou um retorno de 5473 com uma taxa de queda de 0,3% e o menor erro de rastreamento de velocidade (0,138 m/s).
• Alocação Adaptativa: Gráficos de radar e dispersão confirmaram que o DD-SRad permite alocação adaptativa à tarefa de orçamentos de taxa (por exemplo, utilizar juntas do quadril para propulsão enquanto minimiza o movimento do tornozelo em terreno plano), uma capacidade bloqueada pela ativação uniforme de métodos de clipping ou pela compressão geométrica de métodos esféricos.

5. Significado e Alegações

O artigo afirma fornecer um caminho sistemático de folhas de dados de hardware para implantação segura. Ao parametrizar o espaço de ação diretamente a partir de especificações oficiais de taxa de junta, o DD-SRad permite que agentes de RL aprendam políticas ótimas que respeitam limites físicos sem engenharia de recompensa ou filtros de segurança post-hoc.

Os autores enfatizam que o DD-SRad resolve o desajuste geométrico fundamental entre a natureza $\ell_\infty$ das restrições de taxa e a natureza $\ell_2$ das parametrizações esféricas padrão. Isso permite:

1. Implantação Segura: Garantias rígidas sobre limites de atuador previnem descarte silencioso de comandos ou danos ao hardware.
2. Aprendizado Eficiente: Ao preservar a geometria completa do conjunto viável, o agente pode explorar a faixa completa de ações fisicamente possíveis, levando a convergência mais rápida e desempenho superior.
3. Escalabilidade: O método escala para robôs humanoides de alta dimensão (17+ juntas) sem o ônus computacional de solucionadores QP.

O trabalho conclui que, enquanto os métodos existentes sacrificam segurança, cobertura geométrica ou eficiência de treinamento, o DD-SRad alcança simultaneamente os três, validando sua utilidade para controle robótico no mundo real.