Resumo Técnico: Horizontes de Decisão Estocásticos para Aprendizado por Reforço com Restrições

Declaração do Problema

O aprendizado por reforço (AR) para sistemas de controle do mundo real (por exemplo, robótica, biomecânica, processos médicos) frequentemente exige o cumprimento de restrições instantâneas a cada passo de tempo. Uma única violação profunda pode causar danos ao hardware, prejuízo ao paciente ou instabilidade do controlador. A estrutura padrão para AR com restrições, o Processo de Decisão de Markov Constrained (CMDP), otimiza um orçamento de custo cumulativo. Embora eficaz para orçamentos globais (por exemplo, consumo total de combustível), os CMDPs lutam com a viabilidade instantânea. Codificar um limite por passo em um orçamento cumulativo força o orçamento a ser extremamente pequeno, um regime onde os algoritmos existentes de CMDP frequentemente falham em convergir ou aprender efetivamente.

O artigo propõe Horizontes de Decisão Estocásticos (SDH) como uma alternativa fundamentada teoricamente. Em vez de gastar um orçamento ao violar, o SDH trata uma violação de restrição como um sinal de (in)viabilidade instantânea que encurta probabilisticamente o horizonte de planejamento efetivo.

Metodologia

1. Horizontes de Decisão Estocásticos (SDH)

O SDH reformula o problema com restrições como um problema de chance de sobrevivência.

• Mecanismo: Uma probabilidade de continuação estado-ação $\alpha(s, a) \in [0, 1]$ é introduzida. Se uma restrição for violada, $\alpha$ cai, reduzindo a probabilidade de que a trajetória continue.
• Objetivo: O agente maximiza a recompensa esperada em um tempo de término geométrico aleatório $T_\gamma$, condicionado à trajetória sobreviver até esse ponto.
• Formulação de Bellman: Isso leva a uma equação de Bellman modificada com recompensas moldadas e descontos dependentes de estado-ação:
  • $\tilde{r}(s, a) = \alpha(s, a) r(s, a)$
  • $\tilde{\gamma}(s, a) = \gamma \alpha(s, a)$
• Variável Dual: A variável dual de Lagrange $\eta$ atua como um bônus de sobrevivência adicionado à recompensa ($r + \eta$) em vez de uma penalidade de custo. Isso incentiva políticas que mantêm uma alta probabilidade de sobrevivência.

2. Controle como Inferência (CaI) e Regularização

Para derivar algoritmos regulares off-policy, os autores utilizam Controle como Inferência. Eles identificam duas interpretações semânticas distintas do que acontece após uma violação de restrição, levando a dois regularizadores diferentes:

• Semântica de Estado Absorvente (AS): O processo de decisão termina imediatamente após a violação. Apenas decisões sobreviventes contribuem para o custo de informação (divergência KL/entropia).
  • Algoritmo: AS-SAC (Soft Actor-Critic de Estado Absorvente).
  • Regularizador: Entropia máxima, mas ponderada apenas pela massa de decisão sobrevivente. Isso produz uma recursão de Bellman suave com desconto variável.
• Semântica de Término Virtual (VT): O processo de decisão continua, mas o crédito de recompensa para. O agente continua a agir no MDP subjacente, mas as recompensas futuras são condicionadas à sobrevivência.
  • Algoritmo: VT-MPO (Otimização de Política de Máxima A Posteriori com Término Virtual).
  • Regularizador: Melhoria de política regularizada por KL no horizonte de desconto ordinário, acoplada a um crítico moldado pela sobrevivência.

3. Ligação Teórica com CMDPs

O artigo introduz perfis de profundidade de violação para caracterizar a relação entre SDH e CMDPs de orçamento aditivo.

• Regime de Escala Única: Se as violações ocorrem em uma única escala característica (por exemplo, violações rasas frequentes ou profundas raras seguindo uma distribuição específica), o SDH resolve efetivamente o CMDP de orçamento aditivo correspondente.
• Regime de Múltiplas Escalas: Se o perfil de violação mistura escalas (por exemplo, violações rasas frequentes ao lado de violações profundas raras), os objetivos de SDH e CMDP divergem. O SDH não pode reproduzir regras exatas de viabilidade conscientes de orçamento sem ampliar o espaço de estados com histórico.

Principais Contribuições

1. Formalização do SDH: Os autores formalizam modelos gerais de continuação $\alpha(s, a)$ como ocupações de sobrevivência consistentes com Bellman. Eles provam que o SDH é a forma Lagrangeana de dual fixo de um problema estocástico de chance de sobrevivência.
2. Algoritmos Off-Policy Regularizados: Eles derivam os primeiros algoritmos off-policy regularizados para restrições instantâneas: AS-SAC (entropia máxima) e VT-MPO (regularizado por KL). Ambos são compatíveis com replay de experiência.
3. Análise de Escopo Teórico: Através de perfis de profundidade de violação, eles delimitam precisamente quando o SDH resolve um CMDP de orçamento aditivo (violações de escala única) e quando não o faz (violações de múltiplas escalas).
4. Controle Biomecânico de Estado da Arte: Eles aplicam o VT-MPO a modelos musculoesqueléticos de alta fidelidade, resolvendo o trade-off de longa data entre esforço e velocidade da marcha como um problema de restrição instantânea fixa.

Resultados Experimentais

1. Hyfydy (Controle Musculoesquelético)

• Configuração: Treinamento em três modelos humanoides (H0918, H1622, H2190) com até 90 músculos.
• Comparação: Comparado contra Adaptação de Peso de Esforço (EWA), o método específico de domínio de estado da arte que usa reponderação adaptativa de recompensa.
• Resultados:
  • Estabilidade: O VT-MPO converge para uma caminhada estável com significativamente menos oscilações do que o EWA, que sofre de sinais de recompensa não estacionários.
  • Eficiência de Amostra: O VT-MPO alcança realismo de marcha de estado da arte com 4$\times$ menos passos de ambiente (por exemplo, atingindo o desempenho máximo no H2190 em 21M de passos versus 90M para o EWA).
  • Realismo: Ambos os métodos alcançam porcentagens de correspondência de marcha semelhantes (aproximadamente 63-76%), mas o VT-MPO atinge esses picos muito mais rápido e com cumprimento de restrições mais rigoroso (velocidade, Forças de Reação do Solo, torques articulares).

2. Safety Gymnasium (Teste de Escopo)

• Configuração: Avaliado em tarefas de locomoção e navegação com sinais de custo padronizados.
• Descobertas:
  • Tarefas de Escala Única (por exemplo, AntVelocity): O SDH (VT-MPO e AS-SAC) alcança fortes trade-offs recompensa-custo, superando baselines sem restrições e igualando baselines com restrições com maior eficiência de amostra.
  • Tarefas de Múltiplas Escalas (por exemplo, PointGoal, CarButton): A teoria prevê corretamente modos de falha. Em tarefas que exigem que o agente sacrifique algum cumprimento de restrição para alcançar um objetivo (perfis de violação de múltiplas escalas), o SDH falha em satisfazer as restrições ou sofre degradação catastrófica da recompensa. Isso confirma a limitação teórica de que o SDH não é um solucionador geral para CMDPs de orçamento aditivo arbitrários.

Significado e Alegações

O artigo alega que os Horizontes de Decisão Estocásticos oferecem um eixo de design complementar para AR com restrições: moldar o horizonte em vez de ajustar um orçamento.

• Impacto Prático: O SDH fornece uma maneira principiante de lidar com restrições instantâneas onde uma única violação é catastrófica, evitando a instabilidade da reponderação adaptativa de recompensa (como o EWA) e a dificuldade de definir orçamentos minúsculos em CMDPs.
• Insight Teórico: O trabalho esclarece que restrições instantâneas e orçamentos cumulativos são objetivos distintos que apenas coincidem sob condições geométricas específicas (perfis de violação de escala única).
• Avanço Algorítmico: Fornece os primeiros algoritmos off-policy regularizados (AS-SAC, VT-MPO) especificamente projetados para restrições instantâneas, permitindo treinamento estável em sistemas de alta dimensionalidade e complexos, como humanoides de 90 músculos.

Os autores enfatizam que, embora o SDH não seja um substituto universal para CMDPs, é a solução exata para problemas de chance de sobrevivência e oferece estabilidade superior e eficiência de amostra em regimes onde a viabilidade por passo é a principal preocupação.