Resumo Técnico: Otimização de Políticas em Espaços de Ação Híbridos Discretos-Contínuos via Gradientes Mistas

Declaração do Problema

O artigo aborda uma limitação fundamental no Aprendizado por Reforço (RL) para problemas de grande escala: o problema de atribuição de crédito em espaços de ação de alta dimensão. Métodos padrão de gradiente de política sem modelo, como REINFORCE e Otimização de Política Próxima (PPO), dependem de estimadores de função de pontuação (SF). Esses métodos estimam gradientes correlacionando perturbações da política com recompensas cumulativas. Em configurações de alta dimensão, essa abordagem sofre de degradação severa da relação sinal-ruído, pois um único retorno escalar deve ser atribuído a milhares de componentes de ação emaranhados com aleatoriedade exógena.

Embora a simulação diferenciável (gradientes de caminho ou PW) ofereça uma solução ao retropropagar através do simulador para obter uma atribuição de crédito mais precisa, tradicionalmente exige dinâmicas totalmente suaves. Muitos problemas práticos em robótica, controle e operações envolvem espaços de ação híbridos discretos-contínuos (por exemplo, selecionar um regime discreto e otimizar um controle contínuo dentro dele) ou dinâmicas suaves por partes com descontinuidades. Nessas configurações, os gradientes PW padrão tornam-se enviesados ou não informativos, forçando os praticantes a recorrer a métodos menos eficientes baseados em SF e descartar as informações estruturais disponíveis.

O desafio central é desenvolver um quadro de otimização de políticas que aproveite a suavidade dos componentes contínuos via retropropagação, enquanto lida corretamente com decisões discretas e descontinuidades sem introduzir viés.

Metodologia: Otimização de Política Híbrida (HPO)

Os autores propõem a Otimização de Política Híbrida (HPO), um quadro projetado para MDPs exógenos, onde um simulador tem acesso à realização completa da aleatoriedade exógena (por exemplo, demanda, clima) durante o treinamento, permitindo a avaliação contrafactual da política na mesma trajetória.

1. Representação da Política

A política $\pi$ é fatorizada em dois componentes:

• Componente Discreto ($\pi^X_\phi$): Uma política estocástica que seleciona uma ação discreta $x_t$ (por exemplo, um regime ou modo) de um conjunto finito $\mathcal{X}$.
• Componente Contínuo ($\pi^B_\kappa$): Um controlador determinístico que produz uma ação contínua candidata $b_t$ para cada ação discreta possível $j \in \mathcal{X}$. A ação executada é $b_t = \pi^B_\kappa(s_t)[x_t]$.

Essa estrutura "torreada" permite que o controlador contínuo seja suave em relação aos seus parâmetros $\kappa$, condicionado à ação discreta.

2. O Estimador de Gradiente Misto

A contribuição teórica central é um estimador de gradiente misto não enviesado que combina termos de caminho (PW) e função de pontuação (SF). Para uma política parametrizada por $\theta = (\phi, \kappa)$, os gradientes são:

• Gradiente Discreto ($\nabla_\phi J$): Computado usando o estimador SF padrão:
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• Gradiente Contínuo ($\nabla_\kappa J$): Computado como a soma de um Termo de Caminho e um Termo Cruzado:
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{Termo de Gradiente PW}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{Termo Cruzado}}$$

Mecanismo Chave:

• O Termo PW retropropaga através do simulador para as ações contínuas, mantendo as ações discretas fixas. Isso isola o efeito direto das ações contínuas sobre os custos, melhorando significativamente a atribuição de crédito.
• O Termo Cruzado captura como mudanças nos parâmetros contínuos $\kappa$ alteram a trajetória de estado $s_t(\kappa)$, o que, por sua vez, desloca a distribuição de probabilidade da política discreta $\pi^X_\phi$.
• O estimador é implementado usando operações stop_grad (desanexar) em frameworks de autodiferenciação (por exemplo, PyTorch) para garantir que a amostragem discreta seja tratada como fixa para o termo PW, enquanto o termo cruzado mantém a dependência do log-probabilidade discreto do estado.

3. Tratamento de Descontinuidades

O artigo demonstra que problemas com descontinuidades de ação (MDPs Suaves por Partes) podem ser reformulados como MDPs híbridos. Ao introduzir uma ação discreta para selecionar a "região suave" do espaço de ação e uma ação contínua para especificar o controle dentro dessa região, o quadro preserva a não enviesamento enquanto explora a suavidade local.

Contribuições Principais

1. Quadro HPO: Um quadro de otimização de políticas para espaços de ação híbridos discretos-contínuos que produz um estimador de gradiente misto não enviesado. Ele aproveita gradientes PW sempre que a estrutura do problema permitir, evitando a fragilidade dos métodos PW puros e a alta variância dos métodos SF puros.
2. Caracterização Teórica do Termo Cruzado: Os autores provam que o Termo Cruzado desaparece à medida que a política discreta se aproxima de uma melhor resposta (Teorema 2). Especificamente, a magnitude do termo cruzado é limitada pela suboptimalidade da política discreta ($\epsilon$) e pela sensibilidade do estado aos parâmetros contínuos. Esse resultado implica que, perto da optimalidade, o acoplamento entre componentes discretos e contínuos enfraquece, permitindo atualizações descentralizadas aproximadas.
3. Validação Empírica: Experimentos extensivos em Problemas de Reposição Conjunta (JRP) e Reguladores Lineares Quadráticos Alternados (S-LQR) demonstram que o HPO supera substancialmente o PPO, particularmente à medida que a dimensão da ação contínua aumenta.
   • Escalabilidade: A diferença de desempenho do HPO sobre o PPO amplia-se significativamente com a dimensão do espaço de ação contínuo ($p$). Por exemplo, no S-LQR, o PPO falha em convergir para $p > 24$, enquanto o HPO converge confiavelmente até $p=48$.
   • Qualidade do Gradiente: A análise mostra que o estimador misto mantém alta alinhamento e baixo RMSE em altas dimensões, enquanto estimadores SF puros (usados pelo PPO) colapsam para alinhamento próximo de zero à medida que a dimensionalidade cresce.
4. Estratégia de Redução de Variância: O artigo mostra que descartar o termo cruzado (HPONoCross) pode ser benéfico perto da optimalidade. Como a expectativa do termo cruzado desaparece enquanto sua variância cresce à medida que a política discreta melhora, removê-lo reduz o ruído sem introduzir viés significativo nas etapas finais do treinamento.

Resultados e Significado

O artigo afirma que o HPO representa um passo significativo rumo à aplicação de métodos de gradiente de política a problemas realistas e de grande escala onde simuladores diferenciáveis estão disponíveis, mas decisões discretas historicamente limitaram o alcance dos métodos de caminho.

• Desempenho: Nos benchmarks JRP e S-LQR, o HPO alcança consistentemente perdas de teste mais baixas e requer menos atualizações de política para atingir lacunas de desempenho alvo em comparação com o PPO. A vantagem é mais pronunciada em espaços contínuos de alta dimensão ($p \ge 40$).
• Eficiência do Gradiente: O gradiente misto fornece um sinal drasticamente melhor do que gradientes SF puros. Em altas dimensões, o alinhamento do estimador SF com a direção do gradiente verdadeiro cai para próximo de zero, enquanto o estimador misto mantém alinhamento acima de 0,8.
• Potencial de Descentralização: O resultado teórico sobre o termo cruzado desaparecente sugere um caminho para treinamento semi-descentralizado, onde componentes discretos e contínuos podem ser otimizados separadamente uma vez que a política discreta estiver suficientemente próxima de uma melhor resposta.

Os autores posicionam este trabalho como uma ponte entre RL sem modelo e simulação diferenciável, estendendo a aplicabilidade desta última a espaços de ação híbridos sem sacrificar a não enviesamento necessária para a convergência. O código e os recursos estão disponíveis para facilitar pesquisas futuras nessa direção.