Resumo Técnico: Otimização de Política Orientada por Modelo em Simuladores Diferenciáveis via Exploração Estocástica

1. Declaração do Problema

O planejamento diferenciável permite a otimização baseada em gradiente de problemas de tomada de decisão, aproveitando modelos diferenciáveis da dinâmica do sistema. Embora eficaz em cenários determinísticos, essa abordagem enfrenta desafios significativos quando aplicada a domínios altamente não lineares e híbridos discretos–contínuos.

A questão central reside na paisagem de otimização. Para permitir a propagação de gradientes em domínios híbridos, estruturas discretas ou lógicas devem ser aproximadas por meio de relaxações suaves (por exemplo, t-normas). Isso cria um compromisso fundamental:

• Relaxações de Alta Fidelidade: Aproximam de perto o problema original, mas resultam em paisagens mal condicionadas, caracterizadas por regiões planas, transições abruptas e descontinuidades. Nessas regiões, os gradientes são indefinidos ou não informativos, fazendo com que otimizadores fiquem presos em mínimos locais pobres.
• Suavização Agressiva: Melhora o comportamento do gradiente e a tratabilidade da otimização, mas distorce a geometria subjacente do problema, potencialmente levando a soluções subótimas ou inviáveis sob a dinâmica real.

Consequentemente, o planejamento diferenciável determinístico padrão frequentemente luta com convergência lenta, sensibilidade à inicialização e falha em escapar de ótimos locais pobres, mesmo quando o modelo subjacente é preciso. Métodos existentes de aprendizado por reforço (RL) sem modelo, embora incorporem exploração, não exploram explicitamente a estrutura conhecida do sistema, levando a baixa eficiência de amostra em domínios onde modelos estão disponíveis.

2. Metodologia: Otimização de Política Orientada por Modelo (MDPO)

Os autores propõem a Otimização de Política Orientada por Modelo (MDPO), um framework que integra exploração estocástica diretamente no processo de planejamento diferenciável. Diferentemente do RL padrão, que explora via ruído nos parâmetros da política ou interação com o ambiente, a MDPO injeta ruído no espaço de ações durante a otimização dos parâmetros da política.

2.1 Perturbação Estocástica de Ações

Em vez de executar ações deterministicamente ($a_t = \pi_\theta(s_t)$), a MDPO define uma política estocástica:
$$\tilde{a}_t = \pi_\theta(s_t) + \epsilon_t, \quad \epsilon_t \sim \mathcal{N}(0, \Sigma_t)$$
O sistema evolui de acordo com a dinâmica $s_{t+1} = f(s_t, \tilde{a}_t, \xi_t)$. O objetivo de otimização torna-se a recompensa cumulativa esperada sob essa política perturbada. Usando o truque de reparametrização, o ruído $\epsilon_t$ é desacoplado dos parâmetros da política $\theta$, permitindo que gradientes sejam computados via retropropagação padrão através do grafo de computação estocástico. Isso permite que o otimizador probe regiões da paisagem do objetivo inacessíveis a gradientes determinísticos, particularmente em regiões planas ou saturadas.

2.2 Escalonamento Adaptativo de Ruído

Uma inovação chave da MDPO é o escalonamento adaptativo, orientado por modelo, da magnitude do ruído. Como o modelo de planejamento está totalmente disponível, o método aproveita a sensibilidade derivada do gradiente para construir um perfil de exploração dependente do tempo $\{\sigma_t\}_{t=0}^{H-1}$.

O processo opera em um procedimento de duas passagens por iteração:

1. Simulação de Análise: Uma trajetória é gerada usando a política atual sem ruído de ação. A sensibilidade do objetivo em relação às ações em cada passo de tempo é estimada via magnitude do gradiente: $g_t = \nabla_{a_t} \sum r(s_k, a_k)$. Um escore de sensibilidade escalar $s_t = \|g_t\|^2$ é computado.
2. Construção do Perfil de Ruído: Os escores de sensibilidade são normalizados e mapeados para uma escala de ruído $\sigma_t$ usando uma função tal que:
   $$\sigma_t = \sigma_{\max} + (\sigma_{\min} - \sigma_{\max})(1 - \hat{s}_t)^\alpha$$
   Esse mapeamento atribui maior ruído a passos de tempo com maior sensibilidade (onde as ações têm um impacto maior no objetivo da trajetória) e menor ruído a regiões insensíveis.
3. Simulação de Atualização: Uma segunda simulação é realizada usando o perfil de ruído derivado para atualizar os parâmetros da política.

Essa abordagem garante que a exploração seja consciente da estrutura, respeitando a dinâmica do sistema e mirando regiões de alta sensibilidade do objetivo, em vez de aplicar ruído isotrópico cegamente.

3. Contribuições Principais

1. Identificação de Patologias de Otimização: O artigo identifica e analisa formalmente a natureza mal condicionada das paisagens de otimização no planejamento diferenciável, destacando especificamente o compromisso entre fidelidade da relaxação e tratabilidade do gradiente em domínios híbridos.
2. Mecanismo de Exploração Estocástica: A proposta da MDPO, que introduz estocasticidade estruturada e orientada por modelo no espaço de ações. Diferentemente da otimização estocástica padrão, as perturbações são aplicadas no nível da trajetória dentro do modelo de planejamento.
3. Escalonamento Adaptativo de Ruído: O desenvolvimento de um mecanismo para ajustar dinamicamente a magnitude do ruído com base na sensibilidade local da trajetória, permitindo um perfil de exploração dependente do tempo que se adapta tanto à paisagem de otimização quanto ao passo de tempo específico dentro do horizonte.
4. Validação Empírica: Demonstração de melhorias substanciais na qualidade da solução e na velocidade de convergência em problemas de referência, comparado a variantes determinísticas e baselines de última geração.

4. Resultados Experimentais

O método foi avaliado em três domínios de referência da Competição Internacional de Planejamento (IPC) de 2023: PowerGen (comprometimento de unidades), HVAC (controle não linear) e Controle de Reservatório. Esses domínios apresentam dinâmicas não lineares e híbridas discretas–contínuas.

Baselines:

• Planejamento Diferenciável Determinístico: A variante sem ruído da MDPO.
• JaxPlan: Uma implementação de última geração de planejamento diferenciável usando dinâmicas híbridas relaxadas.
• MDPO com Ruído Constante: Variantes com ruído gaussiano fixo ($\sigma \in \{1, 3\}$).
• PPO (Otimização de Política Proximal): Uma baseline de RL sem modelo.

Descobertas:

• Desempenho: A MDPO com ruído adaptativo superou consistentemente todas as baselines em todas as instâncias. Ela alcançou qualidade de solução significativamente maior (custos menores/recompensas maiores) comparada ao planejamento determinístico, JaxPlan e variantes com ruído constante.
• Convergência: Enquanto métodos determinísticos e JaxPlan estagnaram rapidamente em ótimos locais pobres, e o PPO mostrou melhoria mínima devido à falta de um modelo, a MDPO adaptativa demonstrou melhoria sustentada e convergência mais rápida.
• Variância: A MDPO exibiu baixa variância entre sementes aleatórias, mantendo alta qualidade de solução.
• Comportamento Adaptativo: A análise dos perfis de ruído revelou que o mecanismo adaptativo aloca exploração dinamicamente. Por exemplo, no domínio de Reservatório, o ruído foi concentrado nos passos de tempo iniciais, enquanto no HVAC, variou de forma não monótona, refletindo a estrutura de sensibilidade específica de cada problema.

5. Significado e Alegações

O artigo postula que a limitação primária do planejamento diferenciável em domínios complexos não é meramente a modelagem ou a técnica de relaxação, mas as dinâmicas de otimização usadas para resolver os problemas resultantes.

• Dinâmicas de Otimização: Os autores argumentam que atualizações de gradiente determinísticas são insuficientes para navegar nas paisagens mal condicionadas de domínios híbridos. Ao introduzir exploração estocástica, a MDPO permite que o otimizador escape de mínimos locais pobres e atravesse transições abruptas.
• Orientado por Modelo vs. Sem Modelo: O trabalho destaca que, quando modelos estão disponíveis, eles não devem ser usados apenas para simulação, mas também para guiar o processo de exploração. A MDPO preenche a lacuna entre otimização baseada em gradiente orientada por modelo e aprendizado orientado por exploração, usando o modelo para derivar sinais de exploração informativos.
• Abordagem Geral: O artigo afirma que a MDPO fornece uma abordagem simples e geral para abordar patologias de otimização no planejamento baseado em modelo, sem exigir modificações no modelo subjacente ou em sua relaxação. Sugere que adaptar a exploração à estrutura local da paisagem de otimização é crucial para a tomada de decisão robusta em cenários não lineares e híbridos.