Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics

Título: Tempered Sequential Monte Carlo para Otimização de Trajetória e Política com Dinâmicas Diferenciáveis

1. Problema

O artigo aborda o problema unificado de Otimização de Trajetória e Política (TPO) em sistemas dinâmicos com horizonte finito. O objetivo é encontrar uma sequência de controles (para um estado inicial fixo) ou uma política de feedback (para uma distribuição de estados iniciais) que minimize o custo esperado da trajetória.

O cenário assume que as dinâmicas do sistema $f(x_t, u_t)$ são diferenciáveis. Embora métodos baseados em gradiente (como programação não linear ou gradiente de política) sejam eficientes em sistemas diferenciáveis, eles sofrem de duas limitações principais:

1. Podem ficar presos em mínimos locais indesejados devido à não convexidade do problema.
2. Gradientes de simuladores diferenciáveis podem ser pouco informativos na presença de dinâmicas não suaves (ex: contatos).

Por outro lado, métodos baseados em amostragem (como MPPI) exploram o espaço de controle, mas frequentemente exigem um número muito grande de amostras e não aproveitam a estrutura de gradiente disponível. O desafio central é criar um algoritmo unificado que combine a exploração global da amostragem com a refinamento local baseado em gradiente.

2. Metodologia

Os autores propõem um framework baseado em inferência para resolver o problema de otimização, reformulando-o como a amostragem de uma distribuição específica.

2.1. Reformulação como Inferência (Control-as-Inference)

Em vez de otimizar um único parâmetro $\theta$, o problema é relaxado para otimizar uma distribuição $p(\theta)$. Define-se um objetivo regularizado por KL (Kullback-Leibler):
$$\min_{p} \mathbb{E}_{x_0, \theta}[J(\tau)] + \lambda D_{KL}(p \| p_0)$$
Onde $p_0$ é uma distribuição a priori e $\lambda$ atua como uma "temperatura". A solução ótima para este problema tem uma forma fechada conhecida como distribuição de Boltzmann-tilted (ou posterior de Gibbs):
$$p^*(\theta) \propto p_0(\theta) \exp\left(-\frac{1}{\lambda} E(\theta)\right)$$
Onde $E(\theta)$ é o custo esperado da trajetória. À medida que $\lambda \to 0$, a distribuição concentra-se nos minimizadores globais do custo original.

2.2. Algoritmo: Tempered Sequential Monte Carlo (TSMC)

Amostrar diretamente dessa distribuição alvo (que pode ser aguda e multimodal em baixas temperaturas) é difícil. O TSMC resolve isso através de um esquema de temperamento:

1. Caminho de Temperamento: Define-se uma sequência de distribuições intermediárias $p_k$ que deformam suavemente a priori $p_0$ (alta temperatura) até a distribuição alvo $p^*$ (baixa temperatura), controlada por parâmetros $\beta_k$.
2. Reamostragem e Ponderação (Importance Sampling): Partículas são reponderadas a cada passo de temperamento para focar em regiões de baixo custo. O próximo nível de temperatura é escolhido adaptativamente com base no Tamanho Efetivo da Amostra (ESS) para evitar o colapso de pesos.
3. Rejuvenescimento via HMC (Hamiltonian Monte Carlo): Para manter a diversidade das partículas e explorar o espaço de parâmetros localmente, aplica-se uma transição MCMC (especificamente HMC) que preserva a distribuição alvo atual.
   • Vantagem Chave: O HMC utiliza gradientes exatos ($\nabla_\theta E(\theta)$) obtidos por diferenciação automática através das simulações de trajetória (rollouts), permitindo movimentos grandes e eficientes no espaço de parâmetros.

2.3. Adaptações para Otimização de Trajetória (TO) e Política (PO)

• Para TO (Trajetória): O gradiente é calculado exatamente usando o método adjunto (backpropagation através do rollout). O TSMC é aplicado diretamente.
• Para PO (Política): Como o custo é uma expectativa sobre estados iniciais, calcular o gradiente exato é intratável. Os autores propõem duas abordagens:
  1. Aproximação Determinística: Aproxima a distribuição de estados iniciais por um conjunto fixo de condições iniciais, tornando o custo e o gradiente determinísticos.
  2. Espaço Estendido (Extended-Space): Trata as condições iniciais (aleatoriedade do rollout) como variáveis auxiliares dentro do estado da partícula. Isso permite amostrar conjuntamente $(\theta, x_0)$, resolvendo o problema de viés na ponderação exponencial de custos estocásticos.

3. Contribuições Principais

1. Framework Unificado: Apresenta o TSMC como uma solução unificada para ambos os problemas de Otimização de Trajetória (aberta) e Otimização de Política (fechada) sob dinâmicas diferenciáveis.
2. Combinação de Técnicas: Integra a exploração global de métodos de amostragem (SMC) com a eficiência de métodos baseados em gradiente (HMC), superando as limitações de mínimos locais e ineficiência de amostragem pura.
3. Novas Técnicas para PO: Desenvolve variantes práticas para otimização de política, incluindo a construção de espaço estendido para lidar com expectativas estocásticas sem viés na amostragem de Boltzmann.
4. Desempenho Superior: Demonstra empiricamente que o método supera o estado da arte em benchmarks complexos e não convexos.

4. Resultados Experimentais

Os experimentos foram realizados em tarefas de controle clássico e robótica, comparando o TSMC com baselines como NUTS paralelo, MALA, MPPI e IPOPT (otimização baseada em gradiente).

• Otimização de Trajetória (TO):

  • Pêndulo Invertido: O TSMC alcançou custos próximos ao limite inferior certificado (SDP), comparável a métodos de gradiente, mas com maior robustez.
  • Acrobot: O TSMC superou significativamente todas as baselines, sendo o único método a conseguir o "swing-up" (balanço até a posição vertical) com sucesso.
  • Pusher Slider (Dinâmica de Contato): Em um problema com dinâmicas não suaves, o TSMC foi o único a alcançar a pose objetivo, enquanto métodos baseados em gradiente puro falharam devido à não diferenciabilidade ou mínimos locais.

• Otimização de Política (PO):

  • Comparado a PPO e SAC (algoritmos de RL padrão), o TSMC obteve políticas com custos de trajetória inferiores em tarefas difíceis (Acrobot e Duplo Pêndulo no Carrinho).
  • O método demonstrou ser capaz de encontrar soluções globais onde métodos de gradiente estocástico (PPO/SAC) falharam ou estagnaram em soluções subótimas, mesmo com orçamentos de treinamento expandidos.

5. Significado e Conclusão

O trabalho demonstra que a abordagem de "controle como inferência", combinada com técnicas avançadas de Monte Carlo Sequencial (TSMC) e dinâmicas diferenciáveis, oferece uma alternativa robusta e poderosa aos métodos tradicionais de otimização e aprendizado por reforço.

• Robustez: O método é menos sensível a mínimos locais e inicializações ruins.
• Eficiência de Amostragem: Ao usar gradientes exatos no passo de rejuvenescimento (HMC), o TSMC explora o espaço de parâmetros muito mais eficientemente do que métodos de amostragem aleatória pura.
• Aplicabilidade: A capacidade de lidar com dinâmicas de contato (via relaxação diferenciável) e a generalização para políticas neurais tornam o framework promissor para aplicações em robótica complexa.

Limitações e Futuro: O método é computacionalmente intensivo (requer muitas partículas e diferenciação através de rollouts longos), o que pode ser desafiador para memória de GPU. Trabalhos futuros visam integrar solvers de contato diferenciáveis nativos e acelerar o código via kernels GPU personalizados.