Resumo Técnico: Controle Ótimo Estocástico com Regularização de Trajetória via Divergência KL

1. Formulação do Problema

O artigo aborda uma limitação no Controle Ótimo Estocástico (SOC) padrão, que se concentra apenas na minimização do custo cumulativo esperado sob incerteza, sem restringir o quanto as dinâmicas resultantes do sistema se desviam de um comportamento de referência desejado. Em muitas aplicações, comportamentos de referência (por exemplo, dinâmicas passivas, controladores de base ou distribuições derivadas de dados offline) codificam priors estruturais valiosos. Desvios grandes dessas referências podem levar a políticas frágeis.

Os autores propõem o Controle Ótimo Estocástico com Regularização de Trajetória (TRSOC). O objetivo é minimizar uma função de custo que equilibra o desempenho da tarefa com a proximidade da distribuição da trajetória controlada em relação à distribuição da trajetória de referência. Essa proximidade é medida usando a divergência de Kullback–Leibler (KL) entre as leis de probabilidade do processo controlado ($P_u$) e do processo de referência ($P_0$).

O sistema é modelado como um processo de difusão controlado:
$$dX_t = f(X_t, u_t)dt + \sigma(X_t)dW_t$$
onde o controle $u_t$ entra através do drift. As dinâmicas de referência compartilham a mesma matriz de difusão $\sigma$, mas possuem um drift diferente $f_0$.

2. Metodologia

A. Redução da KL de Trajetória para Custo Local

Uma contribuição teórica central é a redução da divergência KL ao nível da trajetória para um custo corrente local e tratável.

• Teorema de Girsanov: Sob a suposição de que a matriz de difusão $\sigma(x)$ é invertível e que o desajuste do drift satisfaz a condição de Novikov, a derivada de Radon–Nikodym entre as medidas controlada e de referência existe.
• Lema 1: A divergência KL $KL(P_u \| P_0)$ sobre um horizonte finito $[0, T]$ é mostrada como sendo igual ao integral esperado de uma penalidade quadrática de desajuste de drift:
  $$KL(P_u \| P_0) = \frac{1}{2} \mathbb{E}_{P_u} \left[ \int_0^T \|\phi_t^u\|^2 dt \right]$$
  onde $\phi_t^u = \sigma(X_t)^{-1}(f(X_t, u_t) - f_0(X_t))$.
• Custo Corrente Aumentado: Este resultado permite que a regularização da trajetória seja incorporada diretamente na estrutura padrão de SOC como um termo aditivo ao custo corrente:
  $$L(x, u) = \ell(x, u) + \frac{\lambda}{2} \|\sigma(x)^{-1}(f(x, u) - f_0(x))\|^2$$
  Aqui, $\lambda \geq 0$ é o parâmetro de regularização.

B. Programação Dinâmica e Estrutura HJB

Como a penalidade KL se reduz a um integral de um custo corrente, o problema TRSOC preserva a propriedade de Markov e o princípio da Programação Dinâmica (DP).

• A função valor $V(t, x)$ satisfaz a equação Hamilton–Jacobi–Bellman (HJB) padrão:
  $$-\partial_t V(t, x) = \inf_{u \in U} \{ L(x, u) + \mathcal{L}_u V(t, x) \}$$
  onde $\mathcal{L}_u$ é o gerador infinitesimal da difusão.
• Diferente de abordagens de "controle KL" que otimizam diretamente sobre medidas de trajetória (frequentemente levando a objetivos risk-sensitive e inclinação exponencial), o TRSOC permanece um problema de SOC padrão com um custo aumentado, mantendo uma expectativa linear e uma caracterização HJB padrão.

C. Estrutura de Controle Ótimo (Caso Afim em Controle)

Para sistemas com drift afim em controle $f(x, u) = f_0(x) + B(x)u$ e custos de controle quadráticos, os autores derivam uma lei de feedback ótima explícita.

• O termo KL atua como uma penalidade de controle adicional, modificando a matriz de peso de controle efetiva:
  $$\bar{R}(x) = R(x) + \lambda B(x)^\top (\sigma(x)\sigma(x)^\top)^{-1} B(x)$$
• O controle ótimo é dado por:
  $$u^*(x) = -\bar{R}(x)^{-1} B(x)^\top \nabla V(x)$$
• Esta formulação implica que controles que induzem grandes mudanças de drift em direções de baixo ruído são penalizados mais pesadamente.

D. Especialização Linear-Quadrática (LQ)

No cenário Linear-Quadrático, o problema reduz-se a um Regulador Linear-Quadrático (LQR) com desconto e um peso de controle modificado $\bar{R}$. A solução envolve resolver uma equação de Riccati algébrica (ARE) modificada, onde o parâmetro de regularização $\lambda$ influencia diretamente o ganho de feedback, levando a um controle mais conservador conforme $\lambda$ aumenta.

3. Principais Contribuições

1. Formulação TRSOC: Introdução de um framework de SOC com regularização de comportamento que incorpora comportamentos prévios (controladores nominais ou bases baseadas em dados) via divergência KL de nível de trajetória.
2. Redução de Custo Local: Demonstração de que, sob controle de apenas drift com difusão não degenerada, a divergência KL de trajetória reduz-se a uma penalidade quadrática de desajuste de drift. Isso preserva a estrutura DP e permite a caracterização HJB padrão.
3. Caracterização da Política Ótima: Derivação de leis de feedback ótimas explícitas para sistemas afins em controle e análise do caso LQ, mostrando como a regularização modifica o custo de controle e as propriedades de estabilidade.
4. Análise de Estabilidade: Prova de que a regularização de trajetória pode melhorar a dissipatividade do drift de malha fechada, facilitando desigualdades de Lyapunov e garantindo a limitação média-quadrada do estado.

4. Resultados e Experimentos

O artigo valida as descobertas teóricas através de experimentos numéricos em um sistema de duplo integrador estocástico rastreando uma trajetória em formato de oito.

• Trade-off Desempenho–Desvio: Os experimentos demonstram que o parâmetro de regularização $\lambda$ induz um trade-off contínuo.
  • Conforme $\lambda \to 0$, o controlador comporta-se como um SOC padrão orientado pelo desempenho, alcançando baixo custo de tarefa, mas potencialmente desviando-se significativamente da referência.
  • Conforme $\lambda \to \infty$, o controlador força o drift induzido a alinhar-se com as dinâmicas de referência, minimizando o desvio ao custo do desempenho da tarefa.
• Referência Baseada em Dados: O framework é aplicado com sucesso em um cenário onde as dinâmicas de referência são aprendidas a partir de dados offline (usando uma rede neural para aproximar a aceleração de referência). Os resultados mostram que o TRSOC equilibra efetivamente a otimização da tarefa com a adesão ao comportamento de referência aprendido.
• Geometria de Trajetória: Visualizações das trajetórias revelam que a regularização atua na geometria das dinâmicas induzidas. Controladores regularizados produzem trajetórias que se situam entre as correções agressivas do controlador ótimo não regularizado e o comportamento de referência nominal, particularmente em regiões de alta curvatura.

5. Significância e Alegações

Os autores afirmam que o TRSOC fornece um método principiado para integrar conhecimento prévio ou dados offline no controle estocástico sem abandonar o framework DP/HJB padrão.

• Preservação Estrutural: Ao contrário de outros métodos de regularização de trajetória que podem exigir a otimização sobre medidas ou levar a objetivos risk-sensitive não padronizados, o TRSOC mantém a estrutura SOC padrão, tornando-o aplicável a dinâmicas não lineares gerais.
• Interpolação: O framework oferece uma escalonamento de um problema de otimização multiobjetivo (desempenho da tarefa vs. adesão à referência), permitindo que praticantes ajustem o comportamento do controlador via um único parâmetro $\lambda$.
• Robustez: O método mostra-se robusto a erros de aproximação quando as dinâmicas de referência são aprendidas de dados, sugerindo utilidade potencial em contextos de aprendizado por reforço offline-para-online e aprendizado por imitação.

O artigo conclui que a regularização de trajetória atua como uma modificação de energia de controle "consciente do ruído", penalizando mudanças de drift mais pesadamente em direções onde o sistema é menos estocástico, oferecendo assim um mecanismo geometricamente intuitivo para equilibrar desempenho com segurança/consistência.