Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

Resumo Técnico: Unificação da Regularização por Entropia no Controle Ótimo

Enunciado do Problema
Problemas de controle ótimo, que vão desde robótica até finanças, tipicamente envolvem a minimização de um custo sobre um horizonte finito usando programação dinâmica. No entanto, soluções exatas são frequentemente intratáveis devido à não linearidade dos operadores de Bellman. Embora abordagens probabilísticas como "Controle como Inferência" (CaI) e regularização de Kullback-Leibler (KL) tenham oferecido substitutos tratáveis, um quadro matemático unificado conectando o Controle Estocástico Ótimo (SOC) clássico, o Controle Estocástico Ótimo Sensível ao Risco (RSOC) e suas contrapartes de "política suave" regularizadas por KL tem sido inexistente. Além disso, a relação entre os objetivos substitutos resolvidos em cada iteração desses algoritmos e os objetivos clássicos originais permanecia parcialmente obscura, assim como a conexão entre essas formulações e o Controle Robusto Distribucional (DRC).

Metodologia
Os autores propõem um problema central unificador denominado Controle Ótimo Regularizado por KL Central (C-KLR-OC). Esta formulação generaliza abordagens existentes ao desacoplar as penalidades KL aplicadas à política e às transições do sistema.

1. Formulação Unificada: O problema central (Eq. 7) otimiza conjuntamente uma sequência de políticas $\pi$ e uma sequência de kernels de transição artificiais $\tau$, penalizando seus desvios de distribuições de base ($\rho$ para política, $\iota$ para transições) com pesos independentes $\lambda_P$ e $\lambda_S$.

   • $\lambda_P$ controla o desvio da política em relação a um comportamento de referência.
   • $\lambda_S$ controla o desvio das transições em relação à dinâmica real do sistema, sendo que seu sinal determina a atitude de risco (positivo para busca de risco/otimista, negativo para aversão ao risco/pessimista).

2. Ferramentas Teóricas:

   • Medidas de Risco: O artigo utiliza a representação dual da Medida de Risco Entrópica para vincular a sensibilidade ao risco com a regularização KL.
   • Majorização-Minimização (MM): Os autores empregam o quadro MM para demonstrar que as formulações de política suave servem como funções substitutas tratáveis que limitam superiormente (majorizam) os objetivos clássicos originais.

3. Derivação de Casos Especiais: Ao alternar as restrições sobre $\rho$ (se ele é igual à política otimizada $\pi$) e $\tau$ (se é fixado à dinâmica real $\iota$ ou livre), os autores mostram que o C-KLR-OC recupera:

   • SOC: $\rho = \pi$, $\tau = \iota$.
   • RSOC: $\rho = \pi$, $\tau$ livre.
   • SOC de Política Suave (SP-SOC): $\rho \neq \pi$, $\tau = \iota$ (corresponde à projeção I).
   • RSOC de Política Suave (SP-RSOC): $\rho \neq \pi$, $\tau$ livre (corresponde à projeção M).

Principais Contribuições e Resultados

• Unificação de Objetivos: O artigo estabelece que o SOC clássico, o RSOC e suas variantes de política suave não são paradigmas distintos, mas casos especiais de uma única estrutura matemática onde as regularizações de política e transição são separadas.
• Recuperação Iterativa de Objetivos Clássicos: Os autores provam que as formulações de política suave (SP-SOC e SP-RSOC) majorizam suas contrapartes clássicas (SOC e RSOC). Consequentemente, iterar a solução dos problemas de política suave (usando a política atual como a base $\rho$ para o próximo passo) garante uma descida no objetivo original, não regularizado. Isso fornece uma base principial para algoritmos iterativos que resolvem subproblemas regularizados por KL tratáveis para convergir a soluções clássicas.
• Caso Sincronizado (S-SP-RSOC): Uma descoberta crítica é a identificação de um caso "sincronizado" onde os pesos de política e transição coincidem ($\lambda_P = \lambda_S = \lambda > 0$). Nesta configuração específica, o problema exibe uma constelação de propriedades favoráveis observadas anteriormente em configurações específicas (como Controle de Integral de Caminho), mas agora mostradas como extensíveis a esta classe mais ampla:
  1. Operador de Bellman Linear: A recursão não linear de Bellman transforma-se em uma equação linear via uma mudança exponencial de variáveis (desejabilidade).
  2. Solução de Integral de Caminho: A função de valor pode ser computada como uma integral de caminho (expectativa sobre trajetórias) das dinâmicas de base, contornando a programação dinâmica reversa e permitindo estimativa Monte-Carlo paralela e sem modelo.
  3. Composicionalidade: Soluções para custos terminais complexos podem ser construídas como misturas ponderadas de soluções para subproblemas mais simples.
• Conexão com Inferência: O caso sincronizado é mostrado como equivalente à Estimativa de Máxima Verossimilhança (MLE) em um Modelo Gráfico Probabilístico (PGM) onde a otimalidade é condicionada. A política ótima corresponde exatamente à distribuição posterior de ações dada a otimalidade, computável via suavização bayesiana.

Significado e Alegações
O artigo alega fornecer uma "perspectiva unificada" que resolve questões fundamentais sobre a interpretabilidade de métodos baseados em CaI. Especificamente:

• Esclarece que as políticas "suaves" resolvidas em cada iteração de algoritmos de correspondência de densidade não são arbitrárias; são substitutos regularizados por KL que aproximam sistematicamente os objetivos clássicos de SOC ou RSOC.
• Demonstra que a harmonia estrutural entre a regularização de política e transição (ou seja, definir $\lambda_P = \lambda_S$) não é incidental, mas matematicamente necessária para alcançar simultaneamente o operador de Bellman linear, a solvabilidade por integral de caminho e a composicionalidade.
• Preenche a lacuna entre Controle Sensível ao Risco e Controle Robusto Distribucional, mostrando que a sensibilidade ao risco pode ser interpretada como um problema DRC suave com um multiplicador de Lagrange predefinido.

Os autores concluem que, embora o caso sincronizado produza propriedades computacionais poderosas, o quadro unificador geral permite o ajuste independente da regularização de política e transição, oferecendo um espaço de design mais amplo para problemas de controle além das restrições específicas exigidas para linearidade.