Unifying Entropy Regularization in Optimal Control: From and Back to Classical Objectives via Iterated Soft Policies and Path Integral Solutions

Resumen Técnico: Unificación de la Regularización por Entropía en el Control Óptimo

Enunciado del Problema
Los problemas de control óptimo, que abarcan desde la robótica hasta las finanzas, suelen implicar la minimización de un costo en un horizonte finito mediante programación dinámica. Sin embargo, las soluciones exactas a menudo son intratables debido a la no linealidad de los operadores de Bellman. Aunque enfoques probabilísticos como "Control como Inferencia" (CaI) y la regularización de Kullback-Leibler (KL) han ofrecido sustitutos tratables, ha faltado un marco matemático unificado que conecte el Control Óptico Estocástico (SOC) clásico, el Control Óptimo Estocástico Sensible al Riesgo (RSOC) y sus contrapartes de "política blanda" regularizadas por KL. Además, la relación entre los objetivos sustitutos resueltos en cada iteración de estos algoritmos y los objetivos clásicos originales permaneció parcialmente poco clara, al igual que la conexión entre estas formulaciones y el Control Robusto Distribucional (DRC).

Metodología
Los autores proponen un problema central unificador denominado Control Óptimo Regularizado por KL Central (C-KLR-OC). Esta formulación generaliza los enfoques existentes al desacoplar las penalizaciones KL aplicadas a la política y a las transiciones del sistema.

1. Formulación Unificada: El problema central (Ecuación 7) optimiza conjuntamente una secuencia de políticas $\pi$ y una secuencia de núcleos de transición artificiales $\tau$, penalizando sus desviaciones de distribuciones de referencia ($\rho$ para la política, $\iota$ para las transiciones) con pesos independientes $\lambda_P$ y $\lambda_S$.

   • $\lambda_P$ controla la desviación de la política respecto a un comportamiento de referencia.
   • $\lambda_S$ controla la desviación de las transiciones respecto a la dinámica real del sistema, donde su signo determina la actitud ante el riesgo (positivo para búsqueda de riesgo/optimista, negativo para aversión al riesgo/pesimista).

2. Herramientas Teóricas:

   • Medidas de Riesgo: El artículo utiliza la representación dual de la Medida de Riesgo Entrópica para vincular la sensibilidad al riesgo con la regularización KL.
   • Mayorización-Minimización (MM): Los autores emplean el marco MM para demostrar que las formulaciones de política blanda sirven como funciones sustitutas tratables que acotan superiormente (mayorizan) los objetivos clásicos originales.

3. Derivación de Casos Especiales: Al alternar las restricciones sobre $\rho$ (si es igual a la política optimizadora $\pi$) y $\tau$ (si está fijado a la dinámica real $\iota$ o es libre), los autores muestran que C-KLR-OC recupera:

   • SOC: $\rho = \pi$, $\tau = \iota$.
   • RSOC: $\rho = \pi$, $\tau$ libre.
   • SOC de Política Blanda (SP-SOC): $\rho \neq \pi$, $\tau = \iota$ (corresponde a la proyección I).
   • RSOC de Política Blanda (SP-RSOC): $\rho \neq \pi$, $\tau$ libre (corresponde a la proyección M).

Contribuciones y Resultados Clave

• Unificación de Objetivos: El artículo establece que el SOC clásico, el RSOC y sus variantes de política blanda no son paradigmas distintos, sino casos especiales de una única estructura matemática donde las regularizaciones de política y transición están separadas.
• Recuperación Iterativa de Objetivos Clásicos: Los autores demuestran que las formulaciones de política blanda (SP-SOC y SP-RSOC) mayorizan a sus contrapartes clásicas (SOC y RSOC). En consecuencia, iterar la solución de los problemas de política blanda (utilizando la política actual como la línea base $\rho$ para el siguiente paso) garantiza una disminución en el objetivo original no regularizado. Esto proporciona una base principista para algoritmos iterativos que resuelven subproblemas regularizados por KL tratables para converger a soluciones clásicas.
• Caso Sincronizado (S-SP-RSOC): Un hallazgo crítico es la identificación de un caso "sincronizado" donde los pesos de política y transición coinciden ($\lambda_P = \lambda_S = \lambda > 0$). En esta configuración específica, el problema exhibe una constelación de propiedades favorables observadas previamente en configuraciones específicas (como el Control por Integral de Trayectoria), pero que ahora se demuestra que se extienden a esta clase más amplia:
  1. Operador de Bellman Lineal: La recursión no lineal de Bellman se transforma en una ecuación lineal mediante un cambio de variables exponencial (deseabilidad).
  2. Solución por Integral de Trayectoria: La función de valor puede calcularse como una integral de trayectoria (esperanza sobre trayectorias) de la dinámica de referencia, evitando la programación dinámica hacia atrás y permitiendo una estimación Monte-Carlo paralela y libre de modelo.
  3. Composicionalidad: Las soluciones a costos terminales complejos pueden construirse como mezclas ponderadas de soluciones a subproblemas más simples.
• Conexión con la Inferencia: Se demuestra que el caso sincronizado es equivalente a la Estimación de Máxima Verosimilitud (MLE) en un Modelo Gráfico Probabilístico (PGM) donde se condiciona la optimalidad. La política óptima corresponde exactamente a la distribución posterior de las acciones dada la optimalidad, calculable mediante suavizado bayesiano.

Significado y Afirmaciones
El artículo afirma proporcionar una "perspectiva unificada" que resuelve preguntas fundamentales sobre la interpretabilidad de los métodos basados en CaI. Específicamente:

• Aclara que las políticas "blandas" resueltas en cada iteración de algoritmos de ajuste de densidad no son arbitrarias; son sustitutos regularizados por KL que aproximan sistemáticamente los objetivos clásicos de SOC o RSOC.
• Demuestra que la armonía estructural entre la regularización de política y transición (es decir, establecer $\lambda_P = \lambda_S$) no es incidental, sino matemáticamente necesaria para lograr simultáneamente el operador de Bellman lineal, la solvabilidad por integral de trayectoria y la composicionalidad.
• Cierra la brecha entre el Control Sensible al Riesgo y el Control Robusto Distribucional, mostrando que la sensibilidad al riesgo puede interpretarse como un problema DRC blando con un multiplicador de Lagrange predefinido.

Los autores concluyen que, aunque el caso sincronizado produce propiedades computacionales poderosas, el marco unificador general permite el ajuste independiente de la regularización de política y transición, ofreciendo un espacio de diseño más amplio para problemas de control más allá de las restricciones específicas requeridas para la linealidad.