Resumen Técnico: Optimización de Políticas en Espacios de Acción Híbridos Discretos-Continuos mediante Gradientes Mixtos

Enunciado del Problema

El artículo aborda una limitación fundamental en el Aprendizaje por Refuerzo (RL) para problemas a gran escala: el problema de asignación de crédito en espacios de acción de alta dimensión. Los métodos estándar de gradiente de política sin modelo, como REINFORCE y la Optimización de Política Proximal (PPO), dependen de estimadores de función de puntuación (SF). Estos métodos estiman los gradientes correlacionando las perturbaciones de la política con las recompensas acumuladas. En entornos de alta dimensión, este enfoque sufre una degradación severa de la relación señal-ruido, ya que un único retorno escalar debe atribuirse a miles de componentes de acción entrelazados con aleatoriedad exógena.

Aunque la simulación diferenciable (gradientes por trayectoria o PW) ofrece una solución mediante la retropropagación a través del simulador para obtener una asignación de crédito más precisa, tradicionalmente requiere dinámicas completamente suaves. Muchos problemas prácticos en robótica, control y operaciones involucran espacios de acción híbridos discretos-continuos (por ejemplo, seleccionar un régimen discreto y optimizar un control continuo dentro de él) o dinámicas suaves a trozos con discontinuidades. En estos entornos, los gradientes PW estándar se vuelven sesgados o poco informativos, obligando a los practicantes a recurrir a métodos basados en SF menos eficientes y a descartar la información estructural disponible.

El desafío central es desarrollar un marco de optimización de políticas que aproveche la suavidad de los componentes continuos mediante retropropagación, al tiempo que maneja correctamente las decisiones discretas y las discontinuidades sin introducir sesgo.

Metodología: Optimización de Política Híbrida (HPO)

Los autores proponen la Optimización de Política Híbrida (HPO), un marco diseñado para MDP exógenos donde un simulador tiene acceso a la realización completa de la aleatoriedad exógena (por ejemplo, demanda, clima) durante el entrenamiento, lo que permite la evaluación contrafactual de la política en la misma trayectoria.

1. Representación de la Política

La política $\pi$ se factoriza en dos componentes:

• Componente Discreto ($\pi^X_\phi$): Una política estocástica que selecciona una acción discreta $x_t$ (por ejemplo, un régimen o modo) de un conjunto finito $\mathcal{X}$.
• Componente Continuo ($\pi^B_\kappa$): Un controlador determinista que genera una acción continua candidata $b_t$ para cada acción discreta posible $j \in \mathcal{X}$. La acción ejecutada es $b_t = \pi^B_\kappa(s_t)[x_t]$.

Esta estructura "en torre" permite que el controlador continuo sea suave con respecto a sus parámetros $\kappa$, condicionado a la acción discreta.

2. El Estimador de Gradiente Mixto

La contribución teórica central es un estimador de gradiente mixto no sesgado que combina términos de trayectoria (PW) y de función de puntuación (SF). Para una política parametrizada por $\theta = (\phi, \kappa)$, los gradientes son:

• Gradiente Discreto ($\nabla_\phi J$): Calculado utilizando el estimador SF estándar:
  $$\nabla_\phi J(\theta) = \mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\phi \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]$$
• Gradiente Continuo ($\nabla_\kappa J$): Calculado como la suma de un término de Trayectoria y un término Cruzado:
  $$\nabla_\kappa J(\theta) = \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa c(s_t(\kappa), (x_t, b_t(\kappa)), \xi_t) \right]}_{\text{Término de Gradiente PW}} + \underbrace{\mathbb{E}_\theta \left[ \sum_{t=0}^\infty \gamma^t \nabla_\kappa \log \pi^X_\phi(x_t | s_t(\kappa)) Q^{\pi_\theta}(s_t(\kappa), a_t) \right]}_{\text{Término Cruzado}}$$

Mecanismo Clave:

• El término PW retropropaga a través del simulador para las acciones continuas, manteniendo fijas las acciones discretas. Esto aísla el efecto directo de las acciones continuas sobre los costos, mejorando significativamente la asignación de crédito.
• El término cruzado captura cómo los cambios en los parámetros continuos $\kappa$ alteran la trayectoria de estado $s_t(\kappa)$, lo que a su vez desplaza la distribución de probabilidad de la política discreta $\pi^X_\phi$.
• El estimador se implementa utilizando operaciones stop_grad (desacoplar) en marcos de diferenciación automática (por ejemplo, PyTorch) para asegurar que el muestreo discreto se trate como fijo para el término PW, mientras que el término cruzado conserva la dependencia del log-probabilidad discreto del estado.

3. Manejo de Discontinuidades

El artículo demuestra que los problemas con discontinuidades en la acción (MDP suaves a trozos) pueden reformularse como MDP híbridos. Al introducir una acción discreta para seleccionar la "región suave" del espacio de acción y una acción continua para especificar el control dentro de esa región, el marco preserva la imparcialidad mientras explota la suavidad local.

Contribuciones Clave

1. Marco HPO: Un marco de optimización de políticas para espacios de acción híbridos discretos-continuos que produce un estimador de gradiente mixto no sesgado. Aprovecha los gradientes PW siempre que la estructura del problema lo permita, evitando la fragilidad de los métodos puramente PW y la alta varianza de los métodos puramente SF.
2. Caracterización Teórica del Término Cruzado: Los autores demuestran que el término cruzado se anula a medida que la política discreta se acerca a una mejor respuesta (Teorema 2). Específicamente, la magnitud del término cruzado está acotada por la suboptimalidad de la política discreta ($\epsilon$) y la sensibilidad del estado a los parámetros continuos. Este resultado implica que, cerca de la optimalidad, el acoplamiento entre los componentes discretos y continuos se debilita, permitiendo actualizaciones descentralizadas aproximadas.
3. Validación Empírica: Experimentos extensos en Problemas de Reabastecimiento Conjunto (JRP) y Reguladores Lineales Cuadráticos Conmutados (S-LQR) demuestran que HPO supera sustancialmente a PPO, particularmente a medida que aumenta la dimensión de la acción continua.
   • Escalabilidad: La brecha de rendimiento de HPO sobre PPO se amplía significativamente con la dimensión del espacio de acción continua ($p$). Por ejemplo, en S-LQR, PPO falla en converger para $p > 24$, mientras que HPO converge de manera confiable hasta $p=48$.
   • Calidad del Gradiente: El análisis muestra que el estimador mixto mantiene una alta alineación y un bajo RMSE en altas dimensiones, whereas los estimadores SF puros (utilizados por PPO) colapsan a una alineación cercana a cero a medida que crece la dimensionalidad.
4. Estrategia de Reducción de Varianza: El artículo muestra que omitir el término cruzado (HPONoCross) puede ser beneficioso cerca de la optimalidad. Dado que la esperanza del término cruzado se anula mientras que su varianza crece a medida que la política discreta mejora, eliminarlo reduce el ruido sin introducir un sesgo significativo en las etapas finales del entrenamiento.

Resultados y Significancia

El artículo afirma que HPO representa un paso significativo hacia la aplicación de métodos de gradiente de política a problemas realistas y a gran escala donde están disponibles simuladores diferenciables, pero donde las decisiones discretas han limitado históricamente el alcance de los métodos de trayectoria.

• Rendimiento: En las pruebas de referencia JRP y S-LQR, HPO logra consistentemente pérdidas de prueba más bajas y requiere menos actualizaciones de política para alcanzar brechas de rendimiento objetivo en comparación con PPO. La ventaja es más pronunciada en espacios continuos de alta dimensión ($p \ge 40$).
• Eficiencia del Gradiente: El gradiente mixto proporciona una señal drásticamente mejor que los gradientes SF puros. En altas dimensiones, la alineación del estimador SF con la dirección del gradiente verdadero cae a casi cero, mientras que el estimador mixto mantiene una alineación superior a 0.8.
• Potencial de Descentralización: El resultado teórico sobre el término cruzado que se anula sugiere una vía hacia un entrenamiento semi-descentralizado, donde los componentes discretos y continuos pueden optimizarse por separado una vez que la política discreta está suficientemente cerca de una mejor respuesta.

Los autores posicionan este trabajo como un puente entre el RL sin modelo y la simulación diferenciable, extendiendo la aplicabilidad de esta última a espacios de acción híbridos sin sacrificar la imparcialidad requerida para la convergencia. El código y los recursos están disponibles para facilitar investigaciones futuras en esta dirección.