Resumen Técnico: Abordando Procesos de Decisión con Objetivos No Acumulativos mediante Aprendizaje por Refuerzo

Planteamiento del Problema

Los Procesos de Decisión de Markov (MDP) estándar modelan la toma de decisiones maximizando la suma esperada de recompensas a lo largo de una trayectoria, definida como $E_\pi [\sum_{t=0}^{T-1} r_t]$. Sin embargo, muchas aplicaciones del mundo real requieren optimizar Procesos de Decisión de Markov No Acumulativos (NCMDP), donde el objetivo es maximizar el valor esperado de una función arbitraria $f$ de las recompensas, en lugar de su suma:
$$E_\pi [f(\tilde{r}_0, \tilde{r}_1, \dots, \tilde{r}_{T-1})]$$
Ejemplos de tales objetivos incluyen maximizar la recompensa mínima (problemas de eslabón más débil), optimizar el ratio de Sharpe (media dividida por la desviación estándar de los rendimientos), o minimizar la velocidad máxima en tareas de control. Los métodos existentes para resolver NCMDPs son limitados: a menudo restringen los objetivos a funciones específicas (por ejemplo, solo el máximo), operan únicamente en entornos deterministas, o requieren modificar los algoritmos centrales de aprendizaje por refuerzo (RL) (por ejemplo, redefiniendo los errores de diferencia temporal temporal). En consecuencia, los enfoques de RL de vanguardia suelen depender de aproximaciones o fallan al manejar NCMDPs estocásticos de manera efectiva.

Metodología

Los autores proponen un marco teórico general que mapea cualquier NCMDP a un MDP estándar, permitiendo así la aplicación directa de los resolvedores de MDP existentes (como la programación dinámica o algoritmos de RL profundo como PPO) sin modificaciones algorítmicas.

El Mecanismo de Mapeo

La innovación central es la construcción de un espacio de estados aumentado y una función de recompensa adaptada. Dado un NCMDP $\tilde{M}$ con estados $\tilde{s}_t$, recompensas $\tilde{r}_t$ y una función de objetivo $f$, el MDP correspondiente $M$ se define de la siguiente manera:

1. Estados Adaptados ($s_t$): El espacio de estados se expande para incluir un vector de historial $h_t$ que encapsula toda la información necesaria del historial de recompensas requerida para calcular la función de objetivo.
   $$s_t = (\tilde{s}_t, h_t)$$
   El vector $h_t$ se actualiza en cada paso mediante una función $u$: $h_{t+1} = u(h_t, \tilde{r}_t)$. Para muchas funciones comunes (por ejemplo, max, min, ratio de Sharpe), $h_t$ puede mantenerse con un tamaño constante.

2. Recompensas Adaptadas ($r_t$): La recompensa inmediata en el nuevo MDP se define como el cambio incremental en el valor de la función de objetivo:
   $$r_t = f(\tilde{r}_0, \dots, \tilde{r}_t) - f(\tilde{r}_0, \dots, \tilde{r}_{t-1}) = \rho(h_t, \tilde{r}_t)$$
   Esto asegura que la suma acumulada de las recompensas adaptadas en el MDP sea igual al valor del objetivo no acumulativo en el NCMDP original:
   $$\sum_{t=0}^{T-1} r_t = f(\tilde{r}_0, \dots, \tilde{r}_{T-1})$$

3. Equivalencia: Los autores demuestran que la política óptima para el MDP construido es equivalente a la política óptima para el NCMDP original. Además, cualquier política produce el mismo retorno esperado en ambas formulaciones. Esto permite que las garantías de convergencia estándar (por ejemplo, para Q-learning o gradientes de política) se apliquen directamente a los NCMDPs.

Implementación

El enfoque trata el entorno NCMDP y el resolvedor de MDP como cajas negras. Una capa intermedia simple calcula los estados y las recompensas adaptadas, lo que no requiere cambios en el algoritmo de RL subyacente. Esto facilita el uso de librerías estándar (por ejemplo, Stable-Baselines3) para problemas no acumulativos.

Contribuciones Clave

1. Marco Teórico: Introducción de un mapeo general de NCMDPs a MDPs estándar que admite objetivos no acumulativos arbitrarios tanto en entornos deterministas como estocásticos.
2. Agnosticismo Algorítmico: El método permite el uso de cualquier resolvedor de MDP existente sin modificar el algoritmo de aprendizaje en sí mismo, a diferencia de trabajos previos que requerían redefinir las reglas de actualización.
3. Gestión del Espacio de Estados: Identificación de las condiciones bajo las cuales la información de estado adicional $h_t$ mantiene un tamaño constante, haciendo que el enfoque sea escalable para técnicas de RL profundo a pesar del espacio de estados expandido.
4. Validación Empírica: Demostración de la efectividad del método a través de diversos dominios, incluyendo control clásico, optimización de carteras financieras y optimización discreta.

Resultados Experimentales

Los autores evaluaron su enfoque contra formulaciones de MDP estándar y métodos previos específicos de NCMDP en tres dominios:

• Control Clásico (Lunar Lander): La tarea consistió en maximizar una función de recompensa penalizada por la velocidad máxima durante una trayectoria. El método propuesto (MAXVELPPO) logró un compromiso superior entre la seguridad del aterrizaje y la velocidad máxima en comparación con un enfoque acumulativo (FINALPPO) que añadía la penalización solo al final. Añadir historial a un agente acumulativo no mejoró el rendimiento, mientras que el enfoque de mapeo integró el historial de forma natural.
• Optimización de Carteras: El objetivo era maximizar el ratio de Sharpe. El método propuesto (SHARPE) optimizó directamente el ratio de Sharpe exacto, superando a los agentes que utilizaban la aproximación del ratio de Sharpe diferencial (DIFFSHARPE) o una formulación de recompensa final (FINALSHARPE).
• Optimización Discreta:
  • Entorno Peak: En un problema de juguete que requiere incrementos intermitentes de costo para encontrar un mínimo global, el objetivo no acumulativo (MAXREINFORCE) entrenó significativamente más rápido que la línea base acumulativa. El análisis mostró que esto se debió a una reducción de la varianza del gradiente y a una dirección de gradiente más ventajosa.
  • Corrección de Errores Cuánticos y Diagramas ZX: En tareas que involucran el descubrimiento de circuitos cuánticos y la simplificación de diagramas ZX, el enfoque no acumulativo (MAXPPO) generalmente superó al PPO estándar. En la tarea de diagramas ZX, el agente no acumulativo exploró de manera más efectiva (mayor entropía de política) y alcanzó el rendimiento óptimo en aproximadamente la mitad de los pasos de entrenamiento requeridos por el agente acumulativo.

Significado y Reivindicaciones

El artículo afirma que este trabajo expande significativamente el alcance del aprendizaje por refuerzo al unificar los objetivos no acumulativos con los resolvedores de MDP estándar. Los autores enfatizan que:

• El método elimina la necesidad de algoritmos especializados de NCMDP, que a menudo son solo para entornos deterministas.
• Permite a los investigadores especificar objetivos exactos (por ejemplo, ratio de Sharpe, recompensa mínima) directamente al agente sin aproximaciones.
• La implementación es sencilla, requiriendo solo una capa de mapeo, lo que lo hace accesible para expertos en el dominio que no son especialistas en RL.
• El enfoque mejora tanto el rendimiento final como la eficiencia del entrenamiento en tareas donde el objetivo depende del historial de la trayectoria de una manera no aditiva.

Los autores señalan limitaciones, como el potencial aumento en el tamaño del espacio de estados (aunque manejable mediante RL profundo) y la observación de que en algunas tareas de optimización discreta con trayectorias largas, el aprendizaje puede ser inicialmente lento si el agente incurre frecuentemente en recompensa cero. También reconocen que, aunque su método mejora el rendimiento dentro del entorno entrenado, la generalización a periodos no vistos (por ejemplo, en datos financieros) sigue siendo un desafío común para todos los agentes de RL en estos dominios.