On Reward-Balancing Methods for Reinforcement Learning

Aquí presento un resumen técnico detallado del artículo "On Reward-Balancing Methods for Reinforcement Learning" de Simone Baroncini, Bahman Gharesifard y Giuseppe Notarstefano.

1. Problema y Contexto

El artículo aborda un problema fundamental en el Aprendizaje por Refuerzo (RL) basado en Procesos de Decisión de Markov (MDP): la eficiencia y la convergencia de los algoritmos para encontrar políticas óptimas.

• Contexto Tradicional: La mayoría de los algoritmos de RL (como Q-learning) mantienen la función de recompensa fija e iteran sobre la política para mejorarla.
• Enfoque Propuesto: El papel de las recompensas es comparar acciones a largo plazo. Los autores proponen un enfoque alternativo llamado Métodos de Balanceo de Recompensas (Reward-Balancing). En lugar de ajustar la política, estos métodos ajustan iterativamente la función de recompensa para transformar el problema original en uno equivalente donde la política óptima sea greedy (codiciosa) con respecto a la recompensa actual.
• Objetivo: Transformar un MDP en un MDP Normal, definido como aquel donde la función de valor óptima es cero en todos los estados. En un MDP normal, encontrar la política óptima es trivial: simplemente se selecciona la acción con recompensa cero en cada estado.

2. Metodología y Marco Teórico

Los autores desarrollan un marco teórico riguroso que combina álgebra, geometría y teoría de control.

A. Estructura Algebraica y Geométrica

• Transformaciones de Recompensa: Se define un grupo de transformaciones afines que preservan la función de ventaja (advantage function). Estas transformaciones tienen la forma $r \mapsto r + b(\delta)$, donde $\delta$ es una función sobre los estados.
• Órbitas y Equivalencia: Las recompensas que pertenecen a la misma órbita bajo la acción de este grupo son "afín-equivalentes". Esto significa que comparten la misma política óptima, aunque sus funciones de valor difieran por una constante aditiva.
• Conjunto Normal ($\mathcal{N}$): Se define el conjunto de recompensas en forma normal como aquellas donde el máximo de la recompensa en cada estado es cero ($\max_{u \in U_x} r(u) = 0$).
• Estructura de Fibrado: El espacio de todas las funciones de recompensa se modela como un fibrado principal sobre el conjunto normal. Esto implica que cualquier recompensa se puede descomponer de manera única en una "recompensa normal" y una "función de valor óptima".

B. Reformulación como Problema de Control Óptimo

El proceso de normalización se reformula como un problema de estabilización de salida en un sistema dinámico lineal:

• Estado: El vector de recompensas $R_t$.
• Entrada de Control: La transformación $\Delta_t$ (derivada de la función de valor).
• Dinámica: $R_{t+1} = R_t + B\Delta_t$, donde $B = \gamma F - S$.
• Objetivo: Diseñar una ley de control que lleve el estado $R_t$ al conjunto normal $\mathcal{N}$ (es decir, que $h_{max}(R_t) \to 0$).

Se analizan tres leyes de control:

1. Control Ideal: Normaliza en un solo paso (impráctico porque requiere conocer la solución óptima).
2. Retroalimentación de Salida Completa: Equivalente a la iteración de valores clásica.
3. Balanceo de Recompensa Seguro (Safe RB): Un método no lineal que garantiza la no positividad de la recompensa en cada paso.

C. Incertidumbre del Modelo y Muestreo Estocástico

El artículo extiende el marco a escenarios donde el modelo de transición $F$ es desconocido y solo se dispone de muestras estocásticas $\hat{F}_t$.

• Conjunto Admissible Invariante al Modelo: Se identifica un subconjunto de controles que garantiza que la recompensa permanezca no positiva independientemente de la realización del modelo.
• Acotación Probabilística: Se derivan cotas probabilísticas rigurosas sobre la desviación entre la trayectoria de recompensas con modelo exacto y la trayectoria con muestreo estocástico, utilizando teoría de martingalas.
• Control Predictivo Basado en Escenarios (Scenario MPC): Se propone un algoritmo que utiliza un horizonte de predicción y múltiples escenarios de modelos para calcular la entrada de control óptima, minimizando el error acumulado mientras respeta las restricciones de invariancia.

3. Contribuciones Clave

1. Análisis Teórico Completo: Proporcionan una caracterización algebraica y geométrica de las transformaciones de recompensa, demostrando que el espacio de recompensas tiene una estructura de fibrado principal y que existe un único MDP normal en cada órbita.
2. Reformulación de Control Óptimo: Recastearon el problema de normalización como un problema de control óptimo, lo que permite el uso de herramientas de teoría de control (como restricciones y términos de penalización) para diseñar nuevos algoritmos.
3. Gestión de Incertidumbre: Establecen garantías de normalización bajo incertidumbre de modelo mediante muestreo estocástico y derivan cotas de probabilidad para las fluctuaciones estocásticas.
4. Algoritmo MPC Propuesto: Introducen un esquema de Control Predictivo Basado en Escenarios para RL, que supera a los métodos existentes en entornos con ruido de modelo.

4. Resultados y Simulaciones

Los autores validan su enfoque mediante estudios de simulación:

• Comparación: Comparan el método propuesto (Scenario MPC) contra el método de "Retroalimentación de Salida Completa" (el estado del arte mencionado en la literatura previa [6]).
• Desempeño: En un MDP de dos estados con cinco acciones y ruido en el modelo de transición:
  • Ambos métodos logran la normalización (convergencia a la política greedy).
  • El Scenario MPC muestra una tasa de convergencia más rápida hacia la política óptima.
  • El porcentaje de simulaciones donde la política greedy resultante es realmente óptima es significativamente mayor con el enfoque MPC, especialmente a medida que aumenta el número de escenarios ($N$).
  • La política promedio resultante bajo MPC se acerca más a la política determinista óptima que bajo el método de retroalimentación simple.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Nueva Perspectiva: Cambia el paradigma de "aprender la política con recompensa fija" a "ajustar la recompensa para hacer la política greedy", ofreciendo una vía alternativa con complejidad de muestras competitiva.
• Robustez: Proporciona una base teórica sólida para operar en entornos con modelos imperfectos, algo crítico en aplicaciones del mundo real donde los modelos se aprenden de datos ruidosos.
• Herramienta de Diseño: La reformulación como problema de control óptimo abre la puerta a diseñar algoritmos de RL más sofisticados que incorporen restricciones de seguridad, optimización multi-objetivo y adaptabilidad dinámica, superando las limitaciones de los métodos heurísticos actuales.
• Paralelización: Se menciona que estos métodos son totalmente paralelizables, lo que representa una ventaja computacional significativa frente a métodos secuenciales como Q-learning.

En resumen, el artículo establece un marco matemático unificado para el balanceo de recompensas, demostrando que mediante el control óptimo y el manejo adecuado de la incertidumbre, se pueden lograr políticas óptimas más robustas y eficientes que con los métodos de RL tradicionales.