Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity

A continuación presento un resumen técnico detallado del artículo "Issues with Value-Based Multi-objective Reinforcement Learning: Value Function Interference and Overestimation Sensitivity" (Problemas en el Aprendizaje por Refuerzo Multiobjetivo Basado en Valores: Interferencia de la Función de Valor y Sensibilidad a la Sobreestimación), traducido y sintetizado al español.

1. Introducción y Definición del Problema

El Aprendizaje por Refuerzo Multiobjetivo (MORL) extiende el RL tradicional a problemas con múltiples objetivos conflictivos, representados por recompensas vectoriales. Mientras que el RL convencional utiliza una recompensa escalar, en MORL el agente debe aprender funciones de valor vectoriales y seleccionar acciones basándose en una función de utilidad (escalarización) que refleja las preferencias del usuario.

El artículo identifica dos problemas críticos, previamente no reportados, que afectan el rendimiento de los algoritmos MORL basados en valores (como Q-learning) cuando se utilizan con funciones de utilidad no lineales:

1. Interferencia de la Función de Valor (Value Function Interference): Ocurre cuando los valores vectoriales esperados aprendidos por el agente no son suficientes para determinar la acción óptima bajo una función de utilidad no lineal. Esto sucede porque la utilidad de un vector de retorno esperado (promedio) puede diferir significativamente del promedio de las utilidades de los retornos individuales, especialmente en entornos estocásticos o bajo criterios de Retorno Escalarizado Esperado (ESR).
2. Sensibilidad a la Sobreestimación: Aunque la sobreestimación de valores Q es un problema conocido en RL escalar, el artículo demuestra que en MORL con funciones no lineales, incluso una pequeña sobreestimación (consistente o inconsistente) puede alterar el ordenamiento de preferencia de las acciones, llevando a la selección de políticas subóptimas.

2. Metodología

Los autores utilizaron una implementación tabular de Q-learning Multiobjetivo (una variante del algoritmo Q(λ) adaptada para manejar estados aumentados que incluyen el retorno acumulado y el paso de tiempo) para investigar estos fenómenos.

Experimentos Clave:

• Entornos de Prueba:
  • MOMAB (Multi-Objective Multi-Armed Bandit) Estocástico: Un problema simple donde una acción tiene recompensas estocásticas y otra determinista, diseñado para ilustrar la discrepancia entre los criterios ESR (maximizar la utilidad esperada de la recompensa escalarizada) y SER (maximizar la utilidad de la recompensa vectorial esperada).
  • MOMDP Determinista: Un entorno de tres estados con recompensas vectoriales deterministas. Se utilizó para demostrar cómo la interferencia puede surgir incluso en entornos deterministas debido a la aleatoriedad en la ruptura de empates (tie-breaking) o cambios en la acción greedy durante el aprendizaje.
  • Entorno DST-Mixed: Un entorno de cuadrícula (submarino buscando tesoros) con una frontera de Pareto cóncava, utilizado para probar la sensibilidad a la sobreestimación.
• Funciones de Utilidad: Se evaluaron tres tipos:
  1. Escalarización lineal (pesos lineales).
  2. Ordenamiento lexicográfico umbralizado (TLO).
  3. Distancia de Chebyshev (no lineal).
• Variables Controladas: Se realizaron barridos de hiperparámetros (tasa de aprendizaje $\alpha$, tasa de exploración $\epsilon$) y se compararon estrategias de ruptura de empates (aleatoria vs. determinista). También se simuló sobreestimación añadiendo ruido positivo a los valores Q.

3. Contribuciones Clave

El artículo aporta las siguientes contribuciones teóricas y empíricas:

1. Identificación de la Interferencia de la Función de Valor: Demuestra que aprender el vector de retorno esperado promedio es insuficiente para optimizar la utilidad ESR cuando la función de utilidad es no lineal. El agente puede converger a una política subóptima porque el valor vectorial promedio "oculta" la variabilidad necesaria para calcular la utilidad correcta.
2. Interferencia en Entornos Deterministas: Revela que la interferencia no es exclusiva de entornos estocásticos. En entornos deterministas, la aleatoriedad introducida por la ruptura de empates aleatoria (cuando dos acciones tienen la misma utilidad) o por la inicialización optimista (que causa cambios frecuentes en la acción greedy) puede generar una estocasticidad artificial en las recompensas recibidas, llevando a la interferencia.
3. Sensibilidad Crítica a la Sobreestimación: Establece que, a diferencia del RL escalar donde la sobreestimación uniforme no cambia la política óptima, en MORL con funciones no lineales (especialmente TLO y Chebyshev), la sobreestimación puede invertir el orden de preferencia de las acciones, causando errores catastróficos en la selección de políticas.
4. Mitigación mediante Ruptura de Empates Determinista: Propone y valida empíricamente que el uso de una estrategia de ruptura de empates determinista (ej. siempre elegir el índice más bajo) mitiga significativamente, aunque no elimina por completo, el problema de interferencia en entornos deterministas.

4. Resultados Empíricos

• Interferencia en MOMAB Estocástico:
  • En el experimento con el criterio ESR, el agente basado en Q-learning estándar falló consistentemente en seleccionar la acción óptima (que tenía alta varianza pero alta utilidad esperada) y convergió a la acción determinista subóptima.
  • La tasa de éxito fue extremadamente baja para la mayoría de las tasas de aprendizaje, excepto en tasas muy altas (poco prácticas para problemas complejos).
• Interferencia en MOMDP Determinista:
  • Con ruptura de empates aleatoria, el agente convergió a la política subóptima (Política 2) en la gran mayoría de las pruebas, especialmente con tasas de aprendizaje medias.
  • Con ruptura de empates determinista (bajo o alto índice), la frecuencia de convergencia a la política subóptima disminuyó drásticamente (mejora de ~30% en la reducción de errores), demostrando que la estocasticidad en la selección de acciones es un motor clave de la interferencia.
  • Se observó que incluso una diferencia mínima en la recompensa ($\delta = 0.0001$) entre acciones óptimas y subóptimas en un estado posterior eliminó casi por completo la interferencia, confirmando que la inestabilidad en la elección de acciones greedy es la causa raíz.
• Sensibilidad a la Sobreestimación:
  • Escalarización Lineal: Inmune a la sobreestimación consistente (el orden se mantiene).
  • TLO (Lexicográfico): Extremadamente sensible. Incluso una sobreestimación mínima causó un aumento drástico en la selección de políticas incorrectas y una pérdida masiva de utilidad normalizada. Esto se debe a la discontinuidad en el umbral de la función.
  • Chebyshev: Mostró una sensibilidad intermedia, mayor que la lineal pero menor que TLO.
  • Sobreestimación Inconsistente: Fue más dañina que la consistente para todas las funciones, afectando incluso a la escalarización lineal, aunque TLO siguió siendo la más vulnerable.

5. Significado y Conclusiones

El trabajo tiene implicaciones profundas para el diseño de algoritmos MORL:

• Limitaciones de los Métodos Actuales: Los enfoques estándar de Q-learning vectorial son inadecuados para optimizar criterios ESR con utilidades no lineales, ya que la información del vector de valor promedio es insuficiente.
• Necesidad de Nuevos Enfoques:
  • Se sugiere incorporar conceptos de RL Distribuido (Distributional RL) para aprender distribuciones sobre los retornos vectoriales en lugar de solo promedios. Esto permitiría calcular correctamente la utilidad ESR.
  • Se menciona la posibilidad de usar formulación de recompensa basada en potencial (escalarizar la recompensa acumulada en cada paso) para aprender directamente el valor ESR, aunque esto sacrifica la capacidad de aprender múltiples políticas y la explicabilidad de los valores vectoriales.
• Robustez: Los algoritmos MORL basados en valores son inherentemente más frágiles ante la sobreestimación y la aleatoriedad en la selección de acciones que sus contrapartes de RL escalar, especialmente cuando se utilizan funciones de utilidad complejas y no lineales.

En resumen, el artículo advierte que la aplicación directa de Q-learning a problemas multiobjetivo con preferencias no lineales puede llevar a fallos sistemáticos de convergencia, y propone que la solución requiere ir más allá de la estimación de valores promedio, hacia la estimación de distribuciones o la reformulación del problema de aprendizaje.