A Harmonic Mean Formulation of Average Reward Reinforcement Learning in SMDPs

Resumen Técnico: Una Formulación de la Media Armónica para el Aprendizaje por Refuerzo de Recompensa Promedio en PDMs

1. Enunciado del Problema

El artículo aborda el desafío de optimizar la recompensa promedio no descontada en Procesos de Decisión de Markov Semi-Markovianos (PDMs) con horizontes infinitos. A diferencia de los Procesos de Decisión de Markov (PDMs) estándar, donde las acciones toman una unidad fija de tiempo, los PDMs implican acciones que generan estocásticamente tanto recompensas como duraciones variables (tiempos de permanencia). El objetivo es maximizar la tasa de recompensa promedio (recompensa por unidad de tiempo), en lugar de la recompensa acumulada total.

Los algoritmos existentes sin modelo para este entorno, específicamente SMART y Relaxed-SMART, sufren limitaciones críticas cuando las recompensas y las duraciones son no estacionarias o dependientes:

• SMART se basa en el promedio muestral a largo plazo (recompensa total dividida por el tiempo total). Este enfoque es frágil; asume estacionariedad y puede verse dominado por valores atípicos o fallar al adaptarse a cambios de régimen en entornos no estacionarios.
• Relaxed-SMART intenta manejar la no estacionariedad utilizando Medias Móviles Exponenciales (MME) tanto para las recompensas como para las duraciones, y luego toma su relación. Sin embargo, este método aproxima la tasa promedio como la relación de medias aritméticas. El artículo demuestra que esta aproximación es matemáticamente correcta solo si las recompensas y las duraciones son independientes. Cuando están correlacionadas (relacionadas de forma no lineal), la relación de promedios produce una estimación incorrecta de la verdadera tasa promedio.

2. Metodología

Los autores proponen un enfoque novedoso basado en la Media Armónica, que es el operador teóricamente correcto para promediar tasas (por ejemplo, velocidad = distancia/tiempo).

La Limitación de la Media Armónica:
Aunque la media armónica es la agregación correcta para las tasas, la definición estándar es inadecuada para el Aprendizaje por Refuerzo (RL) general porque:

1. No está definida para valores cero (división por cero).
2. Pierde la propiedad de "interioridad" (la media cayendo entre el mínimo y el máximo) cuando los valores tienen signos mixtos (recompensas positivas y negativas).

El Operador de Media Armónica Modificada ($\mathcal{H}$):
Para superar estas limitaciones, los autores introducen un Operador de Media Armónica Modificada ($\mathcal{H}$). Este operador:

• Particiona los datos en tres conjuntos: recompensas positivas ($X_+$), recompensas negativas ($X_-$) y recompensas cero ($X_0$).
• Calcula la media armónica estándar para los subconjuntos positivos y negativos por separado.
• Calcula una media aritmética ponderada de estos resultados, tratando los valores cero como si tuvieran un valor de 0.
• Propiedades Teóricas: Los autores demuestran que $\mathcal{H}$ es una media general (satisface interioridad, idempotencia, simetría y monotonía) y generaliza la media armónica estándar donde esta última está definida. Sin embargo, demuestran que no es una media cuasi-aritmética, distinguiéndola de la clase que contiene las medias aritmética, geométrica y armónica estándar.

Algoritmo de Aprendizaje $R$ Armónico:
Los autores integran $\mathcal{H}$ en un algoritmo de RL sin modelo llamado Aprendizaje $R$ Armónico.

• Sigue las reglas de actualización estructural de $R$-Learning y SMART (actualizando los valores $Q$ basándose en la recompensa marginal relativa a la tasa promedio).
• En lugar de actualizar la tasa promedio $\rho$ utilizando una simple MME aritmética o una relación de MMEs, mantiene una Media Armónica Móvil Exponencial.
• El algoritmo rastrea los recíprocos de las tasas ($r/\tau$) para recompensas positivas y negativas por separado, manteniendo promedios móviles exponenciales de estos recíprocos y sus pesos asociados, e invirtiéndolos luego para calcular la estimación actual de $\rho$.

3. Contribuciones Clave

1. Análisis Teórico de Algoritmos Existentes: El artículo demuestra formalmente (mediante el Teorema 1) que la relación de medias aritméticas (utilizada por Relaxed-SMART) es igual a la media armónica solo si la covarianza entre las recompensas y la relación tiempo-recompensa es cero. En entornos no estacionarios o dependientes, esto conduce a una estimación incorrecta de la tasa.
2. Operador Novel: La introducción del Operador de Media Armónica Modificada ($\mathcal{H}$), que es robusto a recompensas cero y de signo mixto, manteniendo al mismo tiempo la corrección matemática requerida para promediar tasas.
3. Generalización Algorítmica: El desarrollo del Aprendizaje $R$ Armónico, un algoritmo sin modelo que generaliza las variantes existentes de $R$-Learning a los PDMs sin las suposiciones de estacionariedad o independencia de SMART y Relaxed-SMART.
4. Pruebas Axiomáticas: Demostraciones que establecen que $\mathcal{H}$ es una media general pero no una media cuasi-aritmética, aclarando su estatus matemático en relación con las medias tradicionales.

4. Resultados Empíricos

Los autores evaluaron el Aprendizaje $R$ Armónico frente a SMART y Relaxed-SMART en dos dominios:

• PDM Sintético de Dos Estados:

  • Configuración: Una tarea continua con dos acciones. La Acción A tenía recompensas y duraciones independientes. La Acción B tenía recompensas y duraciones dependientes y no estacionarias (utilizando funciones seno/coseno en deriva con escalado logarítmico).
  • Hallazgo: En configuraciones donde la dependencia entre recompensa y duración hacía difícil detectar la acción óptima "verdadera" (Acción B) dentro del horizonte de aprendizaje, SMART y Relaxed-SMART fallaron (cayendo al 0% de éxito en configuraciones más difíciles). El Aprendizaje $R$ Armónico mantuvo una alta tasa de éxito en todas las combinaciones de parámetros, demostrando una superior robustez frente a la no estacionariedad y la dependencia.

• Comercio de Bitcoin (Datos del Mundo Real):

  • Configuración: Un entorno de alta volatilidad y no estacionario utilizando datos de precios de Bitcoin a nivel de minuto (2012–2025). La tarea implicaba comprar/vender con duraciones de acción estocásticas (5–45 segundos). Se probaron dos versiones: una con duraciones aleatorias (independientes) y otra donde la duración se escalaba por la magnitud de la recompensa (dependiente).
  • Hallazgo:
    • En la versión independiente, todos los algoritmos funcionaron de manera similar, como lo predice la teoría.
    • En la versión dependiente (donde la magnitud de la recompensa influía en la duración), el Aprendizaje $R$ Armónico superó significativamente tanto a SMART como a Relaxed-SMART, logrando una mayor relación de victorias en 21 segmentos de datos. Esto confirma la afirmación teórica de que la aproximación de relación-de-promedios falla cuando las recompensas y las duraciones están acopladas.

5. Significado y Afirmaciones

El artículo afirma que el Aprendizaje $R$ Armónico proporciona una corrección necesaria para el RL de recompensa promedio en PDMs donde las distribuciones de recompensa y duración son no estacionarias o dependientes.

• Argumenta que los métodos anteriores (SMART/Relaxed-SMART) son fundamentalmente defectuosos en estas condiciones específicas porque dependen de aproximaciones aritméticas que ignoran el acoplamiento entre la magnitud de la recompensa y el tiempo.
• El operador de media armónica modificada se presenta como la herramienta matemáticamente correcta para promediar tasas en RL, extendiendo la aplicabilidad de $R$-Learning a escenarios complejos del mundo real, como el comercio financiero, donde tales dependencias son comunes.
• El trabajo se posiciona como una mejora teórica y empírica sobre el estado del arte para la optimización de recompensa promedio sin modelo en entornos semi-Markovianos, abordando específicamente las brechas "no estacionarias" y "dependientes" en la literatura actual.