Resumen Técnico: Representaciones Categóricas-Cociente para el Aprendizaje por Refuerzo Distribucional de Recompensa Promedio Compatible con Bellman

1. Enunciado del Problema

El Aprendizaje por Refuerzo Distribucional (DRL) ha logrado éxitos significativos en Procesos de Decisión de Markov (MDP) con descuento, donde la geometría de contracción del operador de Bellman facilita el análisis y el diseño de algoritmos. Sin embargo, el entorno de recompensa promedio presenta un desafío estructural fundamental para el modelado distribucional.

En los MDP de recompensa promedio, la evaluación depende de dos objetos: la ganancia (recompensa promedio a largo plazo) y el sesgo (función de valor relativa). El sesgo satisface la ecuación de Poisson, que es el análogo de la ecuación de Bellman en el contexto de recompensa promedio. Una propiedad crítica de la ecuación de Poisson es que sus soluciones son únicas solo hasta una constante aditiva. Esta invarianza traslacional crea un obstáculo para el modelado distribucional estándar: una familia de leyes de probabilidad indexadas por estado en $\mathbb{R}$ no puede definirse directamente con un origen fijo, porque trasladar la distribución del sesgo de cada estado por la misma constante no debería alterar el objeto aprendido.

El trabajo existente en DRL de recompensa promedio a menudo se centra en refinar el propio criterio de recompensa o utiliza representaciones escalares. Este artículo aborda la brecha en la construcción de un análogo distribucional compatible con Bellman del sesgo que respete la simetría de la constante aditiva, permitiendo la programación dinámica distribucional y el aprendizaje de diferencias temporales (TD) en el régimen de recompensa promedio.

2. Metodología

2.1 Formulación en Espacio Cociente

Los autores proponen modelar las leyes de sesgo indexadas por estado módulo traslaciones comunes.

• Espacio Cociente: Sea $\mathcal{F}_S$ el conjunto de colecciones de leyes de probabilidad en $\mathbb{R}$ indexadas por estado. Se define una relación de equivalencia $\approx$ tal que $\eta \approx \zeta$ si $\zeta$ es una traslación común de $\eta$. El espacio resultante $\mathcal{F}_S / \approx$ preserva la simetría de la constante aditiva de la ecuación de Poisson.
• Operador Distribucional: El operador distribucional de recompensa promedio $T$ se define sobre $\mathcal{F}_S$. El artículo demuestra que $T$ conmuta con las traslaciones comunes, induciendo así un operador bien definido en el espacio cociente $\mathcal{F}_S / \approx$.

2.2 Parametrización Categórica

Para hacer que el espacio cociente sea computacionalmente tratable, los autores introducen una representación categórica-cociente:

• Representación: La ley de sesgo de cada estado se representa mediante una distribución categórica sobre una cuadrícula fija $\Theta = \{\theta_1, \dots, \theta_d\}$.
• Equivariancia de Desplazamiento: Se define una familia representativa como $\eta_{p,c} = \sum p_k \delta_{\theta_k + c}$, donde $c$ es un desplazamiento arbitrario. El vector de coeficientes $p$ caracteriza de manera única la clase de cociente $[\eta_{p,c}]$, independientemente de $c$.
• Proyección: Se define una proyección categórica equivariante al desplazamiento $\Pi_{\Theta_c}^C$. El artículo establece que proyectar una ley trasladada sobre una cuadrícula trasladada produce el mismo vector de coeficientes que proyectar la ley original sobre la cuadrícula original.

2.3 Operador Proyectado y No Expansividad

Los autores definen un operador proyectado $G_g$ sobre los coeficientes categóricos, que corresponde a aplicar el operador distribucional y proyectar de nuevo sobre la cuadrícula categórica.

• Métrica: La convergencia se analiza utilizando la métrica de Cramér coordenada ($\ell_{\Theta, C, \infty}$), que coincide con la métrica de Cramér estándar en las leyes representativas.
• Propiedad Clave: A diferencia de los operadores de DRL con descuento que son contractivos, el operador proyectado $G_g$ en el entorno de recompensa promedio es no expansivo. El artículo demuestra que $G_g$ está bien definido, es no expansivo en la métrica de Cramér coordenada y admite puntos fijos (mediante el teorema del punto fijo de Brouwer).

2.4 Recursiones de Aproximación Estocástica (SA)

Dado que el operador es no expansivo en lugar de contractivo, los argumentos estándar de contracción no son aplicables. Los autores analizan las recursiones muestreadas como relajaciones asíncronas del operador proyectado:

1. Recursión Centrada: Asumiendo que la ganancia $\bar{r}^\pi$ es conocida, definen una actualización TD de un solo estado (iteración estocástica de Krasnosel'skiĭ–Mann) utilizando recompensas centradas $B = R - \bar{r}^\pi$. Se demuestra que el mapa de campo medio de esta recursión es no expansivo y comparte puntos fijos con $G$.
2. Recursión Acoplada (Ganancia Desconocida): Cuando la ganancia es desconocida, la recursión se amplía con un estimador de ganancia en línea $g_k$. Los autores definen una métrica de producto $d_\lambda$ que combina el residual categórico y el error de ganancia. Demuestran que el mapa de actualización acoplado es no expansivo en esta métrica de producto y que sus puntos fijos corresponden a las leyes de sesgo categóricas-cociente correctas y a la ganancia verdadera.

3. Contribuciones Clave

1. Fundamento del Espacio Cociente: El artículo establece que el espacio cociente de familias de leyes indexadas por estado por traslación común es el dominio natural para un análogo distribucional del sesgo escalar.
2. Operador Proyectado Bien Definido: Define un operador exacto en el espacio cociente y un algoritmo de proyección categórica-cociente, demostrando que el operador proyectado está bien definido, es no expansivo y posee puntos fijos.
3. Garantías de Convergencia:
   • Para recompensas centradas (ganancia conocida), el artículo demuestra la convergencia casi segura (c.s.) y límites de residual de iteración finita para la recursión TD bajo muestreo i.i.d. y markoviano.
   • Para ganancias desconocidas, introduce una recursión acoplada con un estimador de ganancia en línea, demostrando la no expansividad y la convergencia markoviana del esquema conjunto.
4. Perspectiva Estructural: El trabajo destaca un contraste estructural entre las distribuciones cociente ideales (donde las constantes de centrado inducen solo traslaciones comunes) y las representaciones categóricas prácticas de cuadrícula fija (donde la proyección puede alterar los coeficientes, haciendo necesaria una centración correcta).

4. Resultados Experimentales

El artículo valida sus afirmaciones teóricas mediante dos experimentos:

• MDP de Cinco Estados: Un experimento tabular que compara iteraciones exactas KM, SKM i.i.d. centrado, SKM markoviano centrado y SKM con estimación de ganancia acoplada.
  • Los resultados confirman que las recursiones exactas y estocásticas convergen a los mismos puntos fijos.
  • La recursión acoplada aprende con éxito tanto la distribución del sesgo como la ganancia.
  • Un estudio de ablación demuestra que el uso de una constante de centrado incorrecta ($g=0$ en lugar de $\bar{r}^\pi$) conduce a la convergencia hacia una solución degenerada, validando la necesidad de una centración correcta en las representaciones de cuadrícula fija.
• Péndulo de Estado Continuo (Pendulum-v1): Una prueba de concepto utilizando aproximación de funciones neuronal.
  • El crítico categórico-cociente centrado en la ganancia propuesto supera significativamente a un crítico de recompensa cruda ingenuo en términos de residuos del operador proyectado.
  • La recursión de ganancia en línea acoplada descompone con éxito el error en componentes categóricos y de ganancia, consistente con los límites teóricos.

5. Significado y Afirmaciones

El artículo afirma poner la estimación distribucional del sesgo de recompensa promedio sobre cimientos firmes. Su significado principal radica en:

• Resolver la ambigüedad de la constante aditiva del sesgo escalar mediante la introducción de una formulación categórica-cociente.
• Proporcionar el primer análogo distribucional compatible con Bellman del sesgo que sea adecuado para argumentos de programación dinámica y aprendizaje TD en el entorno de recompensa promedio.
• Establecer garantías de convergencia para mapas no expansivos en el contexto del RL distribucional, cerrando la brecha entre los métodos de punto fijo teóricos para operadores no expansivos y los algoritmos TD prácticos.

Los autores señalan que su objetivo es complementario al trabajo previo que refina el propio criterio de recompensa promedio; en su lugar, refinan el sesgo como el objeto de aprendizaje. La teoría se centra actualmente en la evaluación de políticas fijas en estados finitos con soportes categóricos fijos, identificando aproximaciones de funciones más ricas y entornos de control como los siguientes pasos naturales.