Resumen Técnico: Métodos de Gradiente de Política para Aprendizaje por Refuerzo No Markoviano

Enunciado del Problema

El Aprendizaje por Refuerzo (RL) tradicionalmente se basa en el marco del Proceso de Decisión de Markov (MDP), asumiendo que las dinámicas y las recompensas dependen únicamente del estado y la acción actuales. Sin embargo, muchos entornos del mundo real —como sistemas parcialmente observables, agentes de diálogo, sistemas de recomendación y mercados financieros— son inherentemente Procesos de Decisión No Markovianos (NMDPs). En estos contextos, las observaciones y las recompensas dependen de toda la historia de interacción.

Condicionar directamente las políticas a la historia completa es computacionalmente intratable a medida que el espacio de la historia crece exponencialmente. Aunque los enfoques existentes intentan comprimir la historia, a menudo enfrentan limitaciones:

• Dinámicas Fijas: Algunos métodos asumen que las dinámicas del estado interno del agente son fijas y solo optimizan la política de control (por ejemplo, Dong et al., 2022).
• Objetivos Predictivos: Otros métodos aprenden representaciones de estado optimizando objetivos predictivos auxiliares (por ejemplo, predecir observaciones futuras), lo que puede requerir representaciones de alta dimensión y no se alinea directamente con el objetivo final de maximizar la recompensa acumulada (por ejemplo, Subramanian et al., 2022).

Este artículo aborda el desafío de aprender conjuntamente una representación de estado compacta y una política de control en NMDPs sin depender de dinámicas fijas ni de objetivos predictivos intermedios.

Metodología

Políticas de Estado-Markoviano del Agente (ASM)

Los autores introducen una clase de políticas de Estado-Markoviano del Agente (ASM). En este marco, el agente mantiene un estado interno $S_t$ que se actualiza recursivamente en función del estado anterior, la acción anterior y la observación actual:
$$S_t \sim \nu_t(\cdot \mid S_{t-1}, A_{t-1}, O_t)$$
La política de control $\phi$ luego mapea el estado actual del agente a una acción:
$$A_t \sim \phi_t(\cdot \mid S_t)$$
El par $(\nu, \phi)$ constituye la política ASM. Crucialmente, los autores proponen optimizar los parámetros tanto de las dinámicas de estado $\nu$ como de la política de control $\phi$ conjuntamente para maximizar la recompensa acumulada esperada, en lugar de fijar $\nu$ o aprenderlo mediante predicción.

Contribuciones Teóricas

El artículo establece un Teorema de Gradiente de Política para políticas ASM, extendiendo resultados clásicos tanto a NMDPs episódicos como de horizonte infinito descontado.

1. Expresión del Gradiente: Para una política ASM parametrizada $\pi_\theta$, el gradiente del retorno esperado $J(\theta)$ se deriva como:
   $$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \sum_{t} R_{t:\infty} \nabla_\theta \log \pi_\theta(S_t, A_t \mid S_{t-1}, A_{t-1}, O_t) \right]$$
   donde $R_{t:\infty}$ representa el retorno futuro (recompensa a partir de ahora).
2. Factorización: Debido a la estructura de las políticas ASM, el término de log-probabilidad se factoriza en las dinámicas de estado y la política de control:
   $$\nabla_\theta \log \pi_\theta = \nabla_\theta \log \nu_\theta + \nabla_\theta \log \phi_\theta$$
   Esto permite la actualización separada pero simultánea de la representación de estado y la política.
3. Garantías de Convergencia: Bajo supuestos estándar de suavidad y acotación, los autores demuestran:
   • Convergencia en tiempo finito: La norma cuadrada del gradiente promediada en el tiempo converge a una tasa de $\tilde{O}(H^{3.5}/\sqrt{K})$ para tareas episódicas (donde $H$ es el horizonte y $K$ es el número de iteraciones).
   • Convergencia casi segura: Con tamaños de paso decrecientes, la norma del gradiente converge a cero casi seguramente.
   • Se establecen garantías similares para el entorno descontado de horizonte infinito, donde el horizonte efectivo está determinado por el factor de descuento $\gamma$.

Algoritmo: ASMPG

Basado en el teorema del gradiente, los autores proponen el algoritmo Gradiente de Política de Estado-Markoviano del Agente (ASMPG). Es un algoritmo en línea, estilo REINFORCE, que:

• Muestra trayectorias utilizando la política ASM actual.
• Calcula la estimación del gradiente utilizando la estructura recursiva del estado del agente.
• Actualiza los parámetros tanto de la red de dinámicas de estado como de la red de políticas mediante ascenso de gradiente estocástico.

Resultados Experimentales

Los autores evaluaron ASMPG en cinco entornos no markovianos:

1. CheeseMaze: Una tarea de navegación parcialmente observable con observaciones aliasadas.
2. HallwayNavigation: Una tarea de laberinto determinista donde las configuraciones locales de las paredes son ambiguas.
3. HealthcareTreatment: Una tarea de planificación de tratamientos con variables ocultas de toxicidad y resistencia.
4. MachineRepair: Una tarea de mantenimiento con niveles de desgaste ocultos que afectan la degradación de la máquina.
5. VelocityOnlyCartPole: Una tarea de control donde solo se observa la velocidad (no la posición).

Comparación: ASMPG se comparó contra AIS-KL y AIS-MMD (Subramanian et al., 2022), que aprenden representaciones de estado mediante objetivos predictivos (Estados de Información Aproximada).

Hallazgos:

• En los cinco entornos, ASMPG logró recompensas promedio más altas por paso o por episodio en comparación con las líneas base predictivas.
• La brecha de rendimiento fue particularmente notable en tareas que requieren memoria a largo plazo, como CheeseMaze, MachineRepair y VelocityOnlyCartPole.
• Los resultados sugieren que optimizar directamente las dinámicas de estado para el objetivo de recompensa es más efectivo que optimizar para la suficiencia predictiva.

Significado y Afirmaciones

El artículo afirma que su contribución principal es una formulación centrada en la recompensa para el RL no markoviano. Al tratar las dinámicas del estado del agente como un componente aprendible optimizado conjuntamente con la política de control, el método evita la necesidad de objetivos predictivos auxiliares o representaciones de estado fijas.

Las afirmaciones clave incluyen:

• Validez Teórica: La derivación de un teorema de gradiente de política para NMDPs generales proporciona una base rigurosa para la optimización conjunta, extendiendo los resultados clásicos de MDP.
• Eficacia Práctica: Los resultados empíricos demuestran que la optimización conjunta centrada en la recompensa supera a los métodos que dependen de representaciones de estado predictivas, incluso cuando los tamaños de las representaciones son comparables.
• Condiciones de Optimalidad: El artículo señala que si existe una dinámica de estado de agente "ideal" (una que sea un estadístico suficiente para las recompensas y las observaciones futuras), restringir la búsqueda a políticas ASM no implica pérdida de optimalidad.

Los autores reconocen que el método propuesto depende de estimadores tipo REINFORCE, los cuales pueden sufrir de alta varianza. Identifican el desarrollo de variantes actor-crítico para políticas ASM como una dirección natural para trabajos futuros, con el fin de reducir la varianza mientras se preserva el objetivo centrado en la recompensa.