Resumen Técnico: Métodos Actor-Crítico de Segundo Orden para MDPs Descuentados mediante Descomposición del Hessiano de la Política

Enunciado del Problema

El aprendizaje por refuerzo (RL) en entornos a gran escala enfrenta dos desafíos principales: la maldición de la dimensionalidad que hace intratables los métodos tabulares, y las limitaciones de los métodos de búsqueda de políticas de primer orden. Si bien los enfoques actor-crítico mitigan la varianza en la aproximación de valores, dependen de actualizaciones de primer orden que ignoran la curvatura de la función objetivo. Esto conduce a una convergencia lenta y a una sensibilidad a la parametrización de la política. Por el contrario, la optimización de segundo orden ofrece actualizaciones conscientes de la curvatura que aceleran la convergencia, pero raramente se aplican en RL debido a la complejidad computacional prohibitiva ($O(d^3)$) de la estimación del Hessiano y a la inestabilidad causada por los términos de interacción de alta varianza en la descomposición del Hessiano de la política.

La literatura existente aborda típicamente la estimación de valores y la incorporación de curvatura de forma independiente. Este trabajo identifica una brecha: las aproximaciones de segundo orden suelen ser inestables debido a componentes de curvatura de alta varianza, y existe una falta de un marco unificado que estabilice estas aproximaciones manteniendo la eficiencia computacional en Procesos de Decisión de Markov (MDPs) descontados.

Metodología

Los autores proponen un marco Actor-Crítico de Dos Escalas de Tiempo de Segundo Orden (SOTTAC) que aprovecha la información completa de la curvatura de la función objetivo mediante una aproximación estructurada del Hessiano de la Política.

1. Descomposición del Hessiano de la Política

La función objetivo $J(\theta)$ se analiza a través de su derivada de segundo orden. El Hessiano $H(\theta)$ se descompone en cuatro componentes (Teorema 1):

• $H_1$ (Término de producto externo): Un término similar a la información de Fisher que involucra el producto externo del gradiente de la política.
• $H_2$ (Curvatura intrínseca): El Hessiano del log-política, que captura la geometría intrínseca de la distribución de la política.
• $H_{12}$ y $H_{12}^\top$ (Términos de interacción): Términos que involucran el gradiente de la función valor estado-acción $Q$ con respecto a los parámetros de la política ($\nabla_\theta Q$).

Los autores identifican que $H_{12}$ introduce una varianza significativa y un acoplamiento computacional, lo que hace que las actualizaciones directas de segundo orden sean inestables.

2. Perspectiva de Dos Escalas de Tiempo y Aproximación

Para estabilizar el Hessiano, el método emplea un marco actor-crítico de dos escalas de tiempo:

• El crítico (que estima $Q$) evoluciona en una escala de tiempo más rápida que el actor (política $\pi_\theta$).
• Bajo este marco, el crítico se trata como cuasi-estacionario durante las actualizaciones del actor. En consecuencia, el gradiente del crítico con respecto a los parámetros del actor se aproxima como cero ($\nabla_\theta Q_c \approx 0$).
• Esta aproximación elimina efectivamente el término de interacción de alta varianza $H_{12}$, simplificando el Hessiano a $\tilde{H} \approx H_1 + H_2$.

3. Implementación Eficiente mediante Productos Hessiano-Vector (HVP)

Para evitar la construcción explícita del Hessiano ($O(d^3)$), el método utiliza Productos Hessiano-Vector (HVP). La dirección de actualización se deriva maximizando un modelo cuadrático local utilizando el Hessiano aproximado. Se formulan dos aproximaciones específicas:

• ACGN1 (Gauss-Newton basado en ventaja): Reemplaza el valor estado-acción $Q$ con la función de ventaja $A$ en los términos de curvatura ($H_1 + H_2 \approx A_1 + A_2$). Esto reduce la varianza y aprovecha el término de producto externo mientras retiene la curvatura intrínseca.
• ACGN2 (Curvatura Intrínseca): Descarta por completo el término de producto externo $H_1$, reteniendo solo la curvatura intrínseca $H_2$. Esto está justificado teóricamente para políticas log-cóncavas (por ejemplo, softmax), donde $H_2$ es semidefinida negativa, asegurando una dirección de maximización estable sin el sesgo convexo introducido por $H_1$.

La regla de actualización implica una optimización de bucle interno para resolver el desplazamiento $\Delta$ utilizando HVPs, seguida de una actualización de la política $\theta \leftarrow \theta + \Delta$.

Contribuciones Clave

1. Unificación Teórica: El trabajo establece una conexión entre la estabilidad del actor-crítico de dos escalas de tiempo y la optimización de segundo orden. Demuestra que la suposición de cuasi-estacionariedad del crítico en un marco de dos escalas de tiempo justifica la aproximación $\nabla_\theta Q \approx 0$, eliminando así el término de interacción inestable $H_{12}$.
2. Actualizaciones de Segundo Orden Estables: Al eliminar $H_{12}$, los autores formulan actualizaciones de segundo orden estables que incorporan información completa de curvatura sin la carga computacional de la estimación completa del Hessiano.
3. Aproximaciones Estructuradas: La introducción de ACGN1 y ACGN2 proporciona dos estrategias distintas para manejar la curvatura: ACGN1 equilibra los términos de producto externo e intrínsecos para la reducción de varianza, mientras que ACGN2 prioriza la estabilidad estructural al depender únicamente de la curvatura intrínseca.
4. Análisis de Convergencia: El trabajo proporciona una prueba de convergencia para la actualización amortiguada del actor de segundo orden, mostrando convergencia a un punto estacionario hasta errores de aproximación (seguimiento del crítico, curvatura y amortiguamiento).

Resultados Experimentales

Los métodos se evaluaron en tareas de control discreto (CartPole, LunarLander) y dominios de control continuo (Reacher, Humanoid) de MuJoCo.

• Espacios de Acción Discretos: ACGN2 demostró consistentemente una convergencia más rápida y una eficiencia de muestras mejorada en comparación con las líneas base de primer orden (REINFORCE) y Gradiente Natural (NGA). Esto se atribuye a la dependencia de ACGN2 de la curvatura intrínseca semidefinida negativa, que se alinea bien con la parametrización de políticas log-cóncavas utilizada. ACGN1 también superó a las líneas base, pero convergió ligeramente más lento debido al sesgo convexo introducido por el término de producto externo.
• Espacios de Acción Continuos: En entornos de alta dimensionalidad (Humanoid), ACGN1 y NGA mostraron una convergencia más estable, mientras que ACGN2 mostró un rendimiento comparable con una varianza ligeramente mayor debido a la sensibilidad a estimaciones de curvatura ruidosas. Sin embargo, todos los métodos de segundo orden superaron a REINFORCE, confirmando el beneficio de la información de curvatura incluso con políticas gaussianas no log-cóncavas.
• Compensaciones Computacionales: Si bien los métodos de segundo orden incurren en un mayor tiempo de reloj por iteración debido a los cálculos de HVP, logran una convergencia más rápida en términos de episodios de entrenamiento. ACGN2 ofrece un equilibrio favorable entre costo computacional y calidad de curvatura, mientras que ACGN1 es el más costoso computacionalmente debido a la inclusión de ambos componentes de curvatura.

Significado y Afirmaciones

El trabajo afirma que su contribución principal es resolver la inestabilidad de los métodos de RL de segundo orden aprovechando el marco actor-crítico de dos escalas de tiempo para justificar el descuido de los términos de interacción de alta varianza. Esto permite la aplicación práctica de actualizaciones conscientes de la curvatura que son tanto computacionalmente eficientes (mediante HVPs) como estables.

Los autores afirman que su enfoque mejora la convergencia y la eficiencia de muestras sobre las líneas base de primer orden y gradiente natural en diversas tareas de control. Subrayan que, si bien el método no garantiza la definición positiva de la matriz de curvatura en todos los casos (particularmente para ACGN1), el uso de amortiguamiento y las propiedades estructurales específicas de las aproximaciones (especialmente ACGN2) producen actualizaciones bien comportadas en la vecindad de óptimos locales. El trabajo sugiere que la captura precisa de la curvatura intrínseca es crítica para la optimización eficiente de políticas, particularmente en espacios de acción discretos.

El trabajo futuro, según lo notado por los autores, se centrará en extender estas aproximaciones de curvatura a métodos de región de confianza (TRPO) y optimización de políticas proximales (PPO), y en desarrollar aproximaciones escalables para problemas a mayor escala.