Resumen Técnico: Actor-Critic Generativo con Políticas de Puente Suave

Enunciado del Problema

El aprendizaje por refuerzo (RL) en línea de máxima entropía (MaxEnt) es un enfoque dominante para el control continuo fuera de política, equilibrando la maximización del valor con la estocasticidad explícita. Mientras que el Actor-Critic Suave (SAC) estándar se basa en políticas gaussianas tratables, los problemas de control complejos a menudo requieren distribuciones de acción multimodales o altamente no gaussianas. Las políticas generativas expresivas (por ejemplo, modelos de difusión y flujo) ofrecen una solución, pero enfrentan dos obstáculos críticos al aplicarse a RL MaxEnt:

1. Entropía Intratable: Las actualizaciones de MaxEnt requieren la densidad del punto final de la política o un regularizador equivalente. Para los actores generativos, la densidad marginal de acción a menudo no está disponible o es costosa de calcular porque la acción se obtiene marginalizando sobre trayectorias latentes. Los métodos existentes recurren a cotas de entropía, proxies heurísticos o aproximaciones, creando una conexión indirecta con el objetivo de MaxEnt.
2. Costo Computacional: Las políticas generativas de alto rendimiento a menudo utilizan muestreadores iterativos (por ejemplo, difusión con muchos pasos de eliminación de ruido) que reutilizan parámetros de red compartidos. Esto aumenta los costos de inferencia en la implementación y, crucialmente, incrementa los costos de entrenamiento. Durante las actualizaciones del actor, la retropropagación a través del tiempo (BPTT) debe atravesar cada paso de refinamiento, aumentando el uso de memoria y desestabilizando la optimización. Reducir el número de evaluaciones de funciones (NFE) disminuye el costo, pero a menudo provoca una caída brusca en el rendimiento.

El artículo busca un actor generativo que mantenga la expresividad de la generación latente estocástica mientras expone un objetivo de MaxEnt tratable y evita la carga computacional de muestreadores largos con parámetros compartidos.

Metodología: SoftGAC

Los autores proponen SoftGAC (Actor-Critic Generativo Suave), un método que eleva el objetivo de MaxEnt desde la distribución de acciones terminales a toda la trayectoria de generación latente.

1. Objetivo Suave en el Espacio de Trayectorias

En lugar de optimizar la entropía de la acción final $a$, SoftGAC optimiza un objetivo en el espacio de trayectorias sobre la trayectoria latente $\tau = (z_0, \dots, z_K)$. El objetivo se define como:
$$J_{path}(P_\theta | s) = \mathbb{E}_{\tau \sim P_\theta} [Q(s, T(z_K))] - \alpha D_{KL}(P_\theta(\cdot|s) \| R)$$
donde $R$ es una ley de trayectoria de referencia de alta entropía.

• Fundamento Teórico: Los autores demuestran que la divergencia KL de la trayectoria se descompone en un término KL de punto final (recuperando el regularizador estándar de MaxEnt) y un término de trayectoria condicional. Esta entropía relativa a nivel de trayectoria actúa como un regularizador más estricto que controla cómo el actor alcanza la acción terminal, no solo la distribución de la acción en sí misma.
• Restricción de Base Fija: En la práctica, el actor comienza desde una distribución latente de base fija $p_0$. El análisis teórico muestra que, aunque una base fija introduce una brecha constante con respecto al óptimo sin restricciones, no rompe el problema variacional; simplemente actúa como un sesgo inductivo.

2. Políticas de Puente Suave

Para hacer que la KL de la trayectoria sea tratable y computacionalmente eficiente, SoftGAC emplea una política de puente suave:

• Arquitectura: El actor es una cadena de Markov finita en el espacio latente pre-tanh. Comienza desde una ley de base fija (distribución logística) y aplica $K$ transiciones residuales gaussianas ligeras y específicas por paso para alcanzar un latente terminal $z_K$.
• Diseño de Paso Único: A diferencia de los modelos de difusión que reutilizan una sola red para $K$ pasos, SoftGAC utiliza $K$ bloques de transición distintos. Esto permite la generación de acciones mediante una única pasada de muestreo hacia adelante a través de la red, evitando el muestreo iterativo y los grafos BPTT largos.
• Proceso de Referencia: El puente de referencia $R$ se define utilizando una base logística y un kernel gaussiano de Euler derivado de la puntuación de la densidad pre-tanh que mapea a una distribución de acciones uniforme.
• Regularizador Tratable: Dado que tanto las transiciones del actor como las de referencia son gaussianas, la divergencia KL de la trayectoria se factoriza en una suma de términos KL locales. Esta suma, denominada Energía de Control $C_\theta(s, \tau)$, es computable analíticamente.
  $$D_{KL}(P_\theta \| R) = D_{KL}(p_0 \| r_0) + \mathbb{E}[C_\theta(s, \tau)]$$
  La actualización del actor minimiza $\alpha C_\theta(s, \tau) - Q(s, a)$, intercambiando efectivamente el valor contra la energía de control de transición muestreada.

3. Algoritmo de Entrenamiento

SoftGAC sigue un bucle actor-critic fuera de política:

• Critic: Actualiza una función de valor suave $Q$ utilizando objetivos que incluyen la energía de control muestreada de la trayectoria del siguiente estado: $y = r + \gamma(Q_{min}(s', a') - \alpha C_{\bar{\theta}}(s', \tau'))$.
• Actor: Actualiza los parámetros para minimizar la energía de control muestreada mientras maximiza el valor Q.
• Ajuste de Temperatura: Una actualización dual ajusta $\alpha$ para mantener la energía de control promedio cerca de un presupuesto objetivo $\rho_{ctrl} K d_a$.

Contribuciones Clave

1. Formulación en el Espacio de Trayectorias: Los autores formulan un objetivo suave en el espacio de trayectorias para actores generativos, demostrando que contiene el regularizador KL de punto final como un componente marginal y caracteriza el efecto de usar una base de actor fija.
2. Diseño de Política de Puente Suave: Diseñan una arquitectura de política específica utilizando una secuencia corta de transiciones gaussianas locales en el espacio pre-tanh. Esto hace que el regularizador a nivel de trayectoria sea exactamente computable como energía de control de pasos finitos, permitiendo una actualización directa del actor con generación de acciones mediante una única pasada muestreada.
3. Compromiso Cálculo-Rendimiento: Los experimentos demuestran que SoftGAC logra retornos más altos o competitivos en comparación con fuertes líneas base generativas (difusión y ajuste de flujo) mientras mantiene el régimen de baja latencia de los actores de un solo paso.

Resultados Experimentales

El método se evaluó en desafíos de control continuo de referencia del DeepMind Control Suite (Humanoid, Dog) y HumanoidBench (H1).

• Rendimiento: SoftGAC obtuvo el mejor rendimiento general en tareas de locomoción de alta dimensión y largo horizonte (por ejemplo, Humanoid Run, Dog Run, H1 Hurdle), superando tanto a las líneas base generativas (FLAC, DIME, FlowRL, QSM, QVPO) como a la línea base gaussiana unimodal (CrossQ-SAC).
• Eficiencia:
  • Tiempo de Inferencia: SoftGAC opera en el régimen de baja latencia (aprox. 61–75 $\mu$s por acción en CPU), comparable a las líneas base de flujo de un paso y significativamente más rápido que las líneas base de difusión de alto NFE (que tardan 300–400+ $\mu$s).
  • Presupuesto de Parámetros: La cantidad de parámetros del actor es comparable a las líneas base fuertes, evitando la necesidad de redes más grandes para ocultar el costo del muestreo iterativo.
• Ablaciones: Eliminar el regularizador suave en el espacio de trayectorias ($\alpha=0$) degradó consistentemente el rendimiento, confirmando que las mejoras provienen del objetivo suave principiado y no solo de la parametrización del puente.

Significado y Afirmaciones

El artículo afirma que SoftGAC resuelve la tensión entre la expresividad de las políticas generativas y las restricciones computacionales/de optimización de RL MaxEnt. Al tratar al actor como una ley de trayectoria explícita y ligera en lugar de una distribución de punto final, el método:

• Proporciona una regularización suave principada (energía de control de transición muestreada) que es analíticamente tratable, reemplazando las cotas de entropía heurísticas.
• Evita la carga de optimización de cadenas BPTT largas asociadas con muestreadores iterativos, estabilizando las actualizaciones del actor.
• Ofrece un compromiso cálculo-rendimiento superior, logrando retornos de vanguardia en tareas difíciles sin la alta latencia de inferencia de los muestreadores de difusión de múltiples pasos.

Los autores concluyen que las políticas de puente suave representan un diseño práctico para el aprendizaje eficiente de actor-critic generativo, ofreciendo una alternativa viable a los enfoques de difusión iterativa en configuraciones de RL en línea.