Resumen Técnico: Flujos de Bellman Acoplados por Trayectoria para Aprendizaje por Refuerzo Distribucional

Enunciado del Problema

El Aprendizaje por Refuerzo Distribucional (DRL) tiene como objetivo modelar la distribución completa de las recompensas en lugar de solo sus valores esperados, ofreciendo representaciones de incertidumbre más ricas y, a menudo, un rendimiento empírico mejorado. Sin embargo, los métodos existentes de DRL enfrentan limitaciones significativas:

• Sesgo de Discretización: Los métodos de soporte finito (categóricos) y basados en cuantiles dependen de pasos de proyección heurísticos porque la actualización de Bellman rara vez se alinea con puntos de soporte fijos o ubicaciones de cuantiles. Esto introduce sesgo y limita la expresividad de las distribuciones aprendidas.
• Desafíos de la Correspondencia de Flujos: Los enfoques continuos recientes que utilizan correspondencia de flujos (que aprende un campo de velocidad para transportar muestras desde una priori base hasta una distribución objetivo) encuentran dos problemas críticos al aplicarse a DRL:
  1. Desajuste de Frontera: La correspondencia de flujos estándar requiere que la generación comience desde una priori simple fija (por ejemplo, una Gaussiana estándar). Sin embargo, una actualización de Bellman no corregida desplaza la distribución de inicio mediante recompensas y valores sucesores descontados, violando la condición de frontera de origen ($t=0$).
  2. Bootstrapping de Alta Varianza: Cuando las distribuciones actual y sucesora son impulsadas por ruido muestreado independientemente, sus trayectorias intermedias no están alineadas a lo largo de la trayectoria. Hacer cumplir la consistencia de Bellman solo en el punto final ($t=1$) conduce a objetivos por muestra de alta varianza que desestabilizan el aprendizaje del crítico.

Metodología: Flujos de Bellman Acoplados por Trayectoria (PCBF)

Los autores proponen Flujos de Bellman Acoplados por Trayectoria (PCBF), un marco de DRL en tiempo continuo que resuelve los problemas de desajuste de frontera y varianza mediante dos mecanismos centrales: corrección de trayectoria consistente con el origen y acoplamiento de trayectoria con ruido compartido.

1. Corrección de Trayectoria de Bellman Consistente con el Origen

En lugar de aplicar la actualización de Bellman directamente a los estados intermedios del flujo (lo que viola la priori en $t=0$), PCBF construye una trayectoria de flujo corregida que:

• Comienza desde la priori base requerida (por ejemplo, $U \sim \mathcal{N}(0, I)$) en $t=0$.
• Alcanza el objetivo de Bellman ($R + \gamma X'$) en $t=1$.
• Mantiene una relación afín a lo largo de la trayectoria con el flujo sucesor en tiempos intermedios.

La trayectoria actual $Z^s_t$ y la trayectoria sucesora $Z^{s'}_t$ se definen como:
$$Z^{s'}_t = (1-t)U + tX'$$
$$Z^s_t = (1-t)U + t(R + \gamma X')$$
Esto puede reescribirse para mostrar explícitamente la geometría de Bellman:
$$Z^s_t = tR + \gamma Z^{s'}_t + (1-t)(1-\gamma)U$$
El término residual $(1-t)(1-\gamma)U$ actúa como un ancla que asegura que ambas trayectorias se originen en la misma realización de ruido $U$ en $t=0$, satisfaciendo la condición de origen de la correspondencia de flujos mientras aún se cumple la ecuación de Bellman distribucional en $t=1$.

2. Acoplamiento de Trayectoria con Ruido Compartido

PCBF acopla los flujos de recompensa actual y sucesor utilizando el mismo ruido base $U$ para ambos. Esto alinea sus trayectorias intermedias, permitiendo que la consistencia de Bellman se haga cumplir a lo largo de toda la trayectoria en lugar de solo en el punto final.

3. Objetivo de Variable de Control Parametrizado por $\lambda$

Para abordar la alta varianza de los objetivos de Bellman basados en muestras, PCBF introduce un objetivo de variable de control parametrizado por $\lambda$:
$$u^\lambda_t = (R + \gamma X' - U) + \lambda \left[ v_{\theta-}(t, Z^{s'}_t | s', a') - (X' - U) \right]$$

• $\lambda = 0$: Recupera el objetivo de Bellman basado en muestras, no sesgado pero de alta varianza.
• $\lambda > 0$: Intercambia un pequeño sesgo controlado por una reducción significativa de la varianza al incorporar las predicciones de velocidad del flujo sucesor.
• El análisis teórico muestra que, con el acoplamiento de ruido compartido, el sesgo inducido es pequeño (escala con $O((1-\gamma)(1-t))$), y el método hereda propiedades de contracción $\gamma$.

Contribuciones Clave

1. Trayectoria Consistente con el Origen: Una construcción novedosa de trayectoria interpolada por Bellman que corrige el desajuste de frontera en $t=0$ inherente a las trayectorias de Bellman punto a punto no corregidas, separando los requisitos geométricos de la correspondencia de flujos de la estocasticidad del bootstrapping de Bellman.
2. Acoplamiento de Ruido Compartido: Un mecanismo que alinea los flujos de recompensa actual y sucesor utilizando ruido base compartido, induciendo relaciones afines a lo largo de la trayectoria en lugar de depender únicamente del ajuste en el punto final.
3. Objetivo Parametrizado por $\lambda$: Un objetivo de entrenamiento con variable de control con un límite general de sesgo $L_2$ y una solución de forma cerrada para casos Gaussianos, permitiendo un ajuste entre sesgo y varianza.
4. Garantías Teóricas: Caracterización del campo de velocidad óptimo poblacional, análisis del comportamiento sesgo-varianza del objetivo $\lambda$, y demostración de la contracción de Bellman con ruido compartido (contracción $t\gamma$ para interpolantes).

Resultados Experimentales

Los autores evalúan PCBF en Procesos de Recompensa de Markov (MRP) analíticamente tratables, OGBench (38 tareas) y D4RL Adroit (8 tareas).

• Fidelidad Distribucional: En MRP de juguete (Dados de Solitario, Bernoulli, MC Discreto), PCBF recupera con precisión las distribuciones de recompensa verdaderas, superando a Value Flows (un método basado en flujos relacionado) que sufre degradación distribucional a medida que aumenta la regularización de consistencia. PCBF rastrea eficazmente las Funciones de Distribución Acumulada (CDF) verdaderas, particularmente en escenarios de colas pesadas y multimodales.
• Rendimiento en RL Offline:
  • PCBF logra un rendimiento competitivo o de vanguardia en tareas de OGBench, notablemente en cube-double-play y puzzle-4x4-play, donde la fidelidad distribucional y el bootstrapping controlado por varianza son críticos.
  • En las tareas de D4RL Adroit, PCBF se desempeña de manera competitiva con líneas base sólidas como IQL y FQL.
  • El método muestra robustez frente a la elección de hiperparámetros en comparación con Value Flows, que se degrada significativamente cuando se aumenta su coeficiente de consistencia.
• Estabilidad: PCBF demuestra residuos de Bellman corregidos a lo largo de la trayectoria más pequeños bajo discretización gruesa en comparación con abalaciones de ruido independiente, confirmando que el acoplamiento de trayectoria reduce el desajuste introducido por la integración numérica.

Significado y Afirmaciones

El artículo afirma que PCBF proporciona un crítico distribucional basado en flujos estable para RL offline al separar limpiamente la corrección de trayectorias de Bellman del control de varianza. Al abordar la incompatibilidad fundamental entre las condiciones de origen estándar de la correspondencia de flujos y la ecuación de Bellman, PCBF permite el modelado de distribuciones completas de recompensas sin el sesgo de proyecciones discretas ni la inestabilidad del bootstrapping de alta varianza.

Los autores enfatizan que PCBF es particularmente efectivo en dominios donde la fidelidad distribucional afecta la clasificación de acciones, como entornos con recompensas de alta varianza, colas pesadas o multimodales. Aunque PCBF no domina uniformemente a todas las líneas base de valor escalar (especialmente en tareas dominadas por problemas de cobertura de representación o propuesta de acciones), ofrece un enfoque principiado para el RL distribucional continuo que mejora la estabilidad del entrenamiento y la precisión distribucional. El trabajo facilita el desarrollo de agentes sensibles al riesgo capaces de operar de manera más segura en entornos inciertos al mejorar la precisión de la estimación de la distribución de recompensas.