Proximal Action Replacement for Behavior Cloning Actor-Critic in Offline Reinforcement Learning

Resumen Técnico: Reemplazo de Acción Próxima para el Actor-Crítico de Clonación de Comportamiento en Aprendizaje por Refuerzo Offline

1. Enunciado del Problema

El Aprendizaje por Refuerzo (RL) Offline busca aprender políticas óptimas a partir de conjuntos de datos estáticos previamente recopilados, sin interacción adicional con el entorno. Un enfoque dominante para garantizar la estabilidad en el RL offline es la regularización de Clonación de Comportamiento (BC), que restringe la política aprendida para que permanezca cerca de la política de comportamiento presente en el conjunto de datos. Esto mitiga el problema del desplazamiento de distribución y evita que el agente explote acciones fuera de distribución (OOD).

Sin embargo, los autores identifican una limitación fundamental: la regularización BC impone un techo de rendimiento. Cuando el conjunto de datos offline contiene acciones subóptimas, la imitación indiscriminada fuerza al actor a converger hacia estas regiones subóptimas, incluso cuando el crítico (función de valor) identifica acciones mejores. Los autores argumentan que esto crea una compensación estructural donde la política no puede aprovechar plenamente las sugerencias de mejora del función de valor, particularmente en las etapas posteriores del entrenamiento, cuando el principal cuello de botella cambia de "realismo" a "optimalidad".

2. Metodología: Reemplazo de Acción Próxima (PAR)

Para romper este techo de rendimiento manteniendo la estabilidad del entrenamiento, los autores proponen el Reemplazo de Acción Próxima (PAR), un reemplazador de muestras de entrenamiento plug-and-play. PAR modifica dinámicamente los objetivos de supervisión para la pérdida de clonación de comportamiento del actor. En lugar de imitar ciegamente la acción registrada en el conjunto de datos, PAR la reemplaza selectivamente con una acción mejor generada por una política objetivo estable, sujeta a dos restricciones clave:

A. Reemplazo de Acción Consciente de la Dirección del Gradiente (GDAAR)
Este componente determina cuándo reemplazar una acción.

• Mecanismo: Para un estado dado $s$, el método compara la acción registrada $a$ y una acción candidata $\hat{a}$ (generada por un actor objetivo $\pi'$) contra la dirección de ascenso local de la función de valor-acción del crítico $Q(s, a)$.
• Métrica: Calcula la similitud del coseno entre los vectores de desplazamiento ($v = a - \pi_\theta(s)$ y $v' = \hat{a} - \pi_\theta(s)$) y el gradiente del crítico $g = \nabla_a Q(s, a)|_{a=\pi_\theta(s)}$.
• Regla de Decisión: Si la acción objetivo $\hat{a}$ está más alineada con la dirección de ascenso local del crítico que la acción registrada $a$ (es decir, $\cos(g, v') > \cos(g, v)$), el objetivo de supervisión de BC se reemplaza con $\hat{a}$. De lo contrario, se conserva la acción original $a$.
• Garantía Teórica: Los autores demuestran que, bajo supuestos de suavidad, esta regla de selección asegura que la mejora de valor en un paso no es peor que la BC convencional hasta un error de segundo orden.

B. Ponderación de Acciones OOD con Forma Gaussiana (GSOAW)
Este componente determina cuánto confiar en el reemplazo, asegurando estabilidad contra el desplazamiento de distribución.

• Motivación: Reemplazar acciones puede hacer que la política se desvíe significativamente de la política de comportamiento, lo que lleva al colapso del crítico (inestabilidad) debido a errores de extrapolación.
• Mecanismo: PAR introduce una función de valor-estado auxiliar $V(s)$ y aprende una desviación estándar $\sigma(s)$ para modelar la incertidumbre de $Q(s, a)$ con respecto a las acciones.
• Ponderación: Se asigna un peso $w$ a la acción de reemplazo basado en la desviación de su valor Q respecto al valor esperado $V(s)$, normalizado por la incertidumbre $\sigma(s)$:
  $$w = \exp\left(-\frac{|Q(s, \hat{a}) - V(s)|}{\tau \sigma(s) + \epsilon}\right)$$
• Efecto: Si la acción generada está lejos de la distribución de valores observados en el conjunto de datos (alta incertidumbre o gran desviación), $w$ se aproxima a 0, suprimiendo efectivamente el reemplazo y volviendo al ancla de comportamiento conservadora. Esto limita adaptativamente la divergencia de la política sin restricciones rígidas.

3. Contribuciones Clave

1. Caracterización Teórica de la Suboptimalidad: Los autores demuestran formalmente (Teorema 3.1) que para objetivos regularizados por BC (incluyendo formas MSE, KL y MLE), si el conjunto de datos contiene acciones subóptimas, el punto estacionario de la optimización no puede coincidir con la política óptima verdadera. La política se ve forzada estructuralmente a comprometerse entre la imitación y la optimalidad.
2. Reemplazo de Acción Próxima (PAR): Un módulo novedoso y plug-and-play que se integra con algoritmos existentes de actor-crítico regularizados por BC. Combina GDAAR para guiar la mejora de la política hacia regiones de mayor valor y GSOAW para mantener la estabilidad penalizando acciones OOD riesgosas.
3. Validación Empírica Exhaustiva: El método se prueba en diversos puntos de referencia de RL offline (MuJoCo, AntMaze, FrankaKitchen) e integra con múltiples algoritmos base (BCQ, TD3+BC, IQL, EDP, SSAR).

4. Resultados Experimentales

• Mejoras de Rendimiento: PAR mejora consistentemente el rendimiento en todos los algoritmos y dominios probados.
  • En tareas de MuJoCo, combinar PAR con TD3+BC aumentó la puntuación normalizada promedio de 75.3 a 87.7 (+12.4).
  • En AntMaze, PAR permitió que IQL mejorara de 57.1 a 70.8 (+13.7) y rescató a TD3+BC de un rendimiento cercano a cero (de 0.2 a 2.0).
  • En FrankaKitchen, PAR mejoró a TD3+BC de 0.0 a 20.0 y a IQL de 48.7 a 61.5.
• Comparación con el Estado del Arte: La combinación de SSAR + PAR logró la puntuación promedio más alta (90.9) en tareas de MuJoCo, superando a métodos complejos del estado del arte como QIPO (87.4) y otros enfoques de planificación de trayectorias.
• Estudios de Ablación:
  • Eliminar el reemplazo de acción (solo filtrado) produjo ganancias menores, confirmando que introducir acciones mejores es crucial.
  • Eliminar GSOAW ("Sin GSOAW") causó una degradación severa del rendimiento en conjuntos de datos de nivel medio-experto debido a la inestabilidad OOD, destacando la necesidad de la ponderación consciente de la incertidumbre.
• Eficiencia: PAR introduce una sobrecarga computacional mínima (aprox. 3-8% de aumento en el tiempo de entrenamiento) ya que reutiliza los cálculos de gradiente existentes y añade solo operaciones vectoriales ligeras.

5. Significado y Afirmaciones

El artículo afirma que PAR ofrece una nueva perspectiva centrada en los datos para superar las limitaciones estructurales del RL offline. Al cambiar el paradigma de la pura imitación a la mejora guiada de la política, PAR permite que los agentes trasciendan el techo de rendimiento impuesto por la clonación de comportamiento estándar.

Los autores enfatizan que PAR es modesto en su alcance:

• Actualmente está diseñado para espacios de acción continuos donde se pueden calcular gradientes de ascenso local.
• Opera a nivel de transición de un solo paso y no captura inherentemente dependencias de largo horizonte (aunque esto se señala como trabajo futuro).
• Se presenta como un módulo plug-and-play que mejora los algoritmos existentes en lugar de reemplazar todo el marco del RL offline.

En última instancia, el trabajo demuestra que al optimizar dinámicamente la propia señal de supervisión —reemplazando puntos de datos subóptimos con alternativas mejores y acotadas por incertidumbre— los algoritmos de RL offline pueden lograr un rendimiento significativamente mayor sin sacrificar la estabilidad proporcionada por la clonación de comportamiento.