Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning

A continuación se presenta un resumen técnico detallado del artículo "Adaptive Scaling of Policy Constraints for Offline Reinforcement Learning" (ASPC), publicado como ponencia en ICLR 2026.

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Offline busca aprender políticas óptimas a partir de conjuntos de datos fijos y pre-recopilados, sin interacción adicional con el entorno. Un desafío principal en este escenario es el desplazamiento de la distribución: la política aprendida puede visitar pares estado-acción no presentes en el conjunto de datos, lo que conduce a una sobreestimación de los valores Q y al colapso de la política.

Para mitigar esto, los métodos existentes imponen restricciones de política (por ejemplo, en TD3+BC) para mantener la política aprendida cerca de la política de comportamiento (Clonación de Comportamiento, BC). Sin embargo, estos métodos dependen de un factor de escala de restricción (denotado como $\alpha$) que equilibra el objetivo de RL contra el objetivo de BC.

• El Problema Central: El valor óptimo de $\alpha$ varía significativamente entre diferentes tareas y calidades de conjuntos de datos (por ejemplo, datos aleatorios frente a datos de expertos).
• Limitaciones Actuales:
  • Ajuste Estático: Los métodos más avanzados a menudo requieren un ajuste meticuloso de hiperparámetros por conjunto de datos, lo cual es lento y poco práctico para la implementación en el mundo real.
  • Métodos Adaptativos Fijos: Los enfoques adaptativos existentes a menudo solo reponderan acciones localmente o utilizan configuraciones fijas que no capturan el compromiso global, resultando en un rendimiento subóptimo en comparación con las líneas base finamente ajustadas.

El artículo aborda la necesidad urgente de un método que logre un rendimiento robusto y de vanguardia en diversos conjuntos de datos utilizando una única configuración de hiperparámetros.

2. Metodología: Escalamiento Adaptativo de Restricciones de Política (ASPC)

ASPC es un marco diferenciable de segundo orden que trata el factor de escala de restricción $\alpha$ como un parámetro aprendible, ajustándolo dinámicamente durante el entrenamiento mediante un proceso de optimización de dos niveles.

A. Marco Central

El método se basa en el objetivo de TD3+BC, donde la pérdida total $L$ es:
$$L = \alpha L_{RL} + L_{BC}$$
En lugar de mantener $\alpha$ estático, ASPC lo optimiza utilizando principios de meta-aprendizaje:

1. Actualización Interna (Optimización de la Política):
   Los parámetros de la política $\theta$ se actualizan mediante descenso de gradiente para minimizar el objetivo interno $L_{inner}$ para un $\alpha$ fijo.
   $$L_{inner}(\theta; \alpha) = \mathbb{E}[-\lambda(\alpha) Q(s, \pi_\theta(s)) + \|\pi_\theta(s) - a\|^2]$$
   Aquí, $\lambda(\alpha)$ normaliza el término de RL basándose en la escala de la pérdida de BC.

2. Actualización Externa (Optimización del Factor de Escala):
   El factor de escala $\alpha$ se actualiza para minimizar una pérdida externa $L_{outer}$, que garantiza un entrenamiento estable y una mejora del rendimiento. La pérdida externa consta de tres componentes coordinados:

   • $L_1$ (Término de Equilibrio): Refleja el objetivo estándar de TD3+BC, guiando a $\alpha$ hacia un equilibrio entre maximizar los valores Q y minimizar la pérdida de BC.
   • $L_2$ (Estabilidad del Valor Q): Penaliza los aumentos abruptos en el valor Q esperado ($\Delta Q^2$) para prevenir actualizaciones excesivamente optimistas.
   • $L_3$ (Restricción de Variación de BC): Restringe la variación en la pérdida de BC ($\Delta L_{BC}$). Este término es crucial para evitar que la política se desvíe demasiado de la política de comportamiento cuando las fluctuaciones del valor Q son altas.

   La actualización de $\alpha$ utiliza derivadas de segundo orden (gradientes de los parámetros de la actualización interna con respecto a $\alpha$):
   $$\alpha \leftarrow \alpha - \eta_\alpha \frac{\partial L_{outer}(\tilde{\theta}(\alpha))}{\partial \tilde{\theta}} \frac{\partial \tilde{\theta}(\alpha)}{\partial \alpha}$$

B. Garantías Teóricas

Los autores proporcionan un análisis teórico que demuestra que:

• Restricciones Mutuas: El cambio en la pérdida de BC ($\Delta L_{BC}$) y el cambio cuadrático en los valores Q ($(\Delta Q)^2$) se restringen mutuamente.
• Límite Inferior de Rendimiento: Bajo suposiciones específicas (continuidad de Lipschitz), la actualización de ASPC garantiza un rendimiento de política no decreciente ($J(\pi_{t+1}) \geq J(\pi_t)$) si la ganancia del valor Q compensa la variación de la pérdida de BC.
• Convergencia: El método reduce progresivamente la brecha de suboptimalidad, siendo la brecha restante controlada por la discrepancia entre la política de comportamiento y la política óptima.

C. Detalles de Implementación

• Base: Implementado sobre TD3+BC.
• Arquitectura: Utiliza un "Crítico Robusto" con tres capas ocultas y LayerNorm para mitigar la sobreestimación del valor Q.
• Eficiencia: Aunque los gradientes de segundo orden son computacionalmente costosos, ASPC actualiza $\alpha$ con una frecuencia mucho menor ($k_\alpha$) que las actualizaciones del actor ($k_\pi$), manteniendo la sobrecarga de tiempo de ejecución mínima.

3. Contribuciones Clave

1. Marco Novel: Introducción de ASPC, el primer método que ajusta dinámicamente las escalas de restricción de política utilizando optimización diferenciable de segundo orden, eliminando la necesidad de ajuste de hiperparámetros por conjunto de datos.
2. Análisis Teórico: Prueba rigurosa de garantías de mejora de rendimiento y de la relación de restricción mutua entre la estabilidad del valor Q y la desviación de la política.
3. Generalidad: Se demuestra que ASPC no se limita a TD3+BC, sino que puede integrarse en otros algoritmos de RL offline (IQL, CQL, Diffusion-QL, FQL) para mejorar su rendimiento.
4. Resultados de Vanguardia: Logró un rendimiento superior en 39 conjuntos de datos en cuatro dominios de D4RL (MuJoCo, Maze2d, AntMaze, Adroit) y en la prueba OGBench utilizando una única configuración de hiperparámetros.

4. Resultados Experimentales

• Rendimiento en Pruebas: En la prueba D4RL, ASPC obtuvo una puntuación normalizada promedio de 77.9, superando a todas las líneas base.
  • Superó a métodos que requieren ajuste por conjunto de datos (por ejemplo, IQL, ReBRAC) y a otros métodos adaptativos (wPC, A2PR).
  • Mostró una mejora promedio del 35% sobre la línea base (TD3+BC con $\alpha$ fijo).
• Adaptabilidad:
  • Calidad del Conjunto de Datos: ASPC reduce automáticamente $\alpha$ (favoreciendo BC) para conjuntos de datos de expertos de alta calidad y aumenta $\alpha$ (favoreciendo la exploración de RL) para conjuntos de datos aleatorios de baja calidad.
  • Dinámicas de la Tarea: Se adapta $\alpha$ según las características de la tarea (por ejemplo, recompensas dispersas en AntMaze frente a recompensas densas en MuJoCo).
• Estudios de Ablación:
  • Eliminar el ajuste dinámico (fijar $\alpha$ al valor final convergido) resultó en caídas significativas de rendimiento, demostrando que el ajuste dinámico es esencial, no solo encontrar un buen valor fijo.
  • Los tres componentes de pérdida ($L_1, L_2, L_3$) fueron necesarios para un rendimiento óptimo en diferentes dominios.
• Eficiencia: ASPC introdujo solo una sobrecarga computacional mínima en comparación con TD3+BC estándar, con un tiempo de ejecución comparable a las líneas base cuando el intervalo de actualización para $\alpha$ se estableció en 30 pasos.

5. Significado

El artículo hace una contribución significativa al campo del RL Offline al resolver el problema de la sensibilidad a los hiperparámetros.

• Practicidad: Elimina la barrera del ajuste extensivo de hiperparámetros, haciendo que el RL offline sea más viable para aplicaciones del mundo real (por ejemplo, atención médica, robótica) donde la calidad del conjunto de datos varía y los recursos de ajuste son limitados.
• Robustez: Al equilibrar dinámicamente la exploración (RL) y la explotación (BC) basándose en señales de entrenamiento en tiempo real, ASPC proporciona una ruta de aprendizaje más estable y confiable que los métodos estáticos.
• Generalizabilidad: La capacidad del marco para mejorar diversos algoritmos (desde basados en valores hasta basados en difusión) sugiere un mecanismo universal para estabilizar las restricciones de políticas offline.

En conclusión, ASPC representa un cambio de "ajuste estático de restricciones" a "aprendizaje adaptativo de restricciones", ofreciendo una solución robusta y de alto rendimiento para el aprendizaje por refuerzo offline en entornos diversos y desafiantes.