When Policies Cannot Be Retrained: A Unified Closed-Form View of Post-Training Steering in Offline Reinforcement Learning

Resumen Técnico: Cuando las políticas no pueden ser reentrenadas

Este trabajo aborda un problema crítico en el Aprendizaje por Refuerzo Offline (Offline RL): la adaptación en tiempo de despliegue cuando la política (el actor) ya ha sido entrenada, aprobada y está "congelada". En entornos industriales o de gobernanza, el reentrenamiento es a menudo inviable debido al costo, la falta de acceso a datos o requisitos de validación.

1. El Problema

En el aprendizaje offline tradicional, si los objetivos de despliegue cambian (por ejemplo, si se prioriza la velocidad sobre el ahorro de energía), la política suele requerir un reentrenamiento. Sin embargo, el escenario que este estudio explora es el de un actor congelado: se dispone de una política validada $\pi_\theta(a|s)$ y se desea "dirigirla" (steering) hacia un nuevo objetivo $g$ sin modificar sus parámetros, manteniendo la seguridad y la consistencia con el comportamiento original.

2. Metodología

Los autores proponen un mecanismo de refinamiento basado en la composición de Producto de Expertos (PoE).

• Composición PoE: Se combina el actor congelado $\pi_\theta$ con una prior condicionada al objetivo $\rho_\phi(a|s, g)$ (una distribución que representa la nueva preferencia). La política refinada se define como:
  $$\pi_{\text{ref}}(a|s, g) \propto \pi_\theta(a|s)^\alpha \rho_\phi(a|s, g)^{1-\alpha}$$
  donde $\alpha \in [0, 1]$ controla el compromiso entre la fidelidad al actor original (conservadurismo) y la adaptación al nuevo objetivo.
• Unificación Teórica: Una contribución clave es la demostración de que, para distribuciones Gaussianas diagonales, el refinamiento PoE es algebraicamente equivalente a la actualización regularizada por divergencia KL (KL-regularized update) con un coeficiente $\beta = \alpha/(1-\alpha)$. Esto unifica dos mecanismos que la literatura trataba como distintos.
• Implementación: El método es modular; el actor captura el comportamiento del dataset y la prior proporciona la dirección del objetivo. En espacios de acción continuos, la actualización tiene una forma cerrada (closed-form) basada en la combinación ponderada de precisiones (inversas de la covarianza).

3. Contribuciones Clave

1. Unificación de Cierre (Closed-Form): Establecen la identidad matemática entre PoE y la regularización KL en el contexto de despliegue de actores congelados.
2. Robustez ante Priors Degradados: Demuestran que el método PoE es un "ancla de seguridad". Si la prior es ruidosa o aleatoria, el método PoE se mantiene cerca del actor congelado, mientras que otros métodos (como la mezcla aditiva) colapsan.
3. Caracterización del Límite de Competencia: Identifican que la eficacia de la adaptación no depende solo del parámetro $\alpha$, sino de la competencia intrínseca del actor original.

4. Resultados Principales

El estudio utiliza entornos de control continuo de D4RL (MuJoCo) y presenta tres hallazgos fundamentales:

• Degradación Gradual: El método muestra una "degradación elegante". Bajo condiciones de una prior poco entrenada o con ruido, el PoE preserva la estabilidad del agente, actuando como una capa de seguridad.
• El Techo de Competencia del Actor: Mediante un barrido de $\alpha$, los autores descubrieron que si el actor congelado es de baja calidad (ej. en entornos medium-expert o AntMaze), ninguna cantidad de adaptación puede mejorar el rendimiento. La capacidad de "dirigir" la política está limitada por la capacidad de la política base para mantenerse en la región de estados seguros.
• Clasificación de Resultados: En los experimentos, los resultados se dividieron en tres categorías: HELP (la adaptación mejora el rendimiento), FROZEN (la adaptación es equivalente al actor original) y HURT (la adaptación perjudica el rendimiento, usualmente cuando el objetivo contradice la capacidad del actor).

5. Significado e Implicaciones

Este trabajo cambia la perspectiva de la adaptación en RL offline: en lugar de buscar siempre la maximización del retorno, propone el PoE como una capa de seguridad para el despliegue.

Su importancia radica en la practicidad: permite a los ingenieros ajustar el comportamiento de sistemas ya desplegados (como robots o controladores industriales) de manera segura, sabiendo que el sistema no se desviará de forma errática de su comportamiento validado, siempre y cuando el actor original sea lo suficientemente competente para el nuevo objetivo.