COOPO: Cyclic Offline-Online Policy Optimization Algorithm

Resumen Técnico de COOPO: Optimización de Políticas Cíclica Offline-Online

Enunciado del Problema
El aprendizaje por refuerzo (RL) enfrenta un compromiso fundamental entre la eficiencia de los datos y el rendimiento. Los métodos de RL puramente online (por ejemplo, PPO, SAC) requieren un número prohibitivo de interacciones con el entorno para aprender políticas óptimas, lo que los hace inadecuados para sistemas ciberfísicos (CPS) críticos para la seguridad, donde la exploración es costosa o peligrosa. Por el contrario, el RL offline aprende exclusivamente a partir de conjuntos de datos estáticos, evitando la interacción online pero sufriendo de desplazamiento de distribución y suboptimalidad de la política debido a la incapacidad de explorar estados no vistos.

Los recientes enfoques híbridos "offline-a-online" intentan cerrar esta brecha pre-entrenando con datos offline y luego ajustando finamente online. Sin embargo, el artículo identifica dos modos de fallo críticos en los métodos híbridos existentes:

1. Olvido Catastrófico: Durante el ajuste fino online, la política a menudo sobrescribe el conocimiento aprendido del conjunto de datos offline, lo que conduce a una degradación significativa del rendimiento.
2. Desplazamiento de Distribución: La transición desde la distribución offline estática hacia la distribución online dinámica provoca que la política se desvíe hacia regiones del espacio de estados no soportadas por los datos, resultando en estimaciones de valor inexactas y un aprendizaje inestable.

Las soluciones existentes, como las fases de inicio en caliente o la mezcla de datos en búferes de repetición, a menudo fallan en preservar la estabilidad a largo plazo o no reducen suficientemente la complejidad de muestras de la fase online.

Metodología: Marco COOPO
Los autores proponen COOPO (Optimización de Políticas Cíclica Offline-Online), un marco unificado que resuelve estos problemas haciendo ciclar repetidamente entre un entrenamiento offline restringido y un ajuste fino online. A diferencia de los métodos tradicionales que realizan un único pre-entrenamiento offline seguido de una adaptación online, COOPO intercala estas fases en un bucle.

El mecanismo central opera de la siguiente manera:

1. Estructura Cíclica: El algoritmo alterna entre una Fase Offline y una Fase Online a lo largo de $K$ ciclos.
2. Fase Offline (Estabilidad y Anclaje):
   • La política se actualiza utilizando un algoritmo de Actor-Crítico Ponderado por la Ventaja regularizado por KL (AWAC).
   • Esta fase emplea una penalización explícita de la divergencia de Kullback-Leibler (KL) para restringir que la nueva política ($\pi_{new}$) permanezca cerca de la política anterior ($\pi_{old}$) y de la política de comportamiento ($\pi_\beta$) en el conjunto de datos.
   • Una función de valor se entrena explícitamente durante esta fase para apoyar la transición online subsiguiente y proporcionar una estimación de ventaja robusta, mitigando los errores fuera de distribución (OOD).
   • Crucialmente, la fase offline actúa como un "término correctivo estabilizador", reanclando la política al conjunto de datos estático de alta calidad para evitar la deriva y el olvido.
3. Fase Online (Adaptación y Exploración):
   • La política se ajusta finamente utilizando un algoritmo en política basado en región de confianza (específicamente PPO en los experimentos).
   • Para mantener la estabilidad del crítico, la función Q entrenada durante la fase offline se congela durante las actualizaciones online de PPO. Esto previene la deriva de valor causada por desajustes de distribución entre los estados offline y online.
   • La fase online se mantiene corta (pocos episodios) para minimizar las interacciones con el entorno mientras permite la exploración necesaria.
4. Sinergia: El comportamiento cíclico crea un bucle de retroalimentación donde las fases offline estabilizan la política y corrigen errores, mientras que las fases online refinan la política utilizando señales del mundo real. Esto permite la amortización de los costos de datos offline a través de múltiples ciclos.

Contribuciones Clave

1. Marco Cíclico Generalizado: Los autores introducen un marco novedoso que alterna el entrenamiento offline regularizado por KL con un ajuste fino online adaptativo. Este diseño previene explícitamente el olvido catastrófico y el desplazamiento de distribución al devolver periódicamente la política al conjunto de datos offline.
2. Garantías Teóricas:
   • Límite de Rendimiento: El artículo deriva un límite de diferencia de rendimiento (Teorema 1) que muestra que el aumento de retorno por ciclo está garantizado bajo supuestos estándar de cobertura de datos.
   • Complejidad de Muestras: Los autores demuestran que COOPO logra una complejidad total de muestras de $\tilde{O}(\frac{1}{\epsilon^2} \log \frac{1}{\epsilon})$. Cabe destacar que la complejidad de muestras offline es independiente del tamaño del conjunto de datos $|D|$ debido a la reutilización de datos, y la complejidad de muestras online escala con $H^3$ (donde $H$ es el horizonte), lo cual es una mejora sobre la escala $H^4$ del PPO puramente online.
   • Convergencia: El Teorema 2 establece una convergencia lineal hacia la vecindad de la política óptima.
3. Superioridad Empírica: Experimentos extensos en los puntos de referencia D4RL (HalfCheetah, Hopper, Walker2D) demuestran que COOPO supera a los métodos de RL offline más avanzados (por ejemplo, IQL, CQL) y a las líneas base offline-a-online (por ejemplo, Cal-QL, Uni-O4) en términos de retorno final y eficiencia de muestras.

Resultados

• Rendimiento: COOPO logró el mejor rendimiento en 7 de las 9 tareas de D4RL, superando a los métodos puramente offline y a los enfoques híbridos de un solo paso. Por ejemplo, en la tarea halfcheetah-medium-expert, COOPO alcanzó un retorno de 9242.2, superando a la siguiente mejor línea base (Uni-O4 con 8859.3).
• Eficiencia de Muestras: COOPO redujo significativamente el número de interacciones con el entorno online requeridas para alcanzar un alto rendimiento en comparación con el PPO puramente online. El análisis teórico y los resultados empíricos (Figura 7) confirman que COOPO reduce las interacciones online en un factor constante.
• Estabilidad: La arquitectura cíclica demostró un rendimiento asintótico robusto, evitando el estancamiento temprano observado en métodos como AWAC e IQL. Los estudios de ablación mostraron que equilibrar las épocas offline ($E$) y los episodios online ($T$) es crítico; específicamente, enfatizar el entrenamiento offline en las etapas tempranas y el ajuste fino online en las etapas posteriores produce resultados óptimos.
• Sensibilidad a Hiperparámetros: Se encontró que el coeficiente KL ($\lambda$) controla el compromiso entre la velocidad de convergencia y el conservadurismo de las actualizaciones. Un $\lambda$ moderado (por ejemplo, 3) proporcionó el mejor equilibrio entre velocidad de convergencia y baja varianza.

Significado y Afirmaciones
El artículo afirma que COOPO establece un nuevo paradigma para el aprendizaje adaptativo eficiente en muestras y estable, particularmente para sistemas ciberfísicos críticos para la seguridad. Al formalizar una "sinergia cíclica", el método transforma las limitaciones del RL offline (restricciones de cobertura) y del RL online (ineficiencia de muestras) en fortalezas complementarias.

Los autores enfatizan que COOPO proporciona una base principista para un despliegue confiable en aplicaciones del mundo real donde la exploración a gran escala es inviable. El marco ofrece garantías teóricas sobre la mejora del rendimiento y la interacción online acotada, abordando la necesidad crítica de algoritmos que permanezcan estables bajo desplazamientos de distribución y perturbaciones adversarias. El trabajo sugiere que esta sinergia en bucle mitiga efectivamente el olvido catastrófico y la deriva de distribución, ofreciendo una solución robusta para el control adaptativo en entornos con datos limitados y dinámicas inciertas.