Adaptive Policy Selection and Fine-Tuning under Interaction Budgets for Offline-to-Online Reinforcement Learning

Resumen Técnico: Selección Adaptativa de Políticas y Ajuste Fino bajo Presupuestos de Interacción para Aprendizaje por Refuerzo de Offline a Online

1. Formulación del Problema

El artículo aborda un desafío crítico en el Aprendizaje por Refuerzo de Offline a Online (O2O-RL): cómo utilizar eficientemente un presupuesto limitado de interacciones en línea para seleccionar y refinar la mejor política de un conjunto de candidatos preentrenados fuera de línea.

En las tuberías estándar de O2O-RL, múltiples políticas candidatas se entrenan fuera de línea utilizando diversos algoritmos e hiperparámetros. Estas suelen evaluarse mediante Evaluación Fuera de Política (OPE) para seleccionar una única política para su despliegue, la cual luego se ajusta fino. Los autores identifican dos fallas principales en este enfoque:

1. Falta de fiabilidad de la OPE: Las estimaciones de la OPE suelen ser inexactas debido a desplazamientos distribucionales, lo que hace riesgoso desplegar una política basándose únicamente en estas puntuaciones.
2. Ineficiencia de la Evaluación en Línea (OE) y el Ajuste Fino Ingenuo: Evaluar exhaustivamente todos los candidatos en línea consume el presupuesto de interacción sin refinar ninguna política. Por el contrario, comprometerse con una sola política para el ajuste fino es riesgoso porque las políticas preentrenadas pueden estancarse o retroceder durante la interacción en línea, especialmente en entornos no estacionarios. Además, a menudo es imposible saber a priori qué política se beneficiará más del ajuste fino.

El problema central se define como la minimización del arrepentimiento dentro de un presupuesto de interacción fijo $N$. El objetivo es encontrar un procedimiento que asigne $N$ transiciones en línea entre $K$ políticas candidatas (cada una sometida potencialmente a múltiples iteraciones de ajuste fino) para maximizar el valor de la política final seleccionada, en lugar de simplemente seleccionar el mejor candidato inicial o evaluar a todos los candidatos por igual.

2. Metodología

El marco propuesto, Selección Adaptativa de Políticas y Ajuste Fino, opera en dos etapas:

A. Etapa Offline

• Se entrena un conjunto diverso de $K$ políticas candidatas utilizando diversos algoritmos de RL offline (por ejemplo, AWAC, IQL, CalQL, ReBRAC) y configuraciones de hiperparámetros.
• Se realiza una Evaluación Fuera de Política (OPE) para generar estimaciones iniciales de rendimiento. Estas estimaciones se utilizan para clasificar las políticas, pero no se tratan como verdad fundamental para la estimación de valor durante la fase en línea.
• Las estimaciones de valor iniciales para la fase en línea se establecen en el valor de la política de comportamiento ($\hat{v}_B$) derivado del conjunto de datos, aumentado con pseudo-observaciones para abordar problemas de identificación en etapas tempranas.

B. Etapa Online (Bucle Adaptativo)
La fase en línea utiliza un enfoque de Límite Superior de Confianza (UCB) para asignar dinámicamente el presupuesto de interacción $N$. El proceso itera de la siguiente manera:

1. Selección: Una cola de prioridad (max-heap) selecciona la política con el max-UCB más alto. El UCB se calcula basándose en un pronóstico del rendimiento futuro de la política.
2. Ajuste Fino y Evaluación: La política seleccionada sufre una iteración de ajuste fino utilizando una porción del presupuesto, seguida de una evaluación en línea para obtener una nueva estimación de valor.
3. Modelo de Pronóstico de Valor: Los autores modelan la evolución de los valores de la política durante el ajuste fino utilizando un proceso Autoregresivo Lineal (AR(2)) combinado con un proceso Condicionalmente Heterocedástico (ARCH(1)). Esto captura tanto las tendencias a corto plazo (ascendentes/descendentes) como la varianza variable en el tiempo (volatilidad), lo cual es crucial ya que las curvas de ajuste fino pueden ser irregulares, estancarse o retroceder.
4. Predicción y Actualización: Utilizando el modelo AR-ARCH ajustado, el sistema simula $R$ trayectorias de valor futuras para calcular el percentil 95 (UCB) para los pasos futuros. Se calcula el max-UCB (el UCB máximo sobre el horizonte restante del presupuesto).
5. Reencolado: La política se actualiza con su nuevo valor y max-UCB y se reintroduce en la cola de prioridad.
6. Cambio: Si el max-UCB de un candidato diferente supera al de la política seleccionada actualmente, el sistema cambia el enfoque al nuevo candidato. Esto permite que el algoritmo abandone las políticas que están retrocediendo o estancándose y asigne recursos a candidatos más prometedores.

El proceso continúa hasta que se agota el presupuesto de interacción, devolviendo la política con el valor estimado más alto del conjunto de todas las políticas evaluadas.

3. Contribuciones Clave

• Marco Novel: El artículo propone el primer enfoque para combinar conjuntamente la selección adaptativa de políticas y el ajuste fino bajo un presupuesto estricto de interacción en línea. Supera la elección binaria de "seleccionar luego ajustar" o "evaluar a todos" mediante una estrategia de asignación dinámica.
• Modelado de la Volatilidad del Ajuste Fino: Los autores introducen un modelo AR(2)-ARCH(1) para predecir la evolución no estacionaria de los valores de la política durante el ajuste fino. Esto tiene en cuenta explícitamente la posibilidad de regresión del rendimiento y varianza, aspectos que los modelos de regresión estándar a menudo pasan por alto.
• Asignación Basada en UCB: Al utilizar un criterio UCB sobre el rendimiento futuro predicho, el método equilibra eficientemente la exploración (evaluar nuevos candidatos) y la explotación (ajustar fino candidatos prometedores), asegurando que el presupuesto no se desperdicie en políticas poco propensas a mejorar.

4. Resultados Experimentales

El enfoque se evaluó en cuatro tareas estándar de locomoción de robots con patas del benchmark D4RL (Hopper, Cheetah, Walker, Ant) a través de cuatro niveles de calidad de conjunto de datos (Random, Medium, Medium-Replay, Medium-Expert).

• Líneas Base: El método se comparó contra:
  • OPE: Seleccionar la mejor política basándose únicamente en estimaciones offline.
  • OE: Compartir el presupuesto por igual para evaluar a todos los candidatos en línea sin ajuste fino.
  • FT: Seleccionar la política mejor según OPE y ajustarla fino con todo el presupuesto.
  • Best: Un límite superior hipotético utilizando la verdadera mejor política.
• Rendimiento:
  • El método propuesto logró consistentemente las puntuaciones promedio más altas en todos los entornos y tamaños de presupuesto (160K y 320K transiciones).
  • Superó significativamente a FT, que a menudo sufría porque comprometía todo el presupuesto a una sola política que podía retroceder (por ejemplo, en Walker-Medium-Expert).
  • Superó a OPE y OE al utilizar eficazmente el presupuesto tanto para identificar candidatos de alto potencial como para refinarlos, evitando la "pérdida de oportunidad" de no ajustar fino o el "arrepentimiento" de ajustar fino la política incorrecta.
  • Los resultados demostraron que la asignación adaptativa permite al sistema recuperarse de clasificaciones iniciales pobres de OPE y evitar desperdiciar recursos en políticas que no mejoran con la interacción en línea.

5. Significado y Afirmaciones

Los autores afirman que este trabajo proporciona una solución práctica para desplegar RL en sistemas del mundo real donde las interacciones en línea son costosas, riesgosas o consumen mucho tiempo. Al reconocer que las políticas preentrenadas pueden rendir arbitrariamente mal y que los resultados del ajuste fino son volátiles, el marco propuesto ofrece un mecanismo robusto para navegar estas incertidumbres.

El artículo nota modestamente que, aunque el enfoque supera a líneas base sólidas, no es una solución final. Las limitaciones incluyen el costo computacional de las evaluaciones en línea frecuentes y la dependencia de configuraciones específicas de hiperparámetros. Los autores sugieren direcciones futuras como aprovechar los despliegues de exploración para reducir los costos de evaluación explícita, incorporar métricas de similitud de políticas y desarrollar métodos de OPE específicamente adaptados para la clasificación en O2O-RL. En última instancia, el marco tiene como objetivo cerrar la brecha entre el RL offline teórico y los sistemas prácticos y desplegables.