Learning Upper Lower Value Envelopes to Shape Online RL: A Principled Approach

Resumen Técnico: Aprendizaje de Envolventes de Valor Superior-Inferior para Modelar el RL en Línea

Planteamiento del Problema
El artículo aborda el desafío fundamental de aprovechar los datos offline para acelerar el Aprendizaje por Refuerzo (RL) en línea. Aunque las garantías teóricas existentes para los algoritmos de RL suelen formularse en escenarios de peor caso, tienden a ser excesivamente pesimistas al ignorar características específicas del problema que podrían facilitar el aprendizaje. Una dirección prometedora consiste en utilizar conocimientos previos, tales como funciones de modelado (aproximaciones de la función de valor óptima o de las funciones Q), para podar regiones subóptimas y estrechar los límites de regret. Sin embargo, el trabajo previo (p. ej., Gupta et al., 2022) asume que estas funciones de modelado se proporcionan a priori con suficiente precisión. La cuestión central que investiga este artículo es si tales funciones de modelado pueden aprenderse de manera fundamentada a partir de un lote de datos offline y utilizarse posteriormente para guiar la exploración en línea sin violar las garantías teóricas.

Metodología
Los autores proponen un marco de dos etapas fundamentado que desacopla el aprendizaje offline de la interacción en línea:

1. Etapa Offline (Construcción de Envolventes):

   • El algoritmo procesa un conjunto de datos de un lote de $K$ trayectorias utilizando un enfoque de RL offline basado en modelos.
   • A diferencia del RL offline estándar, que se basa en el pesimismo para derivar límites inferiores, esta etapa construye envolventes de valor: límites separados superior ($U_h$) e inferior ($W_h$) de la función de valor óptima $V^\star_h$ y de la función de valor de acción $Q^\star_h$.
   • Estos límites se derivan mediante la Iteración de Valor optimista y pesimista con bonificaciones basadas en Bernstein.
   • Crucialmente, los datos offline brutos se descartan después de esta etapa; solo las envolventes aprendidas se pasan a la fase en línea. Esta separación asegura la independencia estadística entre las estimaciones offline y las transiciones del entorno en línea, satisfaciendo las restricciones de privacidad y permitiendo argumentos de concentración rigurosos.

2. Etapa en Línea (Exploración Modelada por Envolventes):

   • El algoritmo en línea es una variante de UCBVI (Azar et al., 2017) adaptada para utilizar las envolventes aprendidas.
   • Recorte de Valor (Value Clipping): Las estimaciones de valor se recortan utilizando los límites superior e inferior aprendidos ($W_h$ y $U_h$).
   • Escalamiento de Bonificación: La bonificación de exploración se modifica para depender del ancho de la envolvente ($D_h = U_h - W_h$) y del rango de la envolvente ($R_h$). Específicamente, el término de varianza en la bonificación de Bernstein se estima utilizando las envolventes aprendidas en lugar de la función de valor óptima desconocida.
   • El método admite tanto Q-shaping (recorte de valores Q) como V-shaping (recorte de valores V).

Contribuciones Clave

1. Envolventes Desacopladas: Los autores introducen un marco que utiliza límites superiores e inferiores separados en lugar de una formulación única de $\beta$-sandwich. Esto permite aproximaciones más flexibles, ajustadas y potencialmente asimétricas de la función de valor óptima.
2. Funciones de Modelado Aleatorias: El artículo trata las funciones de modelado como variables aleatorias (medibles con respecto a la $\sigma$-álgebra offline) en lugar de funciones fijas. Esto representa un cambio significativo respecto al trabajo previo donde se asumía que las funciones de modelado eran deterministas o se proporcionaban a priori.
3. Garantías Teóricas con Límites Aleatorios: Los autores derivan límites de regret de alta probabilidad que conectan explícitamente el tamaño del conjunto de datos offline con la complejidad de muestra en línea. Introducen una desigualdad de Bernstein empírica condicional personalizada que sigue siendo válida incluso cuando los límites utilizados en el argumento de concentración son variables aleatorias aprendidas en offline.
4. Compatibilidad con la Privacidad: Al descartar los datos offline brutos y transmitir únicamente las envolventes de valor, el método garantiza que los datos sensibles de transición de estados no se reutilicen en la fase en línea, abordando las preocupaciones de privacidad.

Resultados

• Límites de Regret: El análisis teórico establece que el regret depende de dos cantidades interpretables: $D_{max}$ (el ancho máximo de la envolvente aprendida) y $R_{max}$ (el rango máximo de la envolvente). A medida que el tamaño del conjunto de datos offline $K$ aumenta, $D_{max}$ converge a cero, causando que los términos dependientes de la incertidumbre en el límite de regret desaparezcan.
• Desempeño Empírico: Los experimentos en MDPs tabulares de capas parametrizadas demuestran:
  • Reducción de Regret: El método propuesto logra reducciones sustanciales de regret en comparación con el Bernstein UCBVI y el Hoeffding UCBVI estándar.
  • Escalabilidad: El regret acumulado disminuye significativamente a medida que el tamaño del conjunto de datos offline $K$ aumenta.
  • Comparación con el Estado del Arte: El método supera a una versión de UCBVI que simplemente aumenta los conteos iniciales con datos offline (Count-Initialized UCBVI) en términos de preservación de la privacidad, manteniéndose competitivo. Además, supera al "Upper-Bonus Shaping" (una variante que imita a Gupta et al., 2022 usando solo límites superiores), particularmente cuando el límite inferior proporciona información significativa (por ejemplo, cuando el rango del valor óptimo está lejos de cero).

Significancia y Reivindicaciones
El artículo afirma proporcionar un puente formal entre el pre-entrenamiento offline y el ajuste fino (fine-tuning) en línea. Su principal significancia radica en demostrar que los datos offline pueden aprovecharse para acelerar la exploración en línea sin requerir que el agente en línea acceda al conjunto de datos offline bruto o asuma la disponibilidad de funciones de modelado perfectas. Al manejar rigurosamente la dependencia estadística entre el aprendizaje offline y la interacción en línea mediante un argumento de filtración, los autores establecen que "aprender una función de modelado" es teóricamente sólido. El trabajo sugiere que, incluso con datos offline limitados, las envolventes resultantes pueden podar eficazmente el espacio de estados-acciones, lo que conduce a mejoras demostrables en la complejidad de muestra. Los autores señalan que, aunque se centran en MDPs tabulares, el marco está diseñado para ser extensible a regímenes de aprendizaje por transferencia que involucren MDPs relacionados pero distintos.