Resumen Técnico: Optimización de Políticas Offline Regularizada con Creencia Bayesiana Híbrida Posterior (PhyB)

1. Planteamiento del Problema

El Aprendizaje por Refuerzo (RL) Offline busca optimizar políticas utilizando conjuntos de datos pre-recolectados sin interacción adicional con el entorno. Un cuello de botella principal en este paradigma es la gestión de la incertidumbre epistémica, la cual surge de dos fuentes:

1. Incertidumbre a nivel de muestra: Causada por la cobertura parcial del conjunto de datos.
2. Incertidumbre a nivel de modelo: Derivada de la ambigüedad al identificar dinámicas de transición únicas a partir de datos finitos.

El RL Bayesiano ofrece un marco unificado para cuantificar estas incertidumbres tratando los modelos de dinámica como variables aleatorias; sin embargo, la optimización de políticas práctica sigue siendo computacionalmente desafiante. Los enfoques existentes enfrentan un compromiso:

• Técnicas basadas en búsqueda (por ejemplo, Programación Lineal de Enteros Mixtos, Búsqueda en Árbol de Monte Carlo) son teóricamente sólidas pero no escalan a tareas de alta dimensión.
• Supuestos restrictivos (por ejemplo, distribuciones posteriores fijas, MDPs robustos con verosimilitudes Dirac) aseguran la tractabilidad pero sacrifican la adaptabilidad y el rendimiento inherente del RL Bayesiano, lo que a menudo conduce a un conservadurismo excesivo (sobre-pesimismo).

La pregunta central abordada es: ¿Podemos desarrollar un algoritmo de optimización de políticas offline computacionalmente tratable bajo creencias bayesianas sin depender de supuestos restrictivos sobre la distribución posterior?

2. Metodología: Creencia Bayesiana Híbrida Posterior (PhyB)

Los autores proponen PhyB, un marco que reformula la esperanza sobre las posteriores de los modelos como una combinación convexa sobre un subconjunto de modelos de dinámica, evitando supuestos restrictivos sobre la distribución posterior.

2.1. Formulación de la Creencia

En lugar de tratar el modelo de dinámica como una estimación puntual o mantener una compleja posterior continua, PhyB opera sobre un conjunto finito de modelos $\mathcal{T} = \{\tau_0, \dots, \tau_{N-1}\}$.

• Subconjunto Pesimista: Se forma un subconjunto $\tilde{\mathcal{T}} \subseteq \mathcal{T}$ seleccionando los $k$ modelos correspondientes a las predicciones de valor-$Q$ más bajas (bottom-$k$).
• Combinación Convexa: En lugar de seleccionar un único modelo de peor caso (lo que conduce a un pesimismo tipo Dirac) o promediar todos los modelos (lo que diluye el pesimismo), PhyB asigna pesos $\alpha_i$ a los modelos en $\tilde{\mathcal{T}}$.
• Ponderación Regularizada por Entropía: Los pesos se determinan resolviendo un problema de optimización regularizado por entropía:
  $$\min_{\alpha} \sum_{i=0}^{k-1} \alpha_i q_{\tau_i}(s, a) + \lambda \alpha_i \log \alpha_i$$
  La solución óptima sigue una distribución de Boltzmann: $\alpha_i \propto \exp(-q_{\tau_i}(s, a)/\lambda)$.
• Posterior Híbrida: Este esquema de ponderación construye una "Creencia Bayesiana Híbrida Posterior" $\tilde{P}(\tau)$, la cual es una mezcla de distribuciones unimodales centradas alrededor de cuantiles específicos del conjunto de modelos. Esto permite una adaptación continua y basada en datos del nivel de pesimismo.

2.2. Optimización de Política Regularizada

Para optimizar la función objetivo definida por esta creencia híbrida, los autores abordan dos desafíos: la geometría no euclidiana del espacio de distribuciones multimodales y el costo computacional de resolver la ecuación de Bellman.

• Subproblemas Regularizados por Bregman: La optimización se descompone en una secuencia de subproblemas regularizados por la divergencia de Bregman ($D_\psi$).
• Algoritmo Iterativo: Se propone un algoritmo de mejora de política iterativo donde la política en el paso $i+1$ se actualiza basándose en la política de referencia del paso $i$:
  $$\pi_{i+1} = (\nabla \psi)^{-1} \left( \frac{1}{\beta} (Q - z) + \nabla \psi(\pi_i) \right)$$
  Esta formulación emula los métodos de gradiente natural y asegura una mejora monotónica del objetivo hasta la convergencia.

2.3. Garantías Teóricas

• Discrepancia Acotada: Se demuestra que la discrepancia del objetivo inducida por la aproximación de combinación convexa está acotada.
• Pesimismo: El método induce un límite inferior en el retorno esperado real. La brecha entre el retorno estimado y el real desaparece a medida que la fidelidad del modelo aumenta y el tamaño del subconjunto pesimista disminuye.
• Monotonicidad: Se demuestra que el rendimiento de la política es monotónicamente no decreciente con respecto al tamaño del subconjunto $k$ y monotónicamente no creciente con respecto al tamaño del conjunto de modelos $N$.

3. Contribuciones Clave

1. Formulación PhyB: Una novedosa formulación de creencia que trata las dinámicas de transición como variables aleatorias sin supuestos restrictivos de la posterior, reformulando las esperanzas como combinaciones convexas sobre un subconjunto pesimista.
2. Optimización Regularizada Iterativa: Un algoritmo que descompone la tarea de optimización en subproblemas regularizados por Bregman, proporcionando garantías independientes de la métrica para la mejora monotónica.
3. Análisis Teórico: Pruebas que establecen que el error de aproximación está acotado, que el pesimismo inducido es controlable y que la optimización de la política converge de forma monotónica.
4. Rendimiento Empírico: Resultados de vanguardia en benchmarks estándar (D4RL) y tareas de liquidación estocástica.

4. Resultados Experimentales

Los autores evaluaron PhyB en el benchmark D4RL (18 conjuntos de datos a través de HalfCheetah, Hopper y Walker2d con calidades de datos variables) y una tarea de liquidación óptima estocástica.

• Rendimiento: PhyB logró un rendimiento superior en 11 de los 18 conjuntos de datos de D4RL y se mantuvo competitivo en los demás. Superó notablemente a bases fuertes, incluyendo métodos sin modelo (CQL, IQL, TD3+BC) y métodos con modelo (MOReL, RAMжно, PMDB, ADM).
• Tareas Estocásticas: En la tarea de liquidación altamente estocástica, donde muchos baselines fallaron en aprender políticas efectivas, PhyB demostró un rendimiento robusto y superior.
• Estudios de Ablación:
  • Combinación Convexa: Eliminar la combinación convexa (seleccionando un único modelo) causó una degradación significativa del rendimiento, validando la necesidad de la creencia híbrida.
  • Hiperparámetros: El método mostró robustez ante variaciones de hiperparámetros ($\omega$, $\lambda$). Se observó un compromiso donde los conjuntos de datos de menor calidad se beneficiaban de un mayor pesimismo (menor $\lambda$), mientras que los conjuntos de alta calidad requerían menos conservadurismo.
• Alineación Teórica: Las curvas empíricas confirmaron que los retornos estimados por PhyB consistían en límites inferiores del retorno real (validando el teorema de pesimismo) y exhibieron una mejora casi monotónica durante el entrenamiento.

5. Significado y Reivindicaciones

El artículo afirma que PhyB logra cerrar la brecha entre el atractivo teórico del RL Bayesiano y los requisitos computacionales de la optimización de políticas offline.

• Cuantificación Unificada de la Incertidumbre: Al tratar las dinámicas como variables aleatorias y utilizar una creencia híbrida, PhyB unifica la cuantificación de la incertidumbre a nivel de muestra y de modelo sin recurrir a supuestos simplificados como las verosimilitudes Dirac.
• Escalabilidad: A diferencia de los métodos bayesianos previos que dependen de solvers intratables, PhyB ofrece un enfoque computacionalmente eficiente que escala a tareas de control continuo de alta dimensión.
• Adaptabilidad: El método evita el "conservadurismo excesivo" de los MDPs robustos al permitir que el nivel de pesimismo se adapte continuamente según los datos y el desacuerdo del modelo, en lugar de depender de supuestos de peor caso fijos.
• Robustez: El enfoque proporciona garantías independientes de la métrica para la mejora monotónica, asegurando un aprendizaje estable incluso en ausencia de interacción online con el entorno.

Los autores concluyen que PhyB representa un paso significativo hacia la práctica del RL Bayesiano en entornos offline, ofreciendo un marco robusto que equilibra la aversión al riesgo con la optimización del rendimiento.