Distributional Off-Policy Evaluation with Deep Quantile Process Regression

Resumen Técnico: Evaluación de Políticas Fuera de Política Distribucional con Regresión de Procesos de Cuantiles Profundos

1. Planteamiento del Problema

La Evaluación de Políticas Fuera de Política (Off-Policy Evaluation, OPE) es un problema fundamental en el Aprendizaje por Refuerzo (RL) que busca estimar el valor de una política objetivo ($\pi$) utilizando datos recolectados bajo una política de comportamiento diferente ($\pi_b$). Esto es crucial en dominios donde la experimentación en línea es costosa, riesgosa o éticamente restringida (ej. salud, robótica).

El problema central abordado en este trabajo es la limitación de los métodos de OPE tradicionales, los cuales se enfocan únicamente en estimar el valor esperado (la media) de la recompensa total. Sin embargo, en entornos estocásticos complejos, la media no captura la incertidumbre inherente ni la variabilidad de los resultados. La Aprendizaje por Refuerzo Distribucional (DRL) aborda esto modelando la distribución completa de las recompensas, pero la aplicación de DRL a la OPE en entornos fuera de línea (offline) con aproximación de redes neuronales profundas carecía de fundamentos teóricos rigurosos y de algoritmos eficientes que evitaran errores de representación.

2. Metodología: DQPOPE

Los autores proponen DQPOPE (Deep Quantile Process regression-based Off-Policy Evaluation), un algoritmo novedoso que integra la regresión de procesos de cuantiles con redes neuronales profundas para estimar la distribución completa de retorno.

• Enfoque Cuantílico Continuo: A diferencia de métodos previos como QR-DQN que estiman cuantiles discretos en niveles fijos (introduciendo errores de aproximación y requiriendo "muestras pseudo"), DQPOPE modela la función de cuantil completa como una función continua del nivel de cuantil $\tau \in (0, 1)$.
• Formulación del Problema:
  • Se define la función de cuantil $f(s, a, \tau)$ que mapea el par estado-acción y el nivel de cuantil al valor correspondiente.
  • El algoritmo utiliza el operador de Bellman distribucional, reformulándolo como un problema de regresión de cuantiles.
  • Para la actualización, se genera una muestra objetivo $y_i = r_i + \gamma f_{t-1}(s'_i, a'_i, u_i)$, donde $u_i \sim \text{Unif}(0,1)$. Esto permite recuperar muestras exactas de la distribución futura sin necesidad de discretización.
• Arquitectura: Se utiliza una Red Neuronal Profunda (DNN) con activación ReLU que toma como entrada el par $(s, a)$ y el nivel de cuantil $\tau$, aprendiendo así la función de cuantil continua.
• Procedimiento Iterativo: El algoritmo realiza actualizaciones iterativas minimizando la pérdida de verificación (check loss) $\rho_\tau$ sobre datos divididos en lotes para evitar correlaciones, convergiendo hacia la distribución de retorno óptima.

3. Contribuciones Clave

1. Introducción de la Regresión de Procesos de Cuantiles para OPE:

   • Transforma la tarea de aprendizaje de distribuciones (infinito-dimensional) en una tarea de regresión finita-dimensional al tratar $\tau$ como una variable de entrada continua.
   • Elimina el problema de las "muestras pseudo" (pseudo-samples) y los errores de representación inherentes a los métodos de cuantiles discretos, permitiendo una representación exacta de la distribución objetivo.

2. Análisis Teórico Riguroso (Complejidad de Muestra):

   • Proporcionan los primeros límites de complejidad de muestra no asintóticos para OPE distribucional con DNNs.
   • Demuestran que estimar la distribución completa de retorno puede lograrse con la misma complejidad de muestra que estimar solo la media (valor esperado), desafiando la intuición de que aprender la distribución completa es inherentemente más difícil.
   • Establecen tasas de convergencia óptimas (tasas rápidas) bajo condiciones de convexidad fuerte local y suavidad, alcanzando la tasa minimax $O(N^{-\frac{\beta}{2\beta+d}})$.

3. Ventajas sobre Métodos Basados en Valores:

   • Teóricamente y empíricamente, demuestran que DQPOPE ofrece estimaciones de valor de política más precisas y robustas, especialmente en presencia de recompensas con colas pesadas (heavy-tailed), donde los métodos basados en pérdida cuadrática (MSE) fallan.

4. Resultados Experimentales

Los autores validaron DQPOPE en tres escenarios:

• Entorno CartPole (Simulación):

  • Se demostró que el error de estimación disminuye exponencialmente con el tamaño de la muestra.
  • DQPOPE capturó con precisión la distribución de retorno verdadera, validando los resultados teóricos sobre la complejidad de muestra.

• Ejemplo Toy con Colas Pesadas:

  • En un entorno con recompensas distribuidas según una t-Student (alta kurtosis), DQPOPE superó consistentemente a los métodos basados en valores (DOPE) en términos de Error Cuadrático Medio (MSE).
  • La estimación basada en el promedio de múltiples cuantiles resultó ser más robusta a los valores atípicos que la estimación directa de la media.

• Datos Reales (MIMIC-III - Sepsis):

  • Se aplicó a un dataset crítico de pacientes con sepsis para evaluar políticas de tratamiento.
  • DQPOPE logró distinguir mejor las políticas óptimas (entrenadas con DDQN) de las políticas aleatorias o subóptimas en comparación con métodos basados en cuantiles discretos (DQOPE) y valores (DOPE).
  • Las políticas estimadas por DQPOPE mostraron una alineación más cercana con la política objetivo real, evitando recomendaciones de tratamiento inválidas.

• MuJoCo (Control Continuo):

  • En entornos de alta dimensión, DQPOPE superó a métodos clásicos (Importance Sampling, Doubly Robust) y a otros métodos distribucionales (basados en categorías o MLE), mostrando menor varianza y mayor estabilidad ante ruido y políticas de comportamiento mixtas.

5. Significado e Impacto

Este trabajo es significativo por varias razones:

• Puente Teórico-Práctico: Cierra la brecha entre la teoría de OPE distribucional y la implementación práctica con redes neuronales profundas, proporcionando garantías estadísticas sólidas.
• Eficiencia de Muestra: Demuestra que no es necesario sacrificar la eficiencia de la muestra para obtener información distribucional completa; se puede aprender la distribución entera tan eficientemente como la media.
• Robustez: Ofrece una solución superior para entornos con incertidumbre alta y recompensas no gaussianas (comunes en medicina y finanzas), donde la media es una métrica insuficiente o engañosa.
• Generalización: El enfoque de proceso de cuantiles evita las limitaciones de los métodos paramétricos o discretos, ofreciendo un marco flexible y escalable para la toma de decisiones secuenciales bajo incertidumbre.

En conclusión, DQPOPE representa un avance fundamental en la evaluación de políticas offline, permitiendo una caracterización más rica, precisa y robusta del rendimiento de las políticas en entornos complejos y estocásticos.