Resumen Técnico: PERRY – Evaluación de Políticas con Intervalos de Confianza utilizando Datos Auxiliares

Planteamiento del Problema

La evaluación fuera de política (OPE, por sus siglas en inglés) es crítica para estimar el valor de una nueva política de aprendizaje por refuerzo (RL) antes de su despliegue, particularmente en dominios de alto riesgo como la atención médica, donde la experimentación directa es arriesgada. Los métodos estándar de OPE suelen tener dificultades cuando la política objetivo difiere significativamente de la política de comportamiento debido a la cobertura limitada de los datos. Avances recientes sugieren que aprovechar conjuntos de datos auxiliares, como trayectorias sintéticas generadas por modelos generativos, puede mejorar la precisión de la OPE. Sin embargo, estos conjuntos de datos auxiliares pueden introducir sesgos, y los métodos existentes para el uso de aumentación de datos en OPE carecen de una cuantificación de la incertidumbre fundamentada. En entornos de alto riesgo, los intervalos de confianza (CI) fiables son esenciales para una selección de políticas segura. Actualmente, ningún método existente proporciona garantías formales para los CI en entornos de OPE que combinen datos fuera de línea (reales) con trayectorias sintéticas.

Metodología

El artículo propone dos métodos, CP-Gen y DR-PPI, para construir intervalos de confianza válidos para la OPE en Procesos de Decisión de Markov (MDP) utilizando tanto datos reales como sintéticos.

1. CP-Gen: Predicción Conforme para Valores Condicionados al Estado

CP-Gen aborda la tarea de estimar el valor de la política condicionado a un estado inicial específico, $V^\pi(s)$. Esto es crucial en escenarios donde las partes interesadas deben seleccionar políticas para individuos que comienzan en el mismo estado (por ejemplo, pacientes con estadios de enfermedad idénticos).

• Concepto Central: El método descompone el valor de la política en una estimación del simulador (usando trayectorias sintéticas) y un término de "sesgo del modelo" (la discrepancia entre los retornos reales y sintéticos).
• Mecanismo: Emplea un novedoso marco de predicción conforme adaptado para MDP con espacios de estados continuos.
  • Construye un intervalo de predicción para la diferencia de retorno entre una trayectoria real y una trayectoria sintética correspondiente que parte del mismo estado.
  • Para manejar el cambio de distribución entre la política de comportamiento ($\pi_b$) y la política objetivo ($\pi_e$), y la naturaleza continua del espacio de estados, los autores introducen una técnica de $\epsilon$-aproximación. Esta técnica aproxima los pesos de importancia condicionando en vecindades locales (esferas de radio $\epsilon_s$ alrededor del estado y $\epsilon_r$ alrededor de la diferencia de retorno) en lugar de puntos exactos, haciendo que la estimación de los pesos sea tratable.
  • El intervalo de confianza final para $V^\pi(s)$ se forma añadiendo la banda conforme de la discrepancia de retorno a la estimación sintética.

2. DR-PPI: Estimación Doblemente Robusta para Valores No Condicionados

DR-PPI se dirige a la tarea más común de estimar el rendimiento promedio de la política sobre la distribución de estados iniciales, $V^\pi = \mathbb{E}_{s_0}[V^\pi(s_0)]$.

• Concepto Central: Este método se inspira en la estimación Doblemente Robusta (DR) y en la Inferencia Potenciada por Predicción (PPI).
• Mecanismo:
  • El conjunto de datos de comportamiento se divide en dos partes ($D_1, D_2$) para el cross-fitting.
  • Se entrena un modelo generativo en una de las divisiones para producir trayectorias sintéticas (rollouts) bajo la política objetivo.
  • El estimador combina un término basado en el modelo (promedio de retornos de trayectorias sintéticas) con un término de corrección derivado de los datos reales. El término de corrección utiliza el muestreo de importancia (IS) en trayectorias reales para ajustar el sesgo introducido por el modelo generativo.
  • Específicamente, para cada trayectoria real, se generan múltiples trayectorias sintéticas desde el mismo estado inicial para estimar el retorno sintético esperado, el cual se resta del retorno real reponderado.
  • La estimación final es el promedio de dos estimadores de cross-fitting, y la varianza se calcula para construir un intervalo de confianza asintótico.

Contribuciones Clave

1. Formalización: Los autores formalizan el problema de la cuantificación de la incertidumbre para la OPE en MDP que aprovechan trayectorias generadas sintéticamente.
2. Algoritmos Novedosos: Introducen CP-Gen y DR-PPI, dos métodos diseñados para la estimación de valores de política condicionados al estado y no condicionados, respectivamente.
3. Garantías Teóricas:
   • CP-Gen: Se demuestra que produce intervalos de predicción conforme con garantías de cobertura que se mantienen asintóticamente o dentro de un pequeño margen de error para muestras finitas, incluso en espacios de estados continuos. El margen de error está explícitamente acotado como una función de los radios de aproximación ($\epsilon_s, \epsilon_r$).
   • DR-PPI: Se demuestra que produce intervalos de confianza asintóticamente válidos, incluso si el modelo generativo está mal especificado, siempre que la corrección de muestreo de importancia sea consistente.
4. Validación Empírica: Experimentos extensos en cuatro dominios (Control de Inventario, Tratamiento de Sepsis, Control Robótico y datos de EHR de MIMIC-IV) demuestran que estos métodos aprovechan eficazmente los datos auxiliares para producir CI que cubren los valores reales, a menudo con intervalos más estrechos que las líneas base que dependen únicamente de datos reales.

Resultados Experimentales

Los autores evaluaron sus métodos frente a varias líneas base, incluyendo Importancia de Muestreo (IS), Método Directo (DM), Doblemente Robusto (DR) y sus variantes aumentadas (AugIS, AugDR), así como líneas base de conformal de trabajos previos (Foffano et al., 2023).

• Cobertura: Tanto CP-Gen como DR-PPI produjeron consistentemente intervalos de confianza que cubrían los valores de política reales en todos los dominios probados.
• Ancho del Intervalo: En muchos entornos, particularmente con espacios de estados continuos (Inventario, D4RL HalfCheetah, MIMIC-IV), los métodos propuestos produjeron intervalos significativamente más estrechos que las líneas base. Por ejemplo, en el dominio de Inventario, CP-Gen produjo un intervalo de longitud 5531.60 comparado con 8550.00 de la línea base de Foffano et al., manteniendo la cobertura del valor real.
• Robustez: Los métodos resultaron ser robustos ante una especificación errónea moderada de la política de comportamiento y variaciones en la calidad (ruido) de las trayectorias sintéticas.
• Fallos de las Líneas Base: Las líneas base que aumentan los datos de forma ingenua sin una corrección de incertididad basada en principios (por ejemplo, AugIS, AugDR) produjeron a menudo intervalos sesgados que no cubrían el valor real o resultaban en intervalos exponencialmente grandes debido a problemas de varianza en el Q-learning.

Significado y Reivindicaciones

El artículo afirma dar un paso significativo hacia la habilitación de la OPE consciente de la incertidumbre en regímenes donde se utilizan tanto trayectorias reales como sintéticas. Los autores enfatizan que su trabajo es fundamental para dominios de alto riesgo donde el despliegue seguro de políticas de RL requiere estimaciones de incertidumbre rigurosas.

• Cerrando la Brecha: El trabajo aborda una brecha crítica donde los métodos de OPE existentes con aumentación de datos carecen de garantías formales sobre la calidad de la estimación.
• Escalabilidad: Al introducir la $\epsilon$-aproximación, CP-Gen extiende la predicción conforme a MDP con espacios de estados continuos y de mayor dimensión, un entorno donde los métodos previos de OPE conformal presentaban dificultades.
• Utilidad Práctica: Los resultados empíricos sugieren que aprovechar los datos sintéticos, cuando se combina con estas técnicas específicas de cuantificación de la incertidumbre, puede mejorar la precisión de las estimaciones de OPE sin sacrificar la validez.

Los autores mantienen la modestia respecto a las limitaciones, señalando que la elección de los hiperparámetros ($\epsilon_s, \epsilon_r$) se vuelve cada vez más trascendental en entornos de mayor dimensión y que es necesario realizar trabajos futuros para desarrollar procedimientos más fundamentados para su selección y explorar modelos generativos alternativos como los modelos de difusión. También reconocen que las garantías teóricas para CP-Gen implican un pequeño margen de error dependiente de estos parámetros.