Resumen Técnico: Evaluación de la Proporción de Ocupación Ajustada sin Completitud de Bellman

Planteamiento del Problema

La evaluación de políticas fuera de línea (OPE, por sus siglas en inglés) tiene como objetivo estimar el rendimiento de una política objetivo utilizando datos recolectados de una política de comportamiento. Un desafío central es corregir el cambio de distribución entre la distribución de los datos fuera de línea $\nu$ y la medida de ocupación de estado-acción descontada de la política objetivo $d_{\pi,\gamma}$.

Los métodos existentes suelen clasificarse en dos categorías:

1. Métodos basados en el valor (p. ej., Evaluación Q Ajustada, FQE): Estos estiman la función de valor mediante la regresión iterativa de los objetivos de Bellman sobre una clase de funciones. Sin embargo, las garantías teóricas para FQE generalmente requieren completitud de Bellman (que la imagen de Bellman de cualquier función en la clase pertenezca a la misma clase) o la estabilidad del operador de Bellman proyectado. Sin estas, la composición del operador de Bellman y la proyección (bajo la distribución fuera de línea) puede no ser contractiva, lo que conduce a la inestabilidad.
2. Métodos basados en la proporción (p. ej., Primal-Dual, Minimax): Estos estiman la proporción de ocupación $\omega_{\pi,\gamma} = d d_{\pi,\gamma} / d\nu$ imponiendo momentos de equilibrio sobre una clase de críticos. Estos enfoques típicamente requieren realizabilidad dual o completitud de Bellman adjunta (la clase del crítico debe ser lo suficientemente rica para detectar los residuos generados por la clase de la proporción), desplazando la carga de la aproximación a un par acoplado de clases.

El artículo aborda el vacío donde no se cumple ni la completitud de la función de valor ni la completitud dual, pero la propia proporción de ocupación objetivo es bien aproximada por una clase de hipótesis.

Metodología: Evaluación de la Proporción de Ocupación Ajustada (FORE)

Los autores proponen la Evaluación de la Proporción de Ocupación Ajustada (FORE), un método de punto fijo ajustado que estima la proporción de ocupación descontada a través de una recursión de Bellman adjunta.

Mecanismo Central

1. Identificación de Bellman Adjunta: La proporción de ocupación descontada satisface la ecuación de punto fijo $\omega_{\pi,\gamma} = B^\pi_\gamma \omega_{\pi,\gamma}$, donde $B^\pi_\gamma$ es el operador de Bellman adjunto. A diferencia de los operadores de Bellman estándar, $B^\pi_\gamma$ actúa sobre densidades.
2. Iteración Proyectada por KL: En lugar de resolver un problema de punto de silla minimax, FORE itera el mapa de Bellman adjunto. En cada paso $k$, dada una estimación $\omega^{(k)}$, el método calcula la siguiente estimación $\omega^{(k+1)}$ proyectando la imagen exacta de Bellman $B^\pi_\gamma \omega^{(k)}$ sobre una clase de hipótesis $\mathcal{W}$ (de log-razones normalizadas) utilizando la divergencia de Kullback–Leibler (KL):
   $$\omega^{(k+1)} = \Pi^{\text{KL}}_{\mathcal{W}} (B^\pi_\gamma \omega^{(k)})$$
3. Objetivo de un Solo Nivel: Crucialmente, la proyección KL de la imagen de Bellman adjunta puede calcularse mediante un objetivo de razón de densidad de un solo nivel (Lema 3.2). Esto evita la necesidad de una clase de crítico separada. El objetivo involucra:
   • El momento del estado inicial $E_{d_0}[h(X)]$.
   • El momento de transición de un paso $E_\nu[\omega(X)h(X^+)]$.
   • Un término de normalización de log-partición.
     Esto permite la implementación utilizando aprendices supervisados estándar (p. ej., árboles de gradiente aumentado, redes neuronales).

Fundamento Teórico

La estabilidad de FORE depende de la geometría de la divergencia KL:

• Contracción KL: El operador de Bellman adjunto no proyectado es una contracción en la entropía relativa (divergencia KL) con un factor $\gamma$ (Lema 3.1).
• Proyección Compatible: Debido a que la proyección se realiza en la misma geometría KL, el operador proyectado hereda esta propiedad de contracción.
• Condición de Aproximación: El requisito central es simplemente la realizabilidad (o aproximación) de la proporción de ocupación descontada objetivo por la clase de hipótesis. El método no requiere que la clase sea cerrada bajo el operador de Bellman adjunto (es decir, no se necesita completitud de Bellman adjunta).

Manejo de Cobertura Limitada

Cuando la política objetivo visita pares estado-acción no soportados por los datos fuera de línea (violando la continuidad absoluta), la proporción completa no es identificable. Los autores introducen FORE con Parada de Cobertura (Coverage-Stopped FORE):

• Tiene como objetivo la ocupación descontada acumulada antes del primer par estado-acción no cubierto.
• Emplea un clasificador de cobertura aprendido para identificar y descartar el componente singular de la actualización de Bellman.
• Utiliza el recorte (clipping) para regularizar la estimación en regiones débilmente cubiertas.
• La estimación de valor resultante sirve como un límite inferior conservador para el verdadero valor de la política objetivo para recompensas no negativas.

Contribuciones Clave

1. Formulación Algorítmica: Caracterización de la proporción de ocupación descontada como el punto fijo único de una recursión de Bellman adjunta e introducción de FORE, que la estima mediante objetivos repetidos de razón de densidad KL de un solo nivel.
2. Teoría de Población: Desarrollo de una teoría de aproximación basada directamente en la realizabilidad de la proporción de ocupación. El operador de Bellman adjunto proyectado por KL contrae en la entropía relativa hacia la proporción real, hasta un error de aproximación determinado por la clase de log-razón, sin requerir completitud de Bellman adjunta.
3. Garantías de Muestra Finita: Demostración de límites de regret de muestra finita para la recursión ajustada empírica. El error de KL generalizado se descompone en un término de inicialización que decae geométricamente, un término de aproximación de la población de la razón de logaritmo y un término estadístico gobernado por la complejidad de Rademacher local de la clase de hipótesis y la clase de multiplicador inducida.
4. Aplicaciones de Evaluación de Políticas:
   • Reponderación de Recompensas: Estimación directa del valor utilizando la proporción ajustada.
   • Estimación Doblemente Robusta: Un límite de error en forma de producto que combina la proporción ajustada con una función Q ajustada.
   • FQE Ponderado por FORE: Uso de la proporción ajustada como peso de proyección en FQE para estabilizar la recursión de Bellman sin supuestos de completitud de Bellman en la clase de valor.
5. Extensión de Parada de Cobertura: Una extensión para entornos de cobertura limitada que proporciona límites inferiores conservadores y diagnostica la cobertura efectiva.

Resultados

Resultados Teóricos

• Convergencia: Bajo la realizabilidad de la proporción de ocupación, la recursión de población converge geométricamente en la divergencia KL.
• Límites de Error: El límite de error de muestra finita escala con el error de aproximación de la clase de la razón y la complejidad estadística (radio crítico) de la clase de hipótesis. Notablemente, el término de error de aproximación escala como $\sqrt{\epsilon_{KL}/(1-\gamma)}$, lo cual es más favorable que la escala $(1-\gamma)^{-1}$ que se observa frecuentemente en los límites de la función de valor bajo completitud de Bellman aproximada.
• Estabilidad: El método estabiliza FQE cuando se utiliza como mecanismo de ponderación, incluso si la clase de la función de valor no es completa de Bellman.

Experimentos Numéricos

El artículo valida la teoría a través de tres experimentos:

1. MRP Finito tipo Baird: Demuestra que un FQE lineal puede ser inestable (expansivo) bajo la distribución de datos fuera de línea, mientras que FORE permanece estable y converge a la proporción real. El FQE reponderado por FORE también estabiliza la estimación del valor.
2. Evaluación de Política Gaussiana Lineal: En un entorno continuo donde la clase de valor no es completa de Bellman, el FQE lineal falla (multiplicador > 1). FORE converge rápidamente (multiplicador $\approx 0.086$), y el FQE reponderado por FORE restaura la contracción. FORE logra un error de razón de densidad menor y un RMSE de valor competitivo en comparación con los métodos minimax (MWL, DualDICE).
3. FORE con Parada de Cobertura: Bajo una cobertura de datos insuficiente, el FORE estándar y el recorte post-hoc fallan al intentar apuntar a la medida de sub-probabilidad correcta. El FORE con parada de cobertura recupera con éxito la proporción de ocupación de parada de cobertura y proporciona límites inferiores precisos sobre el valor, superando a las líneas base tanto en error de razón como de valor.

Significado y Reivindicaciones

El artículo afirma identificar la realizabilidad de la proporción de ocupación descontada como una condición suficiente para la evaluación de políticas fuera de línea, eliminando la necesidad de:

• Completitud de Bellman de una clase de valor.
• Completitud de Bellman adjunta de una clase de proporción.
• Completitud dual de una clase de crítico.

La importancia radica en desplazar la carga de la aproximación desde las condiciones de cierre complejas (que suelen ser restrictivas y difíciles de verificar) hacia la representabilidad directa del cambio de distribución. Al aprovechar la geometría KL, FORE logra estabilidad y garantías de convergencia que son estructuralmente distintas y a menudo más débiles que los supuestos requeridos por FQE o los métodos de razón minimax. Los autores posicionan esto como una alternativa fundamental a los enfoques basados en el valor y en la razón minimax, particularmente en entornos donde la proporción de ocupación es bien aproximada pero las clases de la función de valor o del crítico carecen de las propiedades de completitud necesarias.

El artículo mantiene la modestia respecto a sus limitaciones: la recuperación de la proporción completa aún requiere cobertura (continuidad absoluta), y en entornos de alta dimensión o casi deterministas, estimar la proporción puede ser tan difícil como estimar la función de valor. La extensión de parada de cobertura aborda esto cambiando el estimando por un límite inferior conservador en lugar de extrapolar hacia regiones no soportadas.