Resumen Técnico: STITCH-OPE

Planteamiento del Problema

La Evaluación Fuera de Política (Off-Policy Evaluation o OPE) tiene como objetivo estimar el rendimiento de una política objetivo ($\pi$) utilizando datos recolectados de una política de comportamiento distinta ($\beta$). Esto es crítico en dominios como la robótica y la atención médica, donde la interacción en línea es costosa o insegura. Sin embargo, los métodos de OPE existentes tienen dificultades con problemas de alta dimensión y largo horizonte debido a dos modos principales de falla:

1. Muestreo de Importancia (Importance Sampling - IS): Sufre de la "maldición del horizonte", donde la varianza crece exponencialmente con el horizonte de evaluación.
2. Métodos Basados en Modelos: Aunque son eficientes en muestras, sufren de errores de composición al aprender modelos de dinámica para trayectorias largas, lo que conduce a estimaciones de valor inexactas.
3. Desplazamiento de Distribución (Distribution Shift): Las diferencias entre $\beta$ y $\pi$ conducen a estimaciones inexactas, lo que dificulta la confianza en la selección de la política antes del despliegue.

Intentos recientes utilizando la estimación de la relación de densidad sin modelo han mostrado un bajo rendimiento empírico cuando las políticas de comportamiento y objetivo difieren significativamente.

Metodología: STITCH-OPE

Los autores proponen STITCH-OPE (Composición de Trayectorias con Pesado de Importancia de Sub-Trayectorias para OPE de Largo Horizonte), un marco generativo basado en modelos que aprovecha los modelos de difusión de eliminación de ruido (denoising diffusion models). La innovación central radica en generar trayectorias sintéticas para la política objetivo guiando un modelo de difusión entrenado con los datos de comportamiento, evitando al mismo tiempo los errores de composición de la generación de trayectorias completas.

1. Difusión Guiada para la Corrección del Desplazamiento de Distribución

En lugar de reentrenar un modelo para cada nueva política objetivo, STITCH-OPE pre-entrena un modelo de difusión sobre el conjunto de datos de comportamiento ($D_\beta$) para aprender la distribución de la trayectoria de comportamiento $p_\beta(\tau)$. Durante la inferencia, genera trayectorias de la política objetivo ($p_\pi$) mediante la guía del proceso de eliminación de ruido.

La función de guía $g(\tau)$ se deriva de la relación de verosimilitud entre las políticas de objetivo y de comportamiento. Al interpretar la relación de verosimilitud como una densidad de clasificación en la guía de difusión, los autores formulan la guía como la diferencia entre las funciones de puntuación (score functions):
$$g(\tau) = \nabla_\tau \sum_{t=0}^{T-1} \log \pi(a_t|s_t) - \nabla_\tau \sum_{t=0}^{T-1} \log \beta(a_t|s_t)$$
Esto permite que el modelo desplace la distribución de muestreo de $p_\beta$ hacia $p_\pi$ sin necesidad de reentrenamiento.

2. Guía de Comportamiento Negativa

Una contribución técnica clave es la inclusión del término de puntuación de comportamiento negativo ($-\nabla_\tau \log \beta$).

• Problema: El uso únicamente de la puntuación de la política objetivo ($\nabla_\tau \log \pi$) puede causar que la distribución de muestreo guiada colapse en regiones de alta densidad de la política de comportamiento, incluso si esas regiones son improbables bajo la política objetivo (sobre-regularización).
• Solución: Restar la puntuación de comportamiento evita este colapso, asegurando que el modelo generalice fuera de los datos y aborde correctamente el desplazamiento de distribución. Los autores generalizan esto con coeficientes $\alpha$ y $\lambda$ (donde típicamente $\lambda < \alpha$) para controlar la importancia relativa de las políticas.

3. Costura de Trayectorias con Difusión Condicional

Para abordar el error de composición de la generación de largo horizonte, STITCH-OPE no genera trayectorias completas en un solo paso. En su lugar:

• Generación de Sub-Trayectorias: El modelo de difusión se entrena en sub-trayectorias cortas de longitud $w \ll T$.
• Muestreo Condicional: La generación se realiza de manera semi-autorregresiva. El modelo genera una sub-trayectoria condicionada al estado final de la sub-trayectoria generada previamente.
• Costura (Stitching): Estos rollouts parciales se cosen de extremo a extremo para formar una trayectoria de longitud completa.

Este enfoque trata la distribución de la trayectoria de comportamiento como una mezcla sobre sub-trayectorias. Al condicionarse solo al estado inmediatamente anterior (en lugar de a todo el historial), el modelo mantiene una mayor entropía y una cobertura más amplia de los modos de los datos de comportamiento, mejorando significativamente la composicionalidad y la generalización a nuevos estados iniciales.

Garantías Teóricas

El artículo proporciona un límite teórico sobre el Error Cuadrático Medio (MSE) del estimador STITCH-OPE (Teorema 3.3).

• Bajo supuestos leves (relación de verosimilitud acotada y error acotado en el modelo de comportamiento aprendido), el MSE está acotado.
• Crucialmente, el límite depende de la longitud de la sub-trayectoria $w$ en lugar del horizonte total $T$.
• Esto resulta en una reducción exponencial de la varianza en comparación con el Muestreo de Importancia estándar (que escala como $O(\exp(T))$) y una dependencia polinómica más favorable ($O(T^2)$) en comparación con los métodos de difusión de trayectoria completa.

Resultados Empíricos

Los autores evaluaron STITCH-OPE en el benchmark D4RL (Hopper, Walker2d, HalfCheetah) y OpenAI Gym (Pendulum, Acrobot).

• Rendimiento: STITCH-OPE superó a las líneas base de vanguardia (incluyendo Fitted Q-Evaluation, Doubly Robust, Importance Sampling y Policy-Guided Diffusion) en 11 de 15 instancias en diversas métricas:
  • Log RMSE: Reducción significativa del error.
  • Correlación de Rango: Mejora en la capacidad de clasificar correctamente las políticas objetivo.
  • Regret@1: Menor arrepentimiento (regret) en la selección de la mejor política.
• Políticas de Difusión: El método evaluó con éxito políticas objetivo complejas definidas como modelos de difusión, una tarea en la que otros estimadores tienen dificultades debido a la falta de distribuciones de probabilidad explícitas.
• Ablación: Los experimentos confirmaron que el rendimiento óptimo ocurre con un tamaño de ventana pequeño ($w=8$) y una configuración de guía donde el término de comportamiento negativo está presente ($0 < \lambda < \alpha$).

Significancia y Reivindicaciones

El artículo afirma que STITCH-OPE es el primer trabajo en demostrar una evaluación fuera de política robusta en tareas de alta dimensión y largo horizonte. Su significancia radica en:

1. Cerrar la Brecha: Logra cerrar la brecha entre la OPE basada en modelos (eficiencia de muestras) y la difusión de trayectoria completa fuera de la política (capacidad generativa) mediante la mitigación de los errores de composición a través de la costura de trayectorias.
2. Escalabilidad: Demuestra que los modelos de difusión pueden aplicarse a la OPE en espacios de alta dimensión sin sufrir la explosión exponencial de varianza típica de los métodos de IS.
3. Generalización: La combinación de difusión condicional y guía de comportamiento negativa permite una evaluación robusta de políticas objetivo que se desvían significativamente de la política de comportamiento, incluyendo aquellas con diferentes estados iniciales o distribuciones de acción.

Los autores mantienen la modestia respecto a las limitaciones, señalando que el método depende del supuesto de que los datos de comportamiento cubren el soporte de la política objetivo (Supuesto 3.1) y que evaluar la fidelidad de la trayectoria en estados complejos y parcialmente observables sigue siendo un desafío. También mencionan que la aplicabilidad a problemas específicos de dominio fuera de la robótica sigue siendo una cuestión abierta.