Resumen Técnico: Diseño de Políticas de Registro para Evaluación Fuera de Política

Declaración del Problema

La evaluación fuera de política (OPE, por sus siglas en inglés) es un mecanismo crítico para estimar el valor de una política de tratamiento objetivo (por ejemplo, un nuevo sistema de recomendación) utilizando datos recopilados por una política de "registro" diferente. Aunque la OPE permite experimentos de alto riesgo sin implementación en vivo, su precisión depende en gran medida de la política de registro utilizada para generar los datos. La literatura existente a menudo trata la política de registro como una política de comportamiento fija y potencialmente desconocida, enfocándose en cambio en mejorar los estimadores (por ejemplo, Ponderación Inversa de la Propensión, Doble Robustez). Sin embargo, en la práctica, la elección de la política de registro afecta drásticamente el sesgo y la varianza de las estimaciones de OPE, particularmente en regímenes de muestra finita con grandes espacios de acción y recompensas dispersas.

El problema central abordado es cómo diseñar la política de registro (específicamente, las propensiones de acción $\pi_l(a|x)$) para minimizar el Error Cuadrático Medio (MSE) de una estimación de Ponderación Inversa de la Propensión (IPW) para una política objetivo dada $\pi_t$. Este diseño debe navegar un compromiso fundamental entre recompensa y cobertura: concentrar la masa de probabilidad en acciones de alta recompensa reduce la varianza derivada de la realización de la recompensa, mientras que garantizar la cobertura en las acciones que la política objetivo podría seleccionar es necesario para controlar el sesgo y la varianza que surgen del muestreo de acciones.

Metodología

Los autores enmarcan el problema dentro de un entorno de bandido contextual (Proceso de Decisión de Markov sin dinámicas de transición) donde los contextos $X$ llegan desde una distribución $p_X$, y las acciones $A$ son seleccionadas por una política de registro $\pi_l$. La recompensa $R$ es binaria, extraída de $Bernoulli(\mu(a, x))$.

1. Función Objetivo

El objetivo principal es minimizar el MSE del estimador IPW $\hat{V}_{IPW}(\pi_t | \pi_l)$:
$$MSE = E[(\hat{V}_{IPW} - V(\pi_t))^2] = Sesgo^2 + Varianza$$
Los autores derivan explícitamente la descomposición sesgo-varianza como una función de la política de registro $\pi_l$. Establecen que, aunque el solapamiento (garantizar $\pi_l(a|x) > 0$ para todo $a$ donde $\pi_t(a|x) > 0$) elimina el sesgo, no necesariamente minimiza el MSE, especialmente cuando los tamaños de muestra son pequeños.

2. Regímenes Informativos

El artículo analiza las políticas de registro óptimas a través de un espectro de restricciones informativas, categorizadas por el conocimiento de la política objetivo ($\pi_t$) y la distribución de recompensas ($\mu$):

• $\pi_t$ desconocido y $\mu$ desconocido: En ausencia de información, la estrategia minimax óptima es la aleatorización uniforme. Esto se alinea con la intuición de que un prior no informativo es óptimo cuando el estimando es desconocido.
• $\mu$ conocido, $\pi_t$ desconocido: La política óptima asigna masa proporcional a $\frac{\mu(a,x)}{c + \mu(a,x)^2}$, priorizando acciones de alta recompensa mientras mantiene un margen de seguridad.
• $\mu$ desconocido, $\pi_t$ conocido: La estrategia óptima es registrar datos directamente bajo la propia política objetivo $\pi_t$.
• $\pi_t$ conocido y $\mu$ conocido: Este es el caso ideal. La política de registro óptima sigue una asignación de Neyman dirigida hacia la política objetivo:
  $$\pi_l^*(a|x) \propto \pi_t(a|x)\sqrt{\mu(a,x)}$$
  Esta solución pondera las acciones por el producto de la masa de la política objetivo y la raíz cuadrada de la probabilidad de recompensa.

3. Configuraciones Intermedias y Restricciones Prácticas

Reconociendo que la información perfecta rara vez está disponible, el artículo extiende el marco a configuraciones intermedias:

• Distribución sobre Políticas Objetivo: Cuando el objetivo exacto es desconocido pero se conoce una distribución $Pr(\pi_t)$, la política de registro óptima apunta a un "pseudo-objetivo de segundo momento" $\tilde{\pi}_t(a|x) = \sqrt{E[\pi_t(a|x)^2]}$.
• Estimaciones de Recompensa Ruidosas: Cuando $\mu$ se estima mediante un modelo $\hat{\mu}$ con ruido, introducir directamente $\hat{\mu}$ infla la varianza. Los autores proponen contracción posterior, reduciendo las estimaciones ruidosas hacia una media por contexto. Bajo un prior jerárquico gaussiano, se deriva el peso óptimo de contracción, lo que lleva a una interpretación de "Bayes empírico" donde el parámetro de contracción se estima a partir de datos retenidos.
• Clases Suave-Greedy: Para configuraciones donde los óptimos teóricos son inviables debido a restricciones de ingeniería u organizativas, el artículo propone tres clases de políticas indexadas por un parámetro de "codicia": Top-k, Softmax y Normalizado por Potencia. Estas clases interpolan entre la aleatorización uniforme y la selección determinista greedy, permitiendo a las empresas equilibrar el compromiso recompensa-cobertura mediante un único hiperparámetro.

Resultados Clave

1. Optimalidad del Registro Modificado: En el caso donde tanto $\pi_t$ como $\mu$ son conocidos, la política de registro óptima $\pi_l^*$ (asignación de Neyman) produce un MSE menor para la estimación IPW que ejecutar la política objetivo $\pi_t$ directamente (evaluación en política). Además, $\pi_l^*$ acumula una recompensa esperada mayor durante el período de registro que el propio $\pi_t$. Esto demuestra que la OPE optimizada puede mejorar simultáneamente la precisión estadística y la experiencia del usuario en comparación con las pruebas A/B en vivo.
2. Compromiso Recompensa-Cobertura: El artículo formaliza que el registro óptimo rara vez es idéntico a la política objetivo. Incluso si la política objetivo es conocida, la política de registro debe equilibrar el muestreo de elementos de alta recompensa (para reducir la varianza de la recompensa) frente al muestreo de elementos que la política objetivo selecciona (para reducir la varianza de muestreo).
3. Impacto del Ruido: Utilizar predicciones de recompensa ruidosas sin contracción conduce a políticas de registro subóptimas que pueden rendir peor que la aleatorización uniforme. La contracción posterior mitiga significativamente este riesgo, a menudo permitiendo que el registro optimizado supere la evaluación en política incluso con modelos de recompensa imperfectos.
4. Rendimiento de Heurísticas: Las simulaciones muestran que políticas "suave-greedy" simples (específicamente Top-k y Normalizado por Potencia) pueden acercarse al MSE del óptimo teórico. En regímenes de muestra pequeña, truncar intencionalmente el soporte de acción (inducir un ligero sesgo) puede reducir el MSE general en comparación con políticas que imponen un solapamiento estricto.

Significado y Contribuciones

El artículo afirma proporcionar un marco unificador para el diseño de políticas de registro, superando heurísticas ad hoc o restricciones de seguridad únicamente. Su significado radica en:

• Fundamentación Teórica: Conecta el diseño de políticas de registro con problemas clásicos en diseño experimental óptimo (asignación de Neyman) y muestreo de importancia, proporcionando soluciones óptimas tratables bajo diversas restricciones informativas.
• Orientación Accionable: Ofrece estrategias concretas para empresas que eligen entre sistemas candidatos, particularmente cuando la política objetivo es desconocida o las estimaciones de recompensa son ruidosas. Los métodos de contracción propuestos y las clases suave-greedy proporcionan herramientas prácticas para la implementación.
• Beneficio Dual: Cuestiona la noción de que la recopilación de datos para la evaluación debe sacrificar la experiencia del usuario. Los resultados muestran que las políticas de registro teóricamente óptimas pueden generar tanto evaluaciones offline más precisas como recompensas inmediatas más altas que las políticas que se están evaluando.
• Clarificación de Compromisos: Al caracterizar explícitamente el compromiso recompensa-cobertura y la descomposición sesgo-varianza en el contexto del diseño de registro, el artículo aclara cuándo y por qué son apropiadas diferentes estrategias de registro (por ejemplo, uniforme vs. greedy vs. Neyman).

Los autores concluyen que, aunque sus resultados teóricos se basan en supuestos (como el uso de IPW y un solapamiento débil), proporcionan una base principista para que las empresas mejoren sus esfuerzos de experimentación offline, reemplazando contramedidas conservadoras como la aleatorización uniforme con estrategias de registro optimizadas teóricamente y basadas en datos.