Resumen Técnico: ¿Cuándo se puede confiar en la evaluación offline de la asignación de top-$k$ de costo igual?

Planteamiento del Problema

Las organizaciones se enfrentan rutinariamente a problemas de asignación con restricciones presupuestarias, como la selección del top $k$ de una fracción de clientes para una oferta de retención o de pacientes para un tratamiento, basándose en efectos de tratamiento estimados. Antes de desplegar una nueva política determinista de "top-$k$" ($\pi_e$), los profesionales dependen de la Evaluación Off-Policy (OPE) utilizando datos registrados de una política previa ($\pi_b$) para estimar el valor de la política.

La dificultad central surge de la naturaleza determinista de la política objetivo. A diferencia de las políticas estocásticas, una regla determinista de top-$k$ asigna una probabilidad 1 a una única acción y 0 a las demás. Esto elimina el promedio sobre las acciones, provocando que los pesos de importancia ($w = \pi_e(a|x)/\pi_b(a|x)$) se vuelvan extremos (0 o $1/\pi_b$) allí donde el registrador tomó raramente la acción que la meta demanda. Mientras que la literatura estándar de OPE aborda la superposición débil en entornos estocásticos, este artículo investiga si la evaluación offline sigue siendo confiable cuando el objetivo es una política de top-$k$ determinista, específicamente bajo pesos acotados (propensiones con un suelo de 0.02).

Metodología

El autor construye un benchmark controlado y reproducible para evaluar seis estimadores (DM, IPS, SNIPS, DR, Switch-DR, mIPS) a través de cinco conjuntos de datos y dos barridos de endurecimiento de efectos conocidos.

• Conjuntos de Datos: El estudio utiliza cinco conjuntos de datos que abarcan tres regímenes:
  1. Sintético: Resultados potenciales conocidos ($\mu_0, \mu_1$) con efectos ajustables, proporcionando una verdad de terreno exacta.
  2. Semi-sintético: IHDP (resultado continuo, efectos conocidos) y Jobs (resultado binario, subconjunto aleatorizado).
  3. RCT Reales: Experimentos de marketing de Hillstrom y Lenta con probabilidades de tratamiento constantes conocidas.
  4. Capa de Endurecimiento: Seis Procesos Generadores de Datos (DGP) de estilo ACIC-2017 sobre covariables reales de IHDP para probar la robustez a través de superficies de respuesta.
• Diseño de Registro: El feedback registrado se sintetiza mediante muestreo de rechazo de un ensayo aleatorizado o una propensión conocida. La política de registro es un softmax escalado por temperatura sobre una puntuación candidata. Crucialmente, el papel varía la alineación entre el registrador y el objetivo:
  • Auto-alineado: El registrador construido a partir de la propia puntuación del objetivo (pero no de su umbral específico de top-$k$).
  • Desalineado: El registrador construido a partir de la puntuación de un candidato diferente.
  • Independiente: El registrador construido a partir de una puntuación independiente del candidato.
• Protocolo de Evaluación: Cada estimación se empareja con un valor de referencia explícito. Para los datos sintéticos/IHDP, este es el valor real exacto. Para los ensayos aleatorizados, es una estimación ruidosa de Horvitz–Thompson. El estudio separa explícitamente estos tipos de referencia para evitar la confusión entre el error del estimador y el ruido de la referencia.
• Variables Clave: El estudio realiza barridos sobre la temperatura de registro ($\tau$), el presupuesto ($k$) y las políticas candidatas (T-learner, S-learner, línea base aleatoria). También prueba el impacto de las propensiones estimadas ($\hat{\pi}_b$) frente a las propensiones exactas ($\pi_b$) y la calidad del modelo de resultados ($\hat{\mu}$).

Contribuciones Clave

1. La superposición está gobernada por la alineación de acciones, no por la nitidez del registro

El artículo corrige un error común de que "afinar" una política de registro (bajando la temperatura $\tau$) mejora inherentemente la superposición para objetivos deterministas.

• Hallazgo: Para un objetivo de top-$k$ determinista, la superposición está determinada por la probabilidad del registrador de las acciones específicas que el objetivo selecciona, no por la nitidez de la distribución de la puntuación.
• Mecanismo: Si un registrador está "alineado con la puntuación" (centrado en la media de la puntuación) pero el objetivo corta en un umbral de presupuesto, afinar el registrador simplemente concentra la masa lejos de las acciones del objetivo, colapsando el Tamaño de la Muestra Efectiva (ESS). Por el contrario, un registrador "alineado con la acción" (centrado en el punto de corte) se afina hacia un soporte completo.
• Diagnóstico: El ESS y la deficiencia de soporte pueden clasificar el riesgo entre diferentes entornos de registro (por ejemplo, elegir entre logs), pero son débiles para clasificar candidatos dentro de un mismo log fijo.

2. La maldición del optimizador y las estrategias de división

El artículo aborda la "maldición del optimizador", donde una política aprendida con los mismos datos utilizados para la evaluación presenta un sesgo optimista.

• Hallazgo: El cross-fitting únicamente del modelo de molestia de resultados (manteniendo la política congelada) no elimina el sesgo de reutilización; de hecho, a menudo hace que el optimismo sea peor en comparación con la estimación de Doble Robustez (DR) simple.
• Razonamiento: El optimizador selecciona unidades con puntuaciones infladas debido al ruido de estimación. Un modelo de molestia "honesto" (fuera de la muestra) no logra reducir estos residuales, reintroduciendo el optimismo.
• Solución: Se requiere una división a nivel de política "honesta" (re-aprender la política con datos fuera de la muestra y evaluar en folds retenidos) para eliminar el sesgo de reutilización. Esto apunta al valor del procedimiento de aprendizaje en lugar de la política específica de muestra completa, cambiando el estimando pero proporcionando una evaluación válida del proceso de despliegue.

3. El error de estimación de la propensión es el modo de fallo dominante

Reemplazar las propensiones exactas con propensiones estimadas ($\hat{\pi}_b$) causa la mayor degradación del rendimiento.

• Hallazgo: Para el IPS (Inverse Propensity Scoring), el error de estimación aumenta las tasas de fallo (sesgo relativo > 10%) del ~6% al 37–63%.
• Inversión de Diagnósticos: Un mal modelo de propensión puede invertir el diagnóstico de ESS. Si la propensión estimada es casi constante, no aporta información de dispersión, lo que causa que el ESS estimado colapse hacia la cobertura. Esto genera puntuaciones de ESS altas en regiones donde la propensión real es extrema (alto riesgo), haciendo que el diagnóstico sea activamente engañoso.
• Robustez: Los estimadores de Doble Robustez (DR) se mantienen estables bajo el error de estimación de la propensión porque el término del modelo de resultados absorbe el error.

Resultados

• Precisión del Estimador (RQ1): Los estimadores basados en modelos (DM, DR) generalmente superan a los estimadores de ponderación pura (IPS, SNIPS) en conjuntos de datos de valor exacto, mostrando DR la mayor estabilidad. En conjuntos de datos con referencias ruidosas (RCT), la brecha de rendimiento se comprime y las clasificaciones se vuelven poco fiables debido al ruido de la referencia.
• Diagnósticos de Superposición (RQ2): El riesgo de superposición débil es clasificable entre entornos de registro usando ESS, siempre que exista un modelo de propensión creíble. Sin embargo, dentro de un solo log, el ESS no puede clasificar de forma fiable qué política candidata es segura para el despliegue.
• Selección de Políticas (RQ4): Al seleccionar entre candidatos, utilizar un "log común" (un único log histórico para todos los candidatos) es esencial. Utilizar logs específicos para cada candidato (donde cada política se evalúa en un log alineado con ella misma) confunde la selección al comparar pares de política-registrador en lugar de políticas. El IPS tiende a sobre-seleccionar candidatos que son más fáciles de evaluar (menor varianza), no necesariamente los mejores.
• Verificación No Simulada: Una verificación en el conjunto de datos "Twins" (resultados pareados reales) confirmó que los mecanismos (efectos de alineación, signos de cross-fitting) se replican, aunque los puntos de corte calibrados no se transfieren directamente.

Significado y Reclamaciones

El artículo afirma proporcionar una guía operativa para profesionales, enfatizando que la evaluación offline de políticas de top-$k$ deterministas es altamente sensible a la alineación entre el registrador y el objetivo.

• Guía Práctica:
  1. Verificar la Alineación: Antes de confiar en una estimación ponderada por importancia, verifique si la política del registrador está ampliamente de acuerdo con las acciones del objetivo.
  2. Usar DR ante la Incertidumbre: La estimación de Doble Robustez es la opción más segura cuando la adecuación del modelo de resultados es incierta o cuando se requiere la estimación de la propensión.
  3. División Honesta: Para evitar la maldición del optimizador, utilice la división a nivel de política en lugar de solo el cross-fitting de las molestias.
  4. Logs Compartidos para la Selección: Al comparar múltiples políticas candidatas, evalúelas todas en un único log histórico compartido para evitar el sesgo de selección.
• Limitaciones: El estudio se limita a la asignación de top-$k$ de acción binaria y costo igual. Los hallazgos sobre los puntos de corte son específicos de las distribuciones de datos del benchmark y no se transfieren directamente a otros dominios sin recalibración. El artículo establece explícitamente que no resuelve el problema de estimar las propensiones a partir de datos observacionales, sino que destaca el severo coste de hacerlo de forma deficiente.

El artículo concluye que, si bien la OPE es una herramienta necesaria para la asignación con restricciones presupuestarias, su fiabilidad es condicional a decisiones de diseño específicas (alineación del registrador, modelado de la propensión y estrategias de división) que a menudo se pasan por alto en la práctica estándar.