Resumen Técnico: CANDOR – Evaluación Robusta Doblemente de Políticas Fuera de Política con Anotaciones Contrafactuales

Enunciado del Problema

La evaluación de políticas fuera de política (OPE, por sus siglas en inglés) es esencial para desplegar de forma segura algoritmos de bandas contextuales en dominios de alto riesgo como la atención sanitaria, donde las nuevas políticas de tratamiento deben evaluarse utilizando datos retrospectivos antes de su implementación en el mundo real. Sin embargo, las técnicas estándar de OPE están fundamentalmente limitadas por la cobertura del conjunto de datos de comportamiento disponible. Si los datos históricos carecen de observaciones para ciertos pares estado-acción (por ejemplo, un nuevo medicamento nunca recetado), los métodos de OPE no pueden estimar de manera fiable el valor de una política que recomiende dichas acciones.

Los enfoques recientes, como el estimador IS+, intentan mitigar esto aumentando los conjuntos de datos de comportamiento con muestras contrafactuales anotadas por expertos (recompensas predichas para acciones no observadas). Sin embargo, estos métodos suelen asumir que las anotaciones son perfectas. En la práctica, las anotaciones de expertos (o las generadas por Modelos de Lenguaje Grandes) a menudo son imperfectas, conteniendo sesgos o ruido. Incorporar ingenuamente dichas anotaciones imperfectas en estimadores existentes puede degradar el rendimiento, dando lugar en ocasiones a resultados peores que ignorar las anotaciones por completo. El desafío central abordado por este trabajo es determinar cómo integrar anotaciones contrafactuales imperfectas en los estimadores de OPE sin compounding errores, particularmente en presencia de modelos de recompensa mal especificados.

Metodología

Los autores proponen una familia de estimadores de OPE fundamentada en el marco Doblemente Robusto (DR), que combina el Muestreo por Importancia (IS) y un modelo de recompensa de Método Directo (DM). Se elige el marco DR por su garantía teórica de imparcialidad si se especifican correctamente ya sea las puntuaciones de propensión (IS) o el modelo de recompensa (DM).

El artículo investiga tres estrategias específicas para incorporar anotaciones contrafactuales ($g_i$) en el estimador DR, definidas por cómo se utilizan las anotaciones en los componentes DM e IS:

1. DM+-IS: El modelo de recompensa ($\hat{R}^+$) se entrena en el conjunto de datos aumentado (factual + contrafactual), pero el componente IS utiliza únicamente los datos factuales originales y las puntuaciones de propensión estándar.
   $$\hat{V}_{DM^+-IS} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \rho_{s_i}(a_i)(r_i - \hat{R}^+(s_i, a_i)) \right)$$
2. DM-IS+: El modelo de recompensa ($\hat{R}$) se entrena solo con datos factuales, mientras que el componente IS se aumenta utilizando las anotaciones contrafactuales con reponderación (similar al enfoque IS+).
   $$\hat{V}_{DM-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}(s_i, a)) \right)$$
3. DM+-IS+: Tanto el modelo de recompensa como el componente IS utilizan el conjunto de datos aumentado.
   $$\hat{V}_{DM^+-IS^+} = \frac{1}{N} \sum_{i=1}^N \left( \hat{R}^+(s_i, \pi_e) + \sum_{a \in A} w_i^a \rho^+_{s_i}(a)(c_i^a - \hat{R}^+(s_i, a)) \right)$$

Análisis Teórico

Los autores proporcionan un análisis riguroso de sesgo-varianza bajo tres regímenes de anotación:

• Anotaciones Perfectas: Los tres estimadores son imparciales.
• Anotaciones Sesgadas: Los autores demuestran que DM+-IS permanece como un estimador imparcial del valor de la política objetivo, incluso cuando las anotaciones están sesgadas sistemáticamente. Por el contrario, DM-IS+ y DM+-IS+ introducen un término de sesgo proporcional al error de anotación ($\epsilon_G$), haciéndolos susceptibles a la degradación del rendimiento.
• Anotaciones Ruidosas: Aunque todos los estimadores experimentan un aumento de la varianza debido al ruido de las anotaciones, la derivación teórica muestra que DM+-IS aísla el impacto de la varianza en la estimación del modelo de recompensa, mientras que los otros métodos compounding el ruido a través del término IS reponderado.

Resultados Experimentales

Los métodos propuestos fueron evaluados en tres dominios:

1. Heartsteps: Un simulador semi-sintético de salud móvil para intervenciones de actividad física.
2. Sepsis: Un simulador semi-sintético para el tratamiento de sepsis (adaptado de un entorno MDP a una banda contextual).
3. MIMIC-IV: Un conjunto de datos reales de registros electrónicos de salud (EHR) centrado en la reposición intravenosa de potasio. Las anotaciones contrafactuales para este conjunto de datos se generaron utilizando el modelo "o1" de OpenAI.

Hallazgos Clave:

• Robustez ante Sesgos: En escenarios con anotaciones sesgadas, DM+-IS logró consistentemente el menor Error Cuadrático Medio (RMSE). El RMSE de DM+-IS se mantuvo estable a medida que aumentaba el sesgo de las anotaciones, mientras que DM-IS+ y DM+-IS+ mostraron una degradación significativa del rendimiento.
• Robustez ante Malas Especificaciones: Cuando se combinó con modelos de recompensa mal especificados (un escenario común en el mundo real), DM+-IS permaneció como el estimador más robusto. Aprovechó eficazmente los datos contrafactuales para mejorar la cobertura sin heredar el sesgo de las anotaciones.
• Rendimiento en el Mundo Real: En el conjunto de datos MIMIC-IV, DM+-IS superó a todos los puntos de referencia (incluidos IS estándar, DM, DR y variantes aumentadas con anotaciones) a través de números variables de anotaciones contrafactuales. Cabe destacar que, a medida que aumentaba el número de anotaciones, el rendimiento de DM+-IS mejoró y luego se estabilizó, mientras que otros estimadores (como IS+ y DM-IS+) vieron aumentar sus tasas de error o mantenerse altas.
• Calidad de las Anotaciones: Los experimentos demostraron que el sesgo de las anotaciones tiene un impacto negativo mucho mayor en el rendimiento del estimador que la varianza (ruido) de las anotaciones.

Significado y Contribuciones

El artículo realiza las siguientes contribuciones:

1. Familia Novel de Estimadores: Introduce y analiza teóricamente una familia de estimadores inspirados en DR diseñados específicamente para manejar anotaciones contrafactuales imperfectas.
2. Perspectiva Teórica: Identifica que incorporar anotaciones contrafactuales solo en el componente de Método Directo (DM) (la estrategia DM+-IS) es el enfoque óptimo. Esta estrategia preserva la imparcialidad del estimador incluso cuando las anotaciones están sesgadas, una propiedad que no comparten los métodos que aumentan el componente IS.
3. Validación Empírica: A través de extensos experimentos en datos sintéticos, semi-sintéticos y reales de atención sanitaria, los autores demuestran que DM+-IS es la opción más robusta para la evaluación de políticas cuando tanto la precisión del modelo de recompensa como la calidad de las anotaciones son desconocidas.

Conclusión

Este trabajo aborda la brecha crítica entre la promesa teórica del aumento de datos contrafactuales y la realidad práctica de las anotaciones imperfectas. Al proponer el estimador DM+-IS, los autores ofrecen un método que amplía la aplicabilidad de la OPE en entornos de alto riesgo como la atención sanitaria. Este enfoque permite a los profesionales utilizar de forma segura anotaciones imperfectas generadas por expertos o IA para evaluar políticas para acciones no bien cubiertas en los datos históricos, sin arriesgar la introducción de un sesgo sistemático que podría conducir a un despliegue de políticas inseguras. El artículo concluye que, bajo condiciones realistas donde la calidad de las anotaciones es desconocida, DM+-IS ofrece el camino más fiable hacia adelante para la evaluación de políticas fuera de política.