Resumen Técnico: Evaluación y Aprendizaje Fuera de la Política Transdominio para Bandidos Contextuales

1. Formulación del Problema

El artículo aborda las limitaciones de los métodos existentes de Evaluación Fuera de la Política (OPE) y Aprendizaje Fuera de la Política (OPL) en bandidos contextuales cuando se enfrentan a tres escenarios específicos y desafiantes, prevalentes en aplicaciones del mundo real (por ejemplo, medicina personalizada, publicidad, educación):

1. Políticas de Registro Deterministas: La política de registro histórica selecciona una acción específica con probabilidad uno, sin dejar exploración estocástica.
2. Nuevas Acciones: Las acciones disponibles para la nueva política nunca fueron observadas en los datos registrados históricamente.
3. Datos de Pocos Ejemplos (Few-Shot): El dominio objetivo tiene datos registrados extremadamente limitados.

Los estimadores estándar como el de Puntuación de Propensión Inversa (IPS) y el Doblemente Robusto (DR) dependen del supuesto de Soporte Común (Condición 2.1), que requiere que cualquier acción tomada por la nueva política tenga una probabilidad no nula de ser tomada por la política de registro. Cuando este supuesto se viola (debido al determinismo o a nuevas acciones), estos estimadores sufren un sesgo severo porque carecen de información de recompensa para las acciones no exploradas. Además, los intentos ingenuos de mitigar esto mediante la agrupación de datos de múltiples dominios (por ejemplo, IPS-ALL) suelen introducir un sesgo sustancial al ignorar las diferencias en los Procesos Generadores de Datos (DGP) entre dominios.

Para resolver esto, los autores proponen una nueva formulación del problema: OPE/L Transdominio. En esta configuración, el objetivo es evaluar y optimizar una política en un dominio objetivo ($T$) aprovechando no solo los datos limitados registrados en $T$, sino también conjuntos de datos registrados históricos de múltiples dominios fuente ($S$). Estos dominios fuente pueden tener diferentes distribuciones de contexto, distribuciones de recompensa y políticas de registro, pero comparten el mismo espacio de acciones.

2. Metodología

2.1 Descomposición de la Función de Recompensa

El núcleo del método propuesto es una descomposición de la función de recompensa esperada $q_k(x, a)$ para cualquier dominio $k$ en dos componentes:
$$q_k(x, a) = \underbrace{g(x, a, \phi(k))}_{\text{Efecto de Clúster de Dominio}} + \underbrace{h(x, a, k)}_{\text{Efecto Específico del Dominio}}$$

• Efecto de Clúster de Dominio ($g$): Un componente común a los dominios dentro del mismo clúster $\phi(k)$. Esto captura efectos causales compartidos (por ejemplo, la eficacia general de un tratamiento en hospitales similares).
• Efecto Específico del Dominio ($h$): Un componente único para cada dominio específico $k$, que representa las desviaciones del promedio del clúster.

2.2 El Estimador COPE

Los autores proponen la Evaluación Fuera de la Política Transdominio (COPE), un estimador que aprovecha esta descomposición para manejar la deficiencia de soporte:

1. Estimación del Efecto de Clúster: Para el efecto de clúster de dominio $g$, COPE aplica Ponderación de Importancia Múltiple (MIW) utilizando datos de todos los dominios dentro del clúster objetivo $\phi(T)$. Esto permite al estimador utilizar datos de exploración de dominios fuente para evaluar acciones no exploradas en el dominio objetivo, siempre que sean exploradas dentro del clúster.
2. Estimación del Efecto Específico: Para el efecto específico del dominio $h$, COPE utiliza Regresión de Recompensa ($\hat{q}_T$) entrenada exclusivamente con los datos registrados del dominio objetivo. Esto corrige las características únicas del dominio objetivo.

El estimador final COPE combina estas dos partes:
$$\hat{V}_{COPE}(\pi; D_{\phi(T)}) = \underbrace{\frac{1}{n_{\phi(T)}} \sum_{k \in \phi(T)} \sum_{i=1}^{n_k} \frac{\pi(a_i^k|x_i^k)}{p_{\phi(T)}(a_i^k|x_i^k)}(r_i^k - \hat{q}_T(x_i^k, a_i^k))}_{\text{MIW en Datos del Clúster}} + \underbrace{\frac{1}{n_T} \sum_{i=1}^{n_T} \sum_{a \in A} \pi(a|x_i^T)\hat{q}_T(x_i^T, a)}_{\text{Regresión en Datos del Objetivo}}$$
Aquí, $p_{\phi(T)}(a|x)$ es la distribución conjunta de contexto y acción promediada sobre el clúster objetivo, sirviendo como el denominador para los pesos de importancia.

2.3 Extensión al Aprendizaje de Políticas (COPE-PG)

El marco se extiende al Aprendizaje Fuera de la Política (OPL) mediante la derivación de un estimador de gradiente de política (COPE-PG). Este estimador utiliza la misma descomposición para actualizar los parámetros de la política $\theta$, permitiendo el aprendizaje de políticas que seleccionan nuevas acciones o manejan escenarios de registro determinista aprovechando los gradientes de los dominios fuente.

2.4 Propiedades Teóricas

• Condición de Soporte Relajada: El método depende del Soporte de Clúster Común (Condición 3.1), que se cumple si la política de registro tiene soporte común dentro del clúster de dominios, no necesariamente dentro del dominio objetivo por sí solo. Esto permite la evaluación incluso cuando la política de registro del dominio objetivo es determinista o existen nuevas acciones, siempre que el clúster contenga datos de exploración.
• Análisis de Sesgo: El sesgo de COPE se caracteriza por la diferencia entre el promedio ponderado de los errores de regresión en el clúster y el error en el dominio objetivo. Bajo la condición de Corrección Pareada Condicional (CPC) (donde el modelo de regresión preserva con precisión las diferencias relativas de recompensa entre los domas en el clúster y el objetivo), se demuestra que COPE es insesgado.
• Generalización: Se demuestra que COPE es una generalización estricta de los estimadores existentes. Si el tamaño del clúster es 1 (solo el dominio objetivo), se reduce al DR estándar. Si el tamaño del clúster incluye todos los dominios, se aproxima a DR-ALL (aunque con ajustes de sesgo).

3. Contribuciones Clave

1. Formulación del Problema: Introducción de OPE/L Transdominio, un nuevo escenario que utiliza datos de dominios fuente para resolver los desafíos de OPE/L (registro determinista, nuevas acciones, datos de pocos ejemplos) en el dominio objetivo.
2. Nuevo Estimador (COPE): Un estimador novedoso basado en la descomposición de la función de recompensa (efectos de clúster vs. específicos) y ponderación de importancia múltiple. Teóricamente logra la insesgadez bajo condiciones más leves que los IPS/DR estándar.
3. Extensión de Gradiente de Política: Desarrollo de COPE-PG, que permite el aprendizaje de políticas en escenarios donde los estimadores de gradiente tradicionales fallan debido a la falta de exploración.
4. Validación Empírica: Experimentos exhaustivos en un conjunto de datos de recomendación del mundo real (KuaiRec) y datos sintéticos demostrando un rendimiento superior en el Error Cuadrático Medio (MSE), reducción de sesgo y optimización del valor de la política en comparación con las líneas base (IPS, DR y sus variantes "ALL" de dominio).

4. Resultados Experimentales

Los autores evaluaron COPE y COPE-PG frente a las líneas base (IPS(T), DR(T), DM(T), IPS-ALL, DR-ALL, DM-ALL) bajo diversas condiciones:

• Nuevas Acciones: A medida que aumentaba la proporción de nuevas acciones en el dominio objetivo, COPE mantenía un sesgo y MSE bajos, mientras que los métodos de solo el objetivo (IPS(T), DR(T)) sufrían un alto sesgo, y los métodos de agrupación ingenua (IPS-ALL) fallaban debido a los desajustes de DGP.
• Registro Determinista: Cuando una gran parte de los usuarios en el dominio objetivo tenían políticas de registro deterministas, COPE se mantuvo robusto con un sesgo bajo, mientras que los métodos estándar exhibieron un aumento rápido del sesgo.
• Datos de Pocos Ejemplos (Few-Shot): En regímenes de pocos datos (por ejemplo, 1 punto de datos por acción), COPE superó significativamente a la mejor línea base (DM), logrando una reducción de 6.79x en el MSE en un escenario.
• Rendimiento de OPL: COPE-PG aprendió con éxito políticas que seleccionaban nuevas acciones de alta recompensa, una capacidad ausente en los métodos de solo el objetivo. Mantuvo valores de política altos incluso a medida que aumentaba el grado de registro determinista.
• Sensibilidad de Hiperparámetros: El método mostró robustez al tamaño del clúster objetivo $|\phi(T)|$, funcionando bien en un rango de tamaños de clúster, aunque tamaños moderados (por ejemplo, 6-8) arrojaron resultados óptimos.

5. Significado y Pretensiones

El artículo sostiene que los métodos de OPE/L existentes están fundamentalmente limitados por el supuesto de soporte común, lo que los hace ineficaces en escenarios realistas que involucran registro determinista, nuevas acciones o datos escasos. Al formular el problema como OPE/L Transdominio, los autores proporcionan una solución práctica que aprovecha la abundancia de datos históricos disponibles en dominios relacionados (por ejemplo, otros hospitales, países o segmentos de usuarios).

La importancia de este trabajo radica en su capacidad para:

• Permitir la evaluación y el aprendizaje seguros de nuevas políticas en entornos de alto riesgo donde las pruebas A/B en línea son riesgosas o imposibles.
• Superar la compensación entre "varianza vs. sesgo" en entornos de pocos ejemplos, transfiriendo información de exploración de dominios fuente sin introducir el sesgo asociado con la agrupación ingenua de datos.
• Ofrecer un enfoque teóricamente fundamentado (mediante la descomposición de la recompensa y MIW) que garantiza analíticamente la insesgadez bajo condiciones donde los métodos estándar fallan.

Los autores concluyen que, si bien su agrupación de dominios actual depende de heurísticas (recompensas promedio empíricas), el marco abre una nueva dirección para la investigación en la transferencia transdominio fundamentada en problemas de bandidos, específicamente dirigida a los problemas no resueltos de registro determinista y nuevas acciones.