Resumen Técnico: Identificación del Mejor Brazo con Confianza Fija para el Análisis de Mediación Causal

1. Definición del Problema

Este artículo aborda el problema de la Identificación del Mejor Brazo (Best-Arm Identification, BAI) dentro de un entorno de bandidos causales, centrándose específicamente en el análisis de mediación causal.

• Contexto: En los bandidos causales estándar, el objetivo es típicamente maximizar la media intervencional $E[Y | do(X=x)]$, que agrega efectos a través de todas las rutas causales. Sin embargo, los investigadores a menudo desean aislar el efecto de un tratamiento $X$ sobre un resultado $Y$ que no pasa a través de un mediador específico $Z$ (por ejemplo, para excluir mecanismos poco éticos, sesgo de posicionamiento en anuncios o reacciones intermedias adversas).
• Objetivo: El artículo tiene como objetivo identificar el brazo $x^*$ que maximiza el Resultado Potencial Natural Directo Esperado (NDPO), definido como $E[Y_{x, Z_{x_0}}]$. Esta cantidad representa el resultado esperado si el tratamiento se establece en $x$ mientras el mediador $Z$ se mantiene en el valor que habría tomado bajo un brazo de referencia $x_0$.
• Entorno: El problema se formula en un entorno de confianza fija. Un aprendiz extrae brazos secuencialmente (intervenciones $do(X=x)$), observando muestras i.i.d. de la distribución intervencional $P(Z, Y | do(X=x))$. El objetivo es identificar el brazo óptimo con una probabilidad de al menos $1-\delta$ minimizando el tiempo de parada esperado (complejidad de muestreo).

2. Metodología

2.1 Identificación a Nivel de Población

Los autores establecen primero que el NDPO esperado es identificable a partir de las distribuciones intervencionales observables bajo un entorno de bandidos causales.

• Supuesto: Se apoyan en el supuesto estándar de identificación para los efectos naturales directos: $Y_{x,z} \perp\!\!\perp Z_{x'}$ para todo $x, x', z$. Gráficamente, esto corresponde a la ausencia de confusión no medida entre el mediador $Z$ y el resultado $Y$ en el grafo donde se eliminan las aristas salientes de $X$ y $Z$.
• Fórmula de Identificación: Bajo este supuesto, el NDPO esperado $\theta(x)$ se identifica como:
  $$\theta(x) = \sum_{y,z} y P(Y=y | Z=z, do(X=x)) P(Z=z | do(X=x_0))$$
  Esta formulación permite la estimación utilizando únicamente las distribuciones intervencionales conjuntas $P(Z, Y | do(X=x))$y$P(Z | do(X=x_0))$, evitando la necesidad de contrafácticos anidados que no son directamente observables en el entorno de bandidos.

2.2 Límite Inferior de Complejidad de Muestreo

El artículo deriva un límite inferior dependiente de la instancia para la complejidad de muestreo de cualquier algoritmo $\delta$-correcto.

• Diferencia Clave con el BAI Estándar: A diferencia del BAI estándar donde el objetivo depende solo de la propia distribución del brazo, el NDPO acopla la distribución del resultado bajo el brazo $x$ con la distribución del mediador bajo el brazo base $x_0$.
• Estructura de Complejidad: El límite inferior involucra un problema de optimización semi-infinito. El tiempo característico $T^*(P)$ se define como:
  $$(T^*(P))^{-1} = \sup_{w \in \Sigma_K} \inf_{Q \in \text{Alt}(P)} \sum_{x \in \mathcal{X}} w_x KL(P_x \| Q_x)$$
  donde $\text{Alt}(P)$ es el conjunto de modelos alternativos donde un brazo diferente es el óptimo. La restricción que define a $\text{Alt}(P)$ es no separable porque la distribución del mediador base $Q_{x_0}(Z)$ aparece en el objetivo para cada brazo, creando un acoplamiento entre brazos que no existe en el BAI clásico.

2.3 Algoritmo Propuesto: TaS-NDPO

Los autores proponen TaS-NDPO, un algoritmo de Seguimiento y Parada (Track-and-Stop, TaS) adaptado para este objetivo específico. El algoritmo consta de tres componentes principales:

1. Estimación por Sustitución (Plug-in Estimation): Se utilizan estimaciones empíricas de las distribuciones intervencionales para calcular estimaciones por sustitución de $\theta(x)$.
2. Regla de Muestreo (D-tracking con Forzado):
   • D-tracking: El algoritmo rastrea las proporciones de muestreo óptimas $w^*$ derivadas del límite inferior.
   • Cobertura de Competidores: Para manejar las restricciones no separables, el algoritmo asegura que cada brazo sea seleccionado como un "competidor" en el problema de optimización con la frecuencia suficiente.
   • Forzado a Nivel de Celda: Crucialmente, el algoritmo fuerza la exploración al nivel de celda $(x, z)$ (combinaciones de valor de brazo y mediador). Esto es necesario porque la divergencia KL se descompone en términos ponderados por las probabilidades del mediador; los valores raros del mediador deben ser muestreados lo suficiente para asegurar una estimación consistente de las probabilidades condicionales del resultado $P(Y|Z, do(X))$.
3. Regla de Parada (GLRT): El algoritmo se detiene cuando el estadístico de la Prueba de Razón de Verosimilitud Generalizada (GLRT) supera un umbral $\beta(t, \delta)$. El estadístico mide la divergencia KL mínima hacia cualquier modelo alternativo donde un brazo subóptimo parezca mejor que el actual mejor brazo.
4. Solucionador de Optimización: Resolver el minimizador interno en la regla de muestreo y la regla de parada implica un problema de optimización semi-infinito. Los autores emplean un método de conjunto de corte (Mutaplic y Boyd, 2009) combinado con una reducción a tres brazos (el base, el actual mejor y un competidor) y un esquema de minimización alternante para resolver los subproblemas bi-convexos resultantes.

3. Contribuciones Clave

1. Formulación del Problema: El artículo define y estudia formalmente el problema de BAI para maximizar el NDPO esperado, una cantidad relevante para aislar efectos causales directos en presencia de mediadores.
2. Identificación en Bandidos: Establece la identificación del NDPO esperado utilizando únicamente distribuciones intervencionales disponibles en un entorno de bandidos causales, uniendo la teoría de inferencia causal con la toma de decisiones secuencial.
3. Límites Teóricos: Deriva un nuevo límite inferior de complejidad de muestreo que resalta los desafíos únicos de la optimización de NDPO, específicamente el acoplamiento de brazos a través de la distribución del mediador base y la necesidad de acumulación de información a nivel de celda.
4. Diseño de Algoritmo: Introduce TaS-NDPO, un algoritmo novedoso que:
   • Utiliza un método de conjunto de corte para resolver la compleja optimización semi-finita requerida para las proporciones de muestreo óptimas.
   • Incorpora forzado a nivel de celda para asegurar la consistencia en regímenes de escasez de mediadores.
   • Demuestra la $\delta$-corrección (corrección garantizada con probabilidad $1-\delta$) y la optimalidad asintótica (alcanzar el límite inferior en la complejidad de muestreo cuando $\delta \to 0$).

4. Resultados Experimentales

Los autores evaluaron TaS-NDPO tanto con datos sintéticos como con un conjunto de datos de publicidad a gran escala (IPinYou).

• Validación en el Mundo Real (IPinYou):
  • El conjunto de datos implicaba la selección de creatividades de anuncios ($X$) para maximizar los clics ($Y$), con la visibilidad del espacio publicitario ($Z$) como el mediador.
  • Divergencia de Decisión: El brazo que maximiza la media intervencional estándar era diferente del que maximiza el NDPO. La media estándar favorecía una creatividad que aparecía frecuentemente en los espacios superiores (efecto mediado), mientras que el brazo óptimo de NDPO era diferente.
  • Rendimiento: TaS-NDPO logró un tiempo de parada mediano de 12,928 muestras, aproximadamente un 50% más eficiente que la variante a nivel de brazo (25,856 muestras), y superó significativamente al muestreo uniforme y a un enfoque de base primero. Todos los métodos mantuvieron tasas de error empírico de cero en $\delta=0.05$.
• Experimentos Sintéticos:
  • Escalamiento de la Brecha (Gap Scaling): Los resultados confirmaron el escalamiento $1/\Delta^2$ de la complejidad de muestreo predicho por el límite inferior.
  • Escasez del Mediador: La ventaja del forzado a nivel de celda fue más pronunciada en entornos con celdas mediador-resultado raras (regímenes dispersos), donde el forzado a nivel de brazo falló en acumular información suficiente.
  • Tiempo de Ejecución: La sobrecarga computacional de la optimización del conjunto de corte fue moderada (promedio de 22.5 segundos por ejecución para hasta 100k muestras), no constituyendo un cuello de botella comparado con las ganancias en eficiencia de muestreo.

5. Significado y Reivindicaciones

El artículo afirma que TaS-NDPO proporciona una solución teóricamente fundamentada y empíricamente eficiente para identificar tratamientos que maximizan los efectos causales directos mientras se excluyen las rutas mediadas.

• Significancia Teórica: Extiende el marco de Track-and-Stop a entornos causales con contrafácticos anidados, demostrando que la optimalidad asintótica es alcanzable incluso cuando la función objetivo acopla distribuciones entre diferentes brazos (a través del mediador base).
• Significancia Práctica: Al aislar los efectos directos, el método permite la toma de decisiones que evita mecanismos indeseables (por ejemplo, clickbait, efectos secundarios adversos o posicionamiento poco ético) que de otro modo podrían ser favorecidos por los enfoques estándar de maximización de la media.
• Modestia: Los autores reconocen que su marco actual se centra en resultados binarios y una estructura de grafo causal específica (Mediador entre Tratamiento y Resultado). Señalan que extenderse a resultados de múltiples categorías es directo, pero generalizar a estructuras causales más amplias con efectos específicos de ruta sigue siendo una dirección para trabajos futuros. También aclaran que la identificación depende de la plausibilidad del grafo causal subyacente (específicamente la ausencia de confusión no medida entre $Z$ y $Y$), lo cual es un supuesto estándar pero no testeable en la inferencia causal.