Resumen Técnico: Aprendizaje de Políticas Adaptativas bajo Interferencia de Red Desconocida

Planteamiento del Problema

En muchos entornos experimentales, el resultado de una unidad depende no solo de su propio tratamiento, sino también de los tratamientos asignados a sus vecinos dentro de una red subyacente. Este fenómeno, conocido como interferencia o derrame, viola la Suposición de Valor de Tratamiento Estable para Unidades Estables (SUTVA). Si bien la literatura de inferencia causal ha desarrollado métodos robustos para experimentos estáticos bajo interferencia (por ejemplo, Sussman y Airoldi, 2017; Aronow y Samii, 2017), estos enfoques suelen asumir que la red de interferencia es conocida o dependen de aleatorizaciones gruesas a nivel de conglomerados.

Los métodos existentes de experimentación adaptativa (secuencial) enfrentan limitaciones significativas:

1. Suposición de Red Conocida: Métodos escalables como Gleich et al. (2025) asumen que la estructura de la red está completamente observada, lo cual es poco realista en muchas aplicaciones donde los lazos sociales o conductuales son latentes.
2. Problemas de Escalabilidad: Los métodos que intentan aprender la estructura de la red, como Agarwal et al. (2024), dependen del análisis de Fourier sobre todas las configuraciones posibles de vecinos, lo que resulta en conteos de parámetros exponenciales en el tamaño del vecindario. Estos métodos no escalan más allá de aproximadamente $n \approx 12$ unidades.
3. Pérdida de Granularidad: Otros diseños adaptativos (por ejemplo, Viviano y Rudder, 2024) operan sobre conglomerados predefinidos, evitando la optimización a nivel individual y fallando en recuperar la propia red de interferencia.

El desafío central abordado por este artículo es aprender conjuntamente la red de interferencia desconocida y optimizar las asignaciones de tratamiento a nivel individual en un entorno secuencial para maximizar los resultados acumulativos (por ejemplo, ingresos, métricas de salud).

Metodología

Los autores proponen un marco de Muestreo Thompson (TS) que infiere conjuntamente la red de interferencia y los parámetros de recompensa utilizando un muestreador de Gibbs.

1. Configuración del Modelo

• Entorno: Asignación secuencial de tratamientos binarios $Z_t \in \{0, 1\}^n$ a $n$ unidades durante $T$ rondas, sujeto a una restricción de presupuesto $\|Z_t\|_1 \le B$.
• Suposición de Interferencia de Vecindad (NIA): El resultado de la unidad $i$ depende solo de su propio tratamiento y de los tratamientos de sus vecinos definidos por una matriz de adyacencia desconocida $A$.
• Modelo de Recompensa: El resultado esperado es lineal en un vector de parámetros $\theta$, es decir, $r(Z; A, \theta) = H(Z; A)\theta$. La matriz de diseño $H$ depende de la red $A$.

2. Muestreo Posterior Conjunto vía Gibbs

Dado que la verosimilitud es no lineal en $A$ (debido a los conteos de vecinos), no está disponible una posterior en forma cerrada. Los autores emplean un muestreador de Gibbs por aristas para obtener muestras conjuntas aproximadas de la posterior $\pi(\theta, A | \mathcal{D}_{t-1})$:

• Actualización de Parámetros ($\theta | A$): Con $A$ fijo, el modelo se reduce a una regresión gaussiana conjugada estándar. La posterior para $\theta$ es gaussiana.
• Actualización de Aristas ($A | \theta$): Con $\theta$ fijo, el muestreador recorre todas las aristas $(i, j)$. La condicional completa para la arista $A_{ij}$ depende únicamente de las corrientes de recompensa de los nodos $i$ y $j$. La regla de actualización se deriva mediante una transformación logit de la razón de verosimilitud, permitiendo un muestreo eficiente sin enumerar todas las $2^{\binom{n}{2}}$ configuraciones de grafos.

3. Algoritmo (Gibbs-TS)

En cada ronda $t$:

1. Realizar $K$ barridos de Gibbs para obtener una muestra conjunta aproximada $(\theta^{(t)}, A^{(t)})$.
2. Seleccionar el vector de tratamiento $Z_t$ que maximiza la recompensa total esperada muestreada: $Z_t = \arg\max_{Z: \|Z\|_1 \le B} \mathbf{1}^\top H(Z; A^{(t)}) \theta^{(t)}$.
3. Observar las recompensas y actualizar el historial $\mathcal{D}_t$.
4. Iniciar en caliente la cadena de Gibbs de la siguiente ronda con la muestra final de la ronda actual.

4. Variante Explorar-Después-Comprometer (ETC)

Para recompensas NIA generales donde no se cumple el colapso modular, los autores analizan una estrategia ETC:

• Fase 1: Tratar cada nodo en aislamiento durante $m$ rondas para estimar las probabilidades de arista basadas en los derrames observados.
• Fase 2: Ejecutar un algoritmo estándar de Muestreo Thompson (asumiendo que la red es conocida) utilizando el grafo estimado $\hat{A}$.

Contribuciones Clave

1. Marco de Aprendizaje Conjunto: El artículo formula el problema conjunto de recuperación de red y asignación adaptativa de tratamientos bajo NIA. Introduce un algoritmo de Muestreo Thompson que utiliza barridos de Gibbs por aristas para muestrear desde la posterior conjunta de la red y los parámetros de recompensa.
2. Inferencia Causal Posterior: La red estimada $\hat{A}$ no es meramente un subproducto, sino un entregable científico. Apoya la estimación post-experimento de efectos directos, indirectos y totales del tratamiento, así como el diseño de experimentos de seguimiento.
3. Límites Teóricos de Arrepentimiento:
   • Modelos de Derrame Aditivos: Para modelos donde la recompensa total es lineal en el vector de tratamiento con coeficientes de puntuación latentes (por ejemplo, lineal en medias), los autores prueban un límite de arrepentimiento bayesiano del orden $O(\sqrt{nT \cdot B \log(en/B)})$ para muestreo posterior exacto. Este límite depende de la dimensión de la puntuación latente $n$, no de la dimensión ambiental de $\theta$.
   • NIA General: Para recompensas generales, la variante ETC logra un límite de arrepentimiento con un costo de descubrimiento de grafo de $O(n^2 \log T)$.
   • Límite Inferior: Se establece un límite inferior teórico de información de $\Omega(n \log T)$, demostrando que cualquier algoritmo consistente debe pagar un costo lineal en $n$ por el descubrimiento de la red.
4. Escalabilidad: El método escala a redes con cientos de nodos (hasta $n=1000$ bajo lineal en medias), superando significativamente a los métodos existentes limitados a $n \approx 12$.

Resultados Empíricos

• Rendimiento de Arrepentimiento: En dos redes del mundo real (una red de hogares que prestan dinero con $n=63$ y una red de amistad escolar con $n=121$), el algoritmo Gibbs-TS logra un arrepentimiento sublineal. Si bien existe una brecha en comparación con un oráculo que conoce la red verdadera, el arrepentimiento es significativamente menor que el de las líneas base que ignoran la interferencia (las cuales sufren arrepentimiento lineal).
• Comparación con el Estado del Arte: En comparaciones directas en redes pequeñas ($n=8$) donde es factible Agarwal et al. (2024), Gibbs-TS logra una reducción de más de un orden de magnitud en el arrepentimiento (por ejemplo, arrepentimiento mediano de 141 frente a 1571 para Agarwal et al. bajo condiciones específicas).
• Recuperación de Red: El algoritmo recupera con éxito la red de interferencia con alta precisión (puntuaciones F1 > 0.98 en entornos sintéticos y 0.74 en entornos del mundo real).
• Estimación Posterior: Utilizando la red recuperada $\hat{A}$, el artículo demuestra que las estimaciones de efectos directos, indirectos y totales del tratamiento siguen de cerca las obtenidas usando la red verdadera, con pequeños Errores Cuadráticos Medios (RMSE).

Significado y Afirmaciones

El artículo afirma proporcionar el primer diseño experimental adaptativo que aprende conjuntamente la red de interferencia y optimiza las asignaciones de tratamiento a nivel individual en un entorno secuencial sin requerir estructuras de conglomerados predefinidas.

• Valor Científico: La red recuperada sirve como un resultado científico directo, permitiendo análisis causales (efectos directos/indirectos) que anteriormente eran inaccesibles en entornos adaptativos.
• Impacto Práctico: El método cierra la brecha entre la inferencia causal teórica bajo interferencia y la experimentación adaptativa práctica y a gran escala. Permite que plataformas y agencias optimicen intervenciones (por ejemplo, distribución de vacunas, marketing) en tiempo real mientras mapean simultáneamente la dinámica social o conductual subyacente.
• Perspectiva Teórica: El trabajo establece que, bajo modelos de derrame aditivos, la complejidad del problema se reduce a la dimensión del vector de puntuación latente, permitiendo límites de arrepentimiento que son independientes de la complejidad de la topología del grafo.

Los autores reconocen limitaciones, incluida la dependencia de una especificación correcta de la función de recompensa, el cuello de botella computacional de la programación lineal entera para la selección de tratamientos en configuraciones NIA generales, y la brecha entre el límite superior $O(n^2)$ y el límite inferior $\Omega(n)$ para los costos de descubrimiento de grafos. Sin embargo, afirman que su enfoque representa un paso significativo hacia adelante en la experimentación adaptativa escalable bajo interferencia de red desconocida.