On the Impossibility of Specification Testing of Interference Models Based on Exposure Mappings

Resumen Técnico: Sobre la Imposibilidad de la Prueba de Especificación de Modelos de Interferencia Basados en Mapeos de Exposición

Planteamiento del Problema
En experimentos aleatorizados donde se sospechan derrames (interferencia), los analistas deben postular un modelo de interferencia para estimar efectos causales. El enfoque dominante en la práctica empírica utiliza mapeos de exposición (Aronow & Samii, 2017), que reducen el vector de tratamiento de alta dimensión a un resumen de baja dimensión para cada unidad. Surge un desafío crítico porque la naturaleza real de los derrames rara vez se conoce, lo que lleva a los investigadores a emplear pruebas de especificación para determinar si un modelo de interferencia elegido está correctamente especificado.

Si bien la literatura existente ha desarrollado pruebas de especificación (a menudo basadas en pruebas de aleatorización al estilo de Fisher) que controlan el error de Tipo I (rechazar un modelo correcto), el error de Tipo II (aceptar un modelo incorrecto) de estas pruebas sigue siendo poco comprendido. La pregunta central abordada por este artículo es si es posible construir una prueba de especificación que pueda distinguir de manera confiable entre un modelo de mapeo de exposición correctamente especificado y uno mal especificado, particularmente cuando la mala especificación está "bien separada" de la hipótesis nula.

Metodología y Marco Teórico
Los autores adoptan un marco basado en el diseño para experimentos aleatorizados. Formalizan el problema utilizando los siguientes componentes:

• Modelos: El modelo nulo ($M_0$) y el modelo alternativo ($M_1$) son conjuntos de funciones de resultados potenciales. Ambos están restringidos por una cota uniforme de momentos ($\|y\|_\infty \le 1$) para garantizar resultados bien comportados.
• Modelos de Exposición: El artículo se centra en modelos donde el resultado potencial de la unidad $i$ depende únicamente de un mapeo de exposición $h_i(z)$. Un modelo está correctamente especificado si el resultado es invariante a los cambios en el vector de tratamiento $z$ que no alteran la exposición $h_i(z)$.
• Separación: Para evaluar la potencia, los autores definen un funcional de separación $g(y)$ que mide la desviación de una función de resultado potencial del modelo nulo. Una alternativa está $\delta$-separada si $g(y) \ge \delta$.
• Métrica de Rendimiento: El artículo evalúa las pruebas utilizando el error global de prueba $R(D, \phi, \delta)$, definido como la suma del error de Tipo I en el peor caso y el error de Tipo II en el peor caso para alternativas $\delta$-separadas.
• Criterio de Imposibilidad: Un problema de prueba se considera imposible si el error minimax de prueba $R^*(\delta) = 1$. Esto implica que ningún procedimiento de prueba tiene un rendimiento mejor que un procedimiento ingenuo que descarta todos los datos y rechaza la hipótesis nula al azar.

Contribuciones y Resultados Clave

1. Teorema de Imposibilidad para Mapeos de Exposición:
   El resultado principal del artículo (Teorema 3.1) establece un fuerte resultado de imposibilidad: La prueba de especificación de modelos de mapeo de exposición es imposible.

   • Específicamente, para cualquier modelo de exposición nulo $M_0$ y cualquier modelo de exposición alternativo $M_1$ (donde $M_0 \subseteq M_1$), el error minimax de prueba es exactamente 1 para todos los valores de separación no triviales $\delta$.
   • Este resultado se cumple para todos los tamaños de muestra ($n$), para resultados uniformemente acotados y para alternativas que están máximamente separadas de la hipótesis nula.
   • Esquema de la Prueba: Los autores construyen distribuciones de mezcla explícitas $\Pi_0$ (soportadas en $M_0$) y $\Pi_1$ (soportadas en la $M_1$ $\delta$-separada) tales que la distancia de variación total entre las distribuciones de los resultados observados es cero ($d_{TV}(Q_0(z), Q_1(z)) = 0$) para cualquier asignación de tratamiento $z$. Debido a que las distribuciones de los datos observados son indistinguibles bajo cualquier diseño experimental, ninguna prueba puede lograr una potencia mejor que una adivinanza aleatoria.

2. Corolario sobre Hipótesis Nulas Agudas:
   La imposibilidad se extiende a casos comunes específicos, como distinguir entre "ningún efecto del tratamiento" y "ninguna interferencia" (SUTVA). Incluso si el efecto del tratamiento es máximamente grande (separado por la cota de momentos), las distribuciones de datos bajo las mezclas nula y alternativa son idénticas, lo que hace que los modelos sean empíricamente indistinguibles.

3. Prueba Consistente para Alternativas No Basadas en Exposición:
   Los autores demuestran que el resultado de imposibilidad es específico de la clase de modelos de mapeo de exposición. Al restringir el modelo alternativo a una estructura que no es un mapeo de exposición, la prueba informativa se vuelve posible.

   • Construyen una prueba uniformemente consistente para la hipótesis nula de ausencia de interferencia (SUTVA) frente a la alternativa de un modelo lineal en promedios de red (donde los resultados son lineales en la fracción de vecinos tratados).
   • Esta prueba utiliza un estimador consistente de un funcional cuadrático de los resultados potenciales bajo un diseño Bernoulli.
   • La prueba es consistente siempre que el grado máximo de la red ($d_{max}$) satisfaga $d_{max} = o(n^{1/5})$.

Significado y Afirmaciones
El artículo afirma que la incapacidad de validar modelos de mapeo de exposición utilizando únicamente datos experimentales es una limitación fundamental, no una falta de sofisticación metodológica.

• Implicación Epistemológica: El problema de la especificación del modelo no puede resolverse mediante datos experimentales por sí solos. Los autores argumentan que los investigadores no pueden confiar en los datos para descartar todas las posibles malas especificaciones de los modelos de exposición.
• Orientación Práctica: Los autores afirman que las pruebas de especificación solo son útiles si los investigadores imponen restricciones a priori sobre el modelo alternativo que van más allá de las restricciones estructurales de los mapeos de exposición. Si un experimentador no está dispuesto a descartar cualquier desviación de la hipótesis nula a priori, la única conclusión válida es que la hipótesis nula puede estar mal especificada.
• Cambio de Enfoque: El artículo sugiere que el campo debe alejarse de intentar validar si un modelo de exposición específico es "correcto" (una tarea demostrada como imposible) y avanzar hacia la construcción de pruebas que apunten a tipos específicos y preespecificados de desviaciones (como se ilustra con el ejemplo del modelo lineal en promedios).
• Rol de Datos Externos: Los autores señalan que resolver la especificación del modelo puede requerir incorporar datos externos o métodos cualitativos, aunque esto introduce nuevas suposiciones, potencialmente no comprobables.

En resumen, el artículo proporciona una prueba formal de que ninguna prueba de especificación puede distinguir uniformemente entre modelos de mapeo de exposición anidados, independientemente del tamaño de la muestra o la magnitud de la separación. En consecuencia, la prueba de especificación informativa requiere estrechar el alcance de la hipótesis alternativa más allá de la clase de mapeos de exposición.