Transporting causal effects from a randomized trial without "transportability:" a case study of political advertising during U.S. elections

Resumen Técnico: Transporte de Efectos Causales de un Ensayo Aleatorizado sin "Transportabilidad"

Planteamiento del Problema
El artículo aborda el desafío de generalizar (transportar) los efectos causales de una población de origen, donde se llevó a cabo un ensayo controlado aleatorizado (ECA), a una población de destino que difiere en aspectos no medidos. La aplicación motivadora específica involucra la generalización de los resultados de un ECA a gran escala sobre publicidad política digital contra Donald Trump durante las elecciones presidenciales de EE. UU. de 2020. Aggarwal et al. (2023) encontraron un efecto nulo en la participación electoral en cinco estados decisivos (Pensilvania, Wisconsin, Michigan, Carolina del Norte y Arizona). Los autores investigan si este resultado nulo se generaliza a Georgia, un estado decisivo único con una demografía de votantes distinta (notablemente una mayor proporción de votantes negros) y diferencias no medidas en factores socioeconómicos (por ejemplo, seguro médico, ingresos) en comparación con los estados de origen.

Los métodos estándar de transportabilidad dependen del supuesto de que todas las diferencias entre las poblaciones de origen y de destino están capturadas por las covariables observadas (transportabilidad). Sin embargo, en este contexto, es probable que las diferencias no medidas violen este supuesto. Además, los métodos existentes a menudo requieren conjuntos de covariables idénticos entre los datos de origen y de destino, lo cual no ocurre aquí (los datos de origen incluyen afiliación partidaria e historial de votación, mientras que los datos de destino del registro de votantes de Georgia solo incluyen demografía como edad, raza y género).

Metodología
Los autores proponen un marco de aprendizaje por transferencia que combina el análisis de sensibilidad con métodos de transportabilidad para manejar tanto las diferencias no medidas como las covariables desajustadas ($V \subset X$).

1. Modelo de Sensibilidad: El marco relaja el supuesto de transportabilidad introduciendo un parámetro de sensibilidad $\Gamma_a$ (para niveles de tratamiento $a \in \{0, 1\}$). Este parámetro representa la razón de momios (odds ratio) de los resultados contrafácticos entre las poblaciones de destino y de origen, condicionado a las covariables compartidas $V$. Cuando $\Gamma_a = 1$, la transportabilidad se cumple; las desviaciones de 1 cuantifican el grado de violación. El modelo asume una relación de inclinación exponencial entre las densidades condicionales de los resultados potenciales en las dos poblaciones.
2. Identificación: Bajo este modelo de sensibilidad, el Efecto de Tratamiento Promedio de Destino (TATE, por sus siglas en inglés) se identifica como una función de $\Gamma_a$ y funciones de molestia (nuisance functions: regresión de resultados, puntaje de propensión y razones de densidad).
3. Estimación: Se proponen dos estimadores:
   • Estimador de Regresión de Resultados (OR): Un estimador de inserción (plug-in) simple que pondera la función de regresión de resultados estimada $\hat{\rho}_a(V)$ por el parámetro de sensibilidad. Los autores recomiendan un bootstrap de percentiles no paramétrico para la inferencia, proporcionando justificación teórica para su consistencia y normalidad asintótica.
   • Estimador de la Función de Influencia Eficiente (EIF): Un estimador semiparamétricamente eficiente basado en el ajuste cruzado (cross-fitting). Utiliza la EIF derivada para el modelo de sensibilidad. Los autores señalan que, a diferencia de los estimadores de transportabilidad estándar, este estimador no es doblemente robusto cuando la transportabilidad se viola; requiere la estimación consistente de la función de regresión de resultados $\rho_a$ específicamente.
4. Procedimiento de Calibración: Para abordar la dificultad de seleccionar valores significativos para los parámetros de sensibilidad no identificables, los autores proponen un procedimiento de calibración basado en datos inspirado en la sensibilidad de diseño. Esto implica dividir los datos de origen en dos subconjuntos disímiles (por ejemplo, estados del Rust Belt vs. Sun Belt, o apoyo alto vs. bajo a Trump). El procedimiento encuentra el rango de valores de $\Gamma_a$ donde el estimado transportado entre estos subconjuntos coincide con el estimado "oráculo" (el estimado directo del subconjunto tratado como destino). Esto genera un conjunto de referencia de parámetros de sensibilidad que reflejan la magnitud de las diferencias no medidas presentes en los propios datos de origen.

Contribuciones Clave

• Requisitos de Covariables Relajados: El marco permite que los datos de origen contengan más covariables ($X$) que los datos de destino ($V$), un escenario común donde los datos observacionales de destino carecen de las variables detalladas recolectadas en un ECA.
• Justificación Teórica para la Inferencia de Bootstrap: El artículo establece formalmente la corrección teórica del uso de bootstraps de percentiles no paramétricos para la inferencia en entornos de aprendizaje por transferencia, una práctica previamente sugerida cualitativamente pero no probada rigurosamente.
• Estimador EIF bajo Análisis de Sensibilidad: Los autores extienden la teoría de la función de influencia eficiente a entornos con parámetros de sensibilidad. Demuestran que, si bien el estimador es semiparamétricamente eficiente, pierde la propiedad de "doble robustez" cuando la transportabilidad se viola, requiriendo la especificación correcta de la función de regresión de resultados.
• Calibración Basada en Datos: Se introduce un método de calibración novedoso para generar magnitudes de referencia interpretables para los parámetros de sensibilidad sin omitir covariables medidas, evitando los errores de la calibración tradicional por variables omitidas.

Resultos
Al aplicar el marco a los datos de la elección de 2020 en Georgia:

• Bajo la Transportabilidad: Si se asume que la transportabilidad se cumple (es decir, $\Gamma_0 = \Gamma_1 = 1$), la campaña publicitaria sigue siendo ineficaz en todos los 159 condados de Georgia.
• Bajo el Análisis de Sensibilidad: Pequeñas desviaciones de la transportabilidad conducen a conclusiones drásticamente diferentes.
  • Con parámetros preespecificados (por ejemplo, $\Gamma_0=0.99, \Gamma_1=1.01$), el efecto de la publicidad se vuelve significativo y positivo en 154 condados.
  • Con parámetros invertidos ($\Gamma_0=1.01, \Gamma_1=0.99$), el efecto se vuelve significativo y negativo en 158 condados.
• Resultados Calibrados: Usando los conjuntos calibrados derivados de la partición de los datos de origen:
  • Partición Rust Belt vs. Sun Belt: Muchos condados son sensibles a la dirección del efecto. Los condados con mayor población blanca y menor población negra tienden a mostrar efectos positivos, mientras que los condcles con mayor población latina tienden a mostrar efectos negativos.
  • Partición de Apoyo a Trump: La mayoría de los condados son insensibles a las violaciones de transportabilidad de esta magnitud, lo que sugiere que las diferencias no medidas entre los seguidores de Trump y los no seguidores son lo suficientemente grandes como para que solo desviaciones específicas y grandes en los parámetros de sensibilidad alteren la conclusión.
• Análisis de Subgrupos: El efecto de la publicidad es sensible en seis de los ocho subgrupos (definidos por género, raza e historial de votación) cuando la transportabilidad se viola, particularmente para mujeres, votantes recurrentes que no son negros ni latinos.

Significancia y Reivindicaciones
El artículo afirma que su marco proporciona un enfoque estadísticamente válido para generalizar efectos causales cuando el supuesto estricto de transportabilidad es insostenible y las covariables están desajustadas. Los autores enfatizan que sus hallazgos apoyan la conjetura de que los efectos nulos del ECA original pueden no generalizarse a la población de destino si existen incluso pequeñas diferencias no medidas.

Crucialmente, el estudio destaca un conocimiento práctico derivado de Rosenbaum (2010): "los efectos pequeños son sensibles a sesgos pequeños [no medidos]". Debido a que el efecto original en la población de origen estaba cercano a nulo, el estudio demuestra que la conclusión es altamente frágil ante mínimas diferencias no medidas entre poblaciones. Los autores posicionan su trabajo como una herramienta para profesionales que requieren un enfoque teóricamente válido y simple (específicamente el estimador OR con bootstrap) para evaluar la robustez de las afirmaciones de generalización sin depender de la impractica suposición de una transportabilidad perfecta. Expresan explícitamente que el marco es aplicable más allá de las elecciones, como en ensayos clínicos donde los pacientes elegibles para el ensayo difieren de la población elegible más amplia en aspectos no medidos.