Conformal Inference for Counterfactuals and Individual Treatment Effects with Experiment Attrition

1. El Problema: Deserción en Experimentos Sociales

La deserción (pérdida de datos por no respuesta o abandono) en experimentos de campo y encuestas representa un desafío crítico para la inferencia causal en ciencias sociales.

• Limitaciones de los enfoques actuales: Los métodos tradicionales como el análisis de casos completos, la imputación múltiple (ej. Amelia II) y el ponderado por probabilidad inversa (IPW) dependen de supuestos fuertes que a menudo no se cumplen en la práctica (ej. normalidad multivariada, ignorabilidad estricta).
• El problema del desplazamiento de covariables (Covariate Shift): Cuando la deserción no es aleatoria (Missing At Random - MAR), la distribución de las covariables en el grupo que permanece en el estudio difiere de la del grupo que abandona. Los métodos existentes a menudo fallan al no corregir adecuadamente este desplazamiento, lo que genera estimaciones sesgadas o intervalos de predicción excesivamente amplios (poco informativos) o con cobertura insuficiente.
• Objetivo: Construir intervalos de predicción válidos y precisos para los efectos individuales del tratamiento (ITE) y los resultados contrafactuales, específicamente para los participantes que abandonan el estudio, sin depender de supuestos paramétricos estrictos sobre la generación de datos.

2. Metodología Propuesta

El autor propone un marco novedoso que combina la Inferencia Conformal (un método no paramétrico y libre de distribución) con Estimadores Semiparamétricos Eficientes para manejar la deserción bajo el supuesto de MAR.

A. Marco Teórico y Supuestos

• Se utiliza el marco de resultados potenciales (Rubin).
• Supuestos clave:
  1. No confusión: La asignación del tratamiento es independiente de los resultados potenciales dada las covariables.
  2. MAR (Missing At Random): La deserción es independiente de los resultados potenciales condicionada a las covariables observadas y el tratamiento.
  3. Superposición (Overlap): Probabilidad positiva de tratamiento y respuesta en todos los niveles de covariables.

B. Algoritmo de Dos Pasos

El método se basa en una estrategia de "inferencia conformal anidada" mejorada:

1. Paso 1: Construcción de intervalos en el grupo observado ($R=1$).

   • Se construyen intervalos de predicción para los resultados contrafactuales ($Y(0)$ para tratados y $Y(1)$ para controles) dentro del grupo observado.
   • Se aborda el desplazamiento de covariables dentro del grupo observado (entre tratados y controles) utilizando Inferencia Conformal Ponderada basada en el puntaje de propensión del tratamiento.
   • En lugar de usar la distribución empírica de los puntajes de no conformidad (que produce intervalos muy anchos), se deriva la Función de Influencia Eficiente (EIF) para identificar el umbral del puntaje de no conformidad. Esto permite un estimador semiparamétrico eficiente.

2. Paso 2: Extrapolación al grupo de deserción ($R=0$).

   • Se utilizan los intervalos de ITE obtenidos en el Paso 1 como "surrogados" (pseudo-resultados) para el grupo que desercionó.
   • Se construye un nuevo intervalo de predicción para el grupo de deserción ($\check{\mathcal{C}}_{ITE}$) que cubre los intervalos del Paso 1.
   • Se aplica nuevamente la EIF para corregir el desplazamiento de covariables entre el grupo observado y el grupo de deserción, utilizando el puntaje de propensión de la deserción ($e_R$).
   • Se utiliza una corrección de Bonferroni para garantizar que la cobertura conjunta sea válida.

C. Implementación Técnica

• Se utiliza una división de datos (split conformal) en tres pliegues (pre-entrenamiento, entrenamiento, calibración) para evitar el sobreajuste en la estimación de parámetros de molestia (propensiones y distribuciones condicionales).
• Se emplean algoritmos de aprendizaje automático flexibles (Random Forest, BART, XGBoost, etc.) a través de SuperLearner para estimar las funciones de interés.

3. Contribuciones Clave

1. Marco para Ciencias Políticas: Introduce la inferencia conformal como una herramienta robusta para la inferencia causal en presencia de datos faltantes, ofreciendo cuantificación de incertidumbre libre de distribución.
2. Solución a la Deserción Experimental: Combina la inferencia conformal con estimadores semiparamétricos eficientes para manejar específicamente la deserción experimental, abordando simultáneamente los problemas de desplazamiento de covariables en dos etapas.
3. Evaluación Exhaustiva: Presenta una de las evaluaciones más completas del rendimiento de la inferencia conformal a través de diferentes modelos predictivos, demostrando sus fortalezas y limitaciones en aplicaciones de ciencias sociales.

4. Resultados

A. Simulaciones de Monte Carlo

• Cobertura: El método propuesto logra una cobertura empírica cercana al nivel nominal (95%) en diversos tamaños de muestra y niveles de correlación de covariables.
• Longitud del Intervalo: Produce intervalos significativamente más estrechos que el método de "Inferencia Conformal Ponderada con marco anidado no ponderado" (Lei & Candès, 2021), que tiende a ser excesivamente conservador.
• Comparación: Supera a la imputación múltiple (Amelia II) en términos de cobertura, especialmente cuando los datos no siguen una distribución normal (violando los supuestos de la imputación).

B. Aplicaciones Empíricas (Reanálisis)

1. Margalit y Shayo (2021): Reanálisis de un experimento de campo sobre mercados financieros.
   • El método propuesto (CISE) generó intervalos de predicción para el grupo de deserción con una longitud comparable a la imputación múltiple, pero mucho más estrechos que el método ponderado (WCQR).
   • Al agregar los efectos individuales, se encontró que el efecto promedio del tratamiento (ATE) para el grupo de deserción era casi el doble que el del grupo observado, aunque la muestra era pequeña.
2. Finkel et al. (2024): Reanálisis de un estudio sobre educación cívica en Túnez.
   • El método permitió detectar efectos significativos en el grupo de deserción que no eran evidentes solo con el grupo observado.
   • En una medida específica (M3), la inclusión del grupo de deserción cambió la conclusión sustantiva y el nivel de significancia estadística del efecto total, demostrando el riesgo de ignorar la deserción.

5. Significado e Implicaciones

• Robustez Causal: El método proporciona una base más sólida para la inferencia causal cuando hay deserción, evitando el sesgo de selección que surge al ignorar a los participantes que abandonan el estudio.
• Precisión y Validez: Logra un equilibrio superior entre la validez de la cobertura (que el intervalo contenga el valor real) y la precisión (longitud del intervalo), superando a las alternativas paramétricas y no paramétricas existentes.
• Aplicabilidad Práctica: Permite a los investigadores comparar efectos del tratamiento entre participantes que permanecen, los que abandonan y la muestra total, agregando efectos individuales a estimaciones de grupo.
• Limitaciones: El método aún requiere el supuesto de MAR (no MNAR) y puede volverse ruidoso si la tasa de deserción es extremadamente alta. Además, la necesidad de dividir los datos para entrenamiento y calibración reduce ligeramente el tamaño de la muestra disponible para la estimación final.

En conclusión, este trabajo ofrece una herramienta metodológica avanzada que mejora la fiabilidad de las conclusiones en experimentos sociales afectados por la deserción, permitiendo una cuantificación de la incertidumbre más honesta y precisa.