Resumen Técnico: Evaluación de Programas con Resultados Obtenidos mediante Teledetección

1. Planteamiento del Problema

La evaluación de programas tradicional suele depender de resultados basados en encuestas, los cuales son costosos, difíciles de escalar y, en ocasiones, inviables de recolectar. Los investigadores utilizan cada vez más variables de teledetección (por ejemplo, imágenes satelitales, actividad de telefonía móvil, luces nocturnas) como indicadores (proxies) de bajo costo y escalables para resultados económicos. Sin embargo, estas variables son mediciones imperfectas.

El desafío central abordado es la inferencia causal en entornos donde:

1. Muestra Experimental: Contiene la asignación de tratamiento aleatorio ($D$) y variables de teledetección ($R$), pero el resultado económico real ($Y$) no está disponible debido a costos o limitaciones logísticas.
2. Muestra Observacional: Vincula el resultado ($Y$) con la variable de teledetección ($R$), pero carece de una asignación de tratamiento aleatoria (el tratamiento puede estar ausente, ser determinista o estar confundido).

Los métodos existentes suelen fallar en este escenario. Los enfoques comunes de dos pasos (entrenar un predictor en la muestra observacional y aplicarlo a la muestra experimental) sufren de sesgo de atenuación cuando la variable de teledetección es una medida post-resultado (es decir, $Y$ causa $R$, no al revés). Del mismo modo, los métodos de Inferencia Potenciada por Predicción (PPI, por sus siglas en inglés) a menudo requieren observaciones conjuntas de tratamiento, resultado y proxy en ambos brazos del tratamiento, las cuales frecuentemente no están disponibles, o dependen de supuestos de estabilidad respecto al mecanismo del resultado que pueden no sostenerse en diferentes poblaciones.

2. Metodología y Supuestos de Identificación

Los autores proponen un marco que identifica no paramétricamente el Efecto de Tratamiento Promedio (ATE) combinando datos experimentales y observacionales bajo supuestos específicos de estabilidad.

2.1 Estructura Causal

El marco modela la variable de teledetección $R$ como post-resultado: la variación en el resultado económico $Y$ causa la variación en $R$.

• Muestra Experimental ($S=e$): Observa $(X, D, R)$. $Y$ está ausente.
• Muestra Observacional ($S=o$): Observa $(X, Y, R)$. $D$ puede estar ausente o confundido.

2.2 Supuestos Clave

1. No Confusión Experimental: Los supuestos estándar de aleatorización se cumplen en la muestra experimental ($D \perp \{Y(0), Y(1)\} | X, S=e$).
2. Estabilidad de la Variable de Teledetección (El Supuesto Central): La distribución condicional de la variable de teledetección dado el resultado y el tratamiento es estable entre muestras:
   $$f(R | X, D, Y, S=e) = f(R | X, D, Y, S=o)$$
   Esto implica que el mecanismo de detección (por ejemplo, la física de cómo las imágenes satelitales capturan la quema de cultivos) es invariante, incluso si el mecanismo del resultado (cómo el tratamiento afecta a $Y$) o el mecanismo del tratamiento difieren entre muestras.
3. Condiciones de Completitud:
   • Casos Observacionales Completos: Si $D$ se observa y varía en la muestra observacional, no se necesitan supuestos adicionales.
   • Casos Observacionales Incompletos: Si $D$ está ausente o es determinista en la muestra observacional, se requiere un supuesto adicional de no efecto directo: $D \perp R | X, Y$. Esto significa que el tratamiento afecta a la variable de teledetección únicamente a través de su efecto sobre el resultado.

2.3 Estrategia de Identificación

El efecto del tratamiento se identifica mediante una restricción de momento condicional. Los autores derivan una fórmula donde la variable de teledetección relaciona la variación del tratamiento experimental con la variación del resultado observacional.

Para un resultado discreto $Y \in \{y_1, \dots, y_K\}$, el vector de efecto de tratamiento condicional $\theta(X)$ se identifica mediante:
$$E[\Delta_e(X) - \Delta_o(X)^\top \theta(X) \mid X, R] = 0$$
Donde:

• $\Delta_e(X)$ resume la variación del tratamiento en la muestra experimental.
• $\Delta_o(X)$ resume la variación del resultado en la muestra observacional.

Esto permite la identificación sin especificar la forma funcional de la relación entre $R$ y $Y$. El marco admite representaciones arbitrarias $H(X, R)$ de la variable de teledetección, siempre que cumplan con una condición de rango (relevancia).

3. Estimación e Inferencia

3.1 Robustez a la Especificación Incorrecta

Los autores desarrollan un algoritmo de estimación (Algoritmo 1) utilizando división de muestras (sample splitting) y validación cruzada (cross-fitting). Una contribución teórica clave es que es posible lograr una inferencia válida de $n^{-1/2}$ sin condiciones de tasa sobre los modelos de aprendizaje automático utilizados para predecir resultados, tratamientos o indicadores de muestra.

• El estimador sigue siendo válido incluso si los predictores (por ejemplo, redes neuronales profundas) están mal especificados o carecen de tasas de convergencia.
• Esta robustez proviene de la ortogonalidad de Neyman de la restricción de momento.

3.2 Eficiencia e Instrumentos Óptimos

Para mejorar la eficiencia, los autores conectan el problema con la teoría de instrumentos óptimos (Chamberlain, 1987; Newey, 1993). La representación semiparamétrica eficiente $H^*(R)$ implica predecir:

1. El resultado $Y$ (desde la muestra observacional).
2. El tratamiento $D$ (desde la muestra experimental).
3. El indicador de muestra $S$ (desde los datos combinados).
   El uso de estas predicciones permite la reducción de dimensionalidad de una $R$ de alta dimensión mientras se preserva la información causal.

3.3 Pruebas Diagnósticas

El marco proporciona dos pruebas diagnósticas:

1. Prueba de Instrumento Débil: Verifica si la variable de teledetección es suficientemente informativa sobre la variación del resultado (análogo a los instrumentos débiles en IV).
2. Restricciones de Sobreidentificación (Prueba J): Si diferentes representaciones $H(R)$ y $H'(R)$ producen estimaciones de efecto de tratamiento significativamente diferentes, esto sugiere una violación de los supuestos de estabilidad o de no efecto directo.

4. Resultados Empíricos y Aplicaciones

El artículo valida el método a través de simulaciones calibradas y aplicaciones del mundo real:

4.1 Simulaciones

• Sesgo: El método estándar de dos pasos exhibe un gran sesgo de atenuación (subestimación de efectos), mientras que el método propuesto es aproximadamente insesgado.
• Cobertura: Los intervalos de confianza para el método propuesto logran una cobertura nominal (aprox. 95%), mientras que el método de dos pasos sub-cobertura severamente (tan bajo como 0-25% en algunos escenarios).
• Comparación con PPI: Cuando se dispone de una muestra de validación, los métodos PPI pueden ser insesgados pero son menos eficientes que el método propuesto. Si la muestra de validación no es aleatoria o las líneas base difieren, el PPI se vuelve sesgado.

4.2 Aplicación 1: Tarjetas Inteligentes y Pobreza Rural (India)

• Contexto: Evaluación del efecto de los sistemas de pago biométricos en la pobreza rural.
• Configuración: La muestra experimental tiene tratamiento y datos satelitales; la muestra de validación (no aleatoria) tiene resultados y datos satelitales; la muestra observacional tiene resultados y datos satelitales.
• Resultado: El método propuesto arroja estimaciones cercanas a la diferencia de medias "oráculo" (usando datos de resultados completos), a pesar de usar datos de resultados solo para un subconjunto de aldeas. Demuestra un potencial significativo para la reducción de costos de encuestas.

4.3 Aplicación 2: Pagos por Servicios Ecosistémicos y Quema de Cultivos (India)

• Contexto: Evaluación de incentivos para reducir la quema de cultivos utilizando imágenes satelitales.
• Configuración: No hay resultados experimentales disponibles; solo una muestra observacional vincula los datos satelitales con la verdad de terreno.
• Resultado: El método común de dos pasos subestimó el efecto del tratamiento en un 47%. El método propuesto identificó un efecto significativamente mayor (reducción del 14.1% en la quema frente al 7.5% del método de dos pasos), corrigiendo el sesgo de atenuación inherente a la sustitución por resultados post-hoc.

5. Principales Contribuciones y Significado

1. Nueva Estrategia de Identificación: El artículo proporciona la primera fórmula de identificación no paramétrica para efectos de tratamiento que combina datos experimentales y observacionales cuando el proxy es una variable post-resultado, basándose en la estabilidad del mecanismo de detección en lugar del mecanismo del resultado.
2. Corrección de Sesgos Comunes: Demuestra formalmente que el ampliamente utilizado método de predicción de "dos pasos" sufre de sesgo de atenuación en entornos post-resultado, explicando por qué muchos estudios existentes pueden estar subreportando los impactos de las intervenciones.
3. Inferencia Robusta: Establece que es posible realizar una inferencia válida incluso con modelos de aprendizaje automático complejos y potencialmente mal especificados, eliminando la necesidad de estrictas condiciones de tasa que suelen requerirse en el Aprendizaje Automático Doble (Double Machine Learning).
4. Diagnósticos Prácticos: Introduce restricciones de sobreidentificación testables para validar los supuestos centrales, permitiendo a los investigadores verificar violaciones de estabilidad utilizando múltiples representaciones de los datos de teledetección.
5. Ganancias de Eficiencia: Al aprovechar instrumentos óptimos que predicen el tratamiento y los indicadores de muestra además de los resultados, el método logra una mayor precisión que los enfoques estándar.

El artículo concluye que, si bien las variables de teledetección son imperfectas, pueden utilizarse rigurosamente para la inferencia causal si la estabilidad de la tecnología de detección es plausible. Este marco permite a los investigadores reducir significativamente los costos de las encuestas manteniendo la validez estadística, particularmente en la economía ambiental y del desarrollo.