Design-Based Variance Estimation for Modern Heterogeneity-Robust Difference-in-Differences Estimators

Este artículo demuestra que aplicar fórmulas de varianza estándar para conglomerados estratificados a los estimadores modernos de diferencias en diferencias robustos a la heterogeneidad produce errores estándar consistentes con el diseño e inferencias válidas para datos de encuestas complejas, mientras que ignorar el diseño de la encuesta conduce a una subcobertura severa y a conclusiones de significancia potencialmente erróneas.

Lo esencial

Imagina que estás intentando medir cuánto ayuda una nueva política de salud a que los adultos jóvenes obtengan seguro. Tienes una encuesta masiva y compleja de personas (como la NHANES) que representa a todo el país. Pero esta encuesta no es simplemente una lista simple de personas aleatorias; fue construida como un rompecabezas gigante y multicapa.

El Problema: El Mito de la "Muestra Aleatoria"
La mayoría de las herramientas estadísticas modernas (específicamente los estimadores de "Diferencia en Diferencias" o DiD) actúan como si estuvieran mirando una bolsa de canicas donde cada canica es independiente e idéntica. Asumen que si tomas una canica, esto no te dice nada sobre la siguiente que tomes.

Pero las encuestas del mundo real son más como una cesta de frutas.

• El Agrupamiento: Si sacas una manzana de la parte superior de la cesta, es probable que saques otra manzana justo al lado. Las personas en el mismo "agrupamiento" de la encuesta (como vecinos en la misma cuadra) tienden a ser similares. Si una está enferma, la otra podría estarlo también.
• La Estratificación: Los diseñadores de la encuesta no agarraron frutas al azar; seleccionaron cuidadosamente cantidades específicas de manzanas, naranjas y plátanos de diferentes secciones de la tienda para asegurar que la cesta representara a todo el país.

Cuando los investigadores utilizan herramientas estándar en estos datos de "cesta de frutas", fingen que las manzanas son independientes. Esto es como contar las manzanas en tu cesta y asumir que tienes una gran variedad, cuando en realidad podrías tener 20 manzanas del mismo árbol. Esto hace que los investigadores se sientan demasiado confiados. Piensan que sus resultados son muy precisos, pero en realidad son mucho más "difusos" de lo que creen.

El Descubrimiento del Artículo: El Puente de la "Función de Influencia"
El autor, Isaac Gerber, encontró una manera de solucionar esto. Observó las herramientas más avanzadas y modernas utilizadas por los economistas para medir los efectos de las políticas. Estas herramientas son excelentes para manejar situaciones desordenadas del mundo real donde diferentes grupos reaccionan de manera distinta a una política.

Sin embargo, estas herramientas fueron construidas para el mundo de la "bolsa de canicas", no para el mundo de la "cesta de frutas".

La idea clave de Gerber es un puente matemático. Demostró que estas herramientas modernas tienen una "función de influencia" oculta: una forma de calcular cuánto empuja cada persona individual en la encuesta el resultado final. Probó que si tomas estos "empujones" y los introduces en las fórmulas estándar de estadística de encuestas (que saben cómo manejar la estructura de la cesta de frutas), las matemáticas funcionan perfectamente.

La Analogía: La Heurística del "Agrupamiento"
El artículo probó esto con una simulación masiva (¡66.000 ejecuciones!). Esto es lo que encontraron:

1. La Vieja Forma (Ignorar la Cesta): Si ignoras el diseño de la encuesta y simplemente usas herramientas estándar, tu confianza en los resultados es una mentira. En algunos casos, podrías pensar que tienes un 95% de certeza de tu respuesta, pero en realidad solo tienes un 34% de certeza. Es como conducir un coche con un velocímetro que dice que vas a 60 mph cuando en realidad vas a 120. Podrías estrellarte (tomar una decisión de política incorrecta).
2. La Solución "Suficientemente Buena": El artículo encontró que si haces dos cosas, obtienes resultados casi perfectos:
   • Ponderar a las personas: Asegúrate de que las personas que son raras en la encuesta (pero comunes en la vida real) cuenten más.
   • Agrupar a los vecinos: Dile a la computadora: "Oye, estas personas viven en el mismo vecindario (PSU); trátalas como un grupo".
   • Resultado: Esta solución simple (llamada "cluster=psu") salva el día. Evita que los intervalos de confianza colapsen.
3. La Solución "Perfecta": Si añades aún más detalles, como saber exactamente de qué sección de la tienda provenía la fruta (estratos) y cuántas frutas quedaban en la tienda (corrección por población finita), obtienes números ligeramente más nítidos y precisos. Pero la solución "Suficientemente Buena" ya era segura y válida.

La Prueba del Mundo Real: El Ejemplo de la ACA
El autor probó esto en un estudio real sobre la Ley de Cuidado de Salud a Bajo Precio (ACA) utilizando datos de la NHANES.

• Sin la solución: El estudio dijo que la política tuvo un efecto pequeño y que el resultado fue "estadísticamente insignificante" (no podemos estar seguros de que funcionó).
• Con la solución: Una vez que tuvieron en cuenta el diseño de la encuesta, el efecto estimado creció un 48%, y de repente, el resultado se volvió "estadísticamente significativo" (estamos seguros de que funcionó).
• La Lección: Ignorar el diseño de la encuesta no solo hizo que los números estuvieran ligeramente mal; invirtió toda la conclusión del estudio.

La Solución: Una Nueva Herramienta
Para ayudar a las personas a usar esto, el autor lanzó un paquete de software gratuito llamado diff-diff. Piensa en ello como un nuevo par de gafas. Antes, los investigadores miraban datos complejos de encuestas a través de lentes borrosos (herramientas estándar). Ahora, tienen una herramienta que ajusta automáticamente la estructura de la "cesta de frutas", asegurando que cuando digan que una política funciona, en realidad tengan razón.

En Resumen
Este artículo dice: "Dejen de fingir que sus datos complejos de encuestas son una lista aleatoria simple. Usen estas herramientas modernas y robustas, pero alimentenlas con las matemáticas correctas 'conscientes de la encuesta'. Si lo hacen, su confianza en sus resultados será real, no una ilusión".

Resumen técnico

Resumen Técnico: Estimación de Varianza Basada en Diseño para Estimadores Modernos de Diferencias en Diferencias Robustos a la Heterogeneidad

Planteamiento del Problema
Los estimadores modernos de diferencias en diferencias (DiD) robustos a la heterogeneidad (por ejemplo, Callaway y Sant'Anna, 2021; Sun y Abraham, 2021; Borusyak et al., 2024) se utilizan ampliamente en la evaluación de políticas. Sin embargo, sus propiedades asintóticas se derivan típicamente bajo marcos de distribución independiente e idéntica (iid), de conglomerados o de diseño fijo que abstraen el muestreo complejo de encuestas. En la práctica, los investigadores aplican frecuentemente estos estimadores a encuestas representativas a nivel nacional (por ejemplo, NHANES, ACS, CPS) que utilizan diseños de conglomerados multifásicos estratificados.

La literatura existente y las implementaciones de software (por ejemplo, did en R, csdid en Stata) generalmente admiten pesos de encuesta para la estimación puntual, pero carecen de mecanismos para la estimación completa de la varianza basada en el diseño de la encuesta (que tenga en cuenta estratos, agrupación en Unidades Primarias de Muestreo (PSU) y correcciones por población finita). En consecuencia, los practicantes a menudo dependen de errores estándar robustos a la heterocedasticidad (HC1) o de heurísticas de agrupación ad hoc. Esta discrepancia conduce a inferencias inválidas: ignorar el diseño de la encuesta resulta en errores estándar severamente subestimados y tasas de cobertura de intervalos de confianza muy por debajo de los niveles nominales (por ejemplo, cayendo al 34% o menos en simulaciones).

Metodología
El artículo cierra la brecha entre la teoría moderna de DiD y la teoría de muestreo de encuestas aplicando la linealización mediante series de Taylor a las representaciones de funciones de influencia (IF) de los estimadores modernos de DiD.

1. Puente Teórico: Los autores verifican que las funciones de influencia establecidas en los artículos originales para varios estimadores modernos de DiD satisfacen las condiciones de suavidad requeridas por Binder (1983). El teorema de Binder establece que para cualquier funcional suave de una distribución, la varianza puede estimarse consistentemente aplicando la fórmula estándar de varianza para conglomerados estratificados a las variables linealizadas (funciones de influencia ponderadas).
2. Estimación de la Varianza:
   • Estimadores Basados en Funciones de Influencia (IF): Para estimadores como Callaway-Sant'Anna (DR) y DiD de Imputación, la varianza se calcula agregando los valores ponderados de IF a nivel de PSU y aplicando la fórmula de conglomerados estratificados.
   • Estimadores Basados en Regresión: Para estimadores como Sun-Abraham y TWFE, la varianza se calcula utilizando un estimador de "sándwich" de conglomerados estratificados (TSL), donde la "carne" del sándwich se construye a partir de totales ponderados de puntuaciones a nivel de PSU.
   • Pesos de Réplica: El marco también acomoda métodos de pesos de réplica (BRR, Jackknife, SDR) para encuestas donde los identificadores de estratos/PSU están enmascarados.
3. Diseño de Simulación: Un estudio de Monte Carlo con 66.000 repeticiones evalúa cuatro escenarios:
   • Tendencias paralelas incondicionales con diseño complejo de encuesta.
   • Muestreo informativo (pesos correlacionados con los resultados) con efectos del tratamiento heterogéneos.
   • Secciones transversales repetidas.
   • Tendencias paralelas condicionales (que requieren ajuste de covariables).
     El estudio compara tres enfoques de inferencia: (i) HC1 (sin ponderar, sin agrupación), (ii) "Solo conglomerados" (estimación puntual ponderada + agrupación a nivel de PSU, sin estratos/FPC) y (iii) Diseño Completo Basado (ponderado + estratos + PSU + FPC).

Resultados Clave

• Fallo del HC1: Bajo diseños complejos de encuesta, los errores estándar HC1 producen una cobertura dramáticamente baja. En el escenario base, la cobertura cae al 34.2% en $n=8,000$. Bajo muestreo informativo, la cobertura cae por debajo del 11%. Los efectos de diseño (DEFF) oscilan entre 2 y 17 en escenarios base y superan 100 bajo muestreo informativo.
• Validez de la Heurística "Conglomerados=PSU": Combinar la estimación puntual ponderada por encuesta con la agrupación a nivel de PSU (ignorando estratos y FPC) recupera una cobertura cercana a la nominal (93–97%) en todos los escenarios, incluido el muestreo informativo. Esto valida la heurística común de los practicantes de agrupar a nivel de PSU.
• Rol de Estratos y FPC: Añadir estratos y correcciones por población finita (FPC) proporciona precisión incremental (estrechando los intervalos de confianza), pero no es estrictamente necesario para una cobertura válida en los diseños simulados. Los impulsores principales de una inferencia válida son la estimación puntual ponderada por encuesta (para corregir el sesgo de muestreo informativo) y la agrupación a nivel de PSU (para corregir la correlación dentro de los conglomerados).
• Estimación Doble Robusta: En escenarios donde las tendencias paralelas se cumplen solo condicionalmente, la estimación doblemente robusta (DR) ponderada por encuesta con ajuste de covariables produce inferencias bien calibradas (cobertura ~94%), mientras que los estimadores no ajustados permanecen sesgados con una cobertura del 0%.
• Ilustración Empírica (NHANES/ACA): Un análisis de la disposición de cobertura dependiente de la ACA utilizando datos de NHANES demuestra que ignorar el diseño de la encuesta cambia tanto la estimación puntual (un aumento del 48% de 6.5% a 9.6% al ponderar) como la conclusión de significancia. El enfoque HC1 sin ponderar arroja un resultado no significativo ($p > 0.05$), mientras que el enfoque basado en el diseño arroja un resultado significativo ($p < 0.05$), impulsado principalmente por la corrección en la estimación puntual.

Significado y Contribuciones
La contribución principal del artículo es la identificación y verificación explícita de que los estimadores modernos de DiD robustos a la heterogeneidad caen dentro del alcance de la teoría de varianza basada en diseño de Binder (1983). Si bien la proposición de que los funcionales suaves admiten una varianza consistente con el diseño es un corolario directo de la teoría de encuestas existente, el artículo proporciona la verificación necesaria de que estimadores específicos de DiD (que involucran ponderación compleja, imputación y estructuras de regresión) satisfacen las condiciones de suavidad requeridas.

Los autores proporcionan la primera implementación de código abierto (paquete Python diff-diff) que admite conjuntamente estratos, agrupación de PSU, FPC y métodos de pesos de réplica para 15 estimadores modernos de DiD. El trabajo resuelve una brecha crítica en la econometría aplicada, ofreciendo un camino teóricamente fundamentado y empíricamente validado para que los investigadores realicen inferencias válidas en datos de encuestas complejas sin abandonar los métodos modernos robustos a la heterogeneidad.

Limitaciones y Direcciones Futuras
Los autores señalan que la linealización mediante series de Taylor (TSL) requiere al menos dos PSU por estrato ($n_h \ge 2$); los diseños con estratos únicos requieren un manejo especial. La aproximación de la distribución $t$ puede ser anti-conservadora con muy pocas PSU totales. El marco asume que las tendencias paralelas se cumplen en la población finita; la ponderación corrige el sesgo de muestreo pero no valida la suposición de identificación en sí misma. Se sugiere trabajo futuro para estimadores no suaves (por ejemplo, Control Sintético), diseños de tratamiento multinivel y la interacción de pesos de calibración con la estimación de la varianza.