Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

El artículo demuestra que realizar inferencia condicionalmente a no rechazar una prueba previa es válido y típicamente conservador si las condiciones probadas se cumplen, incluso con dependencia asintótica, pero puede resultar en intervalos de confianza con mayor cobertura condicional que incondicional si dichas condiciones no se cumplen.

Lo esencial

🕵️‍♂️ El Dilema del Detective: ¿Es malo hacer un "chequeo previo" antes de sacar conclusiones?

Imagina que eres un detective que quiere resolver un caso: ¿Cuánto dinero ahorró la gente gracias a una nueva ley de impuestos? (Esto es lo que los economistas llaman "estimar el efecto de un tratamiento").

Para resolver el caso, usas una fórmula matemática especial. Pero esa fórmula solo funciona si el mundo es "justo" y las cosas siguen una línea recta predecible (en economía, esto se llama "tendencias paralelas" o "asignación aleatoria").

🛑 El Problema: El "Chequeo de Seguridad" (Pre-test)

Antes de presentar tu conclusión al juez, decides hacer un chequeo de seguridad (un pre-test).

• El chequeo: Miras los datos del pasado para ver si la gente que recibió la ley y la que no, tenían comportamientos similares antes de la ley.
• La regla: Si el chequeo sale "bueno" (no hay diferencias sospechosas), presentas tu conclusión. Si sale "malo" (hay diferencias), decides no presentar nada o buscar otra fórmula.

La pregunta de los autores: ¿Hacer este chequeo previo arruina la fiabilidad de tu conclusión? ¿Es como si, al filtrar los casos, te estuvieras mintiendo a ti mismo?

Muchos expertos decían que SÍ, que hacer este filtro distorsionaba los resultados y hacía que tus conclusiones fueran menos fiables.

✅ La Gran Revelación del Papel: ¡No es tan malo como pensábamos!

Los autores, Clément de Chaisemartin y Xavier D'Haultfœuille, descubrieron algo sorprendente usando matemáticas avanzadas (desigualdades de correlación gaussiana). Su conclusión se puede resumir así:

1. Si la ley es correcta (el mundo es justo):
Si tu suposición inicial era verdadera (las tendencias eran realmente paralelas), hacer el chequeo previo NO te miente.

• La analogía: Imagina que tienes una balanza perfecta. Si la usas solo cuando el suelo está nivelado (el chequeo pasa), tus pesas seguirán siendo precisas. De hecho, tus conclusiones podrían ser incluso más conservadoras (más cautelosas) de lo normal, lo cual es bueno porque es difícil que te equivoques diciendo que algo es verdad cuando no lo es.
• En resumen: Si la suposición es cierta, el filtro no daña la verdad; solo te hace un poco más prudente.

2. Si la ley es incorrecta (el mundo no es justo):
Aquí es donde se pone interesante. Si la suposición inicial era falsa (había tendencias diferentes desde el principio), tu fórmula ya estaba fallando de todos modos.

• La analogía: Imagina que intentas medir la altura de un edificio usando una regla que se estira. Si el edificio está en una colina (tendencias diferentes), tu medida ya es mala.
• El hallazgo: Los autores muestran que, en muchos casos comunes (como en ensayos clínicos o estudios de instrumentos), hacer el chequeo previo puede hacer que tu medida sea incluso menos mala que si no hubieras hecho el chequeo.
  • A veces, el filtro te ayuda a descartar los casos donde el error sería enorme, dejando solo los casos donde el error es más pequeño.
  • En términos técnicos: La probabilidad de que tu intervalo de confianza sea correcto dado que pasaste el filtro es a menudo mayor que la probabilidad de que sea correcto sin filtro.

🎯 ¿Cuándo funciona y cuándo no?

No es magia; depende de la relación entre el "chequeo" y la "medida final".

• Funciona bien (como en ensayos aleatorios): Si el error en tu medida final está directamente relacionado con el error que detectaste en el chequeo, el filtro te protege. Es como si el chequeo te dijera: "Oye, si esto falla, lo otro también fallará de la misma manera".
• Funciona menos bien (como en estudios de diferencias en diferencias): En algunos casos complejos (como cuando las tendencias son diferentes de forma no lineal), el filtro podría no ayudarte tanto, o incluso hacer que la cobertura sea un poco más baja. Pero incluso ahí, los autores dicen que la pérdida es pequeña comparada con el beneficio de no usar una fórmula rota.

📊 La Prueba de la Realidad

Los autores no solo hicieron teoría; tomaron 12 estudios reales de economía que ya se habían publicado. Simularon qué pasaría si aplicaran sus reglas matemáticas a esos datos reales.

• Resultado: En promedio, hacer el chequeo previo redujo la precisión de las conclusiones muy poco (de un 81% a un 79% de fiabilidad, en lugar de caer al 50% como temían otros).
• Conclusión: El "costo" de hacer el chequeo es muy bajo, y el beneficio de asegurar que no estás usando una fórmula rota es muy alto.

💡 La Lección para la Vida Cotidiana

Imagina que vas a conducir un coche por una carretera de montaña.

• Sin chequeo: Conduces a toda velocidad asumiendo que la carretera está bien. Si hay un precipicio, te caes.
• Con chequeo (el método de los autores): Antes de arrancar, miras por la ventana para ver si hay baches.
  • Si la carretera está bien, mirar no te hace conducir peor; solo te hace un poco más cauteloso.
  • Si la carretera está rota, mirar te evita caer por el precipicio. Y si decides conducir igual (porque el bache es pequeño), el hecho de haber mirado te asegura que no estás conduciendo a ciegas en una situación catastrófica.

En resumen:
El papel nos dice que no tengamos miedo de hacer pruebas de validación antes de sacar conclusiones. Aunque algunos puristas decían que esto arruinaba las estadísticas, los autores demuestran que, en la mayoría de los casos prácticos, es una práctica segura y a veces incluso beneficiosa. Nos ayuda a evitar conclusiones falsas sin arruinar la precisión de las conclusiones verdaderas.

Nota final: Los autores advierten que esto aplica si haces un chequeo. Si sigues haciendo chequeos y más chequeos hasta que encuentres uno que te guste (como un niño que prueba todos los juguetes hasta encontrar el que le gusta), ahí sí podrías tener problemas. Pero un chequeo honesto y bien hecho es tu amigo.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?" (¿Es la inferencia condicional a no rechazar una prueba previa menos fiable que la inferencia incondicional?) de Clément de Chaisemartin y Xavier D'Haultfœuille.

---

1. Planteamiento del Problema

En la investigación aplicada econométrica, es una práctica común realizar pruebas de especificación (pre-tests) antes de estimar un parámetro de interés ($\beta_0$). Ejemplos típicos incluyen:

• Diferencias en Diferencias (DID): Probar la hipótesis de tendencias paralelas antes de estimar el efecto del tratamiento.
• Ensayos Controlados Aleatorizados (RCT) y Variables Instrumentales (IV): Realizar pruebas de equilibrio (balancing tests) para verificar si las covariables están equilibradas entre grupos de tratamiento y control.
• Método Generalizado de Momentos (GMM): Realizar la prueba $J$ para validar las restricciones de momento.

El dilema: Los investigadores suelen reportar el estimador y su intervalo de confianza (IC) solo si la prueba previa no es rechazada. La literatura ha advertido que este procedimiento de "selección de modelos" podría distorsionar la inferencia, haciendo que los intervalos de confianza condicionales (CC) tengan una tasa de cobertura inferior a la nominal ($1-\alpha$) o a la tasa de cobertura incondicional (UC), incluso cuando la hipótesis nula es verdadera.

La pregunta central: ¿Es la inferencia condicional a no rechazar la prueba previa inherentemente menos fiable (menos precisa o con menor cobertura) que la inferencia incondicional?

2. Metodología y Marco Teórico

Los autores desarrollan un marco asintótico general para analizar el comportamiento de la inferencia bajo dos escenarios: bajo la hipótesis nula de especificación válida y bajo alternativas locales.

Supuestos Clave

1. Estimadores: Se asume que el estimador del parámetro de interés ($\hat{\beta}$) y el estimador de la prueba previa ($\hat{\theta}$) son consistentes y asintóticamente normales.
2. Hipótesis Nula: La especificación válida implica $(\theta_0, \eta_0) = 0$, donde $\theta_0$ es testable (ej. tendencias pre-tratamiento) y $\eta_0$ es la parte no testable (ej. tendencias post-tratamiento).
3. Pruebas Previas: Se consideran pruebas basadas en estadísticos $T_{j,n}$ que son convexos y simétricos alrededor de cero (como pruebas $F$, pruebas de supremo, o pruebas de Kolmogorov-Smirnov).
4. Dependencia: No se asume independencia asintótica entre $\hat{\beta}$ y $\hat{\theta}$. De hecho, la correlación asintótica ($\Sigma_{12}$) es un factor crucial en el análisis.

Herramientas Matemáticas

El resultado central se basa en la Desigualdad de Correlación Gaussiana (Royen, 2014). Esta desigualdad establece que para un vector normal centrado $(Y, X)$, la probabilidad de que $Y$ caiga en un conjunto convexo simétrico dado que $X$ cae en otro conjunto convexo simétrico es mayor o igual que la probabilidad marginal de $Y$.

3. Contribuciones y Resultados Principales

A. Bajo la Hipótesis Nula (Especificación Válida)

El resultado más importante del artículo es que la inferencia condicional no es inválida; de hecho, es conservadora.

• Teorema 1: Bajo la hipótesis nula, la tasa de cobertura condicional (CC) del intervalo de confianza estándar es siempre mayor o igual a la tasa de cobertura nominal ($1-\alpha$).
  $$\lim_{n \to \infty} P(\beta_0 \in CI_{1-\alpha} \mid \text{no rechazar } H_0) \geq 1 - \alpha$$
• Implicación: Realizar una prueba previa no provoca que el intervalo de confianza "sub-cubra" (under-cover) el parámetro verdadero si la especificación es correcta. Solo puede llevar a una "sobre-cobertura" (conservadurismo).
• Condición de Exactitud: La inferencia condicional es exactamente igual a la nominal ($CC = NC$) si y solo si el estimador de interés ($\hat{\beta}$) y el estadístico de la prueba previa ($\hat{\theta}$) son asintóticamente independientes ($\Sigma_{12} = 0$). Si hay dependencia, la inferencia es estrictamente conservadora.
• Aplicabilidad: Esto se extiende a pruebas de dimensión infinita (como Kolmogorov-Smirnov) y pruebas unilaterales.

B. Bajo Alternativas Locales (Especificación Inválida)

Cuando la hipótesis nula es falsa (ej. hay tendencias diferenciales), el estimador $\hat{\beta}$ está sesgado. Aquí se compara la cobertura condicional (CC) con la cobertura incondicional (UC).

• Resultados Locales (Teorema 3): Si $\hat{\beta}$ y $\hat{\theta}$ no son independientes, existe un vecindario alrededor de la hipótesis nula donde la CC es mayor que la UC. Es decir, cerca de la verdad, la prueba previa ayuda a filtrar las estimaciones más sesgadas, mejorando la cobertura relativa.
• Resultados Globales (Teorema 4): Bajo condiciones específicas, la CC es mayor que la UC para cualquier desviación de la hipótesis nula.
  • Condición clave: El sesgo estandarizado de $\hat{\beta}$ ($\mu_1$) debe ser igual al sesgo estandarizado de $\hat{\theta}$ ($\mu_2$) multiplicado por su correlación ($\Sigma_{12}$): $\mu_1 = \Sigma_{12}\mu_2$.
  • Contextos donde se cumple: En estudios de RCT o IV, si el tratamiento (o instrumento) es exógeno una vez controladas las covariables de balanceo y el efecto del tratamiento es independiente de ellas.
  • Contextos donde falla: En estudios DID con tendencias diferenciales lineales y errores AR(1), esta condición suele violarse, lo que hace que el resultado global no se aplique directamente.

C. Resultados Numéricos y Simulaciones

Los autores realizan simulaciones para evaluar la robustez de los resultados teóricos:

1. Robustez a la condición $\mu_1 = \Sigma_{12}\mu_2$: Incluso si la condición exacta no se cumple, la CC tiende a ser mayor que la UC para una amplia gama de sesgos, especialmente si el sesgo de las variables omitidas no es excesivamente grande en comparación con el sesgo de las variables incluidas en la prueba.
2. Calibración con estudios DID reales: Utilizando datos de 12 estudios de DID de la literatura (meta-análisis de Roth, 2022), los autores calibran escenarios de tendencias diferenciales.
   • Hallazgo: Aunque la cobertura absoluta (tanto UC como CC) cae por debajo del 95% debido al sesgo de las tendencias diferenciales, la diferencia entre CC y UC es pequeña. En promedio, la CC es solo ligeramente inferior a la UC (79.2% vs 81.0%).
   • Conclusión: En estos contextos adversos, la prueba previa no degrada significativamente la fiabilidad del intervalo de confianza en comparación con no hacer la prueba.

4. Significado e Implicaciones

1. Defensa de las Pruebas de Especificación: El artículo desafía la visión pesimista de que las pruebas de especificación (pre-tests) siempre distorsionan la inferencia. Demuestra que, bajo la hipótesis nula, la inferencia condicional es válida y conservadora, no inválida.
2. Costo vs. Beneficio: El "costo" de realizar pruebas previas (inferencia conservadora bajo la nula, posible rechazo incorrecto de especificaciones verdaderas) es limitado comparado con el beneficio de evitar estimaciones en modelos mal especificados.
3. Recomendaciones Prácticas:
   • Los investigadores pueden continuar reportando intervalos de confianza estándar tras no rechazar una prueba previa, sabiendo que la cobertura es al menos la nominal.
   • En contextos como RCT o IV, donde se cumplen ciertas condiciones de exogeneidad, la prueba previa puede incluso mejorar la cobertura relativa bajo alternativas locales.
   • En DID, aunque la cobertura absoluta puede ser baja debido a violaciones de tendencias paralelas, la prueba previa no empeora drásticamente la situación en comparación con ignorar la violación.
4. Limitaciones: El análisis asume que el investigador se detiene tras una prueba. No aborda la inferencia tras una búsqueda secuencial de especificaciones (ej. probar múltiples modelos hasta encontrar uno que no sea rechazado), lo cual podría reintroducir problemas de selección.

Conclusión Final

El papel concluye que la inferencia condicional a no rechazar una prueba previa no es menos fiable que la inferencia incondicional. Por el contrario, bajo la hipótesis nula es conservadora, y bajo alternativas locales puede ofrecer una protección superior a la inferencia incondicional en ciertos contextos. Esto sugiere que el uso de pruebas de especificación es una práctica metodológicamente sólida y no debe ser abandonada por miedo a la distorsión de la inferencia.