When Can We Trust Cluster-Robust Inference?

El artículo propone que, aunque ningún método de inferencia robusta a conglomerados garantiza resultados fiables en todos los casos, es posible obtener conclusiones seguras aplicando múltiples procedimientos para evaluar la fiabilidad de distintos métodos en un modelo y conjunto de datos específicos.

Lo esencial

¿Cuándo podemos confiar en las estadísticas de grupos? Una guía sencilla

Imagina que eres un detective tratando de resolver un misterio: ¿Funciona realmente un nuevo método de enseñanza para mejorar las notas de los estudiantes?

Para averiguarlo, miras los datos de cientos de estudiantes. Pero hay un problema: los estudiantes no son como gotas de agua independientes en un río; están agrupados en clases. Los niños de la misma clase comparten al mismo profesor, el mismo aula, el mismo clima y, a menudo, las mismas influencias. Si un niño mejora, es probable que sus compañeros también lo hagan.

En estadística, a esto se le llama agrupamiento (clustering). Si ignoras que los estudiantes están en grupos y tratas a cada uno como si fuera un mundo aparte, puedes cometer un error grave: creer que tu método funciona cuando en realidad solo estás viendo el efecto de un buen profesor.

El artículo del profesor James MacKinnon es como un manual de supervivencia para detectives estadísticos. Nos explica cómo usar herramientas especiales (llamadas "errores estándar robustos a agrupamientos") para no caer en trampas, y sobre todo, cuándo confiar en esas herramientas y cuándo no.

Aquí tienes la explicación sencilla, con algunas analogías para hacerlo más claro:

---

1. El problema: La ilusión de la independencia

Imagina que quieres medir la altura promedio de los árboles en un bosque. Si mides 100 árboles que están todos juntos en un mismo valle, y el suelo de ese valle es muy fértil, todos los árboles serán altos. Si tratas esos 100 árboles como si fueran 100 muestras independientes de todo el bosque, pensarás que el bosque entero es gigante. Pero en realidad, solo has medido un valle.

En economía y ciencias sociales, si no tienes en cuenta estos "valles" (grupos), tus conclusiones serán falsas. Necesitas una herramienta que diga: "Oye, estos datos vienen del mismo grupo, así que no cuentes 100 pruebas independientes, cuenta solo 1".

2. Las herramientas: Tres tipos de "reglas" para medir

Los estadísticos han creado varias "reglas" (métodos) para ajustar sus cálculos y tener en cuenta estos grupos. El autor compara tres de las más famosas:

• CV1 (La regla vieja y popular): Es la más usada, como un martillo que todos tienen en la caja de herramientas. Funciona bien si tienes muchos grupos (digamos, 50 o 100 clases). Pero si tienes pocos grupos (como 12 clases), esta regla suele ser demasiado optimista. Te dice que tu resultado es muy seguro cuando en realidad es un poco frágil. Es como usar una regla de plástico para medir un edificio: parece que todo está bien, pero la regla se dobla.
• CV3 (La regla del "Jackknife" o "Cuchillo de afeitar"): Imagina que quieres saber qué tan fuerte es un puente. La regla CV3 hace algo inteligente: quita un grupo a la vez (una clase) y vuelve a calcular todo. Si al quitar una clase los resultados cambian mucho, la regla te avisa: "¡Cuidado! Este grupo tiene demasiado peso". Esta regla es más conservadora y suele ser más segura que la CV1, especialmente cuando tienes pocos grupos.
• El Bootstrap Salvaje (WCB): Imagina que tienes un dado trucado. En lugar de confiar en la teoría matemática, decides tirar el dado miles de veces en una simulación por computadora para ver qué pasa. El "Bootstrap Salvaje" hace exactamente eso: crea miles de versiones falsas de tus datos para ver si tu conclusión se mantiene firme. Es como hacer un ensayo general antes de la obra de teatro.

3. El gran peligro: Cuando hay pocos grupos

Aquí está la parte más importante del artículo. La cantidad de grupos (clases) es mucho más importante que la cantidad de estudiantes.

• Escenario A: Tienes 100 clases con 10 estudiantes cada una. ¡Excelente! Puedes confiar en casi cualquier método.
• Escenario B: Tienes 12 clases con 500 estudiantes cada una. ¡Peligro! Aunque tengas 6,000 estudiantes, solo tienes 12 "unidades" independientes.
  • Si en esas 12 clases, solo 4 recibieron el tratamiento (el nuevo método) y las otras 8 no, las cosas se ponen muy difíciles. Es como intentar adivinar el sabor de un pastel probando solo 4 trozos de una sola capa.

El autor advierte que en estos casos de "pocos grupos", ningún método es perfecto. Algunos te dirán que el resultado es significativo (¡lo logramos!) cuando en realidad es suerte. Otros te dirán que no es significativo cuando sí lo es.

4. ¿Cómo saber a quién creer? (El kit de diagnóstico)

Dado que no hay una "bala de plata" (un método perfecto para todo), el autor sugiere un enfoque de triangulación. Es como si un detective usara tres pistas diferentes para confirmar un crimen.

Si quieres estar seguro de tus resultados, haz lo siguiente:

1. Cuenta tus grupos: ¿Tienes muchos o muy pocos? ¿Hay muchos grupos tratados y muchos de control, o solo unos pocos?
2. Usa varias reglas: No te quedes solo con la CV1. Calcula también con CV3 y con el Bootstrap Salvaje.
   • Analogía: Si tres relojes diferentes te dicen que son las 3:00, probablemente sean las 3:00. Si uno dice 3:00, otro 4:00 y otro 2:30, algo anda mal.
3. Haz "Pruebas de Falsedad" (Placebo): Imagina que le das el tratamiento a un grupo que no debería recibirlo (por ejemplo, a estudiantes de otra materia que no tiene nada que ver). Si tu método estadístico dice que hubo un efecto mágico en este grupo falso, ¡tu método está roto! Debes descartarlo.
4. Simulaciones a medida: Si tienes dudas, usa la computadora para simular miles de escenarios basados en tus datos reales y mira qué método falla menos.

5. Conclusión: La sabiduría del detective

El mensaje final de MacKinnon es de humildad y precaución:

• No confíes ciegamente en el resultado que te da el software por defecto (usualmente la CV1). A menudo, esos resultados son demasiado "bonitos" y poco realistas.
• Si tienes pocos grupos, ten mucho cuidado. Es posible que no puedas sacar conclusiones definitivas.
• La mejor estrategia es usar varios métodos (CV3, Bootstrap, simulaciones). Si todos ellos te dicen lo mismo, entonces puedes dormir tranquilo. Si te dicen cosas diferentes, es hora de decir: "No estoy seguro, necesito más datos o un diseño mejor".

En resumen: Las estadísticas con grupos son como navegar en un barco. Si el mar está calmado (muchos grupos), cualquier brújula funciona. Pero si hay tormenta (pocos grupos), necesitas verificar tu brújula con el cielo, con las estrellas y con el GPS, y si todos apuntan al norte, entonces sabes que estás en el camino correcto. Si apuntan en direcciones distintas, ¡mejor no salgas a navegar!

Resumen técnico

Resumen Técnico: ¿Cuándo podemos confiar en la inferencia robusta a conglomerados?

Autor: James G. MacKinnon (Queen's University y Aarhus Center for Econometrics)
Fecha: 3 de abril de 2026

1. El Problema

El uso de errores estándar robustos a conglomerados (cluster-robust standard errors) es una práctica estándar en econometría y otras disciplinas para manejar la correlación intra-conglomerado y la heterocedasticidad. Sin embargo, la inferencia basada en estos métodos a menudo es poco fiable en muestras finitas, especialmente cuando:

• El número de conglomerados ($G$) es pequeño.
• Existe una gran heterogeneidad entre los conglomerados (en tamaño, leverage o patrones de correlación).
• El número de conglomerados tratados o de control es muy bajo.

La teoría asintótica tradicional sugiere que los métodos son válidos cuando $G \to \infty$, pero en la práctica, muchos estudios tienen $G$ limitado. El artículo destaca que no existe un único método que funcione perfectamente en todos los casos, lo que dificulta saber a qué valores $P$ o intervalos de confianza confiar.

2. Metodología y Enfoque

El artículo se centra en el modelo de regresión lineal con un solo nivel de conglomerados. MacKinnon revisa y compara diversas estrategias para la estimación de la matriz de varianza y la inferencia:

• Estimadores de Varianza (CRVE):
  • CV1: El estimador más común (basado en scores empíricos), pero propenso a sesgos hacia abajo en muestras pequeñas.
  • CV2 y CV3: Alternativas que transforman los residuos (análogos a HC2 y HC3). CV3 (basado en el cluster jackknife) es destacado por ser más conservador y fiable que CV1.
• Distribuciones de Referencia:
  • Uso de la distribución normal estándar vs. la distribución $t$ con $G-1$ grados de libertad.
  • Métodos avanzados que ajustan los grados de libertad y escalan la varianza (método de Hansen, 2025a,b).
• Métodos de Bootstrap:
  • Pairs Cluster Bootstrap (PCB): Muestra un rendimiento mediocre en muchos casos debido a la variación en el tamaño de los conglomerados remuestreados.
  • Wild Cluster Bootstrap (WCB): Generalmente superior. Se discuten variantes clásicas (WCR-C, WCU-C) y nuevas variantes basadas en scores ("Score Wild Cluster Bootstrap": WCR-S y WCU-S) que corrigen distorsiones causadas por la estimación de mínimos cuadrados.
• Diagnósticos de Fiabilidad:
  • Heterogeneidad: Medición del "número efectivo de conglomerados" ($G^*$) y la variabilidad del leverage parcial.
  • Pruebas de Nivel de Conglomerado: Uso de pruebas de varianza de scores para determinar si se debe agrupar a un nivel fino o grueso.
  • Experimentos Monte Carlo Dirigidos (Targeted MC): Simulaciones que utilizan la matriz de datos $X$ real y generan perturbaciones bajo diferentes supuestos de correlación intra-conglomerado.
  • Regresiones Placebo: Reemplazar o añadir el regressor de interés por uno artificial para ver la tasa de rechazo bajo la hipótesis nula verdadera.

3. Contribuciones Clave

1. Marco de Evaluación Práctica: El autor propone un protocolo sistemático para que los investigadores evalúen la fiabilidad de sus resultados en un modelo específico, en lugar de depender ciegamente de la teoría asintótica.
2. Validación de Nuevos Métodos: Se demuestra empíricamente y mediante simulaciones que las variantes WCR-S (Wild Cluster Restricted Score) y los procedimientos de Hansen (2025a,b) (que combinan CV3 con grados de libertad ajustados) suelen ofrecer la inferencia más fiable, especialmente en escenarios difíciles.
3. Advertencia sobre CV1: Se confirma que el uso estándar de CV1 con distribución $t(G-1)$ a menudo produce valores $P$ engañosamente pequeños e intervalos de confianza demasiado estrechos cuando $G$ es pequeño o hay heterogeneidad.
4. Herramientas Computacionales: Se hace referencia a paquetes de Stata (summclust, boottest, mnwsvt) que facilitan el cálculo de estos diagnósticos y métodos avanzados.

4. Resultados Principales

A través de dos aplicaciones empíricas (efecto de modelos femeninos en economía y diversidad en escuelas de Delhi), el estudio muestra:

• Inconsistencia de Métodos Comunes: En situaciones de pocos conglomerados tratados, los métodos tradicionales (CV1 + $t$) y el bootstrap de pares a menudo fallan (sobre-rechazo o sub-rechazo severo).
• Rendimiento Superior de WCR-S y Hansen: En los experimentos dirigidos y regresiones placebo, los métodos WCR-S y Hansen mantuvieron tasas de rechazo cercanas al nivel nominal (5%), incluso cuando otros métodos fallaron estrepitosamente.
• Importancia de la Heterogeneidad: La fiabilidad depende críticamente de la homogeneidad de los conglomerados. Si hay pocos conglomerados tratados o de control, la inferencia es inherentemente difícil y ningún método es infalible, aunque WCR-S y Hansen son los más robustos.
• Diagnósticos Previos: Calcular el número efectivo de conglomerados ($G^*$) y realizar pruebas de varianza de scores antes de la inferencia final es crucial para detectar problemas potenciales.

5. Significado e Implicaciones

El artículo cambia el paradigma de "elegir un método y aplicarlo" a "evaluar la fiabilidad del método para el dataset específico".

• Para Investigadores: Se insta a no confiar ciegamente en los errores estándar por defecto (CV1). Se recomienda:
  1. Verificar el número de conglomerados y su heterogeneidad.
  2. Utilizar métodos más conservadores como CV3 o WCR-S.
  3. Realizar experimentos Monte Carlo dirigidos o regresiones placebo cuando los resultados sean sensibles al método elegido.
• Para la Literatura Económica: Dado que la mitad de los artículos en revistas de alto nivel usan errores estándar agrupados, este trabajo proporciona las herramientas necesarias para auditar la validez de esas inferencias, reduciendo la probabilidad de hallazgos falsos positivos derivados de una mala especificación de la inferencia.

En conclusión, MacKinnon argumenta que, aunque no existe una "bala de plata" para la inferencia robusta en todos los casos, mediante el uso combinado de métodos avanzados (WCR-S, Hansen) y diagnósticos rigurosos (Placebo, MC dirigidos), es posible obtener resultados en los que se puede confiar razonablemente, incluso en muestras con un número limitado de conglomerados.