When Can We Trust Cluster-Robust Inference?

Bien qu'aucune méthode unique d'inférence robuste aux grappes ne soit fiable dans tous les cas, l'utilisation combinée de plusieurs procédures d'évaluation permet d'obtenir des résultats statistiquement crédibles pour un modèle et un jeu de données donnés.

L'essentiel

🌳 Le Problème : La Forêt des Données en Grappes

Imaginez que vous étudiez la réussite scolaire. Vous ne regardez pas chaque élève individuellement, mais vous les regroupez par classe ou par école. En statistiques, on appelle cela des "grappes" (clusters).

Le problème, c'est que les élèves d'une même classe se ressemblent souvent (même enseignant, même ambiance, même quartier). Ils ne sont pas indépendants les uns des autres. Si vous traitez chaque élève comme une donnée totalement isolée, vous allez faire une erreur de calcul : vous allez penser que vous avez beaucoup plus d'informations que vous n'en avez réellement.

Pour corriger cela, les statisticiens utilisent des "erreurs robustes en grappes". C'est comme mettre des chaussures de sécurité pour marcher sur ce terrain glissant. Mais voici le hic : il existe plusieurs modèles de chaussures (différentes méthodes de calcul), et certaines sont bien meilleures que d'autres. Parfois, une paire de chaussures vous fait trébucher au lieu de vous protéger.

👟 Les Différentes Paires de Chaussures (Les Méthodes)

L'auteur compare plusieurs façons de calculer ces erreurs :

1. La méthode classique (CV1) : C'est la paire de chaussures la plus courante, celle que tout le monde porte par habitude.
   • Le danger : Elle est souvent trop légère. Elle vous dit que vos résultats sont très précis (des intervalles de confiance très étroits), alors qu'ils sont en réalité flous. C'est comme si votre GPS vous disait "vous êtes à 1 mètre de la destination" alors que vous êtes encore à 10 kilomètres. Elle a tendance à vous faire croire à des découvertes qui n'existent pas (faux positifs).
2. La méthode "Jackknife" (CV3) : C'est une chaussure plus lourde et plus solide.
   • L'avantage : Elle est plus prudente. Elle élargit vos intervalles de confiance pour dire : "Attention, il y a de l'incertitude ici". Elle est souvent plus fiable que la méthode classique, surtout quand il y a peu de grappes.
3. Le "Bootstrap Sauvage" (Wild Cluster Bootstrap) : Imaginez que vous faites des milliers de simulations pour voir ce qui se passerait si vous jouiez aux dés avec vos données.
   • L'avantage : C'est la méthode la plus sophistiquée. Elle teste la stabilité de vos résultats en les secouant violemment. Si vos résultats tiennent bon après cette secousse, vous pouvez leur faire confiance.

⚠️ Quand les Chaussures Ne Sont Pas Suffisantes

L'auteur nous met en garde : aucune chaussure ne fonctionne dans toutes les situations.

• Le nombre de grappes compte : Si vous n'avez que 5 écoles pour étudier 5000 élèves, c'est comme essayer de prédire le temps qu'il fera dans tout le pays en regardant seulement 5 fenêtres. Même avec les meilleures chaussures, vous risquez de vous tromper.
• L'inégalité des tailles : Si une école a 500 élèves et les autres 10, cette grosse école tire toute la décision vers elle. C'est comme si un éléphant entrait dans une pièce remplie de souris : son pas compte plus que celui de toutes les souris réunies. Cela fausse les résultats.
• Le traitement déséquilibré : Si vous testez un nouveau médicament, mais que vous ne l'avez donné qu'à une seule école parmi 20, il est très difficile de savoir si c'est le médicament qui a marché ou juste le hasard de cette école spécifique.

🔍 Comment savoir si on peut faire confiance à ses résultats ?

Puisqu'on ne peut pas toujours savoir quelle méthode est la bonne, l'auteur propose une approche de "détective" : ne jamais se fier à une seule source.

Voici la boîte à outils du détective :

1. Le test de la "Placebo" (Le faux médicament) :
   Imaginez que vous prenez vos données et que vous remplacez le vrai traitement par un faux (par exemple, dire que c'est l'école A qui a reçu le traitement, alors que c'est l'école B). Si votre méthode statistique vous dit que ce "faux traitement" a un effet miraculeux, c'est que votre méthode est défectueuse ! Elle voit des fantômes.
2. L'expérience ciblée (Le laboratoire) :
   Recréez artificiellement vos données en gardant la même structure, mais en ajoutant du "bruit" aléatoire. Si, après des milliers de simulations, votre méthode continue de donner les mêmes résultats, c'est bon signe.
3. La convergence :
   Si la méthode classique, la méthode Jackknife et le Bootstrap Sauvage donnent tous des résultats similaires, alors vous pouvez probablement dormir sur vos deux oreilles. Si elles donnent des résultats opposés (l'une dit "oui", l'autre "non"), méfiez-vous ! C'est le signal d'alarme.

💡 La Conclusion en une phrase

Ne faites jamais confiance aveuglément à un seul chiffre ou à une seule méthode statistique, surtout quand vous avez peu de groupes à analyser. Utilisez plusieurs méthodes, faites des tests de réalité (comme les placebos), et si toutes vos "chaussures" vous disent la même chose, alors vous pouvez marcher en toute confiance. Sinon, restez sur place et avouez que l'incertitude est trop grande.

Résumé technique

1. Problématique

L'utilisation d'erreurs standards robustes aux regroupements (cluster-robust standard errors) est devenue une pratique standard en économétrie pour les données de panel ou de coupe transversale, afin de gérer l'hétéroscédasticité et la corrélation intra-grappe. Cependant, l'article souligne un problème fondamental : aucune méthode d'inférence ne garantit des résultats fiables dans tous les cas, en particulier lorsque le nombre de grappes ($G$) est faible.

Les défis majeurs identifiés sont :

• La dépendance critique au nombre de grappes ($G$) plutôt qu'au nombre total d'observations ($N$).
• L'hétérogénéité des grappes (taille, levier, variance des erreurs) qui peut rendre les estimateurs de variance biaisés.
• La difficulté de choisir entre différentes méthodes d'estimation de la matrice de variance (CV1, CV2, CV3) et différentes distributions de référence (Normale, $t$ de Student, Bootstrap).
• L'incertitude sur le niveau correct de regroupement (ex. : école vs district scolaire).

2. Méthodologie et Cadre Théorique

L'article se concentre sur le modèle de régression linéaire avec un regroupement unidimensionnel :
$$y_g = X_g\beta + u_g$$

A. Estimateurs de la Matrice de Variance (CRVE)

L'auteur compare trois estimateurs principaux de la matrice de variance robuste aux regroupements (Cluster-Robust Variance Estimator - CRVE) :

1. CV1 : L'estimateur le plus courant, basé sur les scores empiriques bruts ($\hat{s}_g \hat{s}_g^\top$). Il est souvent biaisé vers le bas (sous-estimation de la variance) lorsque $G$ est petit.
2. CV2 : Basé sur une transformation des résidus (analogue à HC2). Moins utilisé en pratique pour les grands clusters en raison du coût computationnel.
3. CV3 (Jackknife de grappe) : Basé sur l'estimateur de type jackknife où l'on réestime le modèle en excluant une grappe à la fois. Il est généralement plus conservateur et plus fiable que CV1, surtout pour les petits échantillons.

B. Inférence et Distributions

• Distribution de référence : Bien que la théorie asymptotique suggère une distribution normale, l'article recommande l'utilisation de la distribution $t$ de Student à $G-1$ degrés de liberté (ou des degrés de liberté ajustés comme proposé par Hansen, 2025) plutôt que la normale standard, car elle corrige partiellement le biais en petits échantillons.
• Méthodes Bootstrap :
  • Pairs Cluster Bootstrap (PCB) : Rééchantillonnage des grappes entières. Souvent peu performant en petits échantillons.
  • Wild Cluster Bootstrap (WCB) : Multiplie les vecteurs de scores par des variables aléatoires (souvent Rademacher). L'article met en avant des variantes améliorées : WCU-S (Unrestricted Score) et WCR-S (Restricted Score), qui corrigent les distorsions causées par les moindres carrés ordinaires (MCO) et offrent de meilleures propriétés en échantillon fini.

C. Diagnostic et Validation

Pour déterminer la fiabilité d'une inférence spécifique, l'auteur propose une boîte à outils diagnostique :

• Mesures d'hétérogénéité : Calcul du nombre effectif de grappes ($G^*$), du levier partiel des grappes, et de la variance des tailles de grappes.
• Tests de score-variance : Pour tester le niveau de regroupement (fin vs grossier).
• Expériences Monte Carlo ciblées : Génération de données simulées en conservant la matrice $X$ réelle et en simulant les erreurs selon des modèles spécifiques (ex. effets aléatoires) pour évaluer les fréquences de rejet réelles.
• Régressions placebo : Remplacement ou ajout d'une variable explicative artificielle pour vérifier si les méthodes d'inférence rejettent à tort l'hypothèse nulle (taux de rejet empirique).

3. Contributions Clés

1. Critique de la méthode CV1 standard : L'article démontre que l'usage combiné de CV1 et de la distribution $t(G-1)$ est souvent insuffisant et conduit à un rejet excessif (P-values trop faibles) lorsque $G$ est petit ou que l'hétérogénéité est forte.
2. Promotion du CV3 et du WCR-S : L'auteur identifie le CV3 (Jackknife) et le Wild Cluster Bootstrap restreint avec scores (WCR-S) comme les méthodes les plus robustes, bien qu'elles puissent parfois être trop conservatrices (sous-rejet).
3. Cadre de validation pratique : Au lieu de chercher une méthode universelle, l'article propose une approche pragmatique : croiser les résultats de plusieurs méthodes (analytiques et bootstrap) et les valider via des simulations ciblées (Monte Carlo et placebo) sur le jeu de données spécifique.
4. Analyse de l'hétérogénéité : Mise en évidence du fait que la variation des tailles de grappes et du levier (leverage) est souvent plus dommageable que le simple nombre de grappes.

4. Résultats Empiriques (Études de Cas)

L'auteur applique ces procédures à deux études empiriques :

• Cas 1 : Rôles modèles féminins en économie (Porter & Serra, 2020)

  • Contexte : 12 classes, 4 traitées. $G$ très faible.
  • Résultats : Les méthodes standard (CV1) suggèrent une signification forte ($p < 0.05$). Cependant, les simulations Monte Carlo et les régressions placebo révèlent que ces méthodes sur-rejettent. Les méthodes robustes (CV3, WCR-S) donnent des P-values plus élevées, suggérant que la preuve de l'effet est plus faible ou modeste.
  • Leçon : Avec très peu de grappes traitées, l'inférence est extrêmement fragile et les méthodes classiques sont trompeuses.

• Cas 2 : Diversité dans les écoles d'élite de Delhi (Rao, 2019)

  • Contexte : Choix entre regroupement par école (17 grappes) ou par école-classe (68 grappes).
  • Résultats : Les tests de score-variance favorisent le regroupement par école. Les simulations montrent que le regroupement par école-classe conduit à un sous-rejet sévère avec CV3, tandis que les méthodes Wild Bootstrap (WCR-S) et la méthode de Hansen (2025) restent fiables.
  • Leçon : Un plus grand nombre de grappes ne garantit pas la fiabilité si la structure de corrélation est mal spécifiée.

5. Signification et Recommandations

L'article conclut que l'inférence robuste aux regroupements est un problème difficile sans solution unique, mais gérable par une approche de diagnostic rigoureux.

Recommandations pratiques pour les chercheurs :

1. Compter les grappes : Vérifier que $G$ est suffisant et que le nombre de grappes traitées ($G_1$) et de contrôle ($G_0$) est équilibré.
2. Préférer CV3 et WCR-S : Utiliser l'estimateur CV3 (Jackknife) et le Wild Cluster Bootstrap restreint (WCR-S) plutôt que CV1.
3. Utiliser les degrés de liberté ajustés : Appliquer les corrections de degrés de liberté (ex. méthode de Hansen) plutôt que $G-1$ simple.
4. Valider par simulation : Lorsque les résultats sont sensibles à la méthode choisie, effectuer des expériences Monte Carlo ciblées ou des régressions placebo sur les données réelles pour estimer la fréquence de rejet réelle. Si plusieurs méthodes (analytiques et bootstrap) convergent et que les simulations confirment leur fiabilité, les résultats peuvent être considérés comme dignes de confiance.

En résumé, MacKinnon appelle à une plus grande prudence et à l'adoption de procédures de diagnostic systématiques pour éviter les conclusions erronées dans les études utilisant des données regroupées, en particulier lorsque le nombre de grappes est limité.