Design-Based Variance Estimation for Modern Heterogeneity-Robust Difference-in-Differences Estimators

Cet article démontre que l'application des formules de variance standard à grappes stratifiées aux estimateurs modernes de différence de différences robustes à l'hétérogénéité produit des erreurs standards cohérentes avec le plan d'échantillonnage et des inférences valides pour des données d'enquêtes complexes, tandis que l'ignorance du plan d'enquête conduit à une sous-coverage sévère et à des conclusions de significativité potentiellement erronées.

L'essentiel

Imaginez que vous essayez de mesurer dans quelle mesure une nouvelle politique de santé aide les jeunes adultes à obtenir une assurance. Vous disposez d'une enquête massive et complexe sur les personnes (comme l'ENNS) qui représente l'ensemble du pays. Mais cette enquête n'est pas une simple liste de personnes choisies au hasard ; elle a été construite comme un gigantesque puzzle à plusieurs couches.

Le Problème : Le Mythe de l'« Échantillon Aléatoire »
La plupart des outils statistiques modernes (spécifiquement les estimateurs de « Différence de Différences » ou DiD) agissent comme s'ils observaient un sac de billes où chaque bille est indépendante et identique. Ils supposent que si vous en choisissez une, cela ne vous dit rien sur la suivante que vous allez choisir.

Mais les enquêtes du monde réel ressemblent davantage à un panier de fruits.

• Le Regroupement (Clustering) : Si vous sortez une pomme du haut du panier, vous êtes susceptible d'en sortir une autre pomme juste à côté. Les personnes d'un même « regroupement » d'enquête (comme des voisins dans le même quartier) ont tendance à être similaires. Si l'une est malade, l'autre pourrait l'être aussi.
• La Stratification : Les concepteurs de l'enquête n'ont pas simplement pris des fruits au hasard ; ils ont soigneusement sélectionné des quantités spécifiques de pommes, d'oranges et de bananes dans différentes sections du magasin pour s'assurer que le panier représente l'ensemble du pays.

Lorsque les chercheurs utilisent des outils standards sur ces données de « panier de fruits », ils font semblant que les pommes sont indépendantes. C'est comme compter les pommes dans votre panier et supposer que vous avez une grande variété, alors qu'en réalité, vous pourriez avoir 20 pommes du même arbre. Cela rend les chercheurs trop confiants. Ils pensent que leurs résultats sont très précis, mais ils sont en réalité beaucoup plus « flous » qu'ils ne le pensent.

La Découverte de l'Article : Le Pont de la « Fonction d'Influence »
L'auteur, Isaac Gerber, a trouvé un moyen de résoudre ce problème. Il a examiné les outils les plus avancés et modernes utilisés par les économistes pour mesurer les effets des politiques. Ces outils sont excellents pour gérer des situations réelles désordonnées où différents groupes réagissent différemment à une politique.

Cependant, ces outils ont été conçus pour le monde du « sac de billes », et non pour celui du « panier de fruits ».

L'idée clé de Gerber est un pont mathématique. Il a démontré que ces outils modernes possèdent une « fonction d'influence » cachée — une manière de calculer dans quelle mesure chaque personne individuelle de l'enquête pousse le résultat final. Il a prouvé que si vous prenez ces « poussées » et que vous les intégrez dans les formules statistiques d'enquête standards (qui savent comment gérer la structure du panier de fruits), les mathématiques fonctionnent parfaitement.

L'Analogie : L'Heuristique du « Regroupement »
L'article a testé cela avec une simulation massive (66 000 exécutions !). Voici ce qu'ils ont découvert :

1. L'Ancienne Méthode (Ignorer le Panier) : Si vous ignorez la conception de l'enquête et utilisez simplement des outils standards, votre confiance dans les résultats est un mensonge. Dans certains cas, vous pourriez penser être sûr à 95 % de votre réponse, alors qu'en réalité, vous n'êtes sûr qu'à 34 %. C'est comme conduire une voiture avec un compteur de vitesse qui indique 100 km/h alors que vous roulez en réalité à 200 km/h. Vous pourriez avoir un accident (prendre une mauvaise décision politique).
2. La Correction « Suffisante » : L'article a montré que si vous faites deux choses, vous obtenez des résultats presque parfaits :
   • Pondérer les personnes : Assurez-vous que les personnes qui sont rares dans l'enquête (mais courantes dans la vie réelle) comptent davantage.
   • Grouper les voisins : Dites à l'ordinateur : « Hé, ces personnes vivent dans le même quartier (PSU) ; traitez-les comme un groupe. »
   • Résultat : Cette correction simple (appelée « cluster=psu ») sauve la mise. Elle empêche les intervalles de confiance de s'effondrer.
3. La Correction « Parfaite » : Si vous ajoutez encore plus de détails — comme savoir exactement de quelle section du magasin le fruit provient (strates) et combien de fruits restaient dans le magasin (correction pour population finie) — vous obtenez des chiffres légèrement plus nets et plus précis. Mais la correction « Suffisante » était déjà sûre et valide.

Le Test du Monde Réel : L'Exemple de la Loi sur l'Assurance Maladie Abordable (ACA)
L'auteur a testé cela sur une véritable étude concernant la Loi sur l'Assurance Maladie Abordable (ACA) en utilisant les données de l'ENNS.

• Sans la correction : L'étude indiquait que la politique avait un effet faible, et le résultat était « statistiquement non significatif » (nous ne pouvons pas être sûrs qu'elle a fonctionné).
• Avec la correction : Une fois qu'ils ont pris en compte la conception de l'enquête, l'effet estimé a augmenté de 48 %, et soudainement, le résultat est devenu « statistiquement significatif » (nous sommes sûrs qu'elle a fonctionné).
• La Leçon : Ignorer la conception de l'enquête n'a pas seulement rendu les chiffres légèrement faux ; il a inversé toute la conclusion de l'étude.

La Solution : Un Nouvel Outil
Pour aider les gens à utiliser cela, l'auteur a publié un package logiciel gratuit appelé diff-diff. Imaginez-le comme une nouvelle paire de lunettes. Auparavant, les chercheurs regardaient les données d'enquête complexes à travers des lentilles floues (outils standards). Maintenant, ils disposent d'un outil qui ajuste automatiquement la structure du « panier de fruits », garantissant que lorsqu'ils affirment qu'une politique fonctionne, ils ont réellement raison.

En Résumé
Cet article dit : « Arrêtez de faire semblant que vos données d'enquête complexes sont une simple liste aléatoire. Utilisez ces outils modernes et robustes, mais nourrissez-les avec les mathématiques « conscientes de l'enquête » appropriées. Si vous le faites, votre confiance dans vos résultats sera réelle, et non une illusion. »

Résumé technique

Résumé technique : Estimation de la variance basée sur le plan d'enquête pour les estimateurs modernes de différences-in-différences robustes à l'hétérogénéité

Énoncé du problème
Les estimateurs modernes de différences-in-différences (DiD) robustes à l'hétérogénéité (par exemple, Callaway et Sant'Anna, 2021 ; Sun et Abraham, 2021 ; Borusyak et al., 2024) sont largement utilisés dans l'évaluation des politiques publiques. Cependant, leurs propriétés asymptotiques sont généralement dérivées dans des cadres indépendants et identiquement distribués (iid), en grappes, ou à plan fixe, qui abstraient de l'échantillonnage complexe des enquêtes. En pratique, les chercheurs appliquent fréquemment ces estimateurs à des enquêtes représentatives au niveau national (par exemple, NHANES, ACS, CPS) qui utilisent des plans d'échantillonnage en grappes à plusieurs étapes et stratifiés.

La littérature existante et les implémentations logicielles (par exemple, did dans R, csdid dans Stata) prennent généralement en charge les poids d'enquête pour l'estimation ponctuelle, mais manquent de mécanismes pour une estimation complète de la variance basée sur le plan d'enquête (tenant compte des strates, du regroupement en unités de sondage primaire (PSU) et des corrections pour population finie). Par conséquent, les praticiens s'appuient souvent sur des erreurs-types robustes à l'hétéroscédasticité (HC1) standard ou sur des heuristiques de regroupement ad hoc. Cette inadéquation conduit à des inférences invalides : ignorer le plan d'enquête entraîne une sous-estimation sévère des erreurs-types et des taux de couverture des intervalles de confiance bien en dessous des niveaux nominaux (par exemple, tombant à 34 % ou moins dans les simulations).

Méthodologie
L'article comble le fossé entre la théorie moderne des DiD et la théorie de l'échantillonnage des enquêtes en appliquant la linéarisation par série de Taylor aux représentations par fonctions d'influence (FI) des estimateurs modernes de DiD.

1. Pont théorique : Les auteurs vérifient que les fonctions d'influence établies dans les articles originaux pour divers estimateurs modernes de DiD satisfont les conditions de régularité requises par Binder (1983). Le théorème de Binder stipule que pour toute fonctionnelle régulière d'une distribution, la variance peut être estimée de manière cohérente en appliquant la formule standard de variance stratifiée-en-grappes aux variables linéarisées (fonctions d'influence pondérées).
2. Estimation de la variance :
   • Estimateurs basés sur les fonctions d'influence (FI) : Pour des estimateurs comme Callaway-Sant'Anna (DR) et DiD par imputation, la variance est calculée en agrégeant les valeurs de FI pondérées au niveau PSU et en appliquant la formule de variance stratifiée-en-grappes.
   • Estimateurs basés sur la régression : Pour des estimateurs comme Sun-Abraham et TWFE, la variance est calculée à l'aide d'un estimateur « sandwich » stratifié-en-grappes (TSL), où le « pain » du sandwich est construit à partir des totaux des scores pondérés au niveau PSU.
   • Poids de réplication : Le cadre prend également en charge les méthodes de poids de réplication (BRR, Jackknife, SDR) pour les enquêtes où les identifiants de strates/PSU sont masqués.
3. Conception de la simulation : Une étude de Monte Carlo avec 66 000 réplications évalue quatre scénarios :
   • Tendances parallèles inconditionnelles avec un plan d'enquête complexe.
   • Échantillonnage informatif (poids corrélés aux résultats) avec des effets de traitement hétérogènes.
   • Séries de coupes transversales répétées.
   • Tendances parallèles conditionnelles (nécessitant un ajustement des covariables).
     L'étude compare trois approches d'inférence : (i) HC1 (non pondéré, sans regroupement), (ii) « Regroupement uniquement » (estimation ponctuelle pondérée + regroupement PSU, sans strates/FPC), et (iii) Basée entièrement sur le plan d'enquête (pondéré + strates + PSU + FPC).

Résultats clés

• Échec du HC1 : Dans le cadre de plans d'enquête complexes, les erreurs-types HC1 produisent une couverture dramatiquement faible. Dans le scénario de base, la couverture chute à 34,2 % pour $n=8 000$. Sous échantillonnage informatif, la couverture tombe en dessous de 11 %. Les effets de plan (DEFF) varient de 2 à 17 dans les scénarios de base et dépassent 100 sous échantillonnage informatif.
• Validité de l'heuristique « Regroupement = PSU » : Combiner l'estimation ponctuelle pondérée par l'enquête avec un regroupement au niveau PSU (en ignorant les strates et les FPC) permet de retrouver une couverture proche du nominal (93–97 %) dans tous les scénarios, y compris l'échantillonnage informatif. Cela valide l'heuristique courante des praticiens consistant à regrouper au niveau PSU.
• Rôle des strates et des FPC : L'ajout de strates et de corrections pour population finie (FPC) apporte une précision incrémentale (rétrécissant les intervalles de confiance) mais n'est pas strictement requis pour une couverture valide dans les plans simulés. Les principaux moteurs d'une inférence valide sont l'estimation ponctuelle pondérée par l'enquête (pour corriger les biais d'échantillonnage informatif) et le regroupement au niveau PSU (pour corriger la corrélation intra-grappe).
• Estimation doublement robuste : Dans les scénarios où les tendances parallèles ne valent que conditionnellement, l'estimation doublement robuste (DR) pondérée par l'enquête avec ajustement des covariables produit une inférence bien calibrée (couverture ~94 %), tandis que les estimateurs non ajustés restent biaisés avec 0 % de couverture.
• Illustration empirique (NHANES/ACA) : Une analyse de la disposition sur la couverture des dépendants de l'ACA (Affordable Care Act) utilisant les données NHANES démontre que l'ignorance du plan d'enquête modifie à la fois l'estimation ponctuelle (une augmentation de 48 %, passant de 6,5 % à 9,6 % lorsqu'elle est pondérée) et la conclusion sur la signification. L'approche HC1 non pondérée donne un résultat non significatif ($p > 0,05$), tandis que l'approche basée sur le plan d'enquête donne un résultat significatif ($p < 0,05$), principalement dû à la correction de l'estimation ponctuelle.

Importance et contributions
La contribution principale de l'article est l'identification et la vérification explicites que les estimateurs modernes de DiD robustes à l'hétérogénéité relèvent du champ de la théorie de la variance basée sur le plan d'enquête de Binder (1983). Bien que la proposition selon laquelle les fonctionnelles régulières admettent une variance cohérente avec le plan d'enquête soit un corollaire direct de la théorie existante des enquêtes, l'article fournit la vérification nécessaire que des estimateurs DiD spécifiques (impliquant des structures complexes de pondération, d'imputation et de régression) satisfont les conditions de régularité requises.

Les auteurs fournissent la première implémentation open-source (package Python diff-diff) qui prend en charge conjointement les strates, le regroupement PSU, les FPC et les méthodes de poids de réplication pour 15 estimateurs modernes de DiD. Ce travail résout une lacune critique en économétrie appliquée, offrant une voie théoriquement fondée et empiriquement validée pour que les chercheurs réalisent une inférence valide sur des données d'enquêtes complexes sans abandonner les méthodes modernes robustes à l'hétérogénéité.

Limites et orientations futures
Les auteurs notent que la linéarisation par série de Taylor (TSL) nécessite au moins deux PSU par strate ($n_h \ge 2$) ; les plans avec des strates uniques nécessitent un traitement spécial. L'approximation par la distribution $t$ peut être anti-conservative avec très peu de PSU au total. Le cadre suppose que les tendances parallèles valent dans la population finie ; la pondération corrige les biais d'échantillonnage mais ne valide pas l'hypothèse d'identification elle-même. Des travaux futurs sont suggérés pour les estimateurs non réguliers (par exemple, Contrôle Synthétique), les plans de traitement multi-niveaux et l'interaction des poids de calibration avec l'estimation de la variance.