On the Use of Design-Based Simulations

Cet article démontre que les simulations basées sur la conception peuvent fausser l'inférence dans les designs de partage de chocs en confondant les effets de traitement avec la dépendance des erreurs, et propose des designs alternatifs pour mieux aligner le processus de génération de données simulé sur la réalité.

L'essentiel

🧪 Le Test de Vérité : Quand les Simulations nous trompent

Imaginez que vous êtes un chef cuisinier (un économiste) qui vient de créer une nouvelle recette (une méthode d'analyse statistique) pour vérifier si un ingrédient spécial (une politique économique, un choc) a vraiment changé le goût de votre plat (les résultats économiques).

Pour être sûr que votre recette fonctionne bien, vous voulez faire des simulations. C'est comme si vous prépariez le plat 100 fois de suite en changeant seulement la façon dont vous ajoutez l'ingrédient, mais en gardant exactement les mêmes légumes et la même sauce de base.

C'est ce qu'on appelle des simulations basées sur la conception (design-based simulations). L'idée est de dire : "Si je garde tout le reste fixe et que je change seulement le hasard de l'expérience, est-ce que mon test me dira la vérité ?"

🚨 Le Problème : Le "Fantôme" de l'Effet Réel

L'auteur, Bruno Ferman, nous dit : "Attention ! Vos simulations peuvent vous mentir."

Voici l'analogie pour comprendre pourquoi :

Imaginez que vous testez un nouveau médicament contre la migraine.

1. La vraie réalité : Le médicament fonctionne vraiment (il guérit la douleur).
2. La simulation : Vous prenez vos patients, vous gardez leurs têtes (leurs résultats) fixes, et vous simulez le fait de donner le médicament à des gens au hasard.

Le problème, c'est que dans votre simulation, vous ne savez pas qui a vraiment pris le médicament et qui ne l'a pas pris dans la réalité. Vous supposez que le médicament n'a aucun effet (puisque vous testez l'hypothèse "ça ne marche pas").

Mais comme les patients ont réellement été guéris par le médicament, leurs têtes sont "trop saines". Quand vous faites votre simulation en mélangeant tout au hasard, vous voyez une différence énorme entre les groupes. Vous vous dites : "Wow ! Il y a une différence énorme ! Mon test doit être faux, il y a un problème caché (comme une corrélation spatiale) !".

En réalité, ce n'est pas un problème caché. C'est simplement que le médicament fonctionne vraiment !

Dans le langage de l'article :

• Les simulations standards confondent l'effet réel du traitement (le médicament qui marche) avec la corrélation spatiale (un bruit de fond qui fausse les résultats).
• Résultat : Les chercheurs pensent que leurs méthodes statistiques sont mauvaises et trop "agressives" (elles rejettent trop souvent l'idée que ça ne marche pas), alors qu'en fait, elles détectent simplement un vrai effet. C'est comme si un détecteur de métaux se mettait à hurler parce qu'il y a un trésor, alors qu'il devrait se taire car il n'y a pas de métal.

🛠️ La Solution : Deux nouvelles façons de cuisiner

L'auteur propose deux solutions pour éviter ce piège et voir la vérité :

1. La méthode du "Placebo" (Le plat sans l'ingrédient)
Au lieu de tester le médicament sur les patients qui l'ont vraiment pris, testez-le sur des gens qui n'ont rien pris du tout (ou sur des données d'avant le traitement).

• Analogie : Si vous testez votre recette sur des légumes qui n'ont jamais vu le feu, vous saurez si votre méthode de cuisson est bonne sans être perturbée par le fait que les légumes étaient déjà cuits.
• Résultat : Si la simulation montre un problème ici, c'est un vrai problème de méthode. Si elle ne montre rien, c'est que tout va bien.

2. La méthode "Nettoyée" (Enlever l'effet avant de simuler)
Si vous ne pouvez pas utiliser de placebo, vous devez d'abord "nettoyer" vos données. Vous calculez l'effet du médicament, vous le soustrairez des résultats, et vous faites la simulation sur ce qui reste (le bruit pur).

• Analogie : C'est comme si vous enleviez la couleur rouge de la peinture avant de tester si votre pinceau laisse des traces. Vous ne testez plus la couleur, mais la texture du pinceau.
• Résultat : Cela permet de voir si la corrélation spatiale (le bruit) est vraiment un problème, sans que l'effet du médicament ne vienne fausser le test.

🌍 Pourquoi c'est important pour le monde réel ?

L'auteur a appliqué ces idées à trois grands exemples économiques (le choc de la Chine sur les emplois US, les robots, et le commerce au Brésil).

• Ce que pensaient les chercheurs avant : Ils utilisaient les vieilles simulations (celles qui confondent tout) et disaient : "Oh non ! Nos méthodes statistiques sont terribles, elles nous donnent trop de faux positifs à cause de la corrélation spatiale. Il faut tout changer !"
• Ce que dit Bruno Ferman : "Attendez. En utilisant nos nouvelles simulations (placebo ou nettoyées), on voit que le problème est souvent moins grave qu'on ne le pensait. Parfois, les méthodes classiques fonctionnent très bien, et ce n'est pas la corrélation spatiale qui pose problème, mais simplement le fait que le traitement fonctionnait vraiment."

💡 En résumé

Les simulations sont des outils puissants, mais comme un miroir déformant, elles peuvent grossir les problèmes s'ils ne sont pas bien construits.

• Le danger : Confondre un succès réel (le traitement marche) avec une erreur de méthode.
• La leçon : Avant de jeter vos méthodes statistiques parce qu'une simulation dit qu'elles sont mauvaises, assurez-vous que la simulation ne vous joue pas un tour en confondant la réalité avec le hasard. Utilisez les "simulations de placebo" ou "nettoyées" pour être sûr de ce que vous voyez.

C'est un rappel précieux pour tous les chercheurs : la façon dont vous posez la question (la simulation) détermine la réponse que vous obtenez.

Résumé technique

Titre : Sur l'utilisation des simulations basées sur la conception (Design-Based Simulations)

1. Problématique

Les simulations basées sur la conception (design-based simulations) sont largement utilisées en économétrie pour évaluer la validité des procédures d'inférence, en particulier dans les contextes où les hypothèses d'indépendance sont remises en question (ex. : corrélations spatiales ou temporelles). Dans ces simulations, les résultats observés sont traités comme fixes, et la variabilité est générée par le rééchantillonnage de l'attribution du traitement ou de chocs exogènes.

L'article identifie un problème fondamental : ces simulations peuvent être trompeuses si le processus générateur de données (DGP) sous-jacent à la simulation ne correspond pas au DGP réel de l'application empirique.

• Le cœur du problème : Dans les designs de type « shift-share » (partage de chocs), les simulations standards qui fixent les résultats observés ($y$) et rééchantillonnent les chocs peuvent confondre les effets de traitement réels avec la dépendance spatiale des erreurs.
• Conséquence : Cela conduit à surestimer les distorsions d'inférence (taux de rejet excessifs) dues à la corrélation spatiale, faussant ainsi l'évaluation de la fiabilité des méthodes statistiques (comme les erreurs standards robustes ou en grappes).

2. Méthodologie et Cadre Théorique

L'auteur analyse le problème à travers deux cadres principaux : les expériences randomisées simples et les designs shift-share.

A. Cadre Théorique (Designs Shift-Share)
Le modèle de base est :
$$y_i = \beta_0 + \beta x_i + \epsilon_i$$
où $x_i = \sum_{f} w_{if} X_f$ est la variable de traitement construite à partir de parts fixes ($w_{if}$) et de chocs stochastiques ($X_f$).

• Simulation Standard (Fixation de $y$) : On fixe le vecteur des résultats observés $y$ et on simule de nouveaux chocs $\tilde{X}_f$.

  • Défaut : Si $\beta \neq 0$ (effet de traitement réel), la simulation crée artificiellement une structure où les erreurs semblent corrélées spatialement. En effet, en fixant $y$ et en changeant $x$, la partie de $y$ due à $\beta x$ est interprétée comme une erreur résiduelle corrélée avec les parts $w_{if}$.
  • Résultat théorique (Proposition 3.1) : Le rapport entre la variance estimée par les erreurs standards robustes et la vraie variance de randomisation converge vers une valeur inférieure à 1 si $\beta \neq 0$. Cela induit un taux de rejet artificiellement élevé, même en l'absence de corrélation spatiale réelle ($\rho=0$).

• Simulations Alternatives Proposées :

  1. Simulation à effets fixes nuls (Placebo) : Utiliser des résultats pré-traitement (où l'on s'attend à $\beta=0$). Si $\beta=0$, la fixation de $y$ ne confond pas l'effet de traitement avec l'erreur, permettant de détecter correctement la corrélation spatiale.
  2. Simulation à erreurs fixes ($\epsilon$-fixed) : Au lieu de fixer $y$, on fixe les erreurs potentielles. On reconstruit les résultats potentiels comme $\dot{y}_i = y_i - \hat{\beta}x_i$.
     • Avantage : Cette méthode élimine la composante de traitement de la simulation. La Proposition A.1 montre que le rapport des variances converge vers une expression qui ne dépend pas de $\beta$, permettant d'isoler la corrélation spatiale même lorsque $\beta \neq 0$.

B. Cadre d'Expérimentation
L'auteur démontre que dans les expériences randomisées simples, fixer les résultats observés pour tester la validité d'une méthode d'inférence (comme les erreurs robustes) revient à tester une hypothèse nulle artificielle ($SATE=0$) sur un DGP modifié, ce qui ne reflète pas nécessairement les propriétés en échantillon fini du DGP réel si les effets de traitement sont hétérogènes ou non nuls.

3. Contributions Clés

1. Identification du biais de confusion : L'article démontre formellement que les simulations standards basées sur la fixation de $y$ confondent les effets de traitement avec la dépendance spatiale, conduisant à une surestimation systématique des problèmes d'inférence dans les designs shift-share.
2. Proposition de solutions alternatives : Introduction de deux designs de simulation corrigés :
   • L'utilisation de résultats de placebo (pré-traitement).
   • La fixation des erreurs résiduelles ($\epsilon$-fixed) plutôt que des résultats bruts.
3. Clarification de l'interprétation : L'article précise que les simulations basées sur la conception peuvent être informatives sur la structure des erreurs, mais uniquement si le DGP simulé est aligné avec le DGP réel sur les dimensions pertinentes (notamment la présence ou l'absence d'effets de traitement).
4. Supériorité par rapport aux tests de pré-tendance : Les simulations basées sur les résultats pré-traitement sont présentées comme étant plus puissantes pour détecter la corrélation spatiale que les simples tests de régression sur les résultats pré-traitement, car elles explorent l'ensemble des attributions possibles et non seulement l'attribution observée.

4. Résultats Empiriques

L'auteur applique ces méthodes à trois études empiriques célèbres utilisant des designs shift-share :

• Autor, Dorn et Hanson (2013) : Choc chinois sur le marché du travail.
• Acemoglu et Restrepo (2020) : Robots et emploi.
• Dix-Carneiro et al. (2018) : Libéralisation commerciale et crime au Brésil.

Résultats principaux (Tableau 1) :

• Sur-estimation par les méthodes standards : Les simulations standards (fixation de $y$) montrent des taux de rejet très élevés (34% à 70%) pour les erreurs standards en grappes, suggérant une forte invalidité due à la corrélation spatiale.
• Correction par les méthodes alternatives :
  • Pour Autor et al. (2013), les simulations alternatives confirment la présence de corrélation spatiale, mais avec une magnitude de distorsion légèrement moindre que celle suggérée par les simulations standards.
  • Pour Acemoglu et Restrepo (2020), les simulations avec résultats de placebo montrent un taux de rejet proche de 5% (niveau nominal), suggérant que les erreurs standards en grappes sont valides pour tester l'hypothèse nulle stricte d'absence d'effet, contrairement à ce que suggéraient les simulations standards.
  • Pour Dix-Carneiro et al. (2018), les deux méthodes alternatives indiquent des taux de rejet faibles (<5%), suggérant que la corrélation spatiale n'est pas un problème majeur dans cette application spécifique.
• Limites des nouvelles méthodes d'inférence : Les simulations montrent que les nouvelles méthodes proposées par Adão et al. (2019) et Borusyak et al. (2021) peuvent souffrir de distorsions importantes dans les applications avec un petit nombre de secteurs (ex: 19 ou 20 secteurs), avec des taux de rejet allant jusqu'à 57%.

5. Signification et Implications

• Pour la recherche appliquée : Les chercheurs ne doivent pas se fier aveuglément aux simulations standards pour justifier l'utilisation de méthodes d'inférence complexes. Une simulation mal conçue peut conduire à rejeter à tort des méthodes valides (comme les erreurs standards en grappes) ou à accepter des méthodes inadéquates.
• Recommandation méthodologique :
  1. Commencer par évaluer la fiabilité des nouvelles méthodes (Adão et al., Borusyak et al.) via des simulations.
  2. Si ces méthodes semblent peu fiables (petit nombre de chocs), utiliser les simulations alternatives (placebo ou $\epsilon$-fixed) pour évaluer la fiabilité des erreurs standards en grappes.
  3. Interpréter les résultats des simulations avec prudence en fonction de la présence d'effets de traitement dans les données originales.
• Conclusion générale : L'utilité des simulations basées sur la conception dépend crucialement de la proximité entre le DGP simulé et le DGP réel. Une construction soignée est essentielle pour éviter des conclusions erronées sur la validité des inférences statistiques.