Valid Inference when Testing Violations of Parallel Trends for Difference-in-Differences

Résumé technique : Inférence valide lors du test des violations des tendances parallèles pour les différences de différences

Énoncé du problème
La conception des différences de différences (DID) est une stratégie principale pour estimer les effets causaux en présence de facteurs de confusion non mesurés, reposant de manière critique sur l'hypothèse des tendances parallèles. Bien que cette hypothèse soit contrefactuelle et non testable pour la période post-traitement, les chercheurs examinent systématiquement les périodes pré-traitement pour vérifier les violations de tendances. Cependant, la littérature récente (par exemple, Freyaldenhoven, Hansen et Shapiro, 2019 ; Roth, 2022) a démontré que l'utilisation de tests préliminaires conventionnels pour valider les tendances parallèles induit de graves déficiences statistiques dans l'inférence ultérieure, notamment un biais, une faible puissance et une sous-couverture des intervalles de confiance. Les chercheurs appliqués sont confrontés à un dilemme : les tests préliminaires sont intuitivement nécessaires pour évaluer la plausibilité de la conception de la recherche, mais les méthodes statistiques standard échouent lorsqu'elles sont conditionnées aux résultats de tels tests.

Méthodologie
Les auteurs proposent un cadre qui formalise la logique implicite des tests préliminaires à travers une nouvelle hypothèse et en dérive les procédures d'inférence correspondantes.

1. L'hypothèse d'extrapolation conditionnelle :
   La contribution théorique centrale est l'« hypothèse d'extrapolation conditionnelle ». Contrairement à l'hypothèse classique des tendances parallèles (qui postule l'absence de violations) ou aux hypothèses d'identification partielle (qui supposent que les violations pré-traitement bornent inconditionnellement les violations post-traitement), cette hypothèse postule une relation conditionnelle :

   • Si la sévérité des violations de tendances parallèles pré-traitement ($S_{pre}$) est inférieure à un seuil acceptable pré-spécifié ($M$), alors la sévérité des violations post-traitement ($S_{post}$) est bornée par $S_{pre}$ (c'est-à-dire $S_{post} \leq S_{pre}$).
   • Si $S_{pre} > M$, aucune borne sur $S_{post}$ n'est justifiée, et la conception DID est jugée inappropriée.
     Ici, la sévérité est mesurée comme une norme $L_p$ des violations itératives de tendances parallèles ($R(t)$).

2. Test préliminaire :
   Les auteurs proposent un test préliminaire simple pour déterminer si la condition d'extrapolation est vérifiée ($S_{pre} \leq M$). La statistique de test est la sévérité estimée des violations pré-traitement ($\hat{S}_{pre}$). Le test rejette la condition d'extrapolation si $\hat{S}_{pre} \geq M$.

   • Consistance asymptotique : Le test est démontré comme étant asymptotiquement consistant sous une « condition de séparation ». Plus précisément, si la vraie $S_{pre}$ est séparée du seuil $M$ par une séquence $s_n$ où $s_n = \omega(n^{-1/2})$, les erreurs de type I et de type II disparaissent lorsque la taille de l'échantillon $n \to \infty$. Cela diffère des tests d'hypothèse conventionnels, qui cherchent à minimiser l'erreur de type II à un niveau d'erreur de type I fixe ; au contraire, ce test privilégie la consistance dans les régimes bien séparés.

3. Intervalles de confiance valides conditionnellement :
   Si le test préliminaire est réussi (c'est-à-dire que la condition d'extrapolation est déclarée vraie), les auteurs construisent des intervalles de confiance pour l'effet moyen du traitement sur les traités (ATT).

   • Structure : L'intervalle est centré sur l'estimateur DID standard ($\hat{\tau}_{DD}$) mais est gonflé pour tenir compte du biais potentiel. La largeur comprend deux composantes :
     1. Un terme de biais : $\kappa \cdot \hat{S}_{pre}$, où $\kappa$ est une constante dérivée de la durée de la période post-traitement et du choix de la norme $p$. Ce terme représente la borne supérieure précise du biais dérivée de la proposition 3.1.
     2. Un terme de fluctuation statistique : $f(\alpha, \hat{\Sigma}) / \sqrt{n}$, tenant compte de l'incertitude conjointe de l'estimateur DID et de l'estimation de la sévérité.
   • Validité : Le théorème 5.1 établit que ces intervalles atteignent une couverture nominale ($1-\alpha$) conditionnellement à l'événement que le test préliminaire soit réussi, à condition que le processus générateur de données satisfasse la condition de séparation.

Résultats clés

• Consistance : Le test préliminaire proposé est asymptotiquement consistant pour séparer les hypothèses où la sévérité de la violation pré-traitement est suffisamment éloignée du seuil $M$.
• Couverture conditionnelle : Les intervalles de confiance proposés offrent une couverture valide conditionnellement au succès du test. Cela résout les problèmes de sous-couverture associés aux méthodes conventionnelles qui conditionnent sur le succès de tests préliminaires standards.
• Comportement de la largeur de l'intervalle : La largeur des intervalles de confiance évolue comme $\max(S_{pre}, n^{-1/2})$.
  • Si les violations pré-traitement sont « présentes mais négligeables » (ordre $n^{-1/2}$), la largeur de l'intervalle converge au taux paramétrique standard ($n^{-1/2}$).
  • Si les violations sont non négligeables (ordre $O(1)$), la largeur de l'intervalle reste constante, reflétant la borne de biais persistante.
• Probabilité de rapport valide : Le théorème 5.2 montre que la probabilité conjointe de réussir le test et que l'intervalle contienne l'effet réel (rapport valide) converge également vers le niveau nominal sous l'hypothèse nulle bien séparée.

Illustrations empiriques
Les auteurs valident leurs méthodes en utilisant :

1. Simulations synthétiques : Démontrant que la couverture conditionnelle de leurs intervalles est maintenue au niveau nominal lorsque la condition d'extrapolation est vraie, alors que les intervalles conventionnels sous-couvrent. Les simulations montrent également comment la largeur de l'intervalle évolue avec le nombre de périodes pré-traitement ($T_{pre}$) et le paramètre de sévérité ($p$).
2. Données sur la recentralisation au Vietnam : Réanalyse de Malesky, Nguyen et Tran (2014). Le test préliminaire rejette correctement la condition d'extrapolation pour les résultats présentant de graves violations de tendances pré-traitement (centres agricoles), empêchant une inférence invalide, tout en fournissant des intervalles plus larges et valides pour les résultats présentant des violations mineures.
3. Lois sur le port d'armes (Virginie/Maryland) : Une illustration semi-synthétique comparant les violations itératives aux violations globales. Les résultats soulignent que le choix de la métrique de violation ($R(t)$ itérative vs $\Delta(t)$ globale) et du seuil $M$ impacte significativement si la condition d'extrapolation est acceptée et la largeur de l'intervalle résultante.

Signification et revendications
L'article revendique fournir la première hypothèse formelle (extrapolation conditionnelle) qui nécessite un test préliminaire, offrant ainsi une justification théorique à une pratique empirique courante qui avait précédemment été montrée comme brisant l'inférence standard.

• Formalisation : Il formalise l'hypothèse implicite que les chercheurs font lorsqu'ils décident de procéder à une analyse DID uniquement après avoir observé des tendances pré-traitement « acceptables ».
• Remède : Il offre une solution pratique au « paradoxe du test préliminaire » en fournissant des procédures d'inférence qui restent valides après conditionnement sur le résultat du test, à condition que la condition de séparation soit remplie.
• Modestie : Les auteurs reconnaissent que l'hypothèse d'extrapolation conditionnelle est contrefactuelle et non testable, tout comme l'hypothèse des tendances parallèles elle-même. Ils ne prétendent pas vérifier l'hypothèse mais plutôt fournir un cadre où, si l'hypothèse tient et que les violations pré-traitement sont suffisamment petites (séparées du seuil), une inférence valide est possible. Ils notent que leurs résultats reposent sur la condition de séparation, ce qui signifie que l'inférence n'est pas garantie pour les cas où les violations sont arbitrairement proches du seuil $M$.

L'article conclut en suggérant que des travaux futurs pourraient étendre ces procédures aux conceptions d'adoption échelonnée et aux stratégies d'identification alternatives, mais souligne que la contribution actuelle est une formalisation de la logique sous-jacente aux tests préliminaires dans les conceptions DID à adoption par blocs.