Small Samples and Short Panels: Evaluating Policy Evaluation Methods with Realistic Data

Résumé technique : Petits échantillons et panels courts : Évaluation des méthodes d'évaluation de politiques avec des données réalistes

Énoncé du problème
Les chercheurs en économie, en santé publique et en sciences politiques utilisent fréquemment des conceptions quasi-expérimentales longitudinales, telles que la Différence-en-Différences (DiD) et la Méthode de Contrôle Synthétique (SCM), pour évaluer les interventions politiques au niveau géographique (ex. : États, comtés, villes). Cependant, ces évaluations sont souvent confrontées à de sévères contraintes de données : un nombre limité d'unités géographiques et des longueurs de panel courtes (peu de périodes pré- et post-traitement). Alors que la DiD repose sur l'hypothèse des tendances parallèles, qui peut s'avérer peu plausible sans le conditionnement par des covariables étendues (une tâche difficile dans les petits échantillons), de nouvelles méthodes comme la Synthèse de la Différence-en-Différences (SDiD) et la Méthode de Contrôle Synthétique Augmentée (ASCM) offrent des alternatives.

Le problème central abordé est que les garanties de performance théoriques de la SDiD et de l'ASCM — spécifiquement concernant le biais et la couverture des intervalles de confiance — sont dérivées sous des hypothèses asymptotiques nécessitant un grand nombre d'unités et de périodes temporelles. Ces hypothèses échouent souvent dans les évaluations de politiques de santé réalistes où les tailles d'échantillon sont petites (ex. : moins de 10 unités de contrôle) et les panels sont courts (ex. : moins de 20 périodes pré-traitement). Il existe un manque de preuves systématiques quant à savoir si ces méthodes produisent des estimations fiables et des inférences valides sous de telles limitations de données sévères.

Méthodologie
Pour évaluer la performance de la SDiD et de l'ASCM dans ces contextes réalistes de petits échantillons, les auteurs emploient une stratégie de simulation calibrée. Plutôt que de s'appuyer sur des données purement théoriques, ils injectent des effets de traitement connus (en fixant spécifiquement l'effet réel à zéro pour tester les propriétés de la nullité) dans des ensembles de données simulées dérivés de distributions empiriques réelles.

• Calibration des données : Les paramètres de simulation sont estimés à partir de deux ensembles de données réels :
  1. Youth Risk Behavior Surveillance System (YRBSS) : Données de consommation de soda chez les jeunes au niveau des villes ($N=7$ villes, $T=6$ périodes), représentant des panels courts avec peu d'unités.
  2. Current Population Survey (CPS) : Données de salaire réel logarithmique au niveau des États ($N=50$ États, $T=40$ ans), permettant l'investigation de panels plus longs.
• Processus de génération de données (DGP) : Les données sont générées sous un modèle à facteurs latents ($Y = \Gamma\Psi' + W \cdot \tau + E$), un cadre où la SDiD et l'ASCM possèdent des propriétés théoriques favorables. Les chargements factoriels ($\Gamma$) et les facteurs temporels ($\Psi$) sont estimés à l'aide d'effets fixes interactifs à partir des ensembles de données de calibration.
• Design de la simulation : Les auteurs font varier le nombre d'unités traitées ($N_{tr}$), d'unités de contrôle ($N_{co}$), de périodes pré-traitement ($T_{pre}$) et de périodes post-traitement ($T_{post}$). Les scénarios incluent des limitations extrêmes (ex. : $N_{co}=6, T_{pre}=5$).
• Méthodes évaluées :
  • SDiD : Implémentée via le package R synthdid, utilisant l'estimation de la variance des placebo.
  • ASCM : Implémentée via le package R augsynth avec la régression ridge comme modèle de résultat, utilisant l'inférence conforme pour les tests d'hypothèses.
  • DiD : Incluse comme référence dans les contextes où les tendances parallèles sont exactement respectées, afin de quantifier les pertes d'efficacité.
• Métriques : La performance est évaluée via le biais, l'erreur type empirique et les taux de couverture des intervalles de confiance (calculés comme la proportion de simulations où la nullité vraie $\tau=0$ n'est pas rejetée).

Résultats clés
Les résultats de la simulation révèlent des caractéristiques de performance distinctes pour la SDiD et l'ASCM selon la taille de l'échantillon et la longueur du panel :

1. Biais et précision :

   • Les deux méthodes présentent un biais modéré (typiquement $<0,1$ écart-type empirique) dans la plupart des scénarios.
   • L'ASCM produit généralement un biais plus faible que la SDiD, particulièrement lorsqu'il y a plus d'unités disponibles. Cependant, dans les contextes avec plus de périodes temporelles et moins d'unités traitées, l'ASCM peut présenter un biais plus important.
   • La SDiD atteint généralement des erreurs types empiriques plus faibles (une plus grande précision) que l'ASCM, particulièrement dans les scénarios avec de longues périodes pré-traitement et peu d'unités traitées (ex. : dans les données CPS avec $N_{tr}=1, N_{co}=10, T_{pre}=30$, la variance de l'ASCM était 2,26 fois plus grande que celle de la SDiD).

2. Couverture des intervalles de confiance :

   • ASCM : La procédure d'inférence conforme produit systématiquement une sur-couverture (couverture $>95\%$) lorsque le nombre de périodes pré-traitement est faible ($T < 20$), entraînant une perte substantielle de puissance statistique. Cependant, la sur-couverture peut persister même avec des panels plus longs (ex. : $T=30$) lorsque le nombre d'unités traitées est très faible ($N_{tr}=1$). La couverture nominale est généralement atteinte lorsqu'au moins 20 périodes pré-traitement sont disponibles, à condition d'avoir suffisamment d'unités traitées.
   • SDiD : La couverture dépend fortement du nombre d'unités de contrôle. Avec une seule unité traitée, la couverture nominale n'est obtenue qu'avec au moins 25 unités de contrôle. Avec plusieurs unités traitées, la couverture nominale est atteignable avec seulement 10 unités de contrôle.
   • DiD : Atteint la couverture nominale quel que soit la taille de l'échantillon lorsque l'hypothèse des tendances parallèles est respectée, bien que la SDiD et l'ASCM sacrifient la précision (la plage d'efficacité relative allant de 1,09 à 2,25) pour gagner en robustesse contre les violations des tendances parallèles.

3. Performance en petits échantillons :

   • Dans les scénarios les plus contraints (ex. : $N_{co}=6, T_{pre}=5$), les deux méthodes montrent des écarts par rapport à la couverture nominale, bien que le biais reste relativement faible.
   • Les auteurs notent que bien que les hypothèses théoriques de normalité asymptotique échouent souvent dans ces petits échantillons, les méthodes fonctionnent encore « raisonnablement bien » en termes d'estimation ponctuelle, bien que l'inférence (intervalles) nécessite de la prudence.

Signification et conseils pratiques
L'article fournit des conseils pratiques aux chercheurs évaluant les interventions politiques dans des contextes avec peu d'unités et des panels courts, particulièrement là où l'hypothèse des tendances parallèles est suspecte :

• Sélection de la méthode : La SDiD et l'ASCM sont recommandées comme analyses primaires uniquement lorsque les connaissances thématiques suggèrent que les tendances parallèles sont implausibles (ex. : en raison de chocs pré-intervention). Sinon, elles doivent être utilisées comme analyses de sensibilité de la DiD.
• Contraintes d'inférence :
  • L'ASCM doit être utilisée avec prudence dans les panels courts ($T < 20$) en raison d'intervalles de confiance conservateurs qui réduisent la puissance ; même avec des panels plus longs, la couverture peut être médiocre si le nombre d'unités traitées est très faible.
  • La SDiD nécessite un nombre suffisant d'unités de contrôle (environ 25 pour une unité traitée unique, 10 pour plusieurs) pour obtenir une inférence valide.
• Compromis : L'étude souligne que la robustesse de la SDiD et de l'ASCM face aux violations des tendances parallèles se fait au détriment de la précision par rapport à la DiD lorsque les tendances parallèles sont réellement respectées.
• Limitations : Les auteurs reconnaissent que leurs simulations sont calibrées sur seulement deux ensembles de données et supposent un modèle à facteurs latents avec une adoption simultanée. Ils ne prétendent pas fournir des orientations prescriptives pour des ajustements spécifiques de covariables ou des estimateurs de variance alternatifs, notant que leurs résultats reflètent les implémentations logicielles par défaut.

Conclusion
L'étude conclut que bien que la SDiD et l'ASCM soient des outils précieux pour l'évaluation des politiques dans des environnements de données rares, leurs propriétés inférentielles sont sensibles à la taille de l'échantillon et à la longueur du panel. Les chercheurs doivent soigneusement considérer le nombre d'unités de contrôle et de périodes temporelles disponibles avant de s'appuyer sur ces méthodes pour les tests d'hypothèses, car les garanties asymptotiques standards peuvent ne pas tenir dans les contextes de petits échantillons fréquents dans la recherche en politique de santé.