A formal approach to variable selection in difference-in-differences

Cet article propose un cadre formel, basé sur les graphes, pour sélectionner des covariables afin de satisfaire les tendances parallèles conditionnelles dans l'analyse des différences de différences, en soutenant que les défis d'identification découlent souvent d'un décalage entre les ensembles de contrôle requis pour la validité et ceux utilisés par les estimateurs populaires, plutôt que des estimateurs eux-mêmes.

L'essentiel

Imaginez que vous essayez de déterminer si une nouvelle vitamine, coûteuse, aide réellement les gens à grandir. Vous avez deux groupes : l'un prend la vitamine (le groupe « traité »), l'autre non (le groupe « témoin »).

La méthode classique pour tester cela est la méthode des Différences de Différences (DiD). C'est comme regarder une course. Vous vérifiez la taille de chacun au départ de la course (avant la vitamine). Ensuite, vous vérifiez leur taille à l'arrivée (après la vitamine). La logique est la suivante : Si le groupe sans vitamine a continué à grandir à la même vitesse qu'avant, nous pouvons supposer que le groupe traité aurait fait de même s'il n'avait pas pris la vitamine. La différence entre ce qui s'est réellement produit et ce qui « aurait pu se produire » est l'effet de la vitamine.

Cependant, cela ne fonctionne que si les deux groupes couraient sur le même parcours au départ. Si le groupe traité était déjà naturellement plus grand ou avait de meilleures chaussures, la course n'est pas équitable. C'est l'hypothèse des « tendances parallèles ».

Cet article est comme un manuel de règles pour les arbitres sur la façon de s'assurer que la course est réellement équitable. Voici le détail de leurs nouvelles règles, expliquées simplement :

1. Le problème du « Lavabo »

Par le passé, les chercheurs jetaient souvent chaque morceau de données qu'ils possédaient dans le mélange (taille, poids, pointure, couleur préférée) sans réfléchir au pourquoi. Ils appelaient cela l'approche « lavabo ».

• La solution de l'article : Vous ne pouvez pas tout jeler dedans. Vous avez besoin d'une carte (un « diagramme causal ») pour voir quelles variables comptent réellement. Certaines variables peuvent sembler importantes mais perturbent en réalité la course.

2. Le mythe de la « parfaite équilibre »

L'ancienne façon de penser supposait que si vous regardiez simplement les groupes dans leur ensemble, leurs tendances de croissance s'équilibreraient naturellement parfaitement.

• La solution de l'article : C'est comme espérer que deux voitures différentes roulent à exactement la même vitesse simplement parce qu'elles sont toutes deux des voitures. C'est une hypothèse très forte et irréaliste. L'article montre que souvent, les groupes ne sont pas équilibrés à moins que vous ne preniez en compte des différences spécifiques (comme la taille du moteur ou la pression des pneus).
• Le piège : Parfois, si vous essayez de les équilibrer en ajoutant trop de variables, vous risquez de briser accidentellement l'équilibre parfait qui existait déjà, rendant le résultat pire au lieu de meilleur.

3. La variable « ennuyeuse »

Habituellement, les chercheurs ignorent les variables qui ne changent pas au fil du temps (comme le sexe d'une personne ou sa ville de naissance) parce qu'ils pensent : « Eh bien, cela ne change pas, donc cela ne peut pas être la raison pour laquelle la vitamine a fonctionné. »

• La solution de l'article : Parfois, ces variables « ennuyeuses » sont en réalité l'ingrédient secret ! Même si une variable ne change pas, elle peut être la raison pour laquelle les deux groupes étaient différents au départ. L'ajuster peut sauver l'étude. C'est comme réaliser que même si les voitures n'ont pas changé de couleur, la couleur a en fait déterminé sur quel parcours elles se trouvaient.

4. La variable « a posteriori »

Les conseils standards disent : « Ne regardez jamais les données collectées après le début du traitement. » Par exemple, ne regardez pas combien le groupe traité a mangé après avoir pris la vitamine, car peut-être que la vitamine les a rendus affamés.

• La solution de l'article : Cela dépend de pourquoi les habitudes alimentaires ont changé.
  • Si la vitamine les a rendus affamés, ne comptez pas l'alimentation (c'est une partie de l'effet).
  • Mais si autre chose les a poussés à manger plus (comme l'ouverture d'un nouveau restaurant à proximité), vous devez en tenir compte, sinon vous obtiendrez la mauvaise réponse.
  • La métaphore : C'est comme un détective. Si l'alibi d'un suspect change à cause du crime, vous l'ignorez. Mais si l'alibi change à cause d'un embouteillage (sans rapport avec le crime), vous devez prendre en compte l'embouteillage pour résoudre l'affaire.

5. Le départ « échelonné »

Parfois, différents groupes reçoivent le traitement à des moments différents (comme des États mettant en œuvre une nouvelle loi en 2020, 2021 et 2022).

• La solution de l'article : L'article distingue quand le traitement commence et ce qu'est le traitement. Si le traitement lui-même change au fil du temps en fonction de l'évolution des choses (dynamique), cela crée une boucle de rétroaction difficile à démêler. Si le traitement n'est qu'une chose unique qui se produit à des moments différents pour différentes personnes (statique), c'est beaucoup plus facile à gérer.

6. Le « mauvais outil » contre les « mauvais réglages »

Il y a eu beaucoup de débats dans la communauté scientifique sur lequel « calculateur » (estimateur statistique) est le meilleur pour ce travail.

• La grande découverte de l'article : Peu importe quel calculateur vous utilisez ! Le problème n'est pas le calculateur ; ce sont les réglages que vous y mettez.
• La métaphore : Imaginez que vous cuisiniez un gâteau. Vous pouvez utiliser un batteur électrique sophistiqué ou une simple cuillère en bois. Si vous utilisez les mauvais ingrédients (les mauvaises variables), le gâteau aura mauvais goût, peu importe l'outil utilisé.
• La solution : Les auteurs vous montrent exactement comment régler les « ingrédients » (l'ensemble d'ajustement) pour n'importe quel calculateur que vous souhaitez utiliser. Si vous nourrissez la machine avec les bonnes variables, même la machine la plus simple vous donnera la bonne réponse.

La conclusion

Cet article dit aux chercheurs : Arrêtez de deviner quelles variables utiliser.

1. Dessinez une carte de cause à effet.
2. Utilisez cette carte pour choisir les exactes bonnes variables afin d'équilibrer vos groupes.
3. Ne vous inquiétez pas de choisir l'outil statistique le plus complexe ; assurez-vous simplement de nourrir l'outil que vous avez avec les bonnes variables.

Si vous faites cela, vous obtenez une course équitable et une réponse vraie. Si vous ne le faites pas, vous risquez de mesurer complètement la mauvaise chose.

Résumé technique

1. Énoncé du problème

Les différences de différences (DiD) constituent une méthode d'inférence causale largement utilisée, reposant sur l'hypothèse de tendances parallèles : à savoir que, en l'absence de traitement, l'évolution du résultat du groupe traité aurait suivi celle du groupe témoin.

• Le fossé : En pratique, les chercheurs relâchent souvent cette hypothèse en faveur de tendances parallèles conditionnelles (en supposant que les tendances sont parallèles uniquement au sein de strates de covariables). Cependant, la sélection de ces covariables est fréquemment arbitraire (par exemple, des approches « kitchen sink ») ou basée sur des évaluations isolées de relations variant dans le temps.
• Le malentendu : La littérature présente souvent la difficulté d'intégrer des covariables (en particulier celles variant dans le temps) comme une limitation de estimateurs spécifiques (par exemple, les effets fixes bidirectionnels). Les auteurs soutiennent qu'il s'agit en réalité d'un désalignement entre l'ensemble de ajustement utilisé implicitement par l'estimateur et l'ensemble de ajustement requis pour l'identification causale.
• Défis clés :
  • Les tendances parallèles inconditionnelles constituent une hypothèse forte qui peut entrer en conflit avec les tendances conditionnelles.
  • Le rôle des covariables invariantes dans le temps et des covariables post-traitement est souvent mal compris (par exemple, supposer que les variables invariantes dans le temps ne sont jamais des facteurs de confusion, ou que les variables post-traitement doivent toujours être exclues).
  • La rétroaction traitement-facteur de confusion dans les contextes multi-périodes est souvent confondue avec les stratégies de déploiement échelonné.

2. Méthodologie

Les auteurs proposent un cadre graphique basé sur les graphes acycliques dirigés (DAG) et le concept de confusion équivalente.

A. Fondement théorique : La confusion équivalente

Le papier reformule l'hypothèse de tendances parallèles comme une confusion équivalente : le facteur de confusion non observé affecte les résultats pré-traitement et post-traitement avec une magnitude égale.

• Représentation graphique : Dans un DAG standard, un facteur de confusion non observé $V_0$ crée des chemins de retour vers $Y_0$ et $Y_1$. L'hypothèse de confusion équivalente est représentée par des coefficients égaux sur les arêtes reliant $V_0$ à $Y_0$ et $Y_1$.
• Représentation compacte : Les auteurs introduisent un diagramme simplifié se concentrant sur la variation du résultat $\Delta Y = Y_1 - Y_0$. Sous l'hypothèse de confusion équivalente, le chemin de $V_0$ vers $\Delta Y$ disparaît (les coefficients s'annulent). Ainsi, l'identification nécessite de bloquer tous les chemins de retour du Traitement ($A_1$) vers $\Delta Y$ dans ce graphe compact.
• Sélection de variables : En appliquant le critère de retour standard à ce graphe compact, les chercheurs peuvent identifier un ensemble de ajustement minimalement suffisant ($X$) qui justifie les tendances parallèles conditionnelles.

B. Alignement de l'estimation

Les auteurs analysent des estimateurs DiD populaires (EFB, IPW, Doubly Robust, etc.) pour déterminer leurs ensembles d'ajustement effectifs. Ils démontrent que de nombreux estimateurs utilisent par défaut des ensembles d'ajustement qui ne correspondent pas aux exigences du modèle causal (par exemple, l'EFB avec des covariables invariantes dans le temps les annule ; l'IPW standard n'utilise souvent que les valeurs de base).

• Solution proposée : Au lieu de changer l'estimateur, les auteurs proposent de modifier la spécification des covariables (par exemple, créer des copies constantes dans le temps de variables variant dans le temps, interagir les covariables avec le temps) pour contraindre l'estimateur à utiliser l'ensemble d'ajustement correct.

C. Simulation

Les auteurs mènent une étude de simulation à travers plusieurs scénarios (nombre variable de covariables, effets invariants vs variant dans le temps, mécanismes de covariables post-traitement) pour valider leurs résultats théoriques. Ils comparent le biais de divers estimateurs lorsqu'ils utilisent des ensembles d'ajustement suffisants, insuffisants ou flous.

3. Contributions et insights clés

A. Tendances parallèles inconditionnelles vs conditionnelles

• Conflit : Les tendances parallèles inconditionnelles nécessitent une compensation parfaite de toute confusion. Conditionner sur des covariables peut paradoxalement briser cette symétrie et introduire un biais si l'hypothèse inconditionnelle était en réalité vérifiée.
• Implication : Les chercheurs ne doivent pas conditionner aveuglément sur des covariables après un test de pré-tendances ; la décision doit être guidée par la structure causale.

B. Covariables invariantes dans le temps

• Insight : Une covariable invariante dans le temps avec un effet invariant dans le temps sur le résultat (traditionnellement ignorée en DiD) peut constituer une variable d'ajustement suffisante si elle bloque un chemin de retour créé par un facteur de confusion variant dans le temps.
• Utilité : Cela élargit le pool de variables de contrôle valides, en particulier lorsque les facteurs de confusion variant dans le temps ne sont pas mesurés.

C. Covariables post-traitement

• Nuance : Il n'existe aucune règle universelle contre l'ajustement pour des covariables post-traitement. La décision dépend du mécanisme à l'origine du changement de la covariable :
  • Autorégressif : L'ajustement pour les valeurs post-traitement est inoffensif.
  • Choc endogène : L'ajustement pour les valeurs pré- et post-traitement peut être requis.
  • Facteur de confusion non mesuré : L'ajustement pour les valeurs post-traitement peut être le seul moyen d'identifier l'effet.
  • Induit par le traitement : L'ajustement pour les valeurs post-traitement bloque le chemin causal (médiateur), ne récupérant que l'effet direct, et non l'effet total.

D. Extensions multi-périodes

• Distinction : Les auteurs distinguent le Type de traitement (Statique vs Dynamique) et la Stratégie de déploiement (Simultanée vs Échelonnée).
• Rétroaction traitement-facteur de confusion : Cette boucle de rétroaction (où un traitement antérieur affecte une covariable qui confond ensuite un traitement ultérieur) se produit uniquement sous des régimes de traitement dynamiques, et non simplement en raison d'une mise en œuvre échelonnée.
• Stratégie : Pour les traitements statiques échelonnés, des diagrammes causaux séparés doivent être construits pour chaque cohorte afin de tenir compte des mécanismes d'attribution différents.

E. Alignement de l'estimation

• Le problème central : Le biais découle souvent de la gestion par défaut des covariables par l'estimateur (par exemple, le regroupement des coefficients par l'EFB) plutôt que de la forme mathématique de l'estimateur.
• La solution : En modifiant les données d'entrée (par exemple, en dupliquant les covariables variant dans le temps sous forme de colonnes constantes dans le temps, en les interagir avec le temps), n'importe quel estimateur standard peut être aligné sur les exigences d'identification.

4. Résultats

L'étude de simulation confirme les prédictions théoriques :

• Ensembles d'ajustement suffisants : Lorsque l'ensemble d'ajustement effectif correspond à l'ensemble suffisant dérivé du DAG, tous les estimateurs produisent un faible biais (proche de zéro), quelle que soit la méthode spécifique utilisée.
• Ensembles d'ajustement insuffisants : Tous les estimateurs produisent un biais substantiel lorsque l'ensemble d'ajustement est insuffisant.
• Ensembles d'ajustement flous : Les estimateurs ayant des ensembles d'ajustement effectifs ambigus (par exemple, l'EFB standard avec des covariables variant dans le temps) montrent un biais variable allant de négligeable à sévère, soulignant le danger de se fier aux spécifications par défaut.
• Résultats spécifiques :
  • Dans les scénarios nécessitant des covariables post-traitement (par exemple, des facteurs de confusion non mesurés pilotant l'évolution des covariables), les implémentations standard des estimateurs de Heckman, IPW et DR étaient biaisées car elles excluaient par défaut les valeurs post-traitement. La correction des données d'entrée a éliminé ce biais.
  • Dans les scénarios avec rétroaction traitement-facteur de confusion, l'ajustement pour le médiateur au mauvais point temporel a introduit un biais massif.

5. Importance

Ce papier déplace fondamentalement le focus de la littérature DiD de la sélection d'estimateur vers la stratégie d'identification et la sélection de variables.

1. Formalise la sélection de variables : Il fournit les premiers critères rigoureux et graphiques pour sélectionner des covariables en DiD, dépassant les pratiques arbitraires.
2. Clarifie les malentendus : Il corrige les idées reçues courantes concernant les variables invariantes dans le temps et les covariables post-traitement, montrant qu'elles peuvent être essentielles à l'identification.
3. Conseils pratiques : Il offre une solution « plug-and-play » pour les praticiens : plutôt que de passer à de nouveaux estimateurs complexes, les chercheurs peuvent obtenir une inférence valide en restructurant simplement leurs entrées de covariables pour les aligner sur le modèle causal.
4. Robustesse : Les résultats suggèrent que le choix de l'ensemble d'ajustement est plus critique pour la validité que le choix de l'estimateur, à condition que l'estimateur soit correctement spécifié pour cet ensemble.

En résumé, les auteurs fournissent un cadre unifié qui intègre les diagrammes causaux, la théorie de l'identification et les mécanismes d'estimation, offrant une voie claire vers une analyse DiD valide dans des contextes complexes et réels.