Choosing A Headline Estimand from Matching, DID, and Hybrid Designs: A Minimax-Regret Approach

Cet article propose un cadre de regret minimax qui recommande l'utilisation de l'estimateur hybride DIDM comme estimation principale de premier plan pour l'inférence causale sur données de panel, car il s'avère être encadré par, et donc moins sensible aux, hypothèses non imbriquées des approches de doubles différences pures et d'appariement.

L'essentiel

Imaginez que vous êtes un détective essayant de déterminer si un nouveau programme de formation professionnelle permet réellement aux gens de gagner plus d'argent. Vous ne pouvez pas mener une expérience parfaite où l'on lance une pièce pour décider qui reçoit la formation (c'est souvent contraire à l'éthique ou impossible). Au lieu de cela, vous devez examiner des données réelles : des personnes qui ont choisi de suivre la formation et d'autres qui ne l'ont pas fait.

Le problème est que les personnes qui choisissent la formation sont généralement différentes de celles qui ne la choisissent pas. Peut-être qu'elles étaient en plus grande difficulté auparavant, ou peut-être qu'elles étaient plus ambitieuses. Ce « biais de sélection » rend difficile la connaissance de l'efficacité réelle du programme, car on ne sait pas si les résultats sont dus au programme ou simplement au point de départ des individus.

Pour résoudre cela, les économistes ont développé trois outils de détective (méthodes) pour corriger les données. Cet article pose une question simple mais cruciale : Si vous ne pouviez choisir qu'un seul outil pour mettre en titre de votre rapport, lequel devriez-vous choisir ?

Les Trois Outils

Considérez les trois méthodes comme différentes façons de comparer des pommes avec des pommes :

1. L'outil « Différences de Différences » (DID) :

   • Comment il fonctionne : Cet outil examine le changement au fil du temps. Il demande : « De combien les revenus du groupe formé ont-ils augmenté par rapport à la croissance des revenus du groupe n'ayant pas suivi la formation ? »
   • La métaphore : Imaginez deux coureurs. L'un commence un programme d'entraînement. Le DID ne se soucie pas de savoir qui était le plus rapide au départ ; il ne s'intéresse qu'à savoir qui a couru plus vite pendant la course. Il suppose que sans l'entraînement, les deux coureurs auraient accéléré (ou ralenti) exactement de la même manière.
   • Le risque : Si le groupe formé était naturellement destiné à ralentir tandis que le groupe de contrôle était destiné à accélérer, cet outil se trompe de réponse.

2. L'outil de « Appariement » (M) :

   • Comment il fonctionne : Cet outil regarde la ligne de départ. Il trouve des personnes dans le groupe de contrôle qui avaient exactement les mêmes revenus passés que les personnes du groupe formé, et les compare directement.
   • La métaphore : C'est comme associer des coureurs qui ont commencé à la même vitesse. On suppose que si on les associe parfaitement sur leur passé, leur futur sera similaire sans la formation.
   • Le risque : Si le groupe formé possédait des traits cachés (comme la motivation) qui lui permettaient de progresser plus vite même s'il avait commencé à la même vitesse, cet outil se trompe de réponse.

3. L'outil « Hybride » (DIDM) :

   • Comment il fonctionne : Il fait les deux. Il associe les personnes en fonction de leurs revenus passés et examine ensuite comment leurs revenus ont évolué au fil du temps.
   • La métaphore : C'est comme associer des coureurs qui ont commencé à la même vitesse, puis mesurer la vitesse supplémentaire qu'ils ont gagnée pendant la course. Il tente d'obtenir le meilleur des deux mondes.

Le Gros Problème

Les auteurs soulignent que ces trois outils reposent sur des hypothèses différentes et contradictoires.

• Le DID suppose que les taux de croissance sont similaires.
• L'Appariement suppose que les niveaux de départ sont similaires.
• L'Hybride suppose que les deux sont similaires d'une manière spécifique.

Dans le monde réel, nous savons rarement quelle hypothèse est vraie. Si vous choisissez le mauvais outil, votre chiffre de titre pourrait être totalement erroné.

La Découverte des « Doubles Crochets »

La principale avancée de l'article est une découverte mathématique sur la façon dont ces trois outils se comportent dans de nombreuses situations réelles (comme la formation professionnelle et l'éducation).

Ils ont découvert que dans des conditions courantes (spécifiquement, lorsque les personnes qui sont en plus grande difficulté ont tendance à s'inscrire pour obtenir de l'aide, et lorsque les revenus n'explosent pas de manière démesurée), les trois réponses s'alignent toujours selon un ordre précis :

Estimation de l'Appariement ≤ Estimation de l'Hybride ≤ Estimation du DID

La métaphore : Imaginez que la vraie réponse est un coffre au trésor caché sous terre.

• L'outil d'Appariement creuse un trou trop peu profond (il sous-estime le trésor).
• L'outil DID creuse un trou trop profond (il surestime le trésor).
• L'outil Hybride creuse pile au milieu.

Peu importe quel outil est « correct » dans un scénario donné, l'outil Hybride est toujours celui qui se situe entre les deux. Il « encadre » la vérité.

La Solution « Minimax-Regret »

Maintenant, imaginez que vous deviez parier sur l'emplacement du trésor, mais que vous ne connaissez pas les conditions du sol.

• Si vous pariez sur le trou peu profond (Appariement), et que le trésor est en réalité profond, vous perdez gros.
• Si vous pariez sur le trou profond (DID), et que le trésor est en réalité peu profond, vous perdez gros.
• Si vous pariez sur le milieu (Hybride), vous n'êtes jamais trop loin de la vérité, quel que soit le scénario.

Les auteurs appellent cela l'approche Minimax-Regret. Le « Regret » est la douleur que l'on ressent lorsqu'on réalise qu'on a choisi le mauvais outil. « Minimax » signifie que vous voulez choisir l'outil qui minimise votre regret maximum possible.

Le Verdict : Parce que l'outil Hybride (DIDM) se situe toujours au milieu, c'est le pari le plus sûr. Il garantit que votre chiffre de titre ne sera pas totalement faux, même si vous ne savez pas exactement quelle hypothèse est vraie.

La Recommandation

L'article conclut par une règle claire pour les chercheurs et les décideurs politiques :

1. Le Titre : Lorsque vous devez rapporter un chiffre unique pour résumer une étude (comme dans un article de presse ou une note d'orientation), utilisez l'estimation Hybride (DIDM). C'est le choix le plus robuste.
2. Les Bornes : Rapportez les estimations de l'Appariement et du DID comme étant la « borne inférieure » et la « borne supérieure ». Cela montre l'étendue de l'incertitude.

En bref : Si vous n'êtes pas sûr de quel outil de détective est le meilleur, utilisez celui qui les combine. C'est le seul choix qui vous protège d'une erreur totale, quel que soit le comportement des données.

Résumé technique

Résumé technique : Choisir un estimand de premier plan parmi les modèles de Matching, de DID et hybrides

Énoncé du problème
Les chercheurs utilisant des données de panel pour estimer des effets causaux sont régulièrement confrontés à un choix entre trois stratégies principales pour traiter les variables de résultat décalées : la différence de différences (DID), le conditionnement sur les résultats décalés (Matching, M), et une approche hybride combinant les deux (Difference-in-Differences Matching, DIDM). Ces modèles reposent sur des hypothèses d'identification mutuellement non imbriquées : la DID nécessite des tendances parallèles inconditionnelles ; le Matching (M) nécessite une sélection sur les résultats décalés (indépendance conditionnelle) ; et le DIDM nécessite des tendances parallèles conditionnelles. En l'absence de références expérimentales, les chercheurs appliqués manquent souvent de directives formelles pour savoir quelle hypothèse d'identification est la plus crédible pour une application donnée. Par conséquent, les études rapportent fréquemment plusieurs spécifications ou s'appuient sur des comparaisons informelles, laissant ambigu le choix d'un estimand de « premier plan » (headline estimate).

Méthodologie
Les auteurs développent un cadre décisionnel pour sélectionner un estimand de premier plan unique sous incertitude de modèle. L'approche se déroule en trois étapes :

1. Ordonnancement théorique : L'article établit une proposition non paramétrique (Proposition 4.1) démontrant que sous deux conditions économiquement interprétables — (i) une sélection négative dans le traitement (les unités traitées ont des résultats non traités inférieurs aux contrôles, conditionnellement aux résultats décalés) et (ii) une dynamique de résultats non traités stable et non explosive (la croissance des non-traités est faiblement décroissante par rapport aux résultats décalés) — les estimands de la population satisfont un ordonnancement spécifique :
   $$\theta^M_{ATT} \leq \theta^{DIDM}_{ATT} \leq \theta^{DID}_{ATT}$$
   Ce « double encadrement » implique que l'estimand hybride DIDM se situe systématiquement entre les estimands de matching et de DID pur.

2. Optimisation du minimax-regret (regret minimal) : Les auteurs cadrent le problème de sélection comme une décision de minimax-regret. Ils définissent le regret comme la perte subie en rapportant un estimand spécifique alors qu'un autre aurait été optimal si l'hypothèse d'identification réelle avait été connue. Sous une large classe de fonctions de perte (Hypothèse 5.1) dépendant de l'écart absolu entre l'estimation rapportée et le paramètre réel, les auteurs prouvent (Théorème 5.1) que si l'ordonnancement de double encadrement est vérifié, l'estimand hybride DIDM est le choix optimal de minimax-regret. Il minimise l'écart maximal par rapport au véritable effet moyen du traitement sur les traités (ATT) à travers les trois mondes possibles où la spécification M, DID ou DIDM est la bonne.

3. Validation empirique et par simulation :

   • Régularité empirique : Les auteurs documentent cet ordonnancement dans quatre ensembles de données de référence : les expériences de formation professionnelle du National Supported Work (NSW) et du Job Training Partnership Act (JTPA), ainsi qu'une application éducative basée sur Athey et al. (2025). Dans tous les cas, les estimations basées sur le matching ont tendance à être les plus conservatrices (les plus basses), les estimations DID les plus optimistes (les plus hautes), et les estimations DIDM se situent entre les deux.
   • Analyse de Monte Carlo : Une simulation calibrée basée sur les données du NSW construit trois « mondes », chacun favorisant l'une des trois hypothèses d'identification. Les simulations confirment que, bien qu'aucota single estimateur ne soit le meilleur point par point dans chaque monde, le DIDM minimise systématiquement le regret maximal à travers les trois environnements.

Principales contributions

• Justification formelle des modèles hybrides : L'article fournit la première justification décisionnelle formelle pour préférer les modèles hybrides DIDM aux modèles de M ou de DID pur lorsque le chercheur est incertain de la validité des hypothèses d'identification sous-jacentes.
• Aperçu du double encadrement : Il généralise l'aperçu linéaire d'Angrist et Pischke (2009) — selon lequel les variables dépendantes décalées et les effets fixes encadrent le véritable effet — à un cadre non paramétrique impliquant un troisième estimand hybride.
• Orientation pratique : Il offre un choix par défaut fondé sur des principes pour les chercheurs appliqués : rapporter le DIDM comme estimand de premier plan, en utilisant M et DID comme bornes inférieure et supérieure, respectivement.

Résultats

• Résultat théorique : Sous une sélection négative et des dynamiques stables, l'ordonnancement $\theta^M_{ATT} \leq \theta^{DIDM}_{ATT} \leq \theta^{DID}_{ATT}$ est vérifié.
• Résultat d'optimalité : Étant donné l'ordonnancement, $\theta^{DIDM}_{ATT}$ est le choix de minimax-regret. Il incorpore la plus faible perte maximale par rapport au véritable ATT à travers l'ensemble des hypothèses d'identification candidates.
• Preuve empirique : L'analyse des ensembles de données de formation professionnelle et d'éducation confirme l'ordonnancement théorique. Dans les contextes de formation professionnelle, passer de M, DID à DIDM peut modifier matériellement les estimations d'effet et même inverser les signes. La logique du minimax-regret est validée par des simulations où le DIDM surpasse systématiquement les deux autres en termes de regret maximal.

Signification et revendications
L'article affirme fournir un « choix par défaut fondé sur des principes » pour le scénario courant où les chercheurs doivent rapporter un seul estimand de premier plan sans référence expérimentale. Il soutient que, bien que la théorie économique dicte rarement une spécification unique préférée, le cadre du minimax-regret permet aux chercheurs de faire un choix discipliné qui limite l'erreur de spécification la plus importante. Les auteurs soulignent que ce cadre ne remplace pas le jugement substantiel concernant la plausibilité des hypothèses, mais offre une stratégie robuste lorsque plusieurs stratégies semblent crédibles. La recommandation consiste spécifiquement à rapporter le DIDM comme estimand de premier plan, en utilisant M et DID comme bornes, particulièrement dans les contextes caractérisés par une sélection négative et des dynamiques stables, qui sont courants en économie du travail et de l'éducation publique.