Is Inference Conditional on Not Rejecting a Pre-test Less Reliable than Unconditional Inference?

Cet article démontre que l'inférence conditionnelle à la non-rejet d'un pré-test reste valide et souvent conservatrice lorsque les conditions testées sont vérifiées, indépendamment de la dépendance asymptotique, tout en présentant des conditions où la couverture des intervalles de confiance est supérieure à celle de l'inférence inconditionnelle lorsque ces conditions ne sont pas satisfaites.

L'essentiel

Imaginez que vous êtes un chef cuisinier réputé qui prépare un plat signature : le "Tartare de la Vérité". Votre objectif est de mesurer exactement à quel point ce plat est bon (c'est votre paramètre d'intérêt, ou $\beta_0$).

Mais pour que votre recette soit parfaite, vous devez respecter une règle secrète : les œufs doivent être frais et la viande de qualité. Si l'un de ces ingrédients est pourri, votre mesure de la "bonté" du plat sera faussée.

Dans le monde de la recherche économique, ces règles secrètes s'appellent des hypothèses d'identification. Par exemple, dans une étude sur l'effet d'un médicament, on suppose souvent que les patients qui prennent le médicament et ceux qui ne le prennent pas auraient évolué de la même manière sans le médicament (c'est l'hypothèse de "tendances parallèles").

Le Dilemme du Pré-test (Le Test de l'Odeur)

Avant de servir le plat, vous voulez être sûr que les ingrédients sont bons. Alors, vous faites un test préliminaire (un "pre-test") : vous reniflez les œufs et touchez la viande.

• Si tout semble bon (le test n'est pas rejeté), vous servez le plat et donnez votre estimation de sa qualité avec une fourchette de confiance (une marge d'erreur).
• Si ça sent le rance (le test est rejeté), vous ne servez pas le plat et ne donnez aucune estimation.

La grande question de l'article : Est-ce que cette pratique de "renifler avant de servir" fausse votre jugement sur la qualité du plat ? Est-ce que votre estimation devient moins fiable parce que vous avez filtré les mauvais ingrédients ?

La Révolution de l'Article : "Non, c'est même plus prudent !"

Les auteurs, Clément de Chaisemartin et Xavier D'Haultfœuille, répondent avec une bonne nouvelle surprenante : Non, votre estimation reste fiable, et elle est même souvent plus prudente que si vous n'aviez pas fait le test.

Voici comment ils le démontrent, avec des analogies :

1. Sous les bonnes conditions (Quand les œufs sont vraiment frais)

Imaginez que vous êtes dans une cuisine parfaite où les œufs sont toujours frais (l'hypothèse est vraie).

• Sans test : Vous servez le plat tout le temps. Votre estimation de la qualité est correcte 95 % du temps (c'est le taux de couverture nominal).
• Avec test : Vous ne servez le plat que si le test de l'odeur est positif.

L'article prouve que, dans ce cas, si vous ne servez le plat que quand le test est positif, votre estimation est encore plus sûre que 95 %. Elle est "conservative".
L'analogie : C'est comme si vous ne serviez le plat que lorsque vous êtes absolument certain qu'il est bon. En filtrant les cas douteux (même s'ils étaient en fait bons), vous vous assurez que le plat servi est d'une qualité exceptionnelle. Vous ne risquez pas de sous-estimer la qualité, vous risquez juste de la surestimer légèrement (en étant trop prudent).

Cela fonctionne même si votre "nez" (le test) et votre "langue" (l'estimation de la qualité) sont liés. C'est un résultat mathématique fort basé sur une inégalité appelée "inégalité de corrélation gaussienne".

2. Quand les conditions ne sont pas parfaites (Quand les œufs sont un peu vieux)

Maintenant, imaginons que les œufs ne sont pas tout à fait frais (l'hypothèse est fausse, mais de peu).

• Sans test : Votre estimation est faussée. Le plat est mauvais, mais vous le croyez bon.
• Avec test : Vous essayez de détecter l'odeur.

L'article montre que dans certains cas (comme dans les essais cliniques randomisés ou les études avec des instruments), si le test et l'estimation sont liés d'une certaine manière, le fait de filtrer les plats douteux rend votre estimation finale moins faussée que si vous aviez servi tous les plats sans filtre.

L'analogie : C'est comme un filtre à café. Si l'eau est un peu sale, le filtre ne l'épurera pas parfaitement, mais il retirera quand même les plus gros grains de sable. Parfois, le café filtré (même avec un filtre imparfait) est plus propre que l'eau brute que vous auriez bue sans filtre.

Les Exceptions et les Mises en Garde

Bien sûr, il y a des cas où le filtre ne suffit pas :

• Les tendances divergentes (DID) : Dans certaines études (comme les différences de différences), si la tendance des groupes est très différente et que l'erreur suit un schéma complexe, le filtre peut parfois vous donner une fausse sécurité. L'article montre que dans ces cas précis, le test préliminaire peut réduire un peu la fiabilité, mais souvent très peu.
• Le test séquentiel : L'article met en garde contre une pratique dangereuse : si le premier test échoue, ne recommencez pas un autre test, puis un autre, jusqu'à ce que l'un passe ! C'est comme essayer de faire passer un gros rocher dans un petit trou en le martelant jusqu'à ce qu'il passe : vous finirez par trouver un trou qui passe, mais ce ne sera pas la vérité. Les résultats de l'article ne s'appliquent pas à cette méthode de "tâtonnement".

En Résumé : Que faut-il retenir ?

1. Ne soyez pas trop inquiet : Faire un test de vérification avant de publier vos résultats n'est pas une erreur fatale. Au contraire, cela rend souvent vos conclusions plus robustes et plus prudentes.
2. La prudence est une vertu : Sous l'hypothèse que tout est correct, votre estimation est "sur-protégée". Vous avez plus de chances de dire "je ne suis pas sûr" que de dire "c'est faux".
3. Le contexte compte : Dans les études randomisées (comme les essais médicaux), le test préliminaire est très bénéfique. Dans certaines études observationnelles complexes, il faut être un peu plus vigilant, mais le test reste généralement utile.

La morale de l'histoire : Continuer à faire vos tests de contrôle (comme vérifier les pré-tendances ou l'équilibre des groupes) est une bonne pratique. Cela ne "casse" pas votre analyse ; cela agit comme un garde-fou qui vous empêche de publier des résultats trop optimistes ou trop risqués.

Résumé technique

1. Problématique et Contexte

En recherche appliquée (économétrie, sciences sociales), les chercheurs utilisent fréquemment des tests de spécification (ou « pré-tests ») pour valider les hypothèses d'identification avant d'estimer un paramètre d'intérêt.

• Exemples courants :
  • En Différence de Différences (DID) : Tester l'hypothèse de tendances parallèles avant l'estimation de l'effet du traitement.
  • En Essais Randomisés Contrôlés (RCT) : Tester l'équilibre des covariables (balancing tests) pour vérifier l'exogénéité du traitement.
  • En Variables Instrumentales (IV) et GMM : Utiliser des tests de sur-identification (J-test).
• Le dilemme : Si le pré-test n'est pas rejeté, le chercheur rapporte l'estimateur standard et son intervalle de confiance (IC). Si le test est rejeté, il peut changer de modèle ou ne rien rapporter.
• La question centrale : Cette pratique de ne rapporter les résultats que si le pré-test n'est pas rejeté (inférence conditionnelle) dégrade-t-elle la fiabilité des intervalles de confiance ? Plus précisément, le taux de couverture conditionnel (CC) est-il inférieur au taux de couverture nominal (NC) ou au taux de couverture inconditionnel (UC) ? La littérature précédente suggère souvent que le pré-test introduit des biais de sélection qui invalident l'inférence standard.

2. Méthodologie et Cadre Théorique

Les auteurs développent un cadre asymptotique général pour analyser le comportement des estimateurs sous l'hypothèse nulle (spécification correcte) et sous l'alternative (spécification incorrecte).

A. Cadre sous l'Hypothèse Nulle (Spécification Correcte)

• Hypothèses :
  • L'estimateur cible $\hat{\beta}$ est $\sqrt{n}$-convergent et asymptotiquement normal pour le paramètre $\beta_0$.
  • Il existe un estimateur $\hat{\theta}$ pour une partie testable de l'hypothèse nulle ($\theta_0 = 0$).
  • Les statistiques de pré-test $T_{j,n}$ sont basées sur des fonctions convexes et symétriques (ex: tests F, tests Sup-t, tests de Kolmogorov-Smirnov).
  • Aucune restriction n'est faite sur la dépendance asymptotique entre $\hat{\beta}$ et $\hat{\theta}$.
• Outil clé : L'article s'appuie sur l'Inégalité de Corrélation Gaussienne (Royen, 2014). Pour un vecteur normal centré $(Y, X)$, la probabilité que $Y$ tombe dans un ensemble convexe symétrique conditionnellement à $X$ étant dans un tel ensemble est supérieure ou égale à la probabilité inconditionnelle.

B. Cadre sous l'Alternative (Spécification Incorrecte)

• Les auteurs considèrent des alternatives locales, où la distance à l'hypothèse nulle diminue avec la taille de l'échantillon ($\delta_n \to \delta$).
• Cela permet d'analyser la puissance des pré-tests et de comparer la couverture conditionnelle (CC) à la couverture inconditionnelle (UC) lorsque le modèle est faussé, mais pas de manière détectable avec certitude.

3. Résultats Clés

A. Sous l'Hypothèse Nulle (Spécification Correcte)

1. Inférence Conservatrice : Le taux de couverture conditionnel (CC) est toujours supérieur ou égal au taux de couverture nominal (NC).
   • Formellement : $\lim P(\beta_0 \in CI | \text{Test non rejeté}) \ge 1 - \alpha$.
   • Cela signifie que le pré-test ne conduit jamais à une sous-estimation de la couverture (pas de sous-couverture) sous l'hypothèse nulle, quel que soit le lien de corrélation entre l'estimateur et le test.
2. Condition d'Exactitude : L'égalité (CC = NC) n'est atteinte que si l'estimateur $\hat{\beta}$ et le pré-test $\hat{\theta}$ sont asymptotiquement indépendants ($\Sigma_{12} = 0$). Si une dépendance existe, l'inférence est strictement conservatrice (les IC sont trop larges).
3. Généralité : Ce résultat s'applique aux tests bilatéraux, aux tests unilatéraux (avec certaines conditions), et même aux tests basés sur des estimands de dimension infinie (ex: tests de forme fonctionnelle).

B. Sous l'Alternative Locale (Spécification Incorrecte)

Lorsque l'hypothèse nulle est fausse (biais présent) :

1. Voisinage de l'Nullité : Si les estimateurs ne sont pas asymptotiquement indépendants, il existe un voisinage de l'hypothèse nulle où le CC reste supérieur au NC et à l'UC.
2. Résultat « Global » : Sous des conditions spécifiques (paramètre scalaire, relation linéaire entre les biais standardisés de $\hat{\beta}$ et $\hat{\theta}$ via leur corrélation : $\mu_1 = \Sigma_{12}\mu_2$), le CC est toujours supérieur à l'UC, peu importe la magnitude du biais.
   • Cela signifie que, dans certains contextes (comme les RCT ou IV avec certaines hypothèses d'exogénéité), le pré-test peut en réalité améliorer la couverture par rapport à une inférence inconditionnelle qui ignorerait le biais.
3. Cas des DID : Dans les études DID avec des tendances différentielles et des erreurs AR(1), la condition $\mu_1 = \Sigma_{12}\mu_2$ est souvent violée (les biais ont des signes opposés). Dans ce cas, le CC peut être inférieur à l'UC, mais les simulations montrent que la différence reste souvent modérée.

C. Résultats Numériques et Simulations

• Les auteurs simulent des processus de génération de données (DGP) calibrés sur 12 études DID réelles (meta-analyse de Roth, 2022).
• Résultat : Même avec des violations de tendances parallèles, le CC moyen (79,2 %) est très proche de l'UC moyen (81,0 %). Le pré-test réduit très légèrement la couverture, mais ne l'effondre pas.
• Cela suggère que la « pénalité » du pré-test est souvent surestimée dans la littérature.

4. Contributions Majeures

1. Réfutation du dogme de l'infiabilité : L'article démontre que l'inférence conditionnelle à un pré-test non rejeté n'est pas intrinsèquement invalide. Sous l'hypothèse nulle, elle est valide et conservatrice.
2. Utilisation de l'Inégalité de Corrélation Gaussienne : L'application de cette inégalité (Royen, 2014) fournit une preuve robuste et générale, indépendante de la corrélation entre l'estimateur et le test, contrairement aux approches précédentes qui nécessitaient souvent l'indépendance.
3. Nuance sur les Alternatives Locales : L'article montre que dans certains scénarios (notamment où le biais de l'estimateur cible est corrélé au biais du test de manière spécifique), le pré-test peut offrir une protection contre la sous-couverture, rendant l'inférence conditionnelle plus fiable que l'inférence inconditionnelle.
4. Distinction entre Indépendance et Validité : L'article clarifie que l'indépendance asymptotique est nécessaire pour une inférence exacte (non conservatrice), mais pas pour une inférence valide (conservative).

5. Signification et Implications pour la Recherche

• Pour les praticiens : La pratique courante de rapporter les résultats uniquement si les tests de pré-trend ou d'équilibre ne sont pas rejetés n'est pas une erreur méthodologique fatale. Elle conduit à des intervalles de confiance légèrement plus larges (conservatisme) sous l'hypothèse nulle, mais ne crée pas de faux positifs (taux d'erreur de type I contrôlé).
• Choix de l'estimateur : Dans le cadre GMM, l'utilisation d'un estimateur non optimal (qui introduit une corrélation entre l'estimateur et le test) peut être préférable à un estimateur optimal (indépendant) si l'on souhaite une protection contre la mauvaise spécification, car cela garantit une couverture conditionnelle supérieure à l'inconditionnelle sous certaines alternatives.
• Limites : Les résultats ne s'appliquent pas aux procédures de pré-tests séquentiels (où l'on teste plusieurs hypothèses jusqu'à en trouver une non rejetée), ce qui reste un sujet de recherche futur.
• Conclusion Globale : Le « coût » du pré-test (conservatisme, risque de rejet erroné de vraies spécifications) est probablement faible par rapport à son bénéfice (sélection de modèles correctement spécifiés et, dans certains cas, meilleure couverture sous l'alternative).

En résumé, cet article offre une vision plus optimiste et nuancée de l'usage des tests de spécification, démontrant mathématiquement que l'inférence conditionnelle reste robuste, voire parfois supérieure, à l'inférence inconditionnelle dans des contextes réalistes.