A Bayes-Factor-Guided Approach to Post-Double Selection with Bootstrapped Multiple Imputation

1. Problématique et Contexte

L'estimation de l'effet d'une variable d'intérêt ($D$) sur une variable de résultat ($Y$) en présence d'un grand nombre de variables de contrôle potentielles ($X$) est un défi majeur en économétrie empirique. Lorsque le nombre de covariables est élevé, les méthodes de sélection de variables (comme le LASSO) sont utilisées pour construire des modèles parcimonieux. Cependant, la sélection basée sur les données peut biaiser l'estimation si des variables pertinentes sont omises, en particulier si elles sont corrélées à la fois avec $D$ et $Y$.

La méthode Post-Double Selection (PDS) de Belloni et al. (2014) atténue ce problème en effectuant une sélection dans l'équation de résultat et dans une équation auxiliaire pour $D$, puis en combinant les ensembles de variables sélectionnés.

Le problème central abordé par cet article survient lorsque la sélection de variables est appliquée à des données comportant des valeurs manquantes et soumises à des procédures de rééchantillonnage (Bootstrap) et d'imputation multiple (MI).

• Variabilité stochastique : L'application répétée de la sélection sur des jeux de données perturbés (bootstrap + imputation) génère des ensembles de variables sélectionnées qui varient d'une itération à l'autre.
• Limites des règles d'agrégation actuelles :
  • La règle de l'union (inclure toute variable sélectionnée au moins une fois) conduit à des modèles trop denses (trop de variables non pertinentes).
  • Les règles basées sur la fréquence (ex: inclure si sélectionné dans >50% des cas) peuvent exclure des variables ayant un signal faible mais persistant.
• Objectif : Développer une méthode d'agrégation séquentielle qui identifie les variables pertinentes de manière stable, sans fixer a priori le nombre d'itérations de bootstrap/imputation, et qui offre une interprétation probabiliste rigoureuse.

2. Méthodologie Proposée

Les auteurs proposent une procédure d'agrégation d'évidence séquentielle basée sur un facteur de Bayes approximatif, appliquée aux résultats de la sélection PDS dans un cadre BOOT-MI (Bootstrap + Imputation Multiple).

A. Cadre de Sélection par Itération (BOOT-MI)

Pour chaque itération $t$ :

1. Bootstrap : Tirage d'un échantillon avec remise à partir du jeu de données incomplet.
2. Imputation : Une seule imputation stochastique est appliquée pour compléter le jeu de données.
3. Sélection PDS : Application du LASSO sur l'équation de résultat ($Y \sim D + X$) et l'équation auxiliaire ($D \sim X$).
4. Détection Asymétrique : Au lieu d'utiliser simplement l'union des ensembles sélectionnés, les auteurs définissent un indicateur binaire de détection $Z_{jt}$ pour chaque variable $j$ :
   • Si la variable est sélectionnée dans l'équation auxiliaire ($D$), elle est retenue ($Z_{jt}=1$).
   • Si elle est sélectionnée uniquement dans l'équation de résultat ($Y$), elle doit passer un test de significativité (niveau $\alpha$) dans la régression post-sélection pour être retenue.
   • Cela crée une règle de détection asymétrique qui réduit le surajustement.

B. Modèle de Détection et Accumulation d'Évidence

Au lieu d'agréger les résultats par des règles heuristiques, les auteurs modélisent la séquence des indicateurs de détection $\{Z_{jt}\}$ comme des réalisations d'un processus stochastique de détection.

• Hypothèses :
  • $H_0$ : La variable est non pertinente. Probabilité de détection $\pi_0$.
  • $H_1$ : La variable est pertinente. Probabilité de détection $\pi_1$ (avec $\pi_1 > \pi_0$).
• Processus d'Évidence : Ils construisent un rapport de vraisemblance cumulé (interprété comme un facteur de Bayes) :
  $$\log E_{jt} = \sum_{s=1}^{t} \left[ Z_{js} \log\left(\frac{\pi_1}{\pi_0}\right) + (1-Z_{js}) \log\left(\frac{1-\pi_1}{1-\pi_0}\right) \right]$$
  Chaque itération ajoute une preuve positive (si détectée) ou négative (si non détectée) à la log-vraisemblance cumulative.

C. Calibration et Règle d'Arrêt

• Calibration Pilotée : Les paramètres $(\pi_0, \pi_1)$ sont estimés lors d'une phase pilote courte (ex: 20 itérations) en observant les fréquences de détection des variables. $\pi_0$ est estimé sur les variables peu détectées et $\pi_1$ sur les variables fortement détectées.
• Règle d'Arrêt Séquentielle : Le processus s'arrête pour une variable dès que l'évidence cumulée franchit un seuil :
  • Pertinente : $\log E_{jt} \geq c$ (Seuil supérieur).
  • Non pertinente : $\log E_{jt} \leq -c$ (Seuil inférieur).
  • Cela élimine le besoin de fixer un nombre total d'itérations ($T$) à l'avance. Le processus continue jusqu'à ce que toutes les variables soient classées ou qu'un maximum $T_{max}$ soit atteint.

3. Contributions Clés

1. Formulation Séquentielle : Transformation du problème d'agrégation de sélection de variables en un problème de décision séquentielle, modélisant les détections comme des essais de Bernoulli.
2. Interprétation Bayésienne Approximative : Développement d'une mesure d'évidence basée sur un rapport de vraisemblance qui admet une interprétation de facteur de Bayes, offrant un critère d'inclusion et une règle d'arrêt naturels.
3. Stratégie de Calibration Pilotée : Proposition d'une méthode pour calibrer empiriquement les probabilités de détection $(\pi_0, \pi_1)$ via une phase pilote, rendant la procédure adaptable aux spécificités des données sans hypothèses distributionnelles fortes.
4. Efficacité Computationnelle : La règle d'arrêt séquentielle permet de réduire considérablement le nombre d'itérations nécessaires par rapport aux approches à budget fixe.

4. Résultats de l'Étude de Simulation

Les auteurs ont évalué la méthode sur 126 scénarios de Monte Carlo (variant la taille de l'échantillon, la force du signal, les mécanismes de données manquantes et l'hétéroscédasticité).

• Précision de la Sélection :
  • La méthode proposée offre un meilleur compromis entre le taux de vrais positifs (TPR) et le taux de faux positifs (FPR) par rapport à la règle de l'union (trop inclusive) et aux seuils de fréquence (trop stricts).
  • Elle détecte mieux les variables pertinentes faibles que les seuils de fréquence élevés (75%), tout en restant plus parcimonieuse que la règle de l'union.
• Estimation de l'Effet de Traitement :
  • Les estimateurs du coefficient de la variable d'intérêt ($\alpha$) sont peu biaisés et présentent une bonne couverture des intervalles de confiance, comparables aux meilleures méthodes de référence.
• Efficacité Computationnelle :
  • La règle d'arrêt séquentielle réduit le nombre moyen d'itérations nécessaires d'environ 75 % (passant de 200 itérations fixes à environ 51 itérations en moyenne) tout en maintenant la performance.
• Robustesse : La méthode est particulièrement performante dans des scénarios difficiles (petits échantillons, données manquantes non aléatoires - MNAR).

5. Illustration Empirique

L'approche est appliquée aux données de l'European Social Survey (ESS, Round 10) pour étudier l'effet de l'emploi sur la satisfaction de vie, en présence de nombreuses covariables et de données manquantes.

• Comparaison : La méthode séquentielle sélectionne 34 variables, se situant entre la règle de l'union (55 variables) et les règles de fréquence (31 à 41 variables).
• Stabilité : Elle retient un noyau stable de variables démographiques et socio-économiques tout en filtrant les variables attitudinales plus faibles.
• Résultat : L'estimation de l'effet de l'emploi reste robuste (proche de zéro, non significatif) quelle que soit la règle d'agrégation utilisée, mais la méthode proposée offre un modèle plus parcimonieux et justifié statistiquement.

6. Signification et Limites

Signification :
Cette méthode comble un vide important dans la littérature en fournissant un cadre rigoureux pour agréger les résultats de sélection de variables dans des contextes complexes (données manquantes + rééchantillonnage). Elle remplace les règles heuristiques (union, fréquence) par une approche fondée sur l'évidence cumulative, permettant d'arrêter le processus de calcul dès que la décision est statistiquement justifiée.

Limites :

• Indépendance conditionnelle : Le modèle de travail suppose une indépendance conditionnelle entre les itérations, ce qui n'est pas strictement vrai en raison de la dépendance induite par le bootstrap et l'imputation sur le même jeu de données. Cependant, les simulations montrent que l'approximation fonctionne bien en pratique.
• Calibration : La méthode dépend d'une phase pilote pour estimer les paramètres de détection, ce qui pourrait nécessiter des ajustements dans des contextes très spécifiques.
• Généralisation : L'étude se concentre sur des modèles linéaires avec sélection LASSO. L'extension à des modèles non linéaires ou non paramétriques reste à explorer.

En conclusion, l'article propose un outil robuste et efficace pour la sélection de variables en économétrie moderne, combinant la rigueur de la sélection post-double avec la flexibilité de l'imputation multiple et la puissance de l'inférence séquentielle.