Post-selection inference in generalized linear models via parametric programming

1. Problématique

L'inférence statistique traditionnelle suppose que les hypothèses sont formulées avant l'observation des données. Cependant, dans la pratique de la régression, les chercheurs sélectionnent souvent un sous-ensemble de variables (modèle) à partir d'un ensemble plus large en fonction des données observées (par exemple, via la méthode Lasso), puis effectuent des inférences sur les coefficients de ce modèle sélectionné.

Cette stratégie, dite « inférence post-sélection », introduit un biais majeur : ignorer l'étape de sélection conduit à des taux d'erreur de type I (faux positifs) fortement inflés et à des intervalles de confiance trop étroits. Bien que des méthodes existent pour les modèles linéaires gaussiens (notamment les méthodes de conditionnement polyédral de Lee et al., 2016), leur extension aux Modèles Linéaires Généralisés (GLM) pour des réponses non-gaussiennes (binaires, de comptage, proportions) reste complexe. Les méthodes existantes souffrent souvent de deux défauts :

1. Une perte d'efficacité due à un « sur-conditionnement » (conditionner sur les signes des coefficients sélectionnés).
2. Une difficulté à gérer la sélection de paramètres de pénalité ($\lambda$) basée sur les données.

2. Méthodologie Proposée

Les auteurs proposent un cadre unifié en deux étapes pour effectuer une inférence post-sélection valide dans les GLM, en adaptant une stratégie de programmation paramétrique (PP) initialement développée pour les modèles linéaires.

Étape 1 : Linéarisation du Modèle (Linearization)

L'idée centrale est de transformer le problème d'estimation dans un GLM non-gaussien en un problème d'estimation dans un modèle linéaire gaussien équivalent.

• Approximation par Newton-Raphson : En s'inspirant de la mise à jour itérative de Newton-Raphson pour le Maximum de Vraisemblance (MLE), les auteurs définissent des « pseudo-réponses » ($\hat{z}_0$) et une « pseudo-matrice de conception » ($\hat{U}_0$).
• Construction des données : À partir des estimateurs MLE $(\hat{\beta}_0, \hat{\beta})$ du GLM, ils construisent des vecteurs et matrices centrés qui approximent la structure du modèle linéaire.
• Sélection de modèle : Au lieu de pénaliser directement la vraisemblance du GLM, la sélection de modèle (Lasso) est effectuée sur ces données linéarisées en minimisant une fonction de perte de moindres carrés avec pénalité $L_1$.
• Équivalence asymptotique : Les auteurs démontrent théoriquement que, sous des conditions de régularité, le modèle sélectionné sur les données linéarisées est asymptotiquement équivalent à celui sélectionné sur le GLM original, et que les statistiques de test basées sur les données linéarisées convergent vers les mêmes distributions que celles basées sur un modèle linéaire idéal.

Étape 2 : Inférence par Programmation Paramétrique (PP)

Une fois le problème transformé en un modèle linéaire avec des données pseudo-gaussiennes, les auteurs appliquent la méthode de programmation paramétrique (Le Duy et Takeuchi, 2021).

• Paramétrisation de l'événement de sélection : Au lieu de conditionner sur un ensemble complexe de vecteurs de réponse (comme le font les méthodes polyédrales), la méthode PP paramétrise l'espace des réponses en fonction d'un scalaire $\tau$.
• Distribution conditionnelle : Cela permet d'identifier l'événement de sélection comme une union d'intervalles disjoints pour le paramètre $\tau$. La distribution conditionnelle de l'estimateur devient alors une loi normale tronquée sur ces intervalles.
• Avantage clé : Cette approche évite le conditionnement sur les signes des coefficients (sur-conditionnement), ce qui préserve l'efficacité statistique. De plus, elle permet d'intégrer facilement la sélection du paramètre de pénalité $\lambda$ via une validation croisée (split training/validation) dans le cadre de la paramétrisation.

3. Contributions Clés

1. Extension aux GLM non-gaussiens : Première méthode unifiée permettant une inférence post-sélection valide pour des réponses binaires (régression logistique), de comptage (Poisson) et continues bornées (régression Beta).
2. Efficacité supérieure : En évitant le conditionnement sur les signes des coefficients (contrairement aux méthodes polyédrales classiques), la méthode proposée produit des intervalles de confiance plus étroits et une puissance statistique accrue, en particulier pour les effets nuls ou faibles.
3. Gestion du paramètre de pénalité : La méthode intègre nativement la sélection de $\lambda$ basée sur les données, une fonctionnalité souvent absente ou difficile à implémenter dans les méthodes de conditionnement polyédral.
4. Cadre théorique rigoureux : Démonstration de l'équivalence asymptotique entre les statistiques basées sur les données observées et les données idéalisées, garantissant la validité des inférences.

4. Résultats Expérimentaux

Les auteurs valident leur méthode (désignée PPL pour Parametric Programming after Linearization) via des simulations et des études de cas réels.

• Études de Simulation :

  • Contrôle du taux d'erreur de type I : Sur des données simulées (Logistique, Poisson, Beta), la méthode PPL maintient un taux d'erreur de type I proche du niveau nominal (0,05), tandis que la méthode « naïve » (ignorant la sélection) montre une inflation drastique (jusqu'à 35% dans certains cas).
  • Comparaison avec la méthode Polyédrale : Bien que les deux méthodes contrôlent la couverture, la méthode PPL génère des intervalles de confiance significativement plus étroits pour les coefficients nuls (faux positifs), démontrant une meilleure puissance. Pour les coefficients non nuls, les largeurs sont comparables.
  • Sélection de $\lambda$ : La méthode PPL reste robuste même lorsque $\lambda$ est choisi via une validation croisée, là où les méthodes polyédrales échouent ou nécessitent des ajustements complexes.

• Études de Cas Réels :

  • Données Spambase (Logistique) : Sur la classification de courriels, la méthode PPL identifie moins de variables significatives que la méthode naïve, éliminant des faux positifs (ex: certaines fréquences de mots) que la méthode naïve retenait à tort.
  • Données Medicaid (Poisson) : Pour le nombre de visites médicales, la méthode PPL atténue l'effet de certaines covariables (ex: niveau scolaire) jugées significatives par la méthode naïve, s'alignant mieux avec la littérature existante.
  • Données de Performance Étudiante (Beta) : Pour les notes d'étudiants, la méthode PPL rejette l'importance statistique de variables comme « sorties » (goout) et « santé » (health), contrairement à la méthode naïve, confirmant des résultats de la littérature sur la prédominance des facteurs académiques.

5. Signification et Impact

Cet article représente une avancée significative dans le domaine de l'inférence statistique moderne. En proposant un cadre unifié pour les GLM, il comble un vide important entre la théorie de la sélection de variables et la pratique de l'inférence sur des données non-gaussiennes.

La principale contribution réside dans l'abandon du conditionnement sur les signes (sur-conditionnement), ce qui permet de gagner en efficacité sans sacrifier la validité des résultats. La capacité à gérer la sélection de paramètres de régularisation de manière flexible rend cette méthode particulièrement adaptée aux applications pratiques où les modèles sont souvent ajustés via des procédures de validation croisée. Les auteurs suggèrent que cette approche pourrait être étendue à d'autres modèles au-delà des GLM, ouvrant la voie à de futures recherches en inférence post-sélection pour des modèles complexes.