Bayesian Variable Selection with the Quasi-Posterior

1. Problématique et Contexte

La sélection de variables bayésienne est une méthode puissante pour identifier les prédicteurs pertinents dans un modèle, en incorporant des croyances a priori sur la parcimonie (sparsité) et en quantifiant l'incertitude des paramètres. Cependant, l'approche bayésienne traditionnelle repose sur la spécification complète d'une fonction de vraisemblance (likelihood) pour les données.

Le problème central abordé par les auteurs est la spécification erronée du modèle (model misspecification). Dans la pratique, il est fréquent que la distribution réelle des données ($F_0$) diffère de la distribution supposée par le modèle ($F$). Les travaux récents (Rossell & Rubio, Grünwald et al.) ont démontré que cette erreur de spécification peut dégrader sévèrement les performances de la sélection de variables bayésienne :

• Elle peut réduire la puissance pour détecter les variables actives (en cas de queues de distribution lourdes).
• Elle peut augmenter le taux de faux positifs (en présence de données atypiques ou "inliers").
• Elle peut conduire à la sélection de modèles inutilement complexes.

Les solutions existantes pour atténuer ce problème sont soit trop complexes (modèles non-paramétriques, ce qui nuit à l'interprétabilité), soit sortent du cadre bayésien rigoureux (méthodes basées sur des pertes ou des taux d'apprentissage mal calibrés), ne garantissant pas une quantification valide de l'incertitude.

2. Méthodologie : Le Quasi-Postérieur de Modèle

Les auteurs proposent d'utiliser le quasi-postérieur (Lin, 2006 ; Agnoletto et al., 2025) comme outil fondamental pour la sélection de variables dans le cadre des modèles linéaires généralisés (GLM).

Principes clés :

• Éviter la vraisemblance complète : Au lieu de spécifier une densité de probabilité complète $f(y|x)$, la méthode ne nécessite que la spécification de la moyenne conditionnelle $\mu(x^T\beta)$ et de la variance conditionnelle $\psi V(\mu(x^T\beta))$.
• Fonction de quasi-vraisemblance : L'inférence est basée sur la fonction de quasi-vraisemblance $Q_n$, définie comme l'intégrale du rapport entre l'erreur observée et la variance. Cela permet d'obtenir des estimateurs des paramètres $\beta$ qui sont robustes à la forme de la distribution des erreurs, tant que la moyenne et la variance sont correctement spécifiées.
• Construction du Postérieur : Le quasi-postérieur sur les paramètres $\beta$ est défini par :
  $$\tilde{\pi}(\beta|y, X) \propto \pi(\beta) \exp\{n Q_n(y, X; \beta, \hat{\psi})\}$$
  où $\hat{\psi}$ est un estimateur cohérent du paramètre de dispersion.
• Sélection de Variables (Quasi-Postérieur de Modèle) : Les auteurs définissent un postérieur sur les configurations de modèles $\gamma$ (vecteur binaire indiquant les variables incluses) en intégrant la quasi-vraisemblance marginale :
  $$\tilde{\pi}(\gamma|y, X) \propto \tilde{f}(y|X, \gamma)\pi(\gamma)$$
  où $\tilde{f}$ est l'intégrale de la quasi-vraisemblance sur les coefficients du modèle $\gamma$.

Implémentation Computationnelle :

• Cas Linéaire : Pour la régression linéaire, une expression analytique fermée de la quasi-vraisemblance marginale est dérivée.
• Cas Général (GLM) : Pour les autres modèles, une approximation de Laplace est utilisée pour approximer l'intégrale marginale. Les auteurs prouvent que pour une large classe de modèles (où la log-quasi-vraisemblance est concave), cette approximation est asymptotiquement exacte.
• Algorithme d'Inférence : Un échantillonneur de Gibbs à balayage aléatoire (random-scan Gibbs sampler) est utilisé pour explorer l'espace des modèles. Une stratégie de mise en cache (caching) des modes et des Hessiens permet de réduire considérablement le temps de calcul en évitant les ré-optimisations inutiles.

3. Contributions Théoriques et Résultats Principaux

Garanties Théoriques :

• Consistance Asymptotique : Les auteurs prouvent que le quasi-postérieur de modèle converge vers la même distribution que le postérieur bayésien standard lorsque le modèle de vraisemblance est correctement spécifié.
• Comportement du Facteur de Bayes Quasi : Ils démontrent que le facteur de Bayes quasi (rapport des quasi-vraisemblances marginales) se comporte asymptotiquement comme le facteur de Bayes standard :
  • Pour un modèle sous-spécifié (manquant des variables actives), le facteur de Bayes tend vers zéro exponentiellement.
  • Pour un modèle sur-spécifié (incluant des variables inactives), le facteur de Bayes pénalise la complexité du modèle, assurant une sélection de modèle consistante.
• Validité de l'Approximation de Laplace : Ils établissent que l'approximation de Laplace utilisée pour le calcul pratique est asymptotiquement équivalente à la vraisemblance marginale exacte sous des conditions de régularité standard.

Résultats Empiriques (Simulations et Données Réelles) :
Des études de simulation extensives comparent la méthode proposée (QP) aux méthodes bayésiennes classiques (Poisson, Binomial Négatif, Régression Linéaire Gaussienne) et aux méthodes fréquentistes (Lasso) dans des scénarios de spécification erronée :

1. Données de comptage surdispersées : Le QP surpasse largement les modèles Poisson (qui sous-estiment la variance) et Binomial Négatif (qui peuvent être incohérents), offrant une meilleure puissance et un contrôle strict du taux de fausses découvertes (FDR).
2. Régression avec erreurs à queues lourdes : Le QP maintient une puissance élevée pour détecter les variables actives, là où le modèle bayésien gaussien perd en puissance.
3. Présence d'inliers : Le QP évite les faux positifs générés par les inliers dans les modèles gaussiens standards.
4. Données Réelles :
   • NMES (Santé) : Le QP identifie des prédicteurs cohérents avec la littérature, avec une meilleure adéquation entre la variance empirique et la variance du modèle par rapport aux modèles Poisson et Binomial Négatif.
   • DLD (Génomique) : Dans un contexte de prédiction de l'expression génique, le QP sélectionne un ensemble de gènes plus stable et robuste, en particulier pour les petits échantillons, par rapport aux méthodes bayésiennes traditionnelles.

4. Signification et Impact

Cet article représente une avancée significative dans le domaine de l'inférence bayésienne généralisée :

• Première application rigoureuse : C'est, à la connaissance des auteurs, la première instance de sélection de variables bayésienne généralisée offrant des garanties de couverture asymptotique valide et une quantification d'incertitude calibrée sans nécessiter une vraisemblance complète.
• Robustesse sans complexité excessive : La méthode offre la robustesse des méthodes basées sur les pertes (loss-based) tout en conservant la structure probabiliste et l'interprétabilité des méthodes bayésiennes (via les probabilités d'inclusion postérieures).
• Praticité : En ne nécessitant que la spécification de la moyenne et de la variance, la méthode est applicable à une large gamme de problèmes où la distribution exacte des données est inconnue ou difficile à modéliser (données de comptage, données financières, etc.).
• Outil Logiciel : Les auteurs ont implémenté la méthode dans le package R modelSelectionQP, rendant cette approche accessible aux praticiens.

En conclusion, le quasi-postérieur de modèle propose un compromis optimal entre la flexibilité nécessaire pour gérer les erreurs de spécification et la rigueur théorique requise pour une sélection de variables fiable et une quantification d'incertitude valide.