Résumé technique : Sélection de modèles pour les modèles SLOPE : Une perspective bayésienne

Énoncé du problème

Les modèles de l'estimation pénalisée par $\ell_1$ triée (SLOPE - Sorted $\ell_1$ Penalized Estimation), y compris leurs extensions basées sur des groupes (Group SLOPE ou gSLOPE, et Sparse-group SLOPE ou SGS), offrent un cadre puissant pour la sélection de variables et de groupes avec un contrôle théorique du taux de fausses découvertes (FDR - False Discovery Rate). Cependant, ces garanties théoriques sont strictement limitées aux matrices de conception orthogonales avec des niveaux de bruit connus. Dans les applications pratiques, les conceptions sont rarement orthogonales et le bruit est inconnu.

Les stratégies actuelles de sélection de modèles pour SLOPE reposent fortement sur la validation croisée (CV) ou sur des techniques d'estimation du bruit. La CV optimise la performance prédictive plutôt que le contrôle du FDR, ce qui conduit souvent au surapprentissage et à une inflation des niveaux de FDR. D'autres approches fréquentistes, telles que les Knockoffs ou la sélection de stabilité, peinent à maintenir le contrôle du FDR sous des structures de corrélation générales ou entraînent des coûts de calcul élevés. Il existe une lacune méthodologique critique dans la sélection des paramètres de réglage pour les modèles SLOPE qui assure simultanément le contrôle du FDR, une puissance statistique élevée et une précision prédictive dans des contextements généraux et non orthogonaux.

Méthodologie

Les auteurs proposent un cadre bayésien pour remédier à ces limitations, en intégrant les normes SLOPE dans une structure de priorité de type "spike-and-slab" (pic et dalle). Cette approche permet l'estimation conjointe des coefficients de régression ($\beta$) et du bruit ($\sigma^2$), permettant ainsi de s'adapter à la structure de parcimonie sous-jacente sans nécessiter le réglage explicite du paramètre de pénalité $\lambda$.

1. Modèles bayésiens proposés

Le document présente deux modèles principaux :

• Bayesian Group SLOPE (BGSLOPE) : Un modèle hiérarchique étendant le cadre de l'Adaptive Bayesian SLOPE (ABSLOPE) aux structures de groupe. Il utilise une priorité spike-and-slab continue où l'inclusion des groupes est régie par un vecteur binaire $\gamma$ et une proportion de mélange $\theta$. La priorité pénalise moins les groupes actifs que les groupes inactifs via un paramètre de ratio de force du signal $c$.
• Bayesian Sparse-group SLOPE (BSGS) : Un nouveau cadre spike-and-slab continu pour les modèles de groupes parcimonieux (sparse-group). Il introduit un mécanisme de sélection à double niveau avec des vecteurs d'inclusion binaires pour les groupes ($\gamma$) et les variables individuelles ($\delta$). Cela permet une sélection bi-niveau où les variables ne peuvent être actives que si leur groupe parent est actif. BSGS est le premier cadre spike-and-slab continu spécifiquement conçu pour les modèles de type sparse-group.

Les deux modèles utilisent des algorithmes d'approximation stochastique de l'algorithme d'espérance-maximisation (SAEM) pour l'inférence. L'algorithme SAEM remplace l'étape d'espérance intraçable de l'EM standard par une étape de simulation (échantillonnage de Gibbs des variables latentes) suivie d'une étape d'approximation stochastique. Pour accélérer le calcul, les auteurs proposent également des variantes SLOBE (GSLOBE et SGSLOBE), qui approchent les distributions des variables latentes en utilisant leurs espérances conditionnelles plutôt que par échantillonnage.

2. Deux étapes d'orthogonalisation (TSO)

En tant qu'alternative fréquentiste, le document propose la procédure de l'orthogonalisation en deux étapes (Two-step Orthogonal - TSO). Cette méthode transforme un cadre général en un cadre orthogonal pour récupérer les propriétés de FDR de SLOPE :

1. Sélectionner un ensemble initial de variables à l'aide de Lasso avec validation croisée.
2. Orthogonaliser la matrice de conception sélectionnée via Gram-Schmidt.
3. Ajuster un modèle SLOPE sur la matrice orthogonalisée en utilisant une séquence de pénalité spécifique (séquence gaussienne pour les contextes de faible dimension).

Contributions clés

1. Nouveaux cadres bayésiens : Le développement de BGSLOPE et BSGS, qui étendent le cadre spike-and-slab aux modèles SLOPE basés sur des groupes. BSGS fournit spécifiquement la première formulation spike-and-slab continue pour la sélection de groupes parcimonieux.
2. Contrôle du FDR dans des contextes généraux : En apprenant le niveau de bruit conjointement avec les coefficients, les modèles bayésiens évitent le désalignement entre l'optimisation prédictive (CV) et le contrôle du FDR, démontrant un contrôle robuste du FDR même sous des conceptions corrélées où les méthodes fréquentistes échouent.
3. Implémentation algorithmique : La dérivation des mises à jour SAEM pour ces normes complexes et non séparables, incluant des étapes spécifiques d'échantillonnage de Gibbs pour les indicateurs d'inclusion et les ratios de force du signal.
4. Proposition de TSO : L'introduction d'une procédure en deux étapes qui exploite l'orthogonalisation pour permettre le contrôle du FDR dans des contextes généraux, servant d'alternative fréquentiste plus efficace sur le plan computationnel.
5. Évaluation complète : Une comparaison étendue de ces méthodes par rapport aux approches de pointe (CV, Knockoffs, Scaled Regression, Sélection de stabilité) à travers des jeux de données synthétiques et réels.

Résultats expérimentaux

Études synthétiques

Les auteurs ont mené des simulations approfondies faisant varier la parcimonie, la force du signal, la dimensionnalité, le bruit et les structures de corrélation.

• Contrôle du FDR : Les modèles bayésiens proposés (BGGLOPE et BSGS) ont systématiquement contrôlé le FDR au niveau cible (0,1) dans presque tous les contextes, y compris avec une forte corrélation. En revanche, la CV et d'autres méthodes fréquentistes ont fréquemment dépassé le FDR cible, particulièrement sous une corrélation modérée à forte. TSO a également maintenu le contrôle du FDR mais avec une puissance réduite.
• Puissance et sélection : Parmi les méthodes contrôlant le FDR, les approches bayésiennes ont atteint la puissance statistique et les scores F1 les plus élevés. BSGS a démontré une précision supérieure dans la sélection au niveau des variables.
• Prédiction : Les modèles bayésiens ont obtenu l'erreur de prédiction hors échantillon (OOS) la plus faible et l'erreur quadratique moyenne (MSE) pour les coefficients la plus basse, surpassant la CV et les Knockoffs.
• Estimation du bruit : Bien que les modèles bayésiens fournissent des estimations de bruit raisonnables, des méthodes comme l'AS-SGS (Adaptively Scaled SGS) ont montré une plus grande précision dans l'estimation du bruit mais ont échoué à contrôler le FDR, soulignant un compromis entre la précision de l'estimation et la validité de la sélection.

Applications sur données réelles

Les méthodes ont été appliquées à sept jeux de données réels (incluant Cancer, Colitis, BRCA1 et Trust-experts).

• Performance prédictive : Les modèles bayésiens ont systématiquement délivré la meilleure performance prédictive (MSE normalisée la plus faible) à travers la plupart des jeux de données et types de modèles (SLOPE, gSLOPE, SGS).
• Robustesse : L'approche bayésienne s'est avérée robuste aux différentes caractéristiques des données, tandis que TSO a montré de faibles performances sur certains jeux de données (ex: Colitis) lorsqu'elle était combinée à certains types de modèles.

Signification et affirmations

Le document conclut que, dans des contextes généraux, les modèles SLOPE sont mieux appliqués au sein du cadre bayésien proposé. Les auteurs affirment que cette approche restaure efficacement les propriétés théoriques de contrôle du FDR de SLOPE dans des scénarios pratiques non orthogonaux.

Les affirmations clés incluent :

• Supériorité de la sélection bayésienne : La méthodologie bayésienne élimine le besoin de réglage manuel de $\lambda$ en l'apprenant via le paramètre de bruit, offrant une alternative fondée sur des principes à la validation croisée qui aligne les objectifs de sélection avec le contrôle du FDR.
• Flexibilité : Le cadre permet aux praticiens d'incorporer des connaissances métier via des hyperparamètres de priorité pour ajuster le compromis entre puissance et contrôle du FDR.
• Impact pratique : Les résultats empiriques démontrent que ces modèles non seulement contrôlent les fausses découvertes, mais fournissent également des estimations moins biaisées et une précision prédictive plus élevée par rapport aux méthodes fréquentistes concurrentes.

Les auteurs maintiennent un ton modeste concernant le coût computationnel, reconnaissant que les méthodes bayésiennes sont plus coûteuses que les homologues fréquentistes mais qu'elles passent bien à l'échelle avec la dimensionnalité. Ils soulignent que les modèles proposés offrent une solution robuste pour la régression de haute dimension où le contrôle du FDR est un objectif primaire.