Quantifying uncertainty and stability among highly correlated predictors: a subspace perspective

1. Problématique

L'article aborde le problème de la sélection de variables (ou sélection de caractéristiques) dans des contextes où les prédicteurs sont fortement corrélés (multicolinéarité). Dans ces scénarios, les méthodes traditionnelles de sélection de variables rencontrent deux défis fondamentaux :

1. Définition de la similarité des modèles : La mesure standard de similarité entre deux modèles (ensembles de variables) $S_1$ et $S_2$ est le nombre de variables communes ($|S_1 \cap S_2|$). Cette approche "discrète" est trompeuse lorsque les variables sont corrélées. Deux modèles peuvent ne partager aucune variable, mais être pratiquement identiques en termes de capacité prédictive si les variables sélectionnées dans chaque modèle sont fortement corrélées entre elles (ex: $X_1$ et $X_3$ sont corrélés à 0,97).
2. Évaluation de la stabilité : Les méthodes de stabilité classiques (comme la Stability Selection de Meinshausen & Bühlmann, 2010) évaluent la fréquence de sélection d'une variable sur des sous-échantillons. En présence de forte corrélation, un phénomène de "partage de voix" (vote splitting) se produit : si $X_1$ et $X_3$ sont interchangeables, un sous-échantillon peut sélectionner $X_1$ tandis qu'un autre sélectionne $X_3$. Résultat : ni l'un ni l'autre n'obtient un score de stabilité élevé, bien que tous deux soient des signaux importants. De plus, forcer la sélection de variables stables conduit souvent à des modèles trop petits avec une mauvaise performance prédictive.

L'essence du problème réside dans le fait que les notions existantes de similarité et de stabilité sont discrètes, alors que la réalité des données corrélées exige une approche continue.

2. Méthodologie : La perspective des sous-espaces

Les auteurs proposent un cadre novateur basé sur les sous-espaces de caractéristiques (feature subspaces). Au lieu de comparer les ensembles de variables, ils comparent les sous-espaces linéaires engendrés par les colonnes de la matrice de données $X$ correspondant à ces variables.

A. Mesures de Similarité et d'Erreur

Ils définissent la similarité entre deux ensembles de variables $S_1$ et $S_2$ via l'alignement de leurs sous-espaces $col(X_{S_1})$ et $col(X_{S_2})$.

• Similarité ($\tau$) : Définie comme la trace du produit des matrices de projection : $\tau(S_1, S_2) = \text{trace}(P_{col(X_{S_1})} P_{col(X_{S_2})})$. Cette mesure correspond à la somme des cosinus carrés des angles principaux entre les sous-espaces. Elle varie continûment avec la corrélation.
• Vrais Positifs (TP) et Faux Positifs (FP) :
  • Les TP sont remplacés par $\tau(\hat{S}, S^*)$, mesurant l'alignement entre le modèle estimé et le modèle vrai.
  • Les FP sont définis comme $|\hat{S}| - \tau(\hat{S}, S^*)$, ou de manière équivalente comme l'alignement du modèle estimé avec le sous-espace orthogonal au modèle vrai.

B. Mesure de Stabilité ($\pi$)

La stabilité d'un ensemble de variables $S$ est mesurée par son alignement avec la moyenne des sous-espaces estimés sur plusieurs sous-échantillons.
Soit $P_{avg} = \frac{1}{B} \sum_{\ell=1}^B P_{col(X_{\hat{S}^{(\ell)}})}$ la moyenne des matrices de projection. La stabilité est définie par la $|S|$-ième valeur singulière de la matrice $P_{col(X_S)} P_{avg} P_{col(X_S)}$ :
$$\pi(S) = \sigma_{|S|}(P_{col(X_S)} P_{avg} P_{col(X_S)})$$
Cette mesure capture à la fois la fréquence de sélection et la proximité des sous-espaces, évitant ainsi le problème du partage de voix.

C. Algorithme FSSS (Feature Subspace Stability Selection)

Les auteurs proposent un algorithme pour identifier des ensembles maximaux $\alpha$-stables (des modèles où $\pi(S) \ge \alpha$ et l'ajout d'une variable fait chuter la stabilité en dessous de $\alpha$).

• Fonctionnement : L'algorithme explore l'espace des modèles de manière itérative (depuis l'ensemble vide), ajoutant des variables qui maintiennent la stabilité au-dessus du seuil $\alpha$.
• Optimisation : Il utilise des règles de réduction de l'espace de recherche (monotonie de la stabilité, pré-évaluation basée sur la trace) pour rendre le calcul faisable même avec un grand nombre de variables.
• Résultat : Au lieu d'un seul modèle, FSSS retourne une collection de modèles stables qui capturent l'interchangeabilité des variables corrélées.

3. Contributions Clés

1. Cadre théorique continu : Introduction d'une perspective basée sur les sous-espaces pour quantifier la similarité et la stabilité, généralisant les notions discrètes classiques qui ne fonctionnent pas bien avec la multicolinéarité.
2. Algorithme FSSS : Développement d'une procédure pratique pour générer plusieurs modèles stables, permettant de représenter l'incertitude structurelle du problème de sélection.
3. Garanties théoriques :
   • Contrôle de l'erreur de faux positifs (FPE) pour les modèles sélectionnés.
   • Preuve de la consistance de la sélection de variables : sous certaines hypothèses (notamment sur la qualité de la procédure de base), FSSS retourne avec une haute probabilité des modèles appartenant à la classe des "modèles équivalents" (choisissant une variable par cluster de signal).
4. Implémentation : Mise à disposition du package R substab.

4. Résultats Expérimentaux

Les auteurs évaluent FSSS sur des données synthétiques et un jeu de données réel d'expression génique (cancer du sein, Sotiriou et al., 2006).

• Données Synthétiques :
  • FSSS surpasse la Stability Selection (SS) et la Cluster Stability Selection (CSS).
  • SS souffre du partage de voix et sélectionne peu de variables (modèles vides ou très petits).
  • CSS améliore SS mais dépend d'un pré-clustering arbitraire et échoue dans des structures de dépendance complexes.
  • FSSS produit des modèles plus grands, avec une meilleure performance prédictive (MSE plus faible) et un taux de faux positifs contrôlé. Il identifie correctement les variables de signal et leurs substituts corrélés.
• Données Réelles (Cancer du sein) :
  • FSSS génère des modèles plus grands et plus stables que SS ou CSS.
  • Il identifie plusieurs modèles stables contenant des gènes biologiquement pertinents (ex: CEP55, SETD8).
  • L'analyse de similarité entre les modèles retournés montre que les modèles substituables sont composés de paires de gènes hautement corrélés, offrant une interprétation plus riche de l'incertitude du modèle.

5. Signification et Impact

Cet article apporte une contribution majeure à la statistique et à l'apprentissage automatique en adressant la limitation fondamentale des méthodes de sélection de variables face à la multicolinéarité.

• Changement de paradigme : Il déplace le focus de la sélection d'un "meilleur" ensemble de variables unique vers l'identification d'un ensemble de modèles équivalents (effet Rashomon), ce qui est plus réaliste lorsque les variables sont corrélées.
• Robustesse : En passant d'une logique binaire (variable sélectionnée ou non) à une logique géométrique (alignement de sous-espaces), la méthode est beaucoup plus robuste aux perturbations des données et aux structures de corrélation complexes.
• Interprétabilité : La capacité à fournir plusieurs modèles stables permet aux chercheurs de comprendre quelles variables sont interchangeables, offrant une vision plus nuancée et fiable des relations entre les prédicteurs et la réponse.

En résumé, FSSS offre une solution théoriquement fondée et pratiquement efficace pour quantifier l'incertitude et la stabilité dans des environnements de données hautement corrélées, comblant le fossé entre la sélection de variables discrète et la continuité des structures de données réelles.