Rank-Based Sparse Regression in Principal Components Space under Measurement Error

1. Problématique et Contexte

L'article s'intéresse au problème de la régression parcimonieuse en haute dimension ($p \gg n$) dans un contexte doublement complexe :

1. Erreurs de mesure sur les prédicteurs : Les variables explicatives observées ($Z$) sont contaminées par un bruit additif ($W$) par rapport aux variables latentes réelles ($X$), soit $Z = X + W$.
2. Erreurs de réponse lourdes (Heavy-tailed) : Les erreurs du modèle de réponse ($\varepsilon$) ne suivent pas nécessairement une loi gaussienne et peuvent présenter des queues de distribution épaisses ou des valeurs aberrantes (outliers).

Le cadre spécifique est l'espace des composantes principales empiriques. Contrairement à la régression classique dans l'espace des coordonnées originales, cette approche suppose que la parcimonie du signal réside dans la base des composantes principales latentes.

Limites des méthodes existantes :

• La méthode de référence récente, celle de Song et Zou (2026), utilise une pénalisation $\ell_1$ (Lasso) sur la perte des moindres carrés dans l'espace des composantes principales. Bien qu'elle bénéficie d'un phénomène de « bénédiction de la dimensionnalité » (l'erreur de prédiction diminue lorsque $p$ augmente sous certaines conditions de contamination), elle est très sensible aux erreurs de réponse lourdes en raison de l'utilisation de la perte quadratique.
• Les méthodes robustes existantes (basées sur des pertes de type Huber, quantiles ou rangs) sont généralement conçues pour l'espace des coordonnées originales et ne capturent pas nécessairement la structure géométrique de la contamination induite par les composantes principales.

2. Méthodologie Proposée

Les auteurs proposent une procédure en deux étapes combinant la robustesse des rangs (Wilcoxon) et la structure géométrique des composantes principales.

Étape 1 : Estimateur Pilote « Rank-Lasso »

Au lieu de minimiser la somme des carrés des résidus, la première étape minimise une perte de rang de type Wilcoxon pénalisée par $\ell_1$ :
$$\hat{\theta}^{(0)}(\lambda_0) = \arg\min_{\theta \in \mathbb{R}^m} \left\{ Q_n(\theta; \hat{U}) + \lambda_0 \|\theta\|_1 \right\}$$
où $Q_n$ est la perte de rang basée sur les paires de résidus :
$$Q_n(\theta; \hat{U}) = \frac{1}{n(n-1)} \sum_{i \neq j} |(y_i - y_j) - (\hat{u}_i - \hat{u}_j)^\top \theta|$$
Ici, $\hat{U}$ représente la base des composantes principales empiriques dérivée de la matrice observée contaminée $Z$. Cette étape fournit un estimateur robuste initial mais potentiellement biaisé (effet de rétrécissement dû à la pénalité $\ell_1$).

Étape 2 : Réajustement Adaptatif et Sélection

Pour corriger le biais de rétrécissement et améliorer l'efficacité, une seconde étape utilise une approximation linéaire locale d'une pénalité concave (comme SCAD ou MCP).

1. Poids adaptatifs : Des poids sont définis à partir de l'estimateur pilote : $w_j(\lambda) = p'_\lambda(|\hat{\theta}^{(0)}_j|)$.
2. Optimisation pondérée : On résout un problème de régression de rang pondéré :
   $$\hat{\theta}^{(1)}(\lambda) = \arg\min_{\theta \in \mathbb{R}^m} \left\{ Q_n(\theta; \hat{U}) + \sum_{j=1}^m w_j(\lambda) |\theta_j| \right\}$$
3. Sélection de modèle : Le paramètre de régularisation $\lambda$ est choisi via un critère d'information de type BIC haute dimension (HBIC) appliqué sur le support estimé.

3. Contributions Théoriques Clés

Le papier établit des bornes de prédiction rigoureuses sous des hypothèses de parcimonie faible et d'erreurs de mesure sub-gaussiennes.

• Théorème 1 (Borne de l'estimateur pilote) : L'estimateur de la première étape converge avec une vitesse contrôlée par le nombre de composantes actives, la parcimonie du signal et un terme de perturbation lié à la contamination des prédicteurs.
• Théorème 2 (Équivalence Oracle) : Sous des conditions de séparation du signal et de score, l'ensemble des minimiseurs de la procédure pondérée en deux étapes coïncide exactement avec celui du problème « oracle » (où le support actif serait connu à l'avance).
• Théorème 3 (Borne d'erreur de prédiction finale) : C'est le résultat principal. Il démontre que l'erreur de prédiction de la méthode proposée se décompose en deux termes :
  1. Terme d'estimation : Il atteint l'ordre optimal (oracle) $O(|A|/n)$, où $|A|$ est la taille du support actif. Cela représente une amélioration par rapport à l'estimateur Lasso initial.
  2. Terme de contamination : Il conserve la même structure que celle trouvée par Song et Zou (2026) pour les moindres carrés, dépendant de l'écart spectral (eigengap) $\kappa$ et de la norme de l'erreur de mesure.

Résultat fondamental : La méthode proposée préserve le phénomène de « bénédiction de la dimensionnalité » (l'impact de l'erreur de mesure diminue lorsque $p$ augmente) tout en étant robuste aux erreurs de réponse lourdes.

4. Résultats Numériques et Applications

Les auteurs comparent leur méthode (RPCR) avec l'estimateur Lasso des moindres carrés (L1PCR) et le Lasso standard sur les données contaminées.

• Simulations :

  • Cas Gaussien : RPCR est compétitif, parfois légèrement moins efficace que L1PCR, mais reste stable.
  • Cas à queues lourdes (t-Student, mélanges normaux) : RPCR surpasse nettement L1PCR. L'avantage de RPCR s'accroît avec la dimension $p$ et la sévérité de la contamination des prédicteurs.
  • Impact de l'écart spectral ($\kappa$) : Comme prévu par la théorie, une augmentation de l'écart entre les valeurs propres (eigengap) réduit l'erreur de prédiction, confirmant que la robustesse de la méthode est compatible avec la structure géométrique des composantes principales.

• Données Réelles (Étude eQTL) :

  • Application sur un jeu de données génétiques (expression du gène TRIM32 chez le rat).
  • Les résidus montrent une forte déviation par rapport à la normalité (tests de Shapiro-Wilk rejetant l'hypothèse gaussienne).
  • Sous contamination artificielle des prédicteurs, RPCR démontre une erreur de prédiction plus faible et plus stable que le Lasso standard et la méthode L1PCR, surtout lorsque le niveau de contamination est modéré à élevé.

5. Signification et Conclusion

Cet article apporte une contribution majeure en statistique robuste en haute dimension :

1. Synthèse innovante : Il réussit à combiner la robustesse des méthodes basées sur les rangs (insensibles aux outliers) avec la structure géométrique spécifique des régressions en espace de composantes principales sous erreur de mesure.
2. Validation du paradigme : Il confirme que le phénomène de « bénédiction de la dimensionnalité » observé dans les modèles linéaires classiques sous erreur de mesure n'est pas détruit par l'utilisation de pertes robustes.
3. Praticité : La méthode est particulièrement pertinente pour les applications réelles où les données de capteurs (prédicteurs) sont bruitées et où les réponses biologiques ou financières présentent souvent des distributions à queues lourdes.

En résumé, la procédure RPCR offre une alternative stable et efficace aux méthodes des moindres carrés dans des scénarios de régression parcimonieuse où la fiabilité des données et la nature des erreurs sont critiques.