Geometric bias in eigenspace perturbation under random heterogeneous noise

Résumé technique : Biais géométrique de la perturbation des espaces propres sous un bruit hétérogène aléatoire

Énoncé du problème
Les méthodes spectrales, qui reposent sur la stabilité des espaces propres principaux sous des perturbations aléatoires, sont fondamentales pour l'extraction de structures de faible dimension à partir de données de haute dimension bruitées. Classiquement, la stabilité de ces espaces propres est quantifiée par les théorèmes de Davis-Kahan et de Wedin. Ces théorèmes borne l'erreur des espaces propres en utilisant la norme d'opérateur du bruit et les écarts spectraux pertinents. Bien que ces bornes de pire cas soient aiguës pour des perturbations déterministes arbitraires, les auteurs soutiennent qu'elles sont « gaspilleuses » dans le contexte de signaux de rang faible corrompus par un bruit aléatoire. Plus précisément, les bornes classiques ne parviennent pas à capturer l'interaction fine entre la géométrie du signal et la distribution du bruit lorsque le bruit est hétérogène (c'est-à-dire que les entrées ont des variances indépendantes mais non identiquement distribuées).

L'article traite de la perturbation spectrale de matrices de type signal plus bruit $\tilde{A} = A + E$, où $A$ est un signal déterministe de rang $r$ et $E$ est une matrice de bruit aléatoire symétrique avec un profil de variance arbitraire et inhomogène $\Sigma = (\sigma_{ij}^2)$. Le problème central est de comprendre comment le profil de variance induit un biais géométrique déterministe systématique dans les vecteurs propres empiriques, lequel est invisible pour les bornes de perturbation classiques.

Méthodologie
Les auteurs emploient une combinaison de techniques de la théorie des matrices aléatoires et d'analyse déterministe pour dériver des bornes de perturbation non asymptotiques. Les composantes méthodologiques clés incluent :

1. Équation quadratique vectorielle (QVE) : L'analyse exploite le cadre de la QVE développé pour les matrices de type Wigner générales. Les auteurs utilisent la solution déterministe $\Phi(z)$ de la QVE pour approximer le résolvant (fonction de Green) $G(z) = (zI - E)^{-1}$ de la matrice de bruit.
2. Lois locales isotropes : L'article établit des lois locales isotropes fines, qui fournissent des bornes de haute probabilité sur la différence entre le résolvant aléatoire $G(z)$ et son approximation déterministe $\Phi(z)$ pour des vecteurs déterministes arbitraires.
3. Expansion de l'approximation déterministe : En développant $\Phi(z)$ pour de grands $z$ (dans le régime des valeurs aberrantes/outliers), les auteurs isolent la contribution déterministe du profil de variance. Plus précisément, l'expansion $\Phi(z) \approx z^{-1}I + z^{-3}R + \varepsilon(z)$ révèle que la matrice diagonale $R = \text{diag}(R_1, \dots, R_n)$, où $R_i = \sum_j \sigma_{ij}^2$, régit le biais.
4. Équations de vecteurs propres par blocs : La stratégie de preuve consiste à projeter l'équation du vecteur propre $\tilde{A}\tilde{u}_s = \tilde{\lambda}_s \tilde{u}_s$ sur les directions du signal non cibles et sur l'espace nul. Cette décomposition sépare l'erreur en fluctuations stochastiques (contrôlées par les lois locales) et en termes de biais déterministes (contrôlés par l'alignement entre les espaces propres du signal et le profil de variance).

Contributions principales et résultats
L'article dérive des bornes de perturbation non asymptotiques quasi-optimales pour les espaces propres principaux, tant en norme d'opérateur qu'en norme $2 \to \infty$. Les principales contributions sont :

• Identification du biais géométrique : Les auteurs démontrent que sous un bruit hétérogène, les vecteurs propres empiriques souffrent d'un biais systématique déterminé par la matrice $V = U^T R U$, où $U$ contient les vecteurs propres de la population. Même si les vecteurs propres de la population sont orthogonaux dans le produit scalaire standard, ils ne sont généralement pas orthogonaux par rapport au produit scalaire pondéré par la variance induit par $R$.
• Décomposition des termes d'erreur : Les bornes dérivées séparent explicitement trois contributions distinctes :
  1. Le terme standard de rapport signal sur bruit (proportionnel à $\|E\|/\lambda_k$).
  2. Les fluctuations stochastiques contrôlées par les lois locales isotropes (proportionnelles à $M_D/\delta_k$).
  3. Un terme de biais géométrique déterministe ($B_k$) déterminé par l'alignement entre les espaces propres du signal et le profil de variance par ligne.
• Formules explicites de biais : Pour l'espace propre des $k$ premiers vecteurs, il est montré que le terme de biais $B_k$ dépend de quantités telles que $\|V_{JI}\|$ (interaction entre le bloc top-$k$ et les pics positifs restants) et $\|V_{NK}\|$ (interaction avec les pics négatifs), mis à l'échelle par les écarts spectraux. Les bornes montrent que dans les contextes homogènes ($R = cI$), ces termes de biais s'annulent, retrouvant les résultats connus à un facteur logarithmique près.
• Validation numérique et précision : L'article fournit des expériences numériques sur un modèle de rang 2 confirmant que le biais géométrique est un effet déterministe, et non un artefact aléatoire. L'alignement empirique des vecteurs propres correspond à la prédiction théorique $\Delta / (\lambda_1 \delta_1)$, où $\Delta$ représente l'hétérogénéité du profil de variance.
• Débiaisage par oracle : Les auteurs proposent une procédure de correction par « oracle » qui élimine le terme de biais $V_{JI}$ dominant. Cette procédure utilise l'espace propre de la population pour soustraire la contribution déterminée prédite par l'expansion de la QVE. Bien que l'estimateur oracle ne soit pas directement implémentable (car il nécessite les paramètres de la population), il sert à prouver que le biais est supprimable et distinct du bruit stochastique. Une version « plug-in » est discutée, bien que l'article note ses limites concernant le mauvais conditionnement lorsque les pics sont faibles ou regroupés.

Signification et affirmations
L'article affirme passer au-delà de la théorie de la perturbation du pire cas en identifiant un mécanisme spécifique — le biais géométrique induit par le profil de variance — que les bornes classiques ignorent. Les auteurs déclarent que leurs résultats sont significatifs car :

• Ils fournissent une caractérisation plus précise de la stabilité des espaces propres dans les régimes de bruit hétérogène, qui sont courants dans les modèles statistiques comme les modèles de blocs stochastiques avec des probabilités de liens variables.
• Ils démontrent que le caractère « gaspilleur » des bornes classiques dans les contextes aléatoires n'est pas seulement dû à la concentration stochastique, mais aussi à un biais structurel déterministe.
• Les bornes dérivées sont quasi-optimales et non asymptotiques, séparant les contributions du bruit de manière à permettre de potentielles stratégies de correction de biais.

Les auteurs restent modestes quant à l'implémentation pratique de la correction de biais, notant que la procédure de débiaisage « plug-in » est limitée par la nécessité d'estimer avec précision les pics de rang inférieur et par le potentiel de mauvais conditionnement des matrices de correction lorsque les écarts spectraux sont faibles. Ils déclarent explicitement que le développement de méthodes de correction de biais optimales et entièrement basées sur les données est laissé aux travaux futurs. L'article ne prétend pas résoudre tous les problèmes des méthodes spectrales, mais vise plutôt à affiner la compréhension théorique de la perturbation des espaces propres sous un modèle de bruit spécifique et réaliste.