Limits of spectral learning under noise

Résumé Technique : Limites de l'apprentissage spectral sous l'effet du bruit

Énoncé du Problème
L'apprentissage de relations fonctionnelles à partir de données bruitées est un défi central de l'inférence scientifique. Bien que les méthodes spectrales — qui approchent des fonctions inconnues via des expansions dans une base choisie (par exemple, Fourier, Legendre) — offrent des décompositions interprétables en modes de complexité croissante, leur stabilité face au bruit de label additif reste mal comprise. Plus précisément, il n'est pas clair comment le bruit perturbe la géométrie de l'espace des coefficients et dégrade la décomposition spectrale inférée. La littérature existante a souligné que le bruit limite la récupération de la structure analytique, mais les mécanismes spécifiques par lesquels le bruit induit une instabilité dans les représentations spectrales nécessitent une élucidation plus approfondie.

Méthodologie
Les auteurs étudient la régression supervisée avec un bruit de label additif, où les labels observés sont donnés par $y_i = f(x_i) + \epsilon_i$, avec $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$. La fonction cible $f(x)$ est approximée par une expansion spectrale parcimonieuse :
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
où $\{ \phi_k(x) \}$ sont des fonctions de base et $c(\sigma)$ représente les coefficients spectraux.

L'approche méthodologique centrale implique :

1. Géométrie des Caractéristiques Empiriques : Les auteurs analysent la matrice de conception $\Phi$ formée par les fonctions de base échantillonnées. Ils définissent la matrice de Gram empirique $G_c = \Phi_c^\top \Phi_c / N$ (où $\Phi_c$ contient les caractéristiques centrées), qui dicte la géométrie naturelle de l'espace des coefficients.
2. Transformation de Blanchiment (Whitening) : Pour restaurer une géométrie approximativement euclidienne et découpler les coordonnées, les auteurs appliquent une transformation de blanchiment utilisant $A = (G_c + \rho I)^{-1/2}$. Cela transforme les caractéristiques en $\tilde{\Phi} = \Phi_c A$ et les coefficients en $\tilde{c} = A \tilde{c}$, de telle sorte que la matrice de Gram empirique dans les nouvelles coordonnées approxime la matrice identité ($\tilde{G} \approx I$).
3. Analyse de Perturbation : Dans ces coordonnées blanchies, l'écart induit par le bruit $\delta \tilde{c}$ est traité comme une dérive stochastique. Les auteurs démontrent que la norme au carré attendue de cette dérive évolue proportionnellement au nombre effectif de modes spectraux actifs ($p_{\text{eff}}$) et à l'amplitude du bruit $\sigma$.
4. Mise à l'Échelle Universelle : En comparant l'amplitude de la perturbation à la norme du signal, ils définissent une échelle de bruit intrinsèque $\sigma^*$ et dérivent une expression en forme fermée pour le recouvrement (similitude cosinus) entre les vecteurs de coefficients bruités et non bruités.

Contributions Clés et Résultats Théoriques

• Échelle de Bruit Intrinsèque ($\sigma^*$) : L'article dérive une échelle de bruit caractéristique $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$, où $\|\tilde{c}_0\|$ est la norme du vecteur de coefficients sans bruit, $N$ est la taille de l'échantillon, et $p_{\text{eff}}$ est le nombre de directions significativement excitées. Cette échelle régit la transition entre l'apprentissage stable et les régimes dominés par le bruit.
• Courbe de Dégradation Universelle : Les auteurs fournissent une prédiction analytique sans paramètre pour le recouvrement $q(\sigma)$ entre les vecteurs de coefficients bruités et non bruités :
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  Cette expression prédit une courbe de dégradation universelle où le recouvrement dépend uniquement du rapport entre l'amplitude du bruit et l'échelle de bruit intrinsèque.
• Dérive des Coefficients : La distance normalisée entre les coefficients bruités et non bruités est montrée comme évoluant linéairement avec $\sigma/\sigma^*$, confirmant que le bruit induit une dérive prévisible dans l'espace des coefficients.

Résultats Expérimentaux
Des expériences numériques ont été menées sur plusieurs dimensions (1D et 2D) et diverses bases orthogonales, incluant Fourier, Legendre, Bessel, Haar, Jacobi et Chebyshev.

• Élargissement Spectral : À mesure que le bruit augmente, les coefficients spectraux appris s'écartent de la décroissance en loi de puissance attendue. Le poids spectral se propage à travers les modes, entraînant une augmentation brutale de l'entropie spectrale normalisée, passant d'une distribution parcimonieuse vers une distribution uniforme.
• Effondrement des Données (Data Collapse) : Lorsque les résultats empiriques pour le recouvrement et la distance des coefficients sont tracés en fonction de l'amplitude brute du bruit $\sigma$, ils varient selon les bases et les dimensions. Cependant, lorsqu'ils sont tracés en fonction de l'échelle normalisée $\sigma/\sigma^*$, tous les courbes s'effondrent sur la prédiction théorique unique donnée par l'Éq. (6).
• Comportement de la RMSE : L'erreur quadratique moyenne (RMSE) de test suit la même mise à l'échelle. À faible bruit, la RMSE est dominée par les erreurs d'approximation de base (biais). Une fois que $\sigma \gtrsim \sigma^*$, le terme induit par le bruit devient dominant, et la RMSE croît de manière cohérente avec la dérive prédite.

Signification et Revendications
L'article affirme identifier une limite fondamentale à la récupération de la structure fonctionnelle à partir de données bruitées en utilisant des méthodes spectrales. La principale signification réside dans la démonstration que l'apprentissage spectral présente un seuil de bruit aigu ($\sigma^*$) au-delà duquel les estimations de coefficients deviennent instables.

• Interprétation Géométrique : La dégradation est interprétée comme une dérive stochastique dans un espace de coefficients blanchi, régie par l'interaction entre la norme du signal, la taille de l'échantillon et la dimensionnalité effective du modèle ($p_{\text{eff}}$).
• Comparaison avec la Régression Symbolique : Les auteurs contrastent leurs résultats avec la régression symbolique. Alors que la régression symbolique (qui cherche des modèles sous forme fermée) peut présenter des transitions abruptes dues à la topologie à écarts de son espace de représentation (analogue à un ensemble de Cantor), les expansions spectrales avec des bases orthogonales présentent une dégradation continue.
• Compromis Général : Les résultats mettent en évidence un compromis universel entre l'échelle intrinsèque du signal, la taille de l'échantillon et la complexité du modèle. Plus précisément, le niveau de bruit tolérable augmente avec $\sqrt{N}$ mais diminue avec la racine carrée de la dimension effective du modèle.

Le travail conclut que ces lois d'échelle s'appliquent largement aux méthodes d'apprentissage spectral basées sur des expansions de fonctions orthogonales, fournissant un cadre théorique pour prédire quand le bruit compromettra fondamentalement la récupération de la structure spectrale.