Infinite-Dimensional Spherical Kernel ridge Regression

Résumé Technique : Régression par Noyau de Ridge sur une Sphère de Dimension Infinie

Énoncé du Problème
L'article traite du problème de régression où la variable de réponse $Y$ réside sur une sphère $S$ de dimension arbitraire (finie ou infinie) au sein d'un espace de Hilbert $Y$, et où la covariable $X$ réside dans un espace polonais. Ce cadre intervient dans l'analyse de données fonctionnelles, l'analyse statistique de formes, et la modélisation de fonctions de densité de probabilité (via des transformations de racine carrée).

Les approches existantes pour la régression à valeurs de variétés font face à des limitations significatives :

1. Régression dans l'espace tangent : Projette les réponses vers un espace tangent $T_o S$ pour appliquer des méthodes linéaires. Bien que l'approche soit calculatoirement pratique, elle viole les distances sphériques intrinsèques, introduisant un biais induit par la courbure car la moyenne conditionnelle des données transformées par le logarithme ($E[\text{Log}_o(Y)|X]$) diffère de la moyenne de Fréchet conditionnelle ($\mu(x) = \arg\min_q E[d_S^2(q, Y)|X=x]$).
2. Régression géodésique : Généralement restreinte aux variétés de dimension finie et suppose souvent des formes paramétriques ou des structures de prédicteurs spécifiques.
3. Défis de la dimension infinie : Étendre ces méthodes aux sphères de dimension infinie (par exemple, pour les fonctions de densité) est théoriquement difficile car les estimateurs manquent de solutions en forme close, et les techniques standard de processus empiriques supposent souvent implicitement une dimension finie.

Méthodologie
Les auteurs proposent un cadre de régression intrinsèque qui modélise la moyenne de Fréchet conditionnelle $\mu(x)$ directement sur la sphère sans projeter les réponses brutes vers un espace tangent pour le calcul de la perte.

1. Formulation du Modèle :
   Le modèle décompose la moyenne conditionnelle en un point de base (ordonnée à l'origine) $o \in S$ et une fonction prédictrice linéaire $f: X \to T_o S$. La moyenne conditionnelle est reconstruite via l'application exponentielle :
   $$\mu(x) = \text{Exp}_o(f(x))$$
   La fonction $f$ est supposée appartenir à un Espace de Reproductions Noyaux à Valeurs Vectorielles (VVRKHS) $\mathcal{H}$ de fonctions allant de $X$ vers l'espace tangent $T_o S$. Les auteurs utilisent des noyaux d'opérateurs multiplicatifs simples (SMO) de la forme $K(x, x') = k(x, x')\text{Id}$, où $k$ est un noyau scalaire et $\text{Id}$ est l'identité sur $T_o S$.

2. Estimation :
   L'estimateur $\hat{f}$ est obtenu en minimisant un risque empirique régularisé :
   $$R_n(f, \lambda) = \frac{1}{n} \sum_{i=1}^n d_S^2(\text{Exp}_o(f(X_i)), Y_i) + \lambda^2 \|f\|_{\mathcal{H}}^2$$
   Contrairement à la régression par noyau de ridge standard, le terme de perte $d_S^2$ n'est pas convexe sur l'ensemble de l'espace de Hilbert en raison de la périodicité de l'application exponentielle.

3. Algorithme d'Optimisation :
   Comme il n'existe pas de solution en forme close, les auteurs développent un algorithme d'optimisation basé sur BFGS combiné à une approximation de rang faible duale.

   • Théorème du Représentant : Un nouveau théorème du représentant (Théorème 4.1) prouve que le minimiseur réside dans un sous-espace de dimension finie engendré par les fonctions noyaux évaluées aux points de données et les réponses transformées par le logarithme.
   • Efficacité : Pour gérer la haute dimensionnalité, l'algorithme projette le problème sur un sous-espace de rang faible dérivé des vecteurs propres dominants de la matrice de Gram du noyau et de la matrice de Gram de la réponse. Cela réduit l'espace des paramètres de $O(n^2)$ à une taille gérable tout en maintenant la stabilité numérique.

Résultats Théoriques Clés
L'article établit des garanties théoriques rigoureuses sous des hypothèses de régularité spécifiques, principalement une condition de support borné (Hypothèse 4.6) : $d_S(o, Y) \leq \pi/4$ presque sûrement. Cela garantit que la moyenne conditionnelle se situe dans une boule géodésique où la fonction de distance au carré est localement convexe.

1. Théorème du Représentant (Théorème 4.1) : Prouve que le problème d'optimisation de dimension infinie se réduit à un problème de dimension finie, même lorsque la sphère et l'espace de fonctions sont de dimension infinie.
2. Taux de Convergence :
   • Hypothèses Minimales : Pour des espaces covariables polonais arbitraires et des sphères de dimension infinie, l'estimateur atteint un taux de convergence de $O_P(n^{-1/2})$ dans la norme $L^2(P_X)$ (Théorème 4.8).
   • Taux Dépendants de la Lissage : Lorsque le noyau scalaire $k$ possède des propriétés de décroissance de valeurs propres spécifiques (rang fini, décroissance polynomiale ou exponentielle étirée), les auteurs dérivent des taux plus rapides (par exemple, $O_P(n^{-p/(p+1)})$ pour une décroissance polynomiale) (Théorème 4.13). Ces taux égalent ou améliorent les résultats connus pour la régression par noyau vectoriel linéaire et la régression fonctionnelle.
3. Cohérence Forte : Sous des hypothèses de compacité et de continuité, l'estimateur est montré comme étant cohérent à l'extérieur presque sûrement (Théorème 4.17).

Évaluation Empirique

1. Étude de Simulation : Les auteurs simulent des données sur une sphère de dimension infinie ($L^2([0,1])$) avec des niveaux de bruit variables.

   • Résultats : La méthode proposée surpasse la régression dans l'espace tangent, particulièrement à mesure que la taille de l'échantillon augmente et que la dispersion des données s'élargit sur la sphère. La méthode démontre une performance robuste même lorsque l'hypothèse de support borné est violée (diamètre $4\pi/5$).
   • Taux : Les taux de convergence observés s'alignent sur les prédictions théoriques (par exemple, $O(\log(n)^2/n)$ pour les noyaux gausiens).

2. Application : Régression de Densité de Pollution Urbaine :

   • Données : Coefficients d'absorption de la lumière des particules aérosols (AAC) provenant de 14 stations de surveillance aux Pays-Bas. La réponse est la racine carrée de la densité des mesures AAC.
   • Comparaison : La méthode est comparée à la régression de Fréchet (espace 2-Wasserstein), à la régression de Bayes Hilbert, et à un modèle de convolution log-normale-normale.
   • Performance : La méthode de régression par noyau de ridge sphérique obtient des erreurs de prédiction compétitives en distance sphérique et en distance de l'espace de Bayes. Crucialement, elle est plus rapide de plusieurs ordres de grandeur que les modèles Bayes Hilbert et log-normale-normale, offrant une efficacité de calcul et une stabilité supérieures.

Signification et Contributions
L'article revendique plusieurs contributions spécifiques à la littérature :

1. Pont entre Communautés : Il introduit les méthodes de régression par VVRKHS à la communauté de l'analyse de données fonctionnelles pour les espaces de réponse non linéaires.
2. Nouveauté Théorique : Il fournit un nouveau théorème du représentant qui réduit la régression sphérique de dimension infinie à une optimisation de dimension finie, un résultat non établi auparavant pour ce contexte non linéaire spécifique.
3. Géométrie Intrinsèque : En évitant la projection dans l'espace tangent pour la fonction de perte, la méthode évite le biais géométrique inhérent à la linéarisation des espaces courbes, s'alignant ainsi sur la géométrie intrinsèque de la sphère.
4. Utilité Pratique : Elle fournit un algorithme calculatoirement efficace (via BFGS et approximation de rang faible) et un package R prêt à l'emploi (sphereg), rendant la régression par noyau de ridge sur sphère de dimension infinie réalisable pour des applications réelles comme l'estimation de densité.

Les auteurs restent modestes concernant l'hypothèse de support borné, notant que bien que restrictive, elle est comparable aux hypothèses dans la littérature existante sur la régression dans les espaces métriques. Ils suggèrent que cette hypothèse peut être assouplie via des arguments numériques ou une approche par "morceaux" (partitionnement de l'espace des covariables) pour des travaux futurs.