Regularized estimation of Monge-Kantorovich quantiles for spherical data

Résumé Technique : Estimation Régularisée des Quantiles de Monge-Kantorovich pour les Données Sphériques

Énoncé du Problème
Les données directionnelles, observées sous forme de points sur la $d$-sphère unité $S^{d-1}$, manquent d'un ordre canonique, ce qui rend la définition des quantiles statistiques plus complexe que dans l'espace euclidien. Des approches non paramétriques récentes utilisent la théorie du Transport Optimal (OT) pour définir des quantiles de Monge-Kantorovich (MK). Plus précisément, pour les données directionnelles, une fonction quantile empirique $Q_n$ est construite en résolvant un problème d'OT entre une distribution uniforme sur la sphère et la mesure empirique des données.

Cependant, les estimateurs basés sur l'OT existants pour les données directionnelles souffrent de deux limitations principales :

1. Absence de Capacité Hors-Échantillon (Out-of-Sample) : L'appariement empirique entre deux distributions discrètes (les données et une grille régulière) produit une fonction constante par morceaux restreinte à l'ensemble des observations. Elle ne peut pas fournir d'estimations pour de nouveaux points de données non observés ($X_{new}$), ce qui est essentiel pour des applications telles que la classification basée sur la profondeur ou la mesure de la dispersion.
2. Complexité Computationnelle : La résolution de problèmes d'OT discrets suit généralement une échelle cubique par rapport au nombre d'observations, ce qui entrave la scalabilité.

Méthodologie
Les auteurs proposent un cadre d'estimation régularisée des quantiles MK directionnels en utilisant le Transport Optimal Entropique (EOT) sur la 2-sphère ($S^2$). La méthodologie procède comme suit :

1. Régularisation Entropique : Au lieu de résoudre le problème de Monge discret, les auteurs formulent un problème d'OT continu entre la mesure uniforme $\mu_{S^2}$ et la mesure cible $\nu$. Ils introduisent un terme de régularisation entropique avec un paramètre $\varepsilon > 0$. Cela transforme le problème en une optimisation semi-duale sur une fonction de potentiel unique $u$, définie par :
   $$\max_{u \in L^\infty(S^2)} \int_{S^2} u(x) d\mu_{S^2}(x) + \int_{S^2} u^{c,\varepsilon}(y) d\nu(y)$$
   où $u^{c,\varepsilon}$ est la conjuguée lisse de $u$.

2. Paramétrage Spectral : Pour résoudre ce problème de dimension infinie, le potentiel dual $u$ est paramétré à l'aide d'harmoniques sphériques. La fonction est développée en une série de coefficients $\bar{u} = (\bar{u}^m_l)$. Les auteurs prouvent que pour le cas régularisé, le potentiel est deux fois continûment dérivable, garantissant que la série des harmoniques sphériques appartient à $\ell^1$.

3. Algorithme Stochastique : Un algorithme de descente de gradient stochastique est développé pour optimiser les coefficients des harmoniques sphériques.

   • Entrée : Une séquence d'observations i.i.d. $X_1, \dots, X_n$ issues de $\nu$.
   • Mécanisme : À chaque itération, l'algorithme met à jour les coefficients en utilisant le gradient de la fonction objectif par rapport à un échantillon unique.
   • Efficacité : L'algorithme tire parti de la Transformée de Fourier Rapide (FFT) sur la sphère (via la bibliothèque pyshtools) pour calculer les intégrales et les transformations nécessaires. Le coût computationnel par itération est de $O(p^2 \log^2 p)$, où $p$ est la taille de la grille, améliorant significativement la complexité cubique des solveurs d'OT discrets.
   • Apprentissage en Ligne (Online Learning) : L'algorithme opère de manière séquentielle, traitant les données les unes après les autres sans nécessiter le stockage d'une matrice de coût complète $n \times n$.

4. Quantile et Fonctions de Distribution Régularisés :

   • Une fois le potentiel optimal $u_\varepsilon$ estimé, la fonction quantile régularisée $Q_\varepsilon$ et la fonction de distribution $F_\varepsilon$ sont dérivées.
   • Contrairement au cas non régularisé, ces fonctions sont lisses et définies via des expressions en forme close impliquant des moyennes pondérées dans l'espace tangent (projections barycentriques).
   • Spécifiquement, $Q_\varepsilon(x) = \text{Exp}_x \left( \int \text{Log}_x(z) \exp(\dots) d\nu(z) \right)$, permettant une évaluation directe en tout point $x \in S^2$.

5. Profondeur Statistique Directionnelle : Le papier définit une Profondeur MK Directionnelle basée sur la proximité de la fonction de distribution $F(x)$ par rapport à la médiane de Fréchet. Cette mesure de profondeur satisfait des versions adaptées des axiomes de Liu-Zuo-Serfling, incluant l'invariance par rotation et la monotonie le long des courbes de signe.

Contributions Clés

• Extension des Cartes Entropiques : Les auteurs étendent le concept de carte entropique (précédemment défini pour les espaces euclidiens) au cadre non euclidien de la sphère, fournissant un estimateur lisse et régularisé pour les quantiles MK.
• Estimation Hors-Échantillon (Out-of-Sample) : La fonction quantile régularisée proposée $Q_\varepsilon$ permet l'estimation des quantiles pour de nouvelles observations, une capacité absente des méthodes antérieures basées sur l'OT discret.
• Algorithme Spectral Stochastique : Un nouvel algorithme stochastique est introduit qui résout les problèmes d'OT continus sur $S^2$ en développant les potentiels en harmoniques sphériques, en utilisant la FFT pour l'efficacité computationnelle.
• Définition de la Profondeur Directionnelle : Une nouvelle notion de profondeur statistique MK directionnelle est introduite, qui hérite des propriétés souhaitables de la profondeur MK euclidienne et satisfait aux axiomes pertinents pour les statistiques directionnelles.

Résultats et Affirmations

• Propriétés Théoriques : Le papier établit que les potentiels régularisés sont deux fois continûment dérivables, garantissant que les fonctions quantiles et de distribution résultantes sont lisses. Il démontre que lorsque $\varepsilon \to 0$, les potentiels régularisés convergent uniformément vers les potentiels de Kantorovich non régularisés.
• Efficacité Computationnelle : L'algorithme stochastique évite la complexité $O(n^3)$ de l'OT discret, réduisant le coût par itération à $O(p^2 \log^2 p)$, ce qui le rend adapté aux grands jeux de données et aux scénarios d'apprentissage en ligne.
• Utilité Statistique : La méthodologie permet la classification basée sur la profondeur et les mesures de dispersion en fournissant des applications continues et dérivables. Le papier illustre ces avantages par des expériences numériques (détaillées dans la section 6 de l'article complet), montrant que l'approche régularisée fournit des contours plus lisses et de meilleures performances hors-échantillon par rapport aux estimateurs discrets non régularisés.

Signification
L'article affirme que sa principale importance réside dans le fait de combler le fossé entre les quantiles théoriques basés sur l'OT et les applications statistiques pratiques pour les données directionnelles. En introduisant la régularisation entropique et un solveur spectral stochastique, les auteurs fournissent une méthode computationnellement traitable qui surmonte la limitation "hors-échantillon" des approches discrètes précédentes. Cela permet l'application des quantiles MK et des mesures de profondeur à des problèmes réels impliquant des données directionnelles, tels que la classification et la mesure de risque, où la lissité et la capacité d'évaluer de nouveaux points de données sont obligatoires. Ce travail contribue également au domaine plus large de l'OT sur les variétés en fournissant une formulation explicite et traitable pour la sphère.