A Riemannian View on Active Subspaces

Résumé technique : Une perspective riemannienne sur les sous-espaces actifs

Énoncé du problème
Les sous-espaces actifs constituent une méthode de réduction de dimension fondée sur les valeurs propres et ordonnée par valeurs propres pour les domaines euclidiens de haute dimension. Ils identifient un sous-espace de faible dimension où une quantité scalaire d'intérêt, $f: \mathbb{R}^n \to \mathbb{R}$, varie de manière la plus significative en moyenne, tout en restant presque constante dans le complément orthogonal. Cependant, de nombreuses applications modernes impliquent des paramètres qui résident naturellement sur des variétés riemanniennes (par exemple, l'analyse de forme statistique, où les espaces de préforme sont des hypersphères) plutôt que dans des espaces euclidiens. La définition standard des sous-espaces actifs repose sur l'isomorphisme canonique de l'espace euclidien, qui permet la moyenne globale des vecteurs gradients. Sur une variété courbe, les vecteurs tangents à différents points appartiennent à des espaces tangents distincts, ce qui rend une moyenne globale directe mal définie sans un mécanisme de comparaison. L'article traite du défi consistant à étendre le cadre des sous-espaces actifs aux fonctions lisses définies sur des variétés riemanniennes tout en préservant l'interprétabilité des valeurs propres en tant que dérivées directionnelles de la moyenne des carrés.

Méthodologie
L'article développe une formulation intrinsèque des sous-espaces actifs sur une variété riemannienne $(M, g)$ en généralisant le produit extérieur du gradient. La méthodologie centrale repose sur trois étapes clés :

1. Moyennage intrinsèque via le transport parallèle : Pour définir une moyenne globale des gradients, les auteurs transportent chaque gradient riemannien $\nabla_M f(p)$ de son espace tangent local $T_p M$ vers un espace tangent central $T_{p_0} M$ le long de la géodésique unique reliant $p$ à un point central $p_0$. Ceci est réalisé à l'aide de l'opérateur de transport parallèle $P_p$. Le « produit tensoriel de la moyenne riemannienne du gradient » résultant est défini comme :
   $$G_0 = \int_X P_p [\nabla_M f(p)] \otimes P_p [\nabla_M f(p)] \, d\mu(p)$$
   où $\mu$ est une mesure de probabilité sur la variété (typiquement supportée sur un ballon géodésique). Cette construction produit un tenseur symétrique semi-défini positif sur l'espace vectoriel unique $T_{p_0} M$.

2. Géodésiques de variétés actives (AMG - Active Manifold-Geodesics) : La décomposition en valeurs propres de $G_0$ produit les valeurs propres $\lambda_i$ et les vecteurs propres $w_i$ dans $T_{p_0} M$. Les auteurs définissent les « Géodésiques de variétés actives » comme les images des droites espacées par ces vecteurs propres sous l'application exponentielle : $W_{1,i} = \{ \exp_{p_0}(t w_i) \}$. Ces géodésiques servent de directions actives sur la variété.

3. Comparaison intrinsèque vs extrinsèque : L'article contraste cette approche intrinsèque avec une approche extrinsèque, où la variété est plongée dans un espace euclidien de dimension supérieure $\mathbb{R}^m$. La méthode extrinsèque calcule la moyenne des gradients ambiants et les projette sur l'espace tangent central. Les auteurs dérivent une relation précise entre les deux, montrant que le spectre extrinsèque est une version « confondue » du spectre intrinsèque en raison de l'isométrie partielle de la projection.

Contributions clés
L'article présente quatre contributions principales :

• Généralisation intrinsèque : Il introduit le produit extérieur du gradient par transport parallèle (Équation 12) comme un tenseur sans coordonnées dont les valeurs propres fournissent une interprétation exacte comme dérivées directionnelles de la moyenne des carrés le long d'un champ de cadres transportés (Lemme 1).
• Géodésiques de variétés actives : Il définit un ensemble ordonné de directions géodésiques (Définition 3) qui généralisent les sous-espaces actifs. Contraмеnt aux réductions entièrement non linéaires (ex: variétés actives ou réseaux de neurones) qui peuvent dégénérer en courbes remplissant l'espace, les AMG maintiennent une faible complexité et une identifiabilité en restreignant la recherche aux images exponentielles de droites dans un seul espace tangent.
• Accord quantitatif intrinsèque-extrinsèque : L'article établit que bien que les perspectives intrinsèque et extrinsèque diffèrent fondamentalement, elles concordent au second ordre ($O(R^2)$) par rapport au rayon $R$ du ballon géodésique échantillonné. Plus précisément, les valeurs propres concordent à $O(R^2)$, et les sous-espaces propres dominants concordent à $O(R^2/\eta)$ où $\eta$ est le gap spectral (Proposition 3). Crucialement, il démontre que projeter le vecteur propre ambiant dominant (une pratique extrinsèque courante) peut échouer si la direction se trouve dans le noyau de la projection, alors que la méthode intrinsèque reste robuste.
• Application à l'analyse de forme : La théorie est explicitement motivée et appliquée aux espaces de préforme dans l'analyse statistique de la forme, qui sont des hypersphères. Les résultats fournissent un cadre direct pour la réduction de dimension pilotée par la réponse dans les fonctions de forme.

Résultats et illustrations numériques
Les auteurs valident le formalisme à l'aide d'exemples numériques sur la 2-sphère ($S^2$) :

• Récupération de crête (Ridge Recovery) : Pour une fonction linéaire ambiante restreinte à la sphère (une fonction de crête), l'AMG intrinsèque identifie avec succès la direction géodésique active. L'article démontre que la structure de crête est récupérée en coordonnées normales avec une erreur décroissant à un taux quadratique limité par la courbure ($O(R^2)$), conformément à la Proposition 3.
• Cas dégénérés : L'article examine un scénario où le point central coïncide avec la direction du gradient d'une crête ambiante. Dans ce cas, la méthode extrinsèque (projetant le vecteur propre ambiant dominant) échoue, produisant un vecteur nul trivial. En revanche, la méthode intrinsèque identifie correctement qu'aucune direction unique n'est dominante, retournant deux valeurs propres égales, évitant ainsi le mode de défaillance de la « dominance projetée ».
• Fonctions non-crêtes : Pour des fonctions quadratiques qui ne sont pas des crêtes, la méthode intrinsèque fournit un classement fidèle des directions basé uniquement sur la variation de la fonction, tandis que la méthode extrinsèque entremêle cette variation avec la géométrie de son plongement.

Signification et affirmations
L'article affirme que la formulation intrinsèque offre une représentation plus fidèle de la géométrie du domaine, exempte des artefacts d'un plongement spécifique. Il soutient que bien que les méthodes extrinsèques soient mathématiquement pratiques, elles introduisent une « isométrie partielle » qui peut fausser l'ordonnancement de l'importance, particulièrement lors de l'extension de l'activité au-delà du point central.

Les auteurs soulignent que la méthode proposée est géodésiquement locale. L'interprétation des valeurs propres comme indicateurs de sous-variétés inactives n'est strictement valide que dans un voisinage normal (un ballon géodésique) centré sur $p_0$. Étendre cela à un domaine global nécessiterait un atlas d'analyses locales ou une structure de feuilletage plus complexe, ce qui est noté comme un travail futur. L'article ne prétend pas résoudre le problème global de réduction de dimension pour des variétés arbitraires, mais fournit une extension rigoureuse, explicable et localement optimale des sous-espaces actifs pour les fonctions lisses sur des variétés riemanniennes, avec une applicabilité immédiate aux données hypersphériques en analyse de forme.