Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case

Cet article propose des techniques constructives et pratiques pour définir, calculer et échantillonner des processus gaussiens stationnaires sur des espaces non euclidiens compacts, notamment les groupes de Lie et leurs espaces homogènes, en exploitant l'invariance par symétrie pour les rendre compatibles avec les logiciels standards.

L'essentiel

Imaginez que vous essayez de prédire la météo, mais au lieu de le faire sur une carte plate (comme une feuille de papier), vous devez le faire sur une surface courbe, comme une orange, un ballon de rugby, ou même sur une forme géométrique complexe qui tourne sur elle-même.

C'est le défi que relève ce papier de recherche. Il propose une nouvelle façon de construire des "Gaussiens" (des modèles mathématiques très puissants pour prédire des choses incertaines) qui fonctionnent parfaitement sur ces formes étranges, appelées variétés ou groupes de Lie.

Voici une explication simple, avec des analogies, de ce que les auteurs ont découvert :

1. Le problème : La "Règle du Déplacement" ne marche pas partout

Dans le monde plat (comme notre bureau), si vous avez un modèle de prédiction, vous pouvez souvent dire : "Si je déplace mon modèle de 1 cm vers la droite, il fonctionne toujours aussi bien". C'est ce qu'on appelle la stationnarité (l'invariance par translation).

Mais imaginez que vous soyez sur une sphère (la Terre). Si vous déplacez votre modèle de 1 cm vers l'est, vous finissez par revenir à votre point de départ ! De plus, si vous essayez de déplacer votre modèle vers le pôle Nord, les règles changent. Les méthodes classiques, conçues pour des surfaces plates, échouent ou donnent des résultats bizarres sur ces formes courbes.

2. La solution : Utiliser la "Symétrie" comme boussole

Les auteurs disent : "Oubliez le déplacement droit. Utilisons la symétrie."

• L'analogie du Globe : Imaginez que vous peignez une carte sur un globe. Si vous faites tourner le globe sur son axe, la carte reste la même par rapport au globe. C'est une symétrie.
• Le Groupe de Lie : C'est juste un nom mathématique fancy pour un ensemble de symétries (comme faire tourner, incliner ou faire pivoter un objet).
• L'idée clé : Au lieu de demander "Comment ça change si je me déplace ?", ils demandent "Comment ça change si je tourne l'objet ?". Si votre modèle de prédiction reste cohérent quelle que soit la façon dont vous tournez l'objet, alors il est "stationnaire" sur cette forme.

3. La boîte à outils : Les "Chants" de la forme

Comment construire un tel modèle ? Les auteurs utilisent une vieille idée mathématique (la théorie des représentations) qu'ils transforment en outils pratiques.

• L'analogie de l'Orchestre : Imaginez que chaque forme géométrique (une sphère, un tore, etc.) a sa propre musique. Cette musique est composée de notes fondamentales (comme les notes d'un piano).
  • Sur une surface plate, ces notes sont des ondes sinusoïdales simples (des vagues régulières).
  • Sur une forme complexe, les notes sont plus compliquées. Les auteurs ont trouvé comment calculer ces "notes" (qu'ils appellent des caractères et des fonctions sphériques) pour n'importe quelle forme symétrique.
• Le Mélange : Pour créer un modèle de prédiction, ils prennent ces notes, les mélangent avec des poids différents (comme un chef d'orchestre qui décide quelles notes jouer fort et lesquelles jouer doucement), et obtiennent une fonction de prédiction parfaite pour cette forme.

4. Les deux grands types de formes étudiés

Le papier se concentre sur les formes "fermées" (compactes), comme :

• Les Sphères : Comme la Terre ou une balle.
• Les Groupes de Rotation : Comme un objet qui tourne dans l'espace (très utile en robotique pour les bras mécaniques).
• Les Espaces Projectifs : Des formes où le haut et le bas sont connectés (un peu comme un jeu vidéo où si vous sortez par la droite, vous réapparaissez à gauche, mais en 3D).

5. Pourquoi c'est génial pour les humains ?

Avant ce travail, si un ingénieur voulait utiliser ces modèles sur une forme bizarre, il devait inventer des astuces "au doigt mouillé" (des heuristiques) qui fonctionnaient parfois, mais pas toujours, et dont on ne comprenait pas bien pourquoi.

Grâce à ce papier :

1. C'est calculable : Ils ont donné des formules exactes pour calculer ces modèles.
2. C'est rapide : Ils ont inventé des méthodes pour générer des échantillons (des prédictions) très vite, sans avoir à résoudre des équations impossibles.
3. C'est fiable : Ils garantissent mathématiquement que ces modèles ne vont pas "exploser" ou donner des résultats absurdes.

En résumé

Les auteurs ont créé un kit de construction universel pour les modèles d'intelligence artificielle sur des formes courbes.

Imaginez que vous vouliez construire une maison. Avant, si vous vouliez construire sur une colline ronde, vous deviez inventer votre propre ciment. Maintenant, ils vous donnent un plan précis et des briques spéciales qui s'adaptent parfaitement à la courbe, que ce soit pour une sphère, un tore ou une forme de robot. Cela permet aux scientifiques et aux ingénieurs de faire de meilleures prédictions dans des domaines comme la météo spatiale, la robotique ou l'imagerie médicale, en respectant la vraie géométrie du monde qui les entoure.

Résumé technique

1. Problématique

Les processus gaussiens (GP) sont des modèles fondamentaux en apprentissage automatique pour l'apprentissage de fonctions inconnues et la quantification de l'incertitude. Cependant, leur application standard repose sur des espaces euclidiens. De nombreuses applications en sciences physiques, ingénierie, neurosciences et géostatistique nécessitent de modéliser des fonctions sur des espaces non-euclidiens (variétés riemanniennes), tels que les groupes de Lie (ex: $SO(n)$, $SU(n)$) et leurs espaces homogènes (ex: sphères $S^n$, variétés de Stiefel, espaces projectifs).

Le défi principal réside dans la définition de noyaux stationnaires (invariants par symétrie) sur ces espaces. Les approches naïves, consistant à remplacer la distance euclidienne par une distance géodésique dans des noyaux classiques (comme le noyau exponentiel carré), échouent souvent car elles ne garantissent pas la positivité semi-définie du noyau, une condition nécessaire pour un processus gaussien valide. De plus, les méthodes existantes basées sur des équations aux dérivées partielles stochastiques (SPDE) ou des développements en séries de Fourier sur les variétés souffrent souvent de difficultés computationnelles (calcul des paires propres du Laplacien-Beltrami) ou manquent de généralité.

L'objectif de ce travail (Partie I) est de développer des techniques constructives et pratiques pour construire, évaluer et échantillonner des processus gaussiens stationnaires sur une large classe d'espaces compacts (groupes de Lie compacts et espaces homogènes compacts), en exploitant la théorie des représentations.

2. Méthodologie

Les auteurs s'appuient sur une généralisation du théorème de Bochner, initialement formulée par Yaglom (1961), en utilisant la théorie des représentations des groupes de Lie compacts.

A. Cadre Théorique : Stationnarité et Représentations

• Stationnarité : Un noyau $k$ est dit stationnaire sur un espace $X$ muni d'une action de groupe $G$ s'il est invariant : $k(g \triangleright x, g \triangleright x') = k(x, x')$.
• Groupes de Lie ($G$) : Pour un groupe de Lie compact $G$, tout noyau stationnaire (bi-invariant) peut s'exprimer comme une série infinie de caractères $\chi^{(\lambda)}$ des représentations unitaires irréductibles $\pi^{(\lambda)}$ :
  $$k(g_1, g_2) = \sum_{\lambda \in \Lambda} a(\lambda) \text{Re} \, \chi^{(\lambda)}(g_2^{-1} g_1)$$
  où $\Lambda$ est l'ensemble des signatures (paramétrant les représentations) et $a(\lambda) \ge 0$.
• Espaces Homogènes ($G/H$) : Pour un espace homogène $X = G/H$, le noyau stationnaire s'exprime via les fonctions sphériques zonales (des coefficients matriciels spécifiques des représentations) :
  $$k(g_1 H, g_2 H) = \sum_{\lambda \in \Lambda} \sum_{j,k=1}^{r_\lambda} a^{(\lambda)}_{jk} \text{Re} \, \pi^{(\lambda)}_{jk}(g_2^{-1} g_1)$$
  où $r_\lambda$ est la dimension de l'espace des vecteurs invariants de la représentation restreinte à $H$.

B. Techniques Computationnelles

Pour rendre ces expressions théoriques utilisables en pratique, les auteurs proposent trois primitives algorithmiques :

1. Énumération des Représentations : Utilisation de la correspondance entre les représentations irréductibles et les signatures (tuples d'entiers liés aux poids les plus élevés). Cela permet de parcourir systématiquement l'ensemble $\Lambda$ et de tronquer les séries infinies de manière contrôlée.
2. Évaluation des Noyaux (Pointwise) :
   • Pour les groupes : Calcul des caractères via la formule du caractère de Weyl, qui exprime le caractère comme un rapport de polynômes (déterminants de Vandermonde) dépendant des valeurs propres de l'élément du groupe.
   • Pour les espaces homogènes : Utilisation d'une technique de somme périodique généralisée. Si les coefficients de covariance sont proportionnels à l'identité, le noyau sur $G/H$ est obtenu en moyennant le noyau sur $G$ par rapport à la mesure de Haar du sous-groupe $H$.
3. Échantillonnage Efficace :
   • Introduction des Caractéristiques de Fourier à Phase Aléatoire Généralisées (Generalized Random Phase Fourier Features). Au lieu de calculer la décomposition de Karhunen-Loève explicite (coûteuse), on approxime le processus par une somme finie de fonctions de base pondérées par des variables aléatoires gaussiennes.
   • Cette méthode permet d'échantillonner des trajectoires du processus a priori et a posteriori en utilisant uniquement les caractères (ou fonctions sphériques) et des échantillons uniformes sur le groupe/variété.

C. Classes de Noyaux Spécifiques

Les auteurs appliquent ce cadre aux noyaux Heat (solutions de l'équation de la chaleur) et Matérn :

• Noyau Heat : Correspond à la solution fondamentale de l'équation de la chaleur sur la variété. Les coefficients $a(\lambda)$ sont donnés par $e^{-\alpha_\lambda t}$, où $\alpha_\lambda$ sont les valeurs propres du Laplacien-Beltrami (calculables via la formule de Freudenthal).
• Noyau Matérn : Défini comme un mélange intégral de noyaux Heat. Les auteurs dérivent des expressions fermées pour les coefficients $a(\lambda)$ en fonction des paramètres de lissage $\nu$ et d'échelle $\kappa$, évitant ainsi le calcul numérique d'intégrales complexes.

3. Contributions Clés

1. Formalisme Unifié : Une description complète et constructive des processus gaussiens stationnaires sur les groupes de Lie compacts et leurs espaces homogènes, généralisant le théorème de Bochner.
2. Algorithmes Pratiques :
   • Méthodes pour calculer exactement les caractères et fonctions sphériques zonales (via la formule de Weyl).
   • Algorithmes d'échantillonnage efficaces basés sur des caractéristiques de Fourier généralisées, garantissant la positivité semi-définie des noyaux approximatifs.
3. Implémentation Logicielle : Intégration de ces méthodes dans la bibliothèque GeometricKernels, rendant ces modèles accessibles aux praticiens.
4. Analyse d'Erreur :
   • Preuve que l'erreur de troncature des séries diminue polynomialement pour les noyaux Matérn et exponentiellement pour les noyaux Heat.
   • Analyse de la convergence des approximations Monte Carlo (taux $1/\sqrt{S}$).
   • Démonstration empirique que quelques dizaines de termes de série suffisent pour une haute précision sur des espaces comme $SO(3)$, $SO(5)$ et les variétés de Stiefel.

4. Résultats

• Validité Théorique : Les noyaux construits sont garantis positifs semi-définis et stationnaires. Les noyaux Matérn sur ces espaces possèdent les mêmes propriétés de régularité (dérivabilité) que dans le cas euclidien (appartenance aux espaces de Sobolev).
• Performance Computationnelle :
  • L'évaluation des noyaux tronqués est linéaire par rapport au nombre de termes ($O(L)$).
  • L'échantillonnage est efficace et évite la factorisation de matrices de covariance de taille $N \times N$ (coût cubique classique), permettant de traiter des problèmes à grande échelle.
• Expérimentations : Les auteurs illustrent la régression sur le plan projectif réel $RP^2$ et la sphère $S^2$, ainsi que l'échantillonnage de trajectoires sur $SO(3)$ et $SO(5)$. Les résultats montrent une convergence rapide des approximations et une capacité à modéliser des dynamiques complexes sur ces géométries.

5. Signification et Impact

Ce travail comble un fossé majeur entre la théorie mathématique avancée (théorie des représentations, géométrie riemannienne) et l'apprentissage automatique pratique.

• Accessibilité : Il transforme des concepts abstraits en outils computationnels utilisables, permettant aux praticiens d'appliquer des processus gaussiens sur des espaces de symétrie complexes sans avoir à résoudre des équations différentielles stochastiques ou à calculer manuellement des spectres de Laplacien.
• Généralité : La méthode s'applique à une vaste classe d'espaces (sphères, variétés de Stiefel, Grassmanniennes, groupes de matrices) et à différentes classes de noyaux (Heat, Matérn).
• Fondation pour la Partie II : Ce papier pose les bases pour l'étude des espaces non-compacts (Partie II), élargissant encore davantage le champ d'application des GP géométriques.
• Applications Potentielles : Ces modèles sont cruciaux pour la robotique (tuning de paramètres, contrôle), l'imagerie médicale (données sur les variétés de tenseurs), la cosmologie (données sur la sphère céleste) et l'apprentissage de représentations latentes dans des espaces de symétrie.

En résumé, cet article fournit une "boîte à outils" complète pour l'inférence bayésienne sur des variétés compactes, rendant les modèles de processus gaussiens géométriques à la fois théoriquement rigoureux et pratiquement déployables.