Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case

Dit artikel presenteert constructieve en praktische methoden voor het bouwen van stationaire Gaussische processen op compacte Lie-groepen en hun homogene ruimtes, waardoor het mogelijk wordt om covariantiekernen te berekenen en te steekproeven uit deze modellen met behulp van bestaande software.

De kern

Titel: De "Grote Reis" van Wiskundige Voorspellingen: Hoe we AI leren om te denken op bolvormige werelden

Stel je voor dat je een heel slimme voorspeller bent. Je wilt weten hoe het weer morgen is, of waar de volgende aardbeving komt, of hoe een robot zich moet bewegen. In de wereld van de kunstmatige intelligentie noemen we zo'n slimme voorspeller een Gaussisch Proces.

Normaal gesproken denken we aan een platte kaart of een computerbureau als onze wereld. Alles is rechte lijnen en vierkante hoeken. Maar in het echte leven is de wereld vaak niet plat. De aarde is een bol, robotarmen draaien in cirkels, en neurale netwerken in ons brein hebben complexe, kromme structuren.

Dit artikel is als een reisgids voor wiskundigen en AI-ontwikkelaars. Het vertelt hen hoe ze die slimme voorspellers (Gaussische processen) kunnen laten werken op deze kromme, bolvormige en draaiende werelden, zonder dat ze in de war raken.

Hier is de uitleg in simpele taal, met een paar creatieve metaforen:

1. Het Probleem: De "Vierkante" AI op een Ronde Aarde

Stel je voor dat je een voorspeller hebt die gewend is aan een platte vloer. Als je die voorspeller op een bol (zoals de aarde) zet, gaat hij gek doen. Hij denkt dat als je 10 kilometer naar het noorden loopt, je weer bij het startpunt bent, of dat de afstand tussen twee punten altijd rechte lijnen zijn. Dat klopt niet op een bol.

In de echte wereld (bijvoorbeeld in robotica of geneeskunde) moeten we vaak werken met symmetrieën. Dat betekent: "Het maakt niet uit hoe ik draai of roterend, de regels blijven hetzelfde."

• Metafoor: Stel je voor dat je een balletje op een tafel rolt. Op een platte tafel is het makkelijk. Maar als je dat balletje op een draaiende schijf (een Lie-groep) of op een bol (een homogene ruimte) moet laten rollen, heb je een heel ander soort wiskunde nodig.

2. De Oplossing: De "Symmetrie-Sleutel"

De auteurs van dit artikel hebben een nieuwe manier bedacht om die slimme voorspellers te bouwen. Ze gebruiken een concept dat ze "Stationaire Kernen" noemen.

• De Metafoor: Stel je voor dat je een stempel hebt met een patroon. Op een platte tafel kun je die stempel overal neerzetten; het patroon ziet er altijd hetzelfde uit, alleen verschoven. Dat is "stationair".
• Op een bol of een draaiende schijf werkt dat niet zomaar. Je moet je stempel zo maken dat hij er altijd hetzelfde uitziet, ongeacht hoe je de hele wereld draait.
• De auteurs zeggen: "Gebruik de symmetrie van de wereld zelf als bouwsteen!" In plaats van te proberen de wereld plat te maken, bouwen ze de voorspeller direct op de kromming en de draaiing van de wereld.

3. De Wiskundige Magie: Het "Muziek-Orkest"

Hoe doen ze dit precies? Ze gebruiken een stukje wiskunde dat Representatietheorie heet. Dat klinkt eng, maar het is eigenlijk als muziek.

• De Metafoor: Stel je voor dat elke vorm (een bol, een cilinder, een draaiende robotarm) een uniek orkest is. Dit orkest speelt een symfonie van trillingen (golven).
• In een gewoon orkest (platte wereld) zijn de instrumenten simpele trillingen (zoals een gitaarsnaar).
• In deze speciale werelden zijn de instrumenten complexer. De auteurs hebben een manier gevonden om te zeggen: "Welke instrumenten (golven) horen bij dit orkest?"
• Ze noemen deze instrumenten Karakters en Sferische Functies. Het zijn de "noten" die je nodig hebt om de muziek van die specifieke wereld te componeren.

4. Wat hebben ze nu precies gedaan?

Deze paper (deel 1 van een tweeluik) focust op compacte ruimtes. Dat zijn ruimtes die "opgeborgen" zijn, zoals een bol of een torus (een donut-vorm). Ze zijn niet oneindig groot.

Ze hebben drie dingen ontwikkeld die voor elke gebruiker (ook niet-wiskundigen) bruikbaar zijn:

1. Het Berekenen van Afstanden: Ze hebben een formule bedacht om precies te zeggen hoe "ver" twee punten van elkaar verwijderd zijn op deze kromme werelden, rekening houdend met de symmetrie.
2. Het Tekenen van Voorbeelden: Ze kunnen nu willekeurige, realistische patronen "tekenen" op deze werelden. Denk aan het simuleren van hoe een robotarm zich beweegt of hoe temperatuur verspreid is over de aarde.
3. Het Leren van Patronen: Ze kunnen data gebruiken om te leren wat er gebeurt. Als je weet hoe het weer was op 10 plekken op de aarde, kunnen ze nu voorspellen hoe het eruitziet op de hele bol, zonder dat de wiskunde "kapot" gaat.

5. Waarom is dit belangrijk?

Vroeger moesten mensen die met robots, medische beelden of klimaatmodellen werkten, "smeekbedes" gebruiken (heuristieken). Ze deden alsof de wereld plat was, of ze gebruikten raadselachtige trucjes die niet altijd werkten.

Met dit artikel krijgen ze een bouwhandleiding.

• De Metafoor: Voorheen moest je een auto bouwen door te gissen en te hopen dat de wielen rond waren. Nu hebben ze een blauwdruk voor een auto die kan rijden op ijs, in zand én op een roterende schijf.

Samenvatting in één zin:

De auteurs hebben een nieuwe, betrouwbare manier bedacht om slimme voorspellers (AI) te bouwen die niet vastlopen op kromme en draaiende werelden, door de "muziek" van die werelden (symmetrieën) te gebruiken als bouwstenen.

Dit maakt het voor ingenieurs, robotici en wetenschappers veel makkelijker om complexe systemen te modelleren, of het nu gaat om de beweging van een robotarm, de vorm van een cel, of de stroming van lucht op een planeet.

Technische samenvatting

Probleemstelling

Gaussische processen (GP) zijn een fundamentele klasse van spatiotemporele modellen in het machine learning, vooral nuttig voor het kwantificeren van onzekerheid bij schaarse data. In veel toepassingen, zoals fysica, engineering, geostatistiek en neurowetenschappen, moeten functies worden gemodelleerd op niet-Euclidische ruimten (bijvoorbeeld oppervlakken van planeten, rotatiegroepen in robotica, of ruimte van positief-definiete matrices).

De huidige uitdagingen zijn:

1. Definitie van Stationariteit: De gebruikelijke definitie van stationariteit (translatie-invariantie) is niet direct toepasbaar op niet-Euclidische ruimten. Er is behoefte aan een generalisatie die invariantie onder symmetriegroepen (Lie-groepen) respecteert.
2. Kernberekening: Het naïef vervangen van de Euclidische afstand door een Riemanniaanse geodesische afstand in standaard kernels (zoals de squared exponential kernel) leidt vaak tot niet-positief-semidefiniete covariantiematrices, wat de theorie van Gaussische processen ongeldig maakt.
3. Berekenbaarheid: Bestaande methoden voor niet-Euclidische GPs (vaak gebaseerd op stochastische partiële differentiaalvergelijkingen of heat kernels) zijn vaak computationally duur, vereisen het oplossen van eigenwaardeproblemen voor de Laplace-Beltrami-operator, of zijn beperkt tot specifieke ruimten.

Het doel van dit werk is het ontwikkelen van constructieve en praktische technieken om stationaire Gaussische processen te bouwen op een grote klasse van compacte niet-Euclidische ruimten (Lie-groepen en hun homogene ruimten), zodat deze compatibel zijn met standaard softwarepakketten.

Methodologie

De auteurs baseren hun aanpak op representatietheorie en harmonische analyse op Lie-groepen, in plaats van op directe ruimtelijke afstanden. De kern van de methodologie bestaat uit de volgende stappen:

1. Stationariteit via Groepsactie:
   Een kernel $k$ wordt gedefinieerd als stationair als deze invariant is onder de actie van de groep $G$ op de ruimte $X$. Voor een Lie-groep $G$ die op zichzelf werkt, betekent dit $k(g_1, g_2) = k(g_1 \cdot g_2^{-1})$. Voor homogene ruimten $X = G/H$ geldt een analoge invariantie.

2. Spectrale Representatie (Yaglom's Theorema):
   In plaats van de kernel in de ruimtelijke domein te definiëren, wordt deze uitgedrukt als een som over irreducibele unitaire representaties van de groep.

   • Voor een compacte Lie-groep $G$:
     $$k(g_1, g_2) = \sum_{\lambda \in \Lambda} a(\lambda) \text{Re} \, \chi^{(\lambda)}(g_2^{-1} \cdot g_1)$$
     waarbij $\chi^{(\lambda)}$ de karakter is van de irreducibele representatie $\lambda$, en $a(\lambda) \geq 0$ schalingscoëfficiënten zijn.
   • Voor een homogene ruimte $G/H$:
     De som omvat zonale sferische functies $\pi^{(\lambda)}_{jk}$, die afgeleid zijn van de matrixcoëfficiënten van de representaties, maar beperkt tot de subruimte die invariant is onder de ondergroep $H$.

3. Berekenbare Kernen (Heat en Matérn):
   De auteurs leiden expliciete formules af voor specifieke, veelgebruikte kernel-families:

   • Heat Kernel: Gedefinieerd als de fundamentele oplossing van de warmtevergelijking op de Riemanniaanse variëteit. In de spectrale vorm is dit een exponentiële afname van de eigenwaarden van de Laplace-Beltrami operator.
   • Matérn Kernels: Gedefinieerd via een integraalrelatie met de heat kernel (een gamma-mengsel van heat kernels). Dit resulteert in een gesloten vorm in het spectrale domein:
     $$k_{\nu, \kappa, \sigma^2} \propto \sum_{\lambda} \left( \frac{2\nu}{\kappa^2} + \alpha_\lambda \right)^{-\nu - n/2} \dots$$
     waarbij $\alpha_\lambda$ de eigenwaarden zijn die afhangen van het "hoogste gewicht" van de representatie.

4. Computatietechnieken:

   • Karakterberekening: Gebruikmakend van de Weyl-karakterformule, kunnen karakters worden berekend als een ratio van polynomen in de eigenwaarden van de groepselementen (via de maximale torus).
   • Efficiënt Sampling (Generalized Random Phase Fourier Features): In plaats van het oplossen van grote lineaire systemen, worden steekproeven gegenereerd door Monte Carlo-integratie over de groep. Dit wordt gedaan door de kernel te benaderen als een som van willekeurige fasen van de karakterfuncties of zonale sferische functies.
   • Truncatie: De oneindige sommen worden afgekapt op een niveau $L$ dat bepaald wordt door de gewenste nauwkeurigheid en de gladheid van de kernel.

Belangrijkste Bijdragen

1. Constructieve Formules: De paper levert expliciete, algebraïsche uitdrukkingen voor stationaire kernels op compacte Lie-groepen (zoals $SO(n)$, $SU(n)$) en homogene ruimten (zoals de sfeer $S^n$, projectieve ruimten $\mathbb{R}P^n$, en Stiefel-variëteiten).
2. Algoritmen voor Evaluatie en Sampling:
   • Een methode om kernels puntsgewijs te evalueren met ondersteuning voor automatische differentiatie (cruciaal voor hyperparameteroptimalisatie).
   • Een efficiënte sampling-methode voor prior en posterior processen die niet vereist dat men de volledige covariantiematrix moet factoriseren ($O(N^3)$), maar werkt via feature maps ($O(N)$).
3. Generalisatie van Bochner's Theorema: De auteurs generaliseren het klassieke Bochner's theorema (dat stationaire kernels relateert aan spectrale maat) naar het domein van Lie-groepen en homogene ruimten, waarbij de Fourier-transformatie wordt vervangen door representatietheoretische expansies.
4. Software-implementatie: De methoden zijn geïmplementeerd in de GeometricKernels bibliotheek, waardoor ze direct toegankelijk zijn voor practitioners.

Resultaten

• Theoretische Validatie: De afgeleide kernels zijn gegarandeerd positief-semidefiniet en voldoen aan de vereiste gladheidseigenschappen (Sobolev-ruimten), vergelijkbaar met hun Euclidische tegenhangers.
• Berekeningsfout: Empirische evaluaties op $SO(3)$, $SO(5)$ en Stiefel-variëteiten tonen aan dat:
  • De truncatiefout (door het afkappen van de serie) zeer snel daalt, vooral voor gladde kernels (Heat kernel) en Matérn-kernels met hoge $\nu$.
  • De Monte Carlo-fout (bij het sampling) convergeert met de gebruikelijke $\sqrt{S}$-snelheid, waarbij $S$ het aantal steekproeven is.
• Efficiëntie: De voorgestelde methoden zijn aanzienlijk efficiënter dan eerdere benaderingen die stochastische partiële differentiaalvergelijkingen vereisten of random walks simuleerden. De benadering via karakters en zonale sferische functies maakt het mogelijk om kernels op complexe manifolds te berekenen zonder expliciete kennis van de eigenfuncties van de Laplace-Beltrami-operator voor die specifieke ruimte.

Significantie

Dit werk vormt een brug tussen abstracte wiskunde (representatietheorie) en praktisch machine learning.

• Toepasbaarheid: Het stelt onderzoekers en ingenieurs in staat om Bayesiaanse modellen toe te passen op complexe, symmetrische datastructuren die eerder als "te moeilijk" werden beschouwd (bijvoorbeeld rotaties in 3D, oriëntaties in robotica, of data op projectieve ruimten).
• Robuustheid: Door de kernels te construeren via spectrale methoden, wordt het probleem van het garanderen van positieve semidefinietheid opgelost, wat een groot obstakel was bij eerdere pogingen om kernels op Riemanniaanse variëteiten te definiëren.
• Toekomstperspectief: Dit is deel I van een tweedelige serie. De technieken die hier voor compacte ruimten worden ontwikkeld, leggen de basis voor deel II, dat zich richt op niet-compacte ruimten (zoals hyperbolische ruimten en ruimten van positief-definiete matrices).

Kortom, de paper maakt Gaussische processen op een breed scala aan niet-Euclidische ruimten rekenbaar, interpreteerbaar en praktisch toepasbaar, waardoor een nieuwe generatie van geometrisch machine learning mogelijk wordt.