Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case

Questo lavoro presenta tecniche costruttive e pratiche per definire, calcolare e campionare processi gaussiani stazionari su spazi non euclidei derivanti da simmetrie, con un focus specifico sul caso compatto, rendendo tali modelli accessibili agli strumenti computazionali standard.

L'essenziale

🌍 Il Problema: Quando il mondo non è "piatto"

Immagina di voler insegnare a un computer a prevedere il tempo. Se vivessimo su un foglio di carta infinito (lo spazio euclideo), sarebbe facile: usiamo le regole standard della statistica. Ma il nostro mondo è fatto di forme diverse:

• La Terra è una sfera.
• I robot si muovono ruotando e spostandosi in modi complessi (gruppi di Lie).
• Le immagini mediche o i dati finanziari spesso vivono su spazi curvi o strani.

Se provi a usare le regole "piatte" su queste forme curve, i risultati sono disastrosi. È come cercare di misurare la distanza tra Roma e New York usando un righello su una mappa piatta: l'errore è enorme.

🛠️ La Soluzione: Costruire "Palloncini" Intelligenti

Gli autori di questo articolo (Azangulov, Smolensky, Terenin e Borovitskiy) hanno sviluppato un nuovo modo per costruire Gaussian Processes (processi gaussiani).
Per capire cos'è un Processo Gaussiano, immagina un palloncino di gomma che puoi stendere su una superficie.

• Il palloncino rappresenta la tua "scommessa" su come si comporta un fenomeno (es. la temperatura).
• Il palloncino ha una sua elasticità: se tocchi un punto, i punti vicini si muovono con te, ma quelli lontani no. Questa elasticità è definita da una funzione di covarianza (o "kernel").

Il problema è: come fai a stendere questo palloncino su una sfera o su una forma geometrica complessa senza che si strappi o si deformi in modo assurdo?

🔑 La Chiave Magica: La Simmetria e la "Musica" dei Gruppi

La risposta sta nella simmetria.
Immagina di ruotare una sfera perfetta. Non cambia nulla, è sempre la stessa sfera. Questa è una simmetria. Gli autori dicono: "Se il nostro palloncino statistico rispetta queste simmetrie, allora sarà stabile e corretto".

Per fare questo, usano una branca della matematica chiamata Teoria delle Rappresentazione dei Gruppi.

• L'analogia della musica: Immagina che lo spazio geometrico (come una sfera) sia uno strumento musicale. Ogni forma ha delle "note" fondamentali su cui può vibrare (le armoniche sferiche).
• Invece di usare le onde sinusoidali classiche (come su un foglio di carta), gli autori usano le "note" specifiche di quella forma geometrica.
• Costruiscono il loro palloncino statistico sommando queste note speciali, pesandole in modo intelligente.

🚀 Cosa hanno scoperto e creato?

Hanno diviso il lavoro in due parti (questo articolo è la Parte I, che tratta gli spazi "compatti", cioè spazi chiusi e finiti come sfere o tori). Ecco i loro contributi principali:

1. La Ricetta per il Palloncino (Kernels Stazionari):
   Hanno trovato una formula matematica precisa per creare questi "palloncini" su qualsiasi spazio simmetrico (come la sfera $S^2$ o il gruppo di rotazione $SO(3)$). La formula usa le "note" (caratteri e funzioni sferiche) invece delle semplici distanze.

2. Il Motore per Disegnare Campioni (Campionamento):
   Non basta creare la teoria; bisogna poterla usare. Hanno inventato un metodo per generare esempi casuali di questi palloncini.

   • Analogia: È come avere un generatore di forme 3D che, invece di creare forme a caso, crea forme che rispettano perfettamente la geometria della sfera o del toro, pronte per essere usate nei robot o nell'analisi dei dati.

3. I Tipi di Palloncini (Kernels di Matérn e Calore):
   Hanno mostrato come creare due tipi specifici di palloncini molto popolari:

   • Kernel di Calore: Come se il palloncino fosse fatto di metallo che conduce il calore. È liscio e morbido.
   • Kernel di Matérn: Come un palloncino di gomma più "ruvido" o "morbido" a seconda di come lo imposti. Questi sono fondamentali per modellare dati reali che non sono perfetti.

🎯 Perché è importante per te?

Prima di questo lavoro, se un ingegnere voleva usare l'intelligenza artificiale su dati che vivevano su una sfera (es. previsioni meteo globali) o su un robot che ruota, doveva usare trucchi approssimativi o metodi "fai-da-te" che non erano sempre corretti.

Ora, grazie a questo articolo:

• I robot possono imparare movimenti più fluidi e sicuri.
• Gli scienziati possono analizzare dati cosmologici o medici con maggiore precisione.
• Gli sviluppatori possono usare librerie software standard (come quelle già esistenti per l'IA) applicandole a questi spazi strani, perché gli autori hanno reso tutto "calcolabile" e pratico.

In sintesi

Immagina che l'Intelligenza Artificiale sia un artista che deve dipingere su un muro. Fino a ieri, l'artista sapeva dipingere solo su muri piatti. Questo articolo insegna all'artista come dipingere perfettamente su sfere, tori e forme curve, usando le regole di simmetria di quelle forme per non rovinare il quadro. Hanno fornito non solo la teoria, ma anche i pennelli e i colori (algoritmi e codice) per farlo subito.

È un ponte tra la matematica astratta più profonda e l'ingegneria pratica quotidiana.

Sommario tecnico

1. Il Problema

I processi gaussiani (GP) sono uno strumento fondamentale nell'apprendimento automatico per la modellazione di funzioni incognite, specialmente in contesti con dati scarsi, permettendo di quantificare l'incertezza. Tuttavia, la maggior parte delle applicazioni pratiche si basa su spazi euclidei. Molti problemi reali nelle scienze fisiche, nell'ingegneria, nella geostatistica e nelle neuroscienze richiedono invece la modellazione su spazi non euclidei, come gruppi di Lie compatti (es. $SO(n)$, $SU(n)$) e i loro spazi omogenei (es. sfere $S^n$, varietà di Stiefel, spazi proiettivi).

La sfida principale risiede nella definizione di kernel stazionari (o invarianti per simmetria) su questi spazi.

• Negli spazi euclidei, la stazionarietà è definita come l'invarianza per traslazione ($k(x+c, x'+c) = k(x, x')$).
• Su varietà Riemanniane, un approccio ingenuo che sostituisce la distanza euclidea con la distanza geodetica nel kernel esponenziale quadrato spesso fallisce, producendo kernel che non sono definiti positivi (una proprietà essenziale per i GP).
• Esistono approcci basati su equazioni differenziali stocastiche (SPDE), ma il calcolo degli autovalori e autofunzioni dell'operatore di Laplace-Beltrami è computazionalmente costoso o analiticamente intrattabile per molte varietà.

L'obiettivo di questo lavoro è sviluppare tecniche costruttive e pratiche per costruire, valutare e campionare da processi gaussiani stazionari su una vasta classe di spazi compatti, rendendoli compatibili con le tecniche computazionali standard.

2. Metodologia

Il paper si basa sulla teoria delle rappresentazioni dei gruppi di Lie compatti per generalizzare il teorema di Bochner (che collega i kernel stazionari euclidei alle misure spettrali) a contesti geometrici.

A. Caratterizzazione Teorica

Gli autori utilizzano i risultati di Yaglom (1961) per caratterizzare i kernel stazionari:

1. Su Gruppi di Lie Compatti ($G$): Un kernel è stazionario rispetto all'azione sinistra e destra se può essere espresso come una serie infinita di caratteri ($\chi^{(\lambda)}$) delle rappresentazioni unitarie irriducibili del gruppo:
   $$k(g_1, g_2) = \sum_{\lambda \in \Lambda} a(\lambda) \text{Re} \, \chi^{(\lambda)}(g_2^{-1} g_1)$$
   dove $\Lambda$ è l'insieme delle rappresentazioni irriducibili e $a(\lambda) \ge 0$.
2. Su Spazi Omogenei Compatti ($G/H$): Il kernel è espresso in termini di funzioni sferiche zonali ($\pi^{(\lambda)}_{jk}$), che sono coefficienti matriciali delle rappresentazioni che rimangono costanti sulle classi laterali di $H$:
   $$k(g_1 H, g_2 H) = \sum_{\lambda \in \Lambda} \sum_{j,k} a^{(\lambda)}_{jk} \text{Re} \, \pi^{(\lambda)}_{jk}(g_2^{-1} g_1)$$

B. Tecniche Computazionali

Per rendere queste espressioni pratiche, gli autori sviluppano tre primitive algoritmiche:

1. Enumerazione delle Rappresentazioni: Utilizzano il concetto di pesi massimi e firme (signature) per enumerare sistematicamente l'insieme $\Lambda$ delle rappresentazioni irriducibili per gruppi come $SO(n)$e$SU(n)$.
2. Valutazione del Kernel:
   • Per i gruppi di Lie, calcolano i caratteri usando la formula del carattere di Weyl, che esprime i caratteri come rapporti di polinomi nelle autovalori degli elementi del gruppo.
   • Per gli spazi omogenei, propongono una tecnica di somma periodica generalizzata: il kernel su $G/H$ è ottenuto mediando il kernel su $G$ rispetto alla misura di Haar del sottogruppo $H$.
3. Campionamento Efficiente (Generalized Random Phase Fourier Features):
   • Invece di risolvere SPDE, propongono un metodo di approssimazione Monte Carlo per campionare percorsi dal processo a priori.
   • Sfruttano la decomposizione in serie dei kernel per costruire mappe di caratteristiche casuali, permettendo il campionamento approssimato con complessità lineare rispetto al numero di punti di valutazione, senza bisogno di fattorizzare matrici di kernel di grandi dimensioni ($O(N^3)$).

C. Kernel Specifici

Gli autori derivano espressioni chiuse per due classi fondamentali di kernel:

• Kernel di Calore (Heat Kernel): Soluzione fondamentale dell'equazione del calore sulla varietà, generalizzazione naturale del kernel esponenziale quadrato.
• Kernel di Matérn: Derivati dal kernel di calore tramite una miscela di integrali (rappresentazione come mistura gamma di kernel esponenziali), garantendo proprietà di regolarità controllabili (parametro $\nu$).

3. Contributi Chiave

1. Generalizzazione Costruttiva del Teorema di Bochner: Forniscono una descrizione esplicita e calcolabile dei kernel stazionari su gruppi di Lie compatti e spazi omogenei, basata sulla teoria delle rappresentazioni.
2. Algoritmi Pratici:
   • Sviluppo di routine per la valutazione puntuale dei kernel con supporto per la differenziazione automatica (essenziale per l'ottimizzazione degli iperparametri).
   • Sviluppo di algoritmi di campionamento efficiente (priori e posteriori) basati su "Generalized Random Phase Fourier Features".
3. Derivazione di Kernel Matérn e di Calore: Forniscono formule esplicite per calcolare i coefficienti di scala ($a(\lambda)$) per i kernel di Matérn e di calore su queste varietà, evitando la necessità di calcolare numericamente gli autovalori dell'operatore di Laplace-Beltrami.
4. Analisi dell'Errore di Approssimazione: Dimostrano teoricamente e confermano empiricamente che l'errore di troncamento della serie decresce rapidamente (polinomialmente per Matérn, esponenzialmente per il kernel di calore) e che le approssimazioni Monte Carlo convergono al tasso standard $1/\sqrt{S}$.
5. Implementazione Software: Le tecniche sono implementate nella libreria open-source GeometricKernels.

4. Risultati

• Validità Teorica: È stato dimostrato che i kernel costruiti sono definiti positivi per definizione, risolvendo il problema della non-definità positiva dei kernel basati sulla distanza geodetica.
• Efficienza Computazionale: Gli esperimenti su gruppi come $SO(3)$e$SO(5)$ e su varietà di Stiefel mostrano che poche decine di termini nella serie (caratteri o funzioni sferiche) sono sufficienti per ottenere un'approssimazione accurata del kernel limite.
• Convergenza: L'errore di troncamento diminuisce rapidamente all'aumentare dell'ordine di troncamento, specialmente per i kernel più lisci (Heat Kernel). Le approssimazioni basate su somme periodiche e fasi casuali mostrano una convergenza stabile.
• Flessibilità: Il metodo permette di gestire kernel con diversi livelli di regolarità (controllati da $\nu$) su spazi complessi come il piano proiettivo reale ($RP^2$) e la sfera ($S^2$).

5. Significato e Impatto

Questo lavoro rappresenta un passo fondamentale verso l'adozione pratica dei processi gaussiani su spazi non euclidei.

• Accessibilità: Trasforma concetti teorici astratti della teoria dei gruppi e dell'analisi armonica in strumenti computazionali utilizzabili dai praticanti.
• Applicabilità: Abilita modelli statistici rigorosi in domini critici come la robotica (tuning di parametri di controllo su gruppi di rotazione), l'imaging medico (analisi di dati su sfere o varietà di matrici), la cosmologia e la geostatistica.
• Fondamento per il Futuro: La Parte I (questo lavoro) si concentra sugli spazi compatti, mentre la Parte II (citata nel paper) estende queste tecniche agli spazi non compatti. L'approccio basato sulla teoria delle rappresentazioni fornisce un "blueprint" per derivare nuovi kernel su altre strutture algebriche o spazi discreti.

In sintesi, il paper fornisce il primo framework completo e computazionalmente efficiente per l'apprendimento bayesiano su una vasta classe di varietà Riemanniane compatte, superando le limitazioni degli approcci euristici precedenti.