Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case

Este trabajo presenta técnicas constructivas y prácticas para definir, calcular y muestrear procesos gaussianos estacionarios sobre espacios no euclídeos, específicamente grupos de Lie y sus espacios homogéneos compactos, facilitando así su aplicación en ciencias físicas, ingeniería y otras áreas mediante el uso de software estándar.

Lo esencial

Imagina que estás intentando predecir el clima, pero en lugar de hacerlo en un mapa plano de tu ciudad, tienes que hacerlo en una esfera (como la Tierra), en una superficie que se dobla sobre sí misma (como un donut) o incluso en espacios matemáticos extraños que solo existen en la mente de los físicos y los ingenieros.

Este artículo es como un manual de instrucciones avanzado para crear "oráculos de predicción" (llamados Procesos Gaussianos) que funcionen perfectamente en esos espacios curvos y complejos, en lugar de solo en planos simples.

Aquí tienes la explicación, desglosada con analogías sencillas:

1. El Problema: El mapa no encaja en la esfera

Imagina que tienes una receta para hacer un pastel (un modelo de aprendizaje automático) que funciona genial en una mesa plana (el espacio euclidiano, donde vivimos normalmente). Si intentas poner esa misma receta sobre una pelota de fútbol, todo se arruina. Las distancias se ven diferentes, las simetrías cambian y la receta deja de tener sentido.

En la ciencia y la ingeniería (desde la robótica hasta la neurociencia), los datos a menudo viven en estas "pelotas" o formas complejas. Los científicos intentaban adaptar las recetas antiguas de forma chapucera, pero a menudo fallaban o daban resultados extraños.

2. La Solución: Un nuevo tipo de "Receta Universal"

Los autores de este trabajo han desarrollado una nueva forma de crear estas recetas (modelos) que respeta la forma del mundo donde viven los datos.

• La idea clave (Estacionariedad): Imagina que tienes un patrón de nubes. En un mapa plano, si mueves el patrón un poco, sigue siendo el mismo patrón. En una esfera, "mover" el patrón significa rotar la esfera. Los autores crearon modelos que son "inmunes" a estas rotaciones. No importa cómo gires la esfera, el modelo entiende que el patrón es el mismo. Esto se llama invarianza bajo simetrías.

3. La Magia Matemática: La "Partitura" del Universo

Para lograr esto, los autores usaron una rama de las matemáticas llamada Teoría de Representación.

• La analogía de la música: Imagina que tu espacio (la esfera, el donut) es un instrumento musical. Para entender cómo suena (cómo se comportan los datos), necesitas descomponer el sonido en notas individuales.
• En un espacio plano, las "notas" son ondas simples (senos y cosenos).
• En estos espacios curvos, las "notas" son cosas más complejas llamadas Funciones Esféricas o Caracteres.

El artículo dice: "No intentes adivinar el sonido. En su lugar, construye tu modelo sumando estas notas especiales, cada una con un volumen (peso) específico".

4. ¿Qué hacen exactamente? (Dos partes del trabajo)

El trabajo se divide en dos, pero esta parte (Parte I) se centra en espacios que son compactos (cerrados y finitos, como una esfera o un toroide).

1. Crear el Kernel (La receta de la distancia): En lugar de medir la distancia con una regla recta, usan una "regla mágica" que sabe cómo medir distancias en una esfera. Calculan cómo se relacionan dos puntos basándose en estas "notas musicales" matemáticas.
2. Muestrear (Crear ejemplos): Una vez que tienen la receta, pueden generar ejemplos aleatorios de cómo se vería el fenómeno (por ejemplo, cómo se distribuye la temperatura en la Tierra) sin tener que resolver ecuaciones imposibles.

5. Los Tipos de "Sabores" de Modelos

Los autores no solo crearon un modelo, sino que mostraron cómo crear dos tipos muy populares:

• El Kernel de Calor (Heat Kernel): Imagina que derramas una gota de tinta en una esfera. ¿Cómo se difunde con el tiempo? Este modelo describe esa difusión suave e infinita. Es como un modelo de "suavizado" perfecto.
• Kernel Matérn: Este es más flexible. Permite que la función sea suave o un poco "áspera" (como el terreno de una montaña). Es muy útil cuando los datos no son perfectamente lisos.

6. ¿Por qué es importante para la gente común?

Antes de este trabajo, si un ingeniero quería usar Inteligencia Artificial para controlar un robot que camina sobre una superficie curva, o para analizar datos cerebrales que tienen una estructura compleja, tenía que usar trucos matemáticos que a veces fallaban o eran muy lentos.

Con este trabajo:

• Es más rápido: Tienen algoritmos eficientes para calcular estas cosas.
• Es más seguro: Garantizan matemáticamente que los resultados tienen sentido (son "positivos semidefinidos", lo que significa que no darán predicciones locas).
• Es accesible: Han creado un código (librería GeometricKernels) para que los programadores puedan usar estas técnicas sin tener que ser genios de las matemáticas.

En resumen

Este artículo es como traducir el lenguaje de la Inteligencia Artificial para que pueda hablar con el mundo real, que no es plano. Han creado un diccionario y una gramática nueva que permite a las máquinas entender y predecir fenómenos en esferas, toros y formas geométricas complejas, utilizando la belleza de la simetría y la música de las matemáticas para hacerlo de forma práctica y eficiente.

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Stationary Kernels and Gaussian Processes on Lie Groups and their Homogeneous Spaces I: the compact case", publicado en el Journal of Machine Learning Research (2024).

1. Problema y Contexto

Los Procesos Gaussianos (GP) son fundamentales en el aprendizaje automático para modelar funciones desconocidas, cuantificar incertidumbre y realizar inferencia bayesiana. Tradicionalmente, la mayoría de los modelos de GP se han desarrollado en espacios euclidianos ($\mathbb{R}^n$), donde la noción de estacionariedad se define mediante la invariancia ante traslaciones (el núcleo de covarianza depende solo de la diferencia $x - x'$).

Sin embargo, muchas aplicaciones en ciencias físicas, ingeniería, robótica y neurociencia requieren modelar funciones en espacios no euclidianos, como variedades riemannianas, grupos de Lie (ej. $SO(n)$, $SU(n)$) y sus espacios homogéneos (ej. esferas $S^n$, variedades de Stiefel, espacios proyectivos).

El desafío principal es definir núcleos de covarianza estacionarios (invariantes bajo las simetrías del espacio) que sean:

1. Positivos semidefinidos: Requisito matemático indispensable para que definan un proceso gaussiano válido.
2. Computacionalmente viables: Deben permitir la evaluación del núcleo y el muestreo de trayectorias de manera eficiente, sin recurrir a métodos heurísticos o aproximaciones costosas que no garantizan la validez del modelo.

El enfoque ingenuo de sustituir la distancia euclidiana por la distancia geodésica en núcleos estándar (como el exponencial cuadrático) falla en la mayoría de las variedades, ya que no garantiza la propiedad de ser positivo semidefinido.

2. Metodología

Los autores desarrollan un marco constructivo basado en la teoría de representaciones de grupos de Lie compactos y el análisis armónico generalizado. Su enfoque se basa en generalizar el Teorema de Bochner (que relaciona núcleos estacionarios con medidas espectrales en $\mathbb{R}^n$) a espacios con simetrías grupales.

A. Fundamentos Teóricos

• Estacionariedad en Grupos de Lie: Para un grupo de Lie compacto $G$, un núcleo es estacionario si es invariante bajo la acción izquierda-derecha ($k(g_1 x g_2^{-1}, g_1 x' g_2^{-1}) = k(x, x')$).
• Teorema de Representación (Teorema 1): Demuestran que cualquier núcleo estacionario en un grupo de Lie compacto puede expresarse como una serie infinita de caracteres de representaciones unitarias irreducibles:
  $$k(g_1, g_2) = \sum_{\lambda \in \Lambda} a(\lambda) \text{Re} \, \chi^{(\lambda)}(g_2^{-1} g_1)$$
  donde $\chi^{(\lambda)}$ son los caracteres y $a(\lambda) \geq 0$ son coeficientes espectrales.
• Espacios Homogéneos: Para espacios de la forma $X = G/H$, generalizan el resultado utilizando funciones esféricas zonales (Teorema 2), que son proyecciones de los caracteres del grupo sobre el espacio homogéneo.

B. Técnicas Computacionales

El artículo traduce estas expresiones abstractas en algoritmos prácticos:

1. Enumeración de Representaciones: Utilizan la teoría de pesos más altos y signaturas para enumerar sistemáticamente el conjunto de representaciones irreducibles ($\Lambda$) de grupos como $SO(n)$y$SU(n)$. Esto permite truncar las series infinitas de manera controlada.
2. Evaluación de Núcleos:
   • Para grupos de Lie: Calculan los caracteres usando la Fórmula del Carácter de Weyl, expresándolos como cocientes de polinomios en los autovalores de los elementos del grupo (vía el toro maximal).
   • Para espacios homogéneos: Proponen un método de sumación periódica generalizada, promediando el núcleo del grupo sobre el subgrupo $H$ (usando la medida de Haar) para obtener el núcleo en el espacio cociente.
3. Muestreo Eficiente (Generalized Random Phase Fourier Features):
   • Desarrollan una técnica para muestrear trayectorias del proceso gaussiano sin necesidad de factorizar matrices de covarianza completas (que costaría $O(N^3)$).
   • Aprovechan la estructura de los caracteres/funciones esféricas para construir mapas de características aleatorias con fases aleatorias, permitiendo muestrear aproximaciones del GP en tiempo lineal respecto al número de términos de la serie truncada.
4. Núcleos Específicos: Derivan expresiones cerradas para:
   • Núcleos de Calor (Heat Kernels): Soluciones fundamentales de la ecuación del calor en variedades, que generalizan el núcleo exponencial cuadrático.
   • Núcleos de Matérn: Definidos mediante una mezcla integral de núcleos de calor, permitiendo controlar la suavidad del proceso.

3. Contribuciones Clave

1. Generalización Constructiva: Proporcionan una descripción completa y constructiva de procesos gaussianos estacionarios en una amplia clase de espacios no euclidianos (grupos de Lie compactos y sus espacios homogéneos), superando las limitaciones de enfoques basados en distancias geodésicas.
2. Algoritmos Prácticos:
   • Algoritmos para la evaluación puntual de núcleos con soporte de diferenciación automática.
   • Algoritmos para el muestreo eficiente de priores y posteriores, escalables a grandes conjuntos de datos.
3. Garantías Teóricas: Demuestran que sus aproximaciones (series truncadas y métodos de Monte Carlo) preservan la propiedad de positividad semidefinida, asegurando que los modelos resultantes son matemáticamente válidos.
4. Implementación: Las técnicas se han implementado en la librería de código abierto GeometricKernels, haciendo accesibles estos modelos avanzados a la comunidad de práctica.

4. Resultados

• Análisis de Error de Truncamiento: Los autores demuestran teórica y empíricamente que el error de truncamiento de las series basadas en caracteres decae rápidamente.
  • Para núcleos de Matérn, el decaimiento es polinomial.
  • Para núcleos de Calor (infinitamente diferenciables), el decaimiento es superexponencial.
  • Se observa que el uso de caracteres (que agrupan múltiples autovalores) acelera la convergencia en comparación con las expansiones de Fourier en variedades generales.
• Validación Empírica: Se realizaron experimentos en grupos como $SO(3)$, $SO(5)$ y variedades de Stiefel $V(k, n)$. Los resultados muestran que con un número moderado de términos (decenas de caracteres) y muestras de Monte Carlo (cientos), se logra una precisión alta en la aproximación del núcleo y en la generación de muestras.
• Flexibilidad: El método permite modelar procesos con diferentes niveles de suavidad (controlados por el parámetro $\nu$ de Matérn) en espacios complejos como el plano proyectivo real ($RP^2$) y la esfera ($S^2$).

5. Significado e Impacto

Este trabajo es fundamental para el avance del aprendizaje geométrico y la estadística en variedades.

• Unificación: Conecta la teoría de procesos estocásticos con la teoría de representaciones de grupos, ofreciendo un marco unificado para tratar simetrías en datos.
• Aplicabilidad Práctica: Al proporcionar herramientas computacionales eficientes y garantizadas, permite a los investigadores y practicantes aplicar modelos de Procesos Gaussianos en problemas donde las simetrías son intrínsecas (ej. orientación de robots, dinámica molecular, cosmología, neurociencia), evitando el uso de heurísticas ad-hoc.
• Escalabilidad: La capacidad de muestrear y evaluar núcleos sin la complejidad cúbica tradicional abre la puerta a la aplicación de GP en problemas de gran escala en espacios no euclidianos.
• Base para Futuras Investigaciones: Este artículo (Parte I) sienta las bases para la Parte II, que abordará espacios no compactos, extendiendo así el alcance de los modelos estacionarios a una gama aún más amplia de problemas físicos y de ingeniería.

En resumen, el artículo transforma conceptos abstractos de geometría diferencial y teoría de grupos en herramientas de aprendizaje automático robustas, permitiendo la inferencia bayesiana rigurosa en espacios con simetrías complejas.