Infinite-Dimensional Spherical Kernel ridge Regression

Resumen Técnico: Regresión de Núcleo Esférico de Dimensión Infinita

Planteamiento del Problema
El artículo aborda el problema de regresión donde la variable de respuesta $Y$ reside en una esfera $S$ de dimensión arbitraria (finita o infinita) dentro de un espacio de Hilbert $Y$, y la covariable $X$ reside en un espacio polaco. Este escenario surge en el análisis de datos funcionales, el análisis de formas estadísticas y el modelado de funciones de densidad de probabilidad (mediante transformaciones de raíz cuadrada).

Los enfoques existentes para la regresión con valores en variedades enfrentan limitaciones significativas:

1. Regresión en el espacio tangente: Traslada las respuestas a un espacio tangente $T_o S$ para aplicar métodos lineales. Aunque es computacionalmente conveniente, esto viola las distancias esféricas intrínsecas, introduciendo un sesgo inducido por la curvatura porque la media condicional de los datos transformados mediante logaritmo ($E[\text{Log}_o(Y)|X]$) difiere de la media de Fréchet condicional ($\mu(x) = \arg\min_q E[d_S^2(q, Y)|X=x]$).
2. Regresión geodésica: Típicamente restringida a variedades de dimensión finita y suele asumir formas paramétricas o estructuras de predictores específicas.
3. Desafíos de dimensión infinita: Extender estos métodos a esferas de dimensión infinita (por ejemplo, para funciones de densidad) es teóricamente difícil porque los estimadores carecen de soluciones en forma cerrada y las técnicas estándar de procesos empíricos suelen asumir implícitamente la dimensionalidad finita.

Metodología
Los autores proponen un marco de regresión intrínseco que modela la media de Fréchet condicional $\mu(x)$ directamente en la esfera sin trasladar las respuestas originales a un espacio tangente para el cálculo de la pérdida.

1. Formulación del Modelo:
   El modelo descompone la media condicional en un punto base (intercepto) $o \in S$ y una función predictora lineal $f: X \to T_o S$. La media condicional se reconstruye mediante el mapa exponencial:
   $$\mu(x) = \text{Exp}_o(f(x))$$
   Se asume que la función $f$ pertenece a un Espacio de Hilbert de Reproducción de Valores Vectoriales (VVRKHS, por sus siglas en inglés) $\mathcal{H}$ de funciones que mapean $X$ al espacio tangente $T_o S$. Los autores utilizan núcleos de Operador Multiplicativo Simple (SMO) de la forma $K(x, x') = k(x, x')\text{Id}$, donde $k$ es un núcleo escalar e $\text{Id}$ es la identidad en $T_o S$.

2. Estimación:
   El estimador $\hat{f}$ se obtiene minimizando un riesgo empírico regularizado:
   $$R_n(f, \lambda) = \frac{1}{n} \sum_{i=1}^n d_S^2(\text{Exp}_o(f(X_i)), Y_i) + \lambda^2 \|f\|_{\mathcal{H}}^2$$
   A diferencia de la regresión de núcleo estándar, el término de pérdida $d_S^2$ no es convexo sobre todo el espacio de Hilbert debido a la periodicidad del mapa exponencial.

3. Algoritmo de Optimización:
   Dado que no existe una solución en forma cerrada, los autores desarrollan un algoritmo de optimización basado en BFGS combinado con una aproximación de bajo rango dual.

   • Teorema del Representante: Un nuevo teorema del representante (Teorema 4.1) demuestra que el minimizador reside en un subespacio de dimensión finita generado por las funciones de núcleo evaluadas en los puntos de datos y las respuestas transformadas mediante logaritmo.
   • Eficiencia: Para manejar la alta dimensionalidad, el algoritmo proyecta el problema sobre un subespacio de bajo rango derivado de los autovectores principales de la matriz de Gram del núcleo y la matriz de Gram de la respuesta. Esto reduce el espacio de parámetros de $O(n^2)$ a un tamaño manejable manteniendo la estabilidad numérica.

Resultados Teóricos Clave
El artículo establece garantías teóricas rigurosas bajo supuestos de regularidad específicos, principalmente una condición de soporte acotado (Supuesto 4.6): $d_S(o, Y) \leq \pi/4$ casi seguramente. Esto asegura que la media condicional resida dentro de una bola geodésica donde la función de distancia al cuadrado es localmente convexa.

1. Teorema del Representante (Teorema 4.1): Demuestra que el problema de optimización de dimensión infinita se reduce a uno de dimensión finita, incluso cuando la esfera y el espacio de funciones son de dimensión infinita.
2. Tasas de Convergencia:
   • Supuestos Mínimos: Para espacios de covariables polacos arbitrarios y esferas de dimensión infinita, el estimador logra una tasa de convergencia de $O_P(n^{-1/2})$ en la norma $L^2(P_X)$ (Teorema 4.8).
   • Tasas Dependientes de la Suavidad: Cuando el núcleo escalar $k$ tiene propiedades de decaimiento de autovalores específicas (rango finito, polinómico o exponencial estirado), los autores derivan tasas más rápidas (por ejemplo, $O_P(n^{-p/(p+1)})$ para decaimiento polinómico) (Teorema 4.13). Estas tasas igualan o mejoran los resultados conocidos para la regresión de núcleo de valores vectoriales de rango lineal y la regresión funcional.
3. Consistencia Fuerte: Bajo supuestos de compacidad y continuidad, se demuestra que el estimador es exteriormente consistente casi seguramente (Teorema 4.17).

Evaluación Empírica

1. Estudio de Simulación: Los autores simulan datos en una esfera de dimensión infinita ($L^2([0,1])$) con niveles de ruido variables.

   • Resultados: El método propuesto supera a la regresión en el espacio tangente, particularmente a medida que el tamaño de la muestra aumenta y la dispersión de los datos se amplía en la esfera. El método demuestra un rendimiento robusto incluso cuando se viola el supuesto de soporte acotado teórico (diámetro $4\pi/5$).
   • Tasas: Las tasas de convergencia observadas se alinean con las predicciones teóricas (por ejemplo, $O(\log(n)^2/n)$ para núcleos gaussianos).

2. Aplicación: Regresión de Densidad de Contaminación Urbana:

   • Datos: Coeficientes de absorción de luz de partículas de aerosol (AAC) de 14 estaciones de monitoreo en los Países Bajos. La respuesta es la raíz cuadrada de la densidad de las mediciones de AAC.
   • Comparación: El método se compara contra la regresión de Fréchet (espacio 2-Wasserstein), la regresión de Bayes Hilbert y un modelo de convolución lognormal-normal.
   • Desempeño: El método de regresión de núcleo esférico logra errores de predicción competitivos en la distancia esférica y la distancia del espacio de Bayes. Crucialmente, es órdenes de magnitud más rápido que los modelos de Bayes Hilbert y lognormal-normal, ofreciendo una eficiencia computacional y estabilidad superiores.

Significancia y Contribuciones
El artículo reclama varias contribuciones específicas a la literatura:

1. Puente entre Comunidades: Introduce métodos de regresión VVRKHS a la comunidad de análisis de datos funcionales para espacios de respuesta no lineales.
2. Novedad Teórica: Proporciona un nuevo teorema del representante que reduce la regresión esférica de dimensión infinita a una optimización de dimensión finita, un resultado no establecido previamente para este entorno no lineal específico.
3. Geometría Intrínseca: Al evitar el traslado al espacio tangente para la función de pérdida, el método evita el sesgo geométrico inherente a la linealización de espacios curvos, alineándose con la geometría intrínseca de la esfera.
4. Utilidad Práctica: Proporciona un algoritmo computacionalmente eficiente (vía BFGS y aproximación de bajo rango) y un paquete de R listo para usar (sphereg), haciendo que la regresión de núcleo esférica de dimensión infinita sea factible para aplicaciones del mundo real como la estimación de densidad.

Los autores se mantienen modestos respecto al supuesto de soporte acotado, señalando que, aunque restrictivo, es comparable a los supuestos en la literatura existente de regresión en espacios métricos. Sugieren que el supuesto puede relajarse mediante argumentos numéricos o un enfoque de "parches" (particionamiento del espacio de covariables) para trabajos futuros.