Adaptive Resolution for Finite-Rank Gaussian Processes

Resumen Técnico: Resolución Adaptativa para Procesos Gaussianos de Rango Finito

Planteamiento del Problema
La regresión por procesos gaussianos (GP) es una herramienta estándar para el aprendizaje bayesiano no paramétrico, sin embargo, su implementación exacta requiere una memoria de $O(n^2)$ y una complejidad computacional de $O(n^3)$, lo que la hace inviable para tamaños de muestra moderadamente grandes $n$. Aunque se han desarrollado aproximaciones escalables (métodos dispersos, de bajo rango y distribuidos), existe una comprensión teórica limitada sobre cuándo estas aproximaciones conservan las garantías estadísticas (específicamente las tasas de contracción de la posterior) de sus correspondientes procesos GP "padre". Existe una brecha crítica en las aproximaciones de rango finito: el parámetro de resolución $N$, que determina la dimensión de la expansión, suele ser fijo. Si $N$ es demasiado pequeño, el soporte de la previa puede no contener la función verdadera; si es demasiado grande, los costos computacionales se vuelven prohibitivos. El artículo aborda cómo construir priors de GP de rango finito que aprendan adaptativamente la resolución $N$ preservando las tasas de contracción de la posterior óptimas de los procesos GP padre.

Metodología
Los autores proponen una clase general de priors de GP de rango finito, denominada d-frGPloc, definida por una expansión de base con funciones de base de soporte local y coeficientes gaussianos dependientes:
$$f_N(x) = \sum_{j \in J_N} w_j \psi_j(x),$$
donde el vector de coeficientes $w_N$ sigue una previa gaussiana dependiente $w_N | N, \theta \sim N(0, \Sigma_{N,\theta})$. La matriz de covarianza $\Sigma_{N,\theta}$ es inducida por un GP padre $f \sim \text{GP}(0, K_\theta)$.

El artículo estudia dos construcciones específicas dentro de este marco:

1. Aproximación de Elementos Finitos basada en SPDE: Basada en la representación de ecuaciones diferenciales parciales estocásticas (SPDE) de los GP de Matérn (Lindgren et al., 2011). Los coeficientes se derivan de una discretización de elementos finitos de la SPDE, lo que resulta en una estructura de matriz de precisión dispersa. El parámetro de ancho de banda $\kappa$ se trata como una secuencia determinista $\kappa_n$ dependiente del tamaño de la muestra y la suavidad, heredada de la teoría de Matérn del proceso padre.
2. Interpolación de GP basada en Redes (GPI): Un enfoque de interpolación en rejilla regular donde los coeficientes en una red se asignan a una previa gaussiana inducida de un GP de exponente cuadrático (SE) padre. Aquí, tanto el ancho de banda $\kappa$ como la resolución $N$ reciben priors jerárquicos.

Contribuciones Clave
La principal contribución teórica es el establecimiento de resultados de resolución adaptativa. Los autores demuestran que, al colocar una previa adecuada sobre el parámetro de resolución $N$, las aproximaciones de rango finito pueden heredar las tasas de contracción de la posterior de sus procesos GP padre.

• Resultados Teóricos:

  • Construcción SPDE (Teorema 3.3): Bajo la escala de ancho de banda $\kappa_n$ derivada de la teoría de Matérn del proceso padre (Fang y Bhadra, 2025), colocar una previa sobre $N$ que satisfaga una condición de cola izquierda suave (por ejemplo, polinómica o log-normal) asegura que la previa SPDE de rango finito alcance la tasa de contracción de la posterior minimax $n^{-\alpha/(2\alpha+d)}$ (salvo factores logarítmicos) para funciones verdaderas con suavidad $\alpha$. La prueba se basa en una comparación espectral entre el operador de Neumann continuo y su discretización de elementos finitos con agrupación de masa (mass-lumped), mostrando que las normas RKHS y las probabilidades de bola pequeña coinciden hasta con constantes para un $N$ suficientemente grande.
  • Construcción GPI (Teorema 3.4): Para el GP padre de exponente cuadrático, colocar priors jerárquicos tanto en $\kappa$ como en $N$ produce la tasa de contracción de la posterior minimax hasta con factores logarítmicos. La prueba combina la concentración de la previa óptima del GP SE padre con los límites de error de interpolación, mostrando que el error de aproximación es insignificante cuando $N$ es suficientemente grande en relación con $\kappa$.

• Estrategia Computacional:
  Para abordar el desafío computacional de la variación de la dimensión $N$, los autores desarrollan un muestreador de la posterior que evita las actualizaciones de salto reversible (reversible-jump). El algoritmo integra la variable del vector de coeficientes $w_N$ para muestrear $(N, \kappa)$ de la posterior marginal, y luego muestrea $w_N$ condicionalmente de su posterior gaussiana.

  • Para el método GPI, esto aprovecha las estructuras de Toeplitz o bloque-Toeplitz.
  • Para el método SPDE, la dispersión de la matriz de precisión permite una factorización de Cholesky dispersa eficiente.
    El costo computacional por iteración escala linealmente con el tamaño de la muestra $n$ (debido al soporte local) y cúbicamente con la dimensión de los coeficientes $|J_N|$ (o linealmente para SPDE en 1D debido a su estructura de banda), lo que hace que este enfoque sea escalable para $n$ grandes.

Resultados
Estudios numéricos en una y dos dimensiones validan los hallazgos teóricos:

• Seguimiento del Desempeño: En 1D, los procedimientos de rango finito adaptativos (tanto SPDE como GPI) siguen de cerca el desempeño predictivo (medido como el Error Cuadrático Medio Promedio) de sus líneas base de GP exacto correspondientes a través de diferentes regímenes de suavidad.
• Adaptabilidad: En 2D, donde la computación del GP exacto es inviable, los procedimientos adaptativos superan a las líneas base de $N$ fijo. Las resoluciones fijas muestran una alta sensibilidad al tamaño de la rejilla elegido (subajuste si es muy pequeño, sobreajuste/costo computacional elevado si es muy grande), mientras que el método adaptativo ajusta automáticamente la complejidad efectiva del modelo según los datos sin necesidad de ajuste manual.
• Comportamiento de la Posterior: Las distribuciones de la posterior de $N$ y $\kappa$ se adaptan correctamente: $N$ aumenta para funciones verdaderas más rugosas y disminuye para las más suaves, mientras que $\kappa$ se desplaza según la escala de los datos.
• Escalabilidad: Los métodos de rango finito adaptativos siguen siendo computacionalmente eficientes a medida que $n$ aumenta, evitando el cuello de botella de $O(n^3)$ de la inferencia de GP exacta, manteniendo una precisión comparable.

Significancia y Reivindicaciones
El artículo sostiene que las aproximaciones de rango finito no necesitan sacrificar la optimalidad estadística por la tractabilidad computacional si la resolución se trata de forma adaptativa.

• Unificación de Perspectivas: El resultado de la SPDE conecta la perspectiva de la aproximación numérica (Sanz-Alonso y Yang, 2022) con la teoría de contracción estadística (Fang y Bhadra, 2025), demostando que las discretizaciones de elementos finitos pueden preservar las tasas de contracción del GP padre bajo las previas apropiadas sobre la resolución.
• Jerarquía Adaptativa: El trabajo demuestra que la dimensión de la aproximación de rango finito $|J_N| = (N+1)^d$ puede aprenderse de los datos en lugar de ser fija, preservando la tasa de contracción del GP padre mientras se retienen las ventajas computacionales de las bases de soporte local.
• Modestia: Los autores señalan que, aunque la jerarquía de resolución adaptativa es teóricamente atractiva, introduce desafíos computacionales que se abordan mediante estrategias de integración específicas. Reconocen que extender estos resultados a dimensiones muy altas ($d \ge 5$) sigue siendo un desafío debido al costo de $O(N^{3d})$, sugiriendo modelos aditivos estructurados como una posible dirección futura, y observan que la adaptación completa sobre los parámetros de suavidad para la construcción de SPDE sigue siendo un problema abierto.