Fast and Provably Accurate Sequential Designs using Hilbert Space Gaussian Processes

Resumen Técnico: Diseños Secuenciales Rápidos y Probablemente Precisos usando Procesos Gaussianos en Espacio de Hilbert

1. El Problema

El diseño secuencial con Procesos Gaussianos (GP) es un enfoque estándar para aprender superficies de respuesta costosas bajo presupuestos limitados de evaluación. El objetivo es seleccionar iterativamente nuevos puntos de entrada que equilibren la exploración y la explotación.

Una función de adquisición efectiva para este propósito es el Error Cuadrático Medio Integrado (IMSE), que busca minimizar el error global de predicción en todo el dominio. Sin embargo, la implementación práctica del IMSE enfrenta un cuello de botella computacional crítico:

• La función de adquisición IMSE requiere calcular integrales sobre el dominio $\Omega$ que dependen de la ubicación candidata $x$.
• Para la mayoría de las funciones de núcleo (kernels), estas integrales no tienen expresiones en forma cerrada.
• Los métodos existentes (como los implementados en el paquete hetGP) dependen de derivaciones analíticas específicas para combinaciones limitadas de núcleos (principalmente Gaussiano, Matérn-3/2 y Matérn-5/2) y medidas uniformes.
• Para otros núcleos o medidas, se requiere integración numérica densa (cuadratura o Monte Carlo) dentro de un bucle de optimización, lo cual es prohibitivamente costoso computacionalmente a medida que aumenta el número de muestras.

2. Metodología Propuesta

Los autores proponen una aproximación basada en Procesos Gaussianos en Espacio de Hilbert (HSGP) para aproximar la función de adquisición IMSE de manera eficiente y precisa.

• Aproximación HSGP: Se utiliza una expansión truncada de la base de eigenfunciones del operador Laplaciano en un dominio acotado. El núcleo $k(x, x')$ se aproxima mediante una suma finita de productos de eigenfunciones (senos) ponderados por la densidad espectral del núcleo.
  $$\hat{k}_m(x, x') = \sum_{j \in [m]^d} S\left(\frac{\pi j}{2L}\right) \phi_j(x) \phi_j(x')$$
  Donde $m$ es el número de funciones base y $L$ define el dominio de expansión.
• Cierre Analítico de la Integral: Al reemplazar el núcleo original en la fórmula del IMSE con la aproximación HSGP (que depende de funciones trigonométricas), la integral requerida para la función de adquisición adquiere una forma cerrada. Esto elimina la necesidad de integración numérica en cada iteración.
• Estrategia de Estabilización ($\gamma$-estabilización): Para evitar inestabilidades numéricas cuando un candidato se acerca demasiado a un punto de diseño existente (lo que haría que el denominador de la función IMSE tienda a cero), se impone una restricción de separación. Se selecciona el siguiente punto $x_{N+1}$ maximizando el IMSE aproximado en un subconjunto $\Omega_\gamma$ que garantiza una distancia mínima respecto a los puntos actuales. Esto asegura la cuasi-uniformidad del diseño secuencial.
• Complejidad Computacional:
  • El método tradicional de IMSPE (Binois et al., 2019) tiene un costo de $O(N^2)$ por iteración debido a la precomputación de integrales de núcleo.
  • El método HSGP-IMSE reduce este costo a $o(N^2)$ (específicamente $O(NM)$ donde $M \ll N$), aprovechando la estructura de Kronecker de las matrices de Gram para multiplicaciones eficientes.

3. Contribuciones Clave

1. Método Generalizado: Se desarrolla una función de adquisición $\widehat{\text{IMSE}}_m(t)$ que es aplicable a cualquier familia de núcleos con densidad espectral en forma cerrada (incluyendo Gaussiano, Matérn más allá de los casos semienteros, y núcleos de Wendland generalizados), superando la limitación de los métodos actuales restringidos a unos pocos núcleos.
2. Garantías Teóricas (Límites de Error):
   • Se establecen límites de error no asintóticos y agudos para la aproximación del núcleo, demostrando una tasa de convergencia exponencial para núcleos Gaussianos y polinomial para núcleos Matérn.
   • Se derivan límites de error explícitos para la función de adquisición IMSE resultante, separando el error de aliasing (relacionado con el tamaño del dominio $L$) y el error de truncamiento (relacionado con el número de bases $m$).
   • Se demuestra que bajo la estrategia $\gamma$-estabilizadora, el diseño resultante es cuasi-uniforme, lo cual es crucial para la convergencia teórica.
3. Eficiencia Computacional: La metodología permite evaluar la función de adquisición de forma cerrada, eliminando la integración numérica repetitiva y reduciendo significativamente el tiempo de ejecución en diseños secuenciales.

4. Resultados Experimentales

Los autores evaluaron el método mediante experimentos numéricos en dimensiones 1D y 2D, comparando HSGP-IMSE contra:

• El método IMSPE exacto (implementado en hetGP) para núcleos compatibles.
• Muestreo por Hipercubo Latino (LHS) como línea base para núcleos no compatibles.

Hallazgos principales:

• Precisión de la Aproximación: Las curvas de la función de adquisición aproximada $\widehat{\text{IMSE}}_m(t)$ coinciden casi perfectamente con la referencia numérica integrada, tanto en 1D como en 2D, preservando la geometría de las regiones de alta adquisición.
• Rendimiento Predictivo: En simulaciones secuenciales, HSGP-IMSE logra un Error Cuadrático Medio (RMSE) más bajo y una mayor reducción de la varianza posterior global en comparación con las líneas base. En muchos casos, supera o iguala el rendimiento del IMSPE exacto.
• Tiempo de Ejecución: El método HSGP-IMSE logra un tiempo de cómputo comparable o superior al IMSPE exacto, manteniéndose eficiente incluso cuando se utilizan núcleos que el paquete hetGP no soporta nativamente.
• Generalidad: El método demostró ser efectivo con núcleos de Wendland generalizados y núcleos Matérn de orden 2, casos donde los métodos existentes fallan o requieren derivaciones analíticas específicas.

5. Significado e Impacto

Este trabajo resuelve un problema fundamental en el diseño de experimentos computacionales: la intractabilidad de las integrales de núcleo en funciones de adquisición globales como el IMSE.

• Ampliación del Alcance: Permite el uso de IMSE con una gama mucho más amplia de kernels, facilitando el modelado de fenómenos con diferentes niveles de suavidad o estructuras espaciales complejas.
• Eficiencia y Escalabilidad: Al proporcionar una forma cerrada y computacionalmente eficiente, hace viable el diseño secuencial global para problemas de mayor dimensión y complejidad donde la integración numérica era un obstáculo.
• Fundamento Teórico Sólido: Proporciona las primeras garantías de error no asintóticas explícitas para la aproximación HSGP aplicada a funciones de adquisición, ofreciendo una guía práctica para la selección de parámetros ($L$ y $m$) en función del número de muestras $N$.

En conclusión, el marco HSGP-IMSE ofrece un enfoque preciso, teóricamente fundamentado y computacionalmente eficiente para el diseño secuencial basado en Procesos Gaussianos, superando las limitaciones de las implementaciones actuales y abriendo nuevas posibilidades para la emulación global de superficies costosas.