Warm-Starting Iterative Gaussian Processes for Faster Sequential Inference

Resumen Técnico: Inicio en Caliente de Procesos Gaussianos Iterativos para una Inferencia Secuencial más Rápida

Declaración del Problema
Los Procesos Gaussianos (GP) son modelos no paramétricos potentes para la regresión, clasificación y optimización bayesiana, pero su escalabilidad se ve limitada por el costo de $O(n^3)$ de invertir la matriz de covarianza para calcular la posterior. Si bien los solvers iterativos (por ejemplo, Gradiente Conjugado, Descenso de Gradiente Estocástico, Proyecciones Alternas) ofrecen una forma de evitar los costos cúbicos mediante la aproximación de la solución, estos suelen requerir muchas iteraciones para converger. En entornos secuenciales —como el aprendizaje activo, la predicción en línea y la optimización bayesiana— donde los datos llegan de forma incremental y la posterior debe actualizarse frecuentemente, el enfoque estándar de "inicio en frío" (inicializar todos los pesos en cero y descartar la computación previa) se convierte en un cuello de botella. Esta ineficiencia limita la eficacia de los GP iterativos en entornos dinámicos.

Metodología
El artículo propone tres estrategias de "inicio en caliente" (warm-start) para inicializar solvers lineales iterativos al actualizar la posterior de un GP con nuevos puntos de datos. En lugar de resolver el sistema lineal extendido desde cero, estos métodos aprovechan la solución ($u_1$) del sistema lineal anterior, más pequeño, para inicializar los pesos ($v$) del nuevo sistema, más grande.

El problema se plantea como la resolución de un sistema lineal extendido $Hv = b$, donde la matriz $H$ y el vector $b$ están particionados para incluir los datos existentes (bloque 1) y los nuevos datos (bloque 2). Los tres métodos de inicialización propuestos son:

1. Inicio en Caliente Naive: Los pesos correspondientes a los datos originales ($v_1$) se inicializan con la solución previa ($u_1$), mientras que los pesos para los nuevos datos ($v_2$) se inicializan en cero.
   $$v \leftarrow \begin{bmatrix} u_1 \\ 0 \end{bmatrix}$$
2. Búsqueda de Línea de Residuo: Este método mejora el enfoque naive realizando una búsqueda de línea para determinar el escalar óptimo $\alpha$ para los nuevos pesos ($v_2$) en la dirección del residuo. Esto minimiza el objetivo cuadrático dado el $v_1$ fijo.
   $$v_2 = \alpha^* r, \quad \text{donde } r = b_2 - H_{12}^\top u_1 \text{ y } \alpha^* = \frac{r^\top r}{r^\top H_{22} r}$$
3. Resolución del Sistema Marginal: El método más complejo, que resuelve un sistema lineal marginal más pequeño ($H_{22}v_2 = r$) para encontrar el $v_2$ óptimo que minimiza el objetivo dado el $v_1 = u_1$.
   $$v_2 = H_{22}^{-1} r$$

Análisis Teórico
Los autores proporcionan soporte teórico utilizando la distancia del Espacio de Hilbert de Núcleo Reproductor (RKHS), definida como $d^2 = (v - v^*)^\top H (v - v^*)$, donde $v^*$ es la solución exacta. Demuestran que:

• El inicio en caliente naive reduce estrictamente la distancia RKHS en comparación con un inicio en frío ($d^2_{cold} - d^2_{naïve} \geq 0$).
• Tanto la búsqueda de línea de residuo como la resolución del sistema marginal reducen aún más esta distancia ($d^2_{naïve} > d^2_{line-search} > d^2_{marginal-solve}$).
• Reducir la distancia RKHS es equivalente a reducir el residuo inicial del sistema lineal, lo cual se correlaciona directamente con un menor número de iteraciones requeridas para la convergencia.

Contribuciones Clave y Resultados
El artículo introduce estas tres estrategias de inicialización y las valida mediante análisis teórico y experimentos empíricos en tareas de regresión y optimización bayesiana.

• Experimentos de Regresión: Utilizando conjuntos de datos del repositorio UCI (por ejemplo, 3droad, protein, buzz), los autores compararon el número de iteraciones requeridas para la convergencia frente a una línea base de inicio en frío.

  • Aceleraciones: Al resolver para una tolerancia específica, el inicio en caliente logró aceleraciones de hasta 1.4× para Gradiente Conjugado (CG), 1.5× para Descenso de Gradiente Estocástico (SGD) y 4.0× para Proyecciones Alternas (AP).
  • Casos Extremos: Para AP, las aceleraciones alcanzaron hasta 19× en ciertos conjuntos de datos, particularmente cuando la relación entre los nuevos datos y los datos existentes es pequeña.
  • Precisión: Bajo presupuestos de cómputo fijos (iteraciones limitadas), el inicio en caliente produjo estimaciones de la posterior más precisas, reduciendo la norma del residuo final.

• Optimización Bayesiana (Muestreo de Thompson en Paralelo): En un experimento de muestreo de Thompson en paralelo con un presupuesto de cómputo fijo, los métodos fueron evaluados por su capacidad para maximizar una función objetivo.

  • Ganancias de Rendimiento: Los métodos de inicio en caliente mejoraron el valor máximo final encontrado en la función objetivo hasta en un 13% para CG, 46% para SGD y 10% para AP en comparación con el inicio en frío.
  • Progreso Acumulado: Los resultados indicaron que el progreso del solver se acumula a lo largo de múltiples resoluciones secuenciales cuando se usa el inicio en caliente, en lugar de reiniciarse, lo que conduce a muestras de la posterior más precisas y un mejor rendimiento de optimización.

Significancia
El artículo establece el inicio en caliente como una herramienta simple, efectiva y ampliamente aplicable para escalar los procesos gaussianos en entornos secuenciales. Al explotar soluciones de sistemas lineales más pequeños, estos métodos aceleran sustancialmente la convergencia sin requerir aproximaciones dispersas que sacrifiquen la precisión. Los autores afirman que este enfoque aborda directamente el cuello de botella de la escalabilidad en tareas de toma de decisiones secuenciales, permitiendo actualizaciones de la posterior más frecuentes y precisas dentro de las mismas restricciones computacionales. Los métodos se presentan como mejoras prácticas que pueden integrarse con los solvers iterativos existentes (CG, SGD, AP) para mejorar la eficiencia de las aplicaciones basadas en GP.