Resumen Técnico: Un Análisis del Colapso de la Posterior, la Parametrización y la Inicialización en Procesos Gaussianos Profundos Variacionales

1. Planteamiento del Problema

Los Procesos Gaussianos Profundos (DGP, por sus siglas en inglés) son modelos probabilísticos jerárquicos que concatenan Procesos Gaussianos (GP) a través de múltiples capas para capturar patrones de datos complejos y no lineales. Sin embargo, la inferencia bayesiana exacta en los DGP es intratable, lo que requiere el uso de la Inferencia Variacional (VI), específicamente el algoritmo de Inferencia Variacional Doblemente Estocástica (DSVI).

Un desafío crítico al entrenar DGP mediante DSVI es el colapso de la posterior, un fenómeno donde la posterior variacional colapsa hacia la distribución a priori. En el contexto de los DGP, esto implica que el modelo aprende a explicar los datos observados enteramente como ruido, fallando en capturar la señal subyacente.

El artículo identifica que la prevalencia del colapso de la posterior está fuertemente vinculada a dos elecciones de diseño comunes en el marco de DSVI:

1. El uso de una función de media a priori CERO en las capas internas, inicializada con medias variacionales establecidas en cero ($m=0$).
2. La inicialización de los parámetros variacionales, particularmente la covarianza variacional ($S$) y el parámetro de ruido ($\sigma^2$).

Si bien la comunidad ha adoptado ampliamente una función de media a priori lineal (PCA) en las capas internas para mitigar estos problemas, la creencia prevaleciente era que esta elección era necesaria para evitar "patologías no inyectivas" en DGP muy profundos (donde el mapeo de la entrada a la salida se vuelve no inyectivo). Este artículo desafía esa suposición, argumentando que el éxito de la media a priori PCA no se debe a una necesidad arquitectónica, sino a cómo condiciona el paisaje de optimización en la inicialización.

2. Metodología y Análisis

2.1 Análisis Teórico del Colapso de la Posterior

Los autores analizan la dinámica de entrenamiento de los DGP en la inicialización utilizando un problema de regresión de juguete y simulaciones de actualización de coordenadas. Demuestran que:

• Efecto del Conjunto de Datos Virtual: Cuando un DGP con una media a priori CERO se inicializa con $m=0$, la salida de las capas internas (que sirve como entrada para la siguiente capa) tiende a ser cercana a cero para todas las entradas de entrenamiento. Consecuentemente, la capa final ve efectivamente un "conjunto de datos virtual" de pares $\{(0, y_n)\}$. Dado que la entrada a la capa final es constante (cero) independientemente de la entrada original $x_n$, el modelo no puede aprender un mapeo entre $x$ e $y$.
• Patología de Optimización: Para maximizar el término de la Esperanza del Log-Verosimilitud (ELL) en el Límite Inferior de la Evidencia (ELBO) bajo estas condiciones, el optimizador es impulsado a aumentar la varianza del ruido $\sigma^2$ para explicar los objetivos $y_n$ como puro ruido. Simultáneamente, la Divergencia de Kullback-Leibler (KLD) se minimiza estableciendo los parámetros variacionales para que coincidan con la a priori ($m=0, S=K_{ZZ}$), lo que resulta en el colapso de la posterior.
• Rol de la Media a Priori PCA: Un DGP con una media a priori PCA (donde la media a priori es la función identidad o una proyección PCA) inicializa las salidas de la capa interna para que sean cercanas a la entrada $x_n$. Esto evita que el "conjunto de datos virtual" colapse hacia un vector cero constante, permitiendo que el término ELL proporcione gradientes significativos para actualizar los parámetros variacionales lejos de la a priori.

2.2 Análisis de la Parametrización

El artículo evalúa tres parametrizaciones comunes de los DGP:

1. Estándar No Blanqueada (Non-Whitened): Utilizada en librerías como GPYTORCH y GPJAX.
2. Blanqueada (Whitened): Una reparametrización donde los valores de los puntos de inducción se transforman para tener media cero y varianza unitaria ($p(v) = \mathcal{N}(0, I)$).
3. No Blanqueada con Media Reparametrizada: Utilizada en GPFLOW, donde la media variacional se define como la diferencia entre la media variacional y la media a priori ($m_r = m - \mu_Z$).

Hallazgos Clave sobre la Parametrización:

• Colapso de la Posterior: El colapso puede ocurrir en todas las parametrizaciones si la inicialización conduce a una señal de entrada cero en la capa final. La parametrización en sí misma no es la causa raíz.
• Estabilidad de la Optimización: La parametrización blanqueada proporciona consistentemente una convergencia más estable. Los autores atribuyen esto a la eliminación de las correlaciones inducidas por la a priori, lo que produce gradientes mejor condicionados y una Hessiana que depende menos de las ubicaciones de los puntos de inducción ($Z$).
• Media Reparametrizada: La reparametrización de GPFLOW no mejora intrínsecamente la estabilidad sobre la forma estándar no blanqueada, pero interactúa con la media a priori PCA para mitigar el colapso de manera más efectiva que la forma estándar.

2.3 Estrategia de Inicialización Propuesta

Para abordar la causa raíz (restricciones impulsadas por la optimización) sin forzar una función de media a priori específica (que debería estar dictada por los supuestos de modelado), los autores proponen un esquema de inicialización basado en principios para los DGP con media a priori CERO.

La idea central es inicializar los parámetros variacionales de un DGP con media a priori CERO de tal manera que su distribución predictiva en la inicialización imite la de un DGP con media a priori PCA.

• Mecanismo: Los autores derivan un sistema de ecuaciones lineales para resolver las medias variacionales iniciales ($m, m_v, m_r$) de modo que la media predictiva en los puntos de inducción coincida con la función identidad (o proyección PCA).
• Inicialización de la Capa de Salida: La estrategia se extiende a la capa de salida, inicializando la media variacional para predecir directamente los objetivos observados $y$ en los puntos de inducción, en lugar de comenzar en cero.
• Longitud de Escala del Kernel: Se propone un heurístico para seleccionar la longitud de escala del kernel ($\ell$) inicial minimizando el Error Cuadrático Medio (RMSE) del modelo inicializado en una partición de validación, asegurando que la distribución predictiva inicial sea representativa de los datos.

3. Contribuciones Clave

1. Reinterpretación de la Media a Priori PCA: El artículo demuestra que la efectividad de la función de media a priori lineal (PCA) en los DGP proviene de su capacidad para condicionar el paisaje de optimización en la inicialización, evitando que el modelo vea una señal de entrada cero degenerada, en lugar de evitar patologías no inyectivas en redes profundas.
2. Diagnóstico del Colapso de la Posterior: Los autores proporcionan un análisis riguroso que muestra cómo el colapso de la posterior en los DGP surge de la interacción entre la inicialización estándar de los parámetros variacionales ($m=0$) y la función de media de la capa interna, llevando a un óptimo local donde los datos se explican como ruido.
3. Análisis de la Parametrización: El estudio clarifica los distintos comportamientos de optimización de los DGP blanqueados, no blanqueados estándar y no blanqueados con media reparametrizada, ofreciendo la primera explicación detallada de por qué el blanqueo produce una convergencia más estable (gradientes mejor condicionados).
4. Nuevo Esquema de Inicialización: Se propone una estrategia de inicialización computacionalmente eficiente para los DGP con media a priori CERO. Esto permite el entrenamiento exitoso de los DGP bajo supuestos de media a priori CERO, eliminando la necesidad de restricciones arquitectónicas impulsadas por la optimización (es decir, forzar una media a priori lineal).

4. Resultados Experimentales

Los métodos propuestos fueron validados en un conjunto de datos sintético de juguete y en ocho entornos de referencia de regresión UCI del mundo real.

• Conjunto de Datos de Juguete: Las visualizaciones confirmaron que los DGP con media a priori CERO y la inicialización estándar sufren de colapso de la posterior, especialmente con menos puntos de inducción y arquitecturas más profundas. La inicialización propuesta previno con éxito el colapso y produjo distribuciones predictivas comparables a los modelos con media a priori PCA.
• Benchmarks UCI:
  • Los DGP con media a priori CERO e inicialización estándar colapsaron frecuentemente o tuvieron un desempeño deficiente.
  • La inicialización propuesta (ZERO-Points-MY) estabilizó consistentemente la optimización, evitó el colapso y alcanzó un rendimiento predictivo (RMSE) comparable, y en algunos casos mejor, que los DGP que utilizan la función de media a priori PCA.
  • La parametrización blanqueada demostró una estabilidad superior en todas las configuraciones.
  • Se demostró que aumentar el número de puntos de inducción alivia el colapso, pero la inicialización propuesta fue efectiva incluso con números moderados de puntos de inducción.

5. Significado y Reivindicaciones

El artículo sostiene que la elección de la función de media a priori en los DGP debe estar impulsada por supuestos de modelado y no por la conveniencia de la optimización. Al identificar que la "media a priori PCA" es esencialmente un heurístico para corregir una mala inicialización, los autores proponen una solución que desacopla la estructura estadística del modelo de su trayectoria de optimización.

La importancia radica en:

• Claridad Teórica: Corregir el malentendido de que las prior lineales son necesarias para evitar la no inyectividad en los GP profundos, atribuyendo su éxito en su lugar a la dinámica de inicialización.
• Utilidad Práctica: Proporcionar una estrategia de inicialización de aplicación directa que permite el uso de los DGP con media a priori CERO (que son teóricamente más simples y flexibles para ciertas tareas de modelado) sin sacrificar la estabilidad del entrenamiento o el rendimiento predictivo.
• Perspectiva de Optimización: Destacar el papel crítico de la parametrización blanqueada y la inicialización específica de las covarianzas variacionales ($S \ll K_{ZZ}$) para asegurar un descenso de gradiente estable, ofreciendo directrices para un entrenamiento robusto de DGP.

Los autores mantienen la modestia, señalando que su análisis se centra en el algoritmo DSVI y que, si bien la inicialización propuesta resuelve el problema del colapso para las prior de media CERO, el espacio del modelo estadístico permanece inalterado; la mejora es estrictamente en la capacidad de alcanzar una buena solución partiendo de un mejor punto de inicio.