Resumen Técnico: Transporte Posterior de Onsager–Machlup para Procesos Gaussianos Profundos

1. Enunciado del Problema

Los Procesos Gaussianos Profundos (DGP) ofrecen un marco de aprendizaje profundo bayesiano con incertidumbre calibrada mediante la apilación de capas de procesos gaussianos (GP). Sin embargo, la inferencia sigue siendo un cuello de botella computacional central. La distribución posterior sobre las variables de inducción por capa $U = \{U^{(\ell)}\}_{\ell=1}^L$ es no gaussiana y altamente correlacionada entre capas, lo que hace que la inferencia exacta sea intratable.

Los métodos existentes de inferencia aproximada enfrentan una compensación:

• Ajuste de Densidad Explícito (basado en ELBO): Métodos como la Inferencia Variacional Doble-Estocástica (DSVI) imponen una factorización gaussiana, lo cual es restrictivo para posteriores multimodales o correlacionadas.
• Ecuaciones Diferenciales Estocásticas (SDE) basadas en Puntuación: Métodos como DDVI y DBVI definen la posterior como el terminal de una Ecuación Diferencial Estocástica (SDE) en tiempo inverso, entrenada mediante emparejamiento de puntuación de desruido (DSM) y un Límite Inferior de Evidencia (ELBO) en forma de Girsanov. Aunque son flexibles, requieren entrenar redes de puntuación auxiliares y sufren la varianza de la integración estocástica.
• Muestreo: El Monte Carlo Hamiltoniano con Gradiente Estocástico (SGHMC) es computacionalmente costoso y tiene dificultades para escalar a conjuntos de datos grandes.

El desafío central es realizar inferencia sobre las variables de inducción de DGP sin las suposiciones gaussianas restrictivas de DSVI, evitando al mismo tiempo las pérdidas auxiliares de alta varianza y los costos de integración estocástica de los métodos SDE basados en puntuación.

2. Metodología: FBVI-bridge-Path (OM-Path)

Los autores proponen el transporte posterior como una formulación alternativa. En lugar de ajustar una densidad $q_\phi(U)$ mediante la maximización de ELBO, aprenden un muestreador determinista $T_\phi$ que mapea una medida de referencia tratable hacia las variables de inducción relevantes para la posterior.

2.1 De SDE a EDO Determinista

El método se basa en la SDE de puente Doob utilizada en DBVI, que ancla el proceso de difusión a una distribución inicial dependiente de los datos mediante un amortizador $\mu_\theta(x)$.

• Proceso de Referencia: Los autores aplican la reducción de EDO de flujo de probabilidad de Song et al. (2021) a la SDE de puente de DBVI. Esto produce una deriva de referencia de forma cerrada $v_{ref}^{Bri}(U, s)$ derivada directamente de los coeficientes marginales del puente (media y varianza), eliminando la necesidad de emparejamiento de puntuación.
• Transporte Determinista: El objeto variacional es una EDO determinista $\dot{U}_\tau = v_\phi(U_\tau, 1-\tau, \text{ctx})$ que transporta muestras desde el margen del lado del ruido del puente hacia la posterior.

2.2 El Objetivo de Onsager–Machlup

Una insight teórica crítica es que la divergencia KL de Girsanov estándar utilizada en la VI basada en SDE diverge cuando el coeficiente de difusión $g \to 0$ (el límite determinista). El objetivo correcto para el límite determinista es la acción de Onsager–Machlup (OM), que corresponde al funcional de tasa de desviación grande de Freidlin–Wentzell.

El objetivo de entrenamiento $L_{OM}$ se define como:
$$L_{OM}(\phi) = -\mathbb{E}_{q_\phi}[\log p(y | F(L))] + \frac{\alpha}{2} \int_0^1 \mathbb{E} \left[ \| v_\phi(U_\tau, 1-\tau, \text{ctx}) - v_{ref}^{Bri}(U_\tau, 1-\tau) \|^2 \right] d\tau$$

• Término de Datos: Log-verosimilitud negativa del punto final.
• Prior de Trayectoria: Un regularizador libre de traza que mide la desviación del campo de velocidad aprendido respecto a la deriva de referencia de forma cerrada.
• Propiedades Clave:
  • Libre de traza: Sin estimación de traza de Hutchinson (a diferencia de FFJORD/CNF).
  • Libre de pérdida auxiliar: Sin emparejamiento de puntuación de desruido (a diferencia de DDVI/DBVI).
  • Libre de función de partición: Sin estimación de $\partial_t \log Z_t$ (a diferencia de NFS2).

2.3 Estado Teórico

El Teorema 1 establece que $L_{OM}$ se identifica con la trayectoria Maximum A Posteriori (MAP) de bajo ruido de una posterior de trayectoria de puente Doob templada mediante el Principio de Desviación Grande (LDP) de Freidlin–Wentzell cuando $\epsilon \to 0$.

• En el valor de entrenamiento finito ($\alpha=1, \epsilon=1$), el objetivo actúa como un regularizador en el espacio de trayectorias para una medida de referencia gaussiana inclinada por la verosimilitud del punto final.
• El método es un estimador MAP en el espacio de trayectorias, no un ELBO. Los autores notan explícitamente esta distinción, contrastándolo con métodos de límite inferior estricto.

2.4 Ablaciones de ELBO Estricto

El artículo deriva dos variantes estrictas de ELBO en el espacio de trayectorias sobre la misma columna vertebral de puente:

1. FBVI-bridge-CNF: Utiliza la fórmula de cambio de variables instantáneo de FFJORD (traza de Hutchinson) para el término KL.
2. FBVI-bridge-CNFOM: Añade el regularizador OM al objetivo CNF.
   Empíricamente, estas variantes de ELBO estricto tienen un rendimiento inferior al estimador MAP libre de traza debido a la alta varianza introducida por el estimador de traza de Hutchinson.

3. Contribuciones Clave

1. Transporte Posterior para DGPs: Introduce un marco de transporte posterior basado en EDO determinista para variables de inducción DGP, reemplazando la inferencia SDE basada en puntuación y ELBO. La deriva de referencia es de forma cerrada, eliminando la necesidad de emparejamiento de puntuación.
2. Identidad de Posterior de Trayectoria Finita-$\epsilon$: Proporciona una identificación rigurosa del objetivo de entrenamiento como el logaritmo negativo de la densidad no normalizada de una posterior de trayectoria templada ($\alpha$ finito) y la conecta con la trayectoria MAP de bajo ruido mediante el LDP de Freidlin–Wentzell (Teorema 1).
3. Análisis de Compensación Sesgo-Varianza: Demuestra que en el régimen de transporte posterior de DGP, reducir la varianza del objetivo de trayectoria (eliminando la traza de Hutchinson) domina sobre el beneficio de rastrear una densidad exacta. El estimador MAP libre de traza supera a los ELBO estrictos.
4. Validación Empírica: Muestra mejoras estadísticamente significativas sobre el estado del arte DBVI en conjuntos de datos de regresión UCI a gran escala ($N > 9,000$) y un rendimiento competitivo en clasificación binaria, manteniendo la estabilidad en conjuntos de datos pequeños.

4. Resultados Experimentales

El método (FBVI-bridge-Path o OM-Path) fue evaluado frente a DSVI, SGHMC, IPVI, DDVI y DBVI en siete conjuntos de datos de regresión UCI, regresión a gran escala (Airline, Year) y clasificación binaria (SUSY, HIGGS).

• Regresión Pequeña/Media (UCI):
  • Victorias Significativas: OM-Path logra victorias estadísticamente significativas (prueba de Wilcoxon pareada) sobre DBVI en los dos conjuntos de datos más grandes: Power ($p=0.014$) y Protein ($p=0.002$).
  • Empates: Empates estadísticos en Yacht y QSAR.
  • Derrotas: OM-Path cede ante DBVI en conjuntos de datos pequeños con ruido (Boston, Energy, Concrete), donde la regularización por ruido SDE de la parametrización de puntuación de DBVI proporciona un beneficio.
• Regresión a Gran Escala: En los conjuntos de datos Year (515k filas) y Airline, OM-Path logra el mejor rendimiento medio en RMSE y NLL, aunque no se reclama significancia estadística debido al limitado número de semillas.
• Clasificación Binaria: OM-Path logra un rendimiento empatado con el mejor de DBVI en SUSY y HIGGS, cerrando la brecha previamente observada con sustitutos de q implícito.
• Inferencia en Pocos Pasos: Debido a la naturaleza determinista de la EDO, OM-Path soporta inferencia agresiva en pocos pasos (1–4 pasos) con una degradación mínima de la precisión en conjuntos de datos como Energy y Concrete, superando a las líneas base estocásticas en este régimen.
• Optimización Bayesiana: OM-Path proporciona una cuantificación de incertidumbre superior en benchmarks sintéticos de dimensión baja a moderada (Hartmann-6, Levy-20), superando a DSVI.

5. Significado y Afirmaciones

El artículo afirma que FBVI-bridge-Path representa una alternativa rigurosa y libre de traza a la inferencia variacional basada en puntuación para DGPs. Su significado radica en:

• Rigor Teórico: Fundamentar el objetivo de entrenamiento en el LDP de Freidlin–Wentzell y la acción de Onsager–Machlup, proporcionando una justificación matemáticamente sólida para el transporte posterior determinista.
• Eficiencia Práctica: Eliminar la sobrecarga computacional del emparejamiento de puntuación y la estimación de la traza de Hutchinson, lo que conduce a un entrenamiento más rápido y gradientes más estables.
• Rendimiento: Demostrar que un estimador MAP en el espacio de trayectorias, que intercambia el límite estricto del ELBO por menor varianza, produce resultados empíricos superiores en conjuntos de datos grandes donde la varianza del gradiente es el factor limitante.

Los autores son modestos en sus afirmaciones, reconociendo que:

• El método no es un ELBO y no proporciona un límite inferior sobre la verosimilitud marginal.
• Existen variantes de ELBO estricto, pero son empíricamente inferiores en este régimen específico debido a la varianza.
• El rendimiento en conjuntos de datos pequeños y ruidosos está actualmente mejor servido por la regularización estocástica de los métodos basados en puntuación (DBVI).
• La identificación teórica con la trayectoria MAP es un resultado asintótico ($\epsilon \to 0$), mientras que el entrenamiento práctico ocurre en $\epsilon$ finito.