Resumen Técnico: Entrenamiento de Guía Supervisada para Modelos de Difusión de Dimensión Infinita

Enunciado del Problema

Los problemas inversos, particularmente aquellos que surgen de ecuaciones diferenciales parciales (EDP), a menudo requieren inferir parámetros desconocidos que existen en espacios de funciones de dimensión infinita. En el marco bayesiano, el objetivo es muestrear de una distribución posterior sobre estas funciones, condicionada a observaciones ruidosas. Aunque los modelos de difusión basados en puntuación (SDM) se han extendido recientemente a espacios de funciones de dimensión infinita para servir como priores expresivos, la teoría para condicionar estos modelos a fin de muestrear de la posterior sigue siendo un problema abierto.

Las técnicas de condicionamiento de dimensión finita existentes, como la transformación $h$ de Doob, dependen de descomposiciones de densidad y operadores de transición que no se traducen directamente a dimensiones infinitas. Los desafíos incluyen la inexistencia de densidades de Lebesgue, la posible singularidad de las medidas (teorema de Feldman-Hájek) al desplazar medidas gaussianas fuera de su espacio de Cameron-Martin, y la dificultad de garantizar la diferenciabilidad de los operadores de transición en espacios de Hilbert. Además, discretizar los datos inmediatamente para aplicar métodos de dimensión finita introduce errores dependientes de la resolución y limita la flexibilidad del marco.

Metodología

Fundamento Teórico: Transformación $h$ de Dimensión Infinita

Los autores proponen un marco principiado para condicionar modelos de difusión de dimensión infinita utilizando una extensión de la transformación $h$ de Doob. Establecen la existencia de un proceso de difusión condicional bajo dos configuraciones:

1. Configuración 1: La distribución a priori está soportada dentro de una bola del espacio de Cameron-Martin del proceso de Wiener utilizado en la EDE de difusión.
2. Configuración 2: La priori es absolutamente continua con respecto a una medida gaussiana, con cotas específicas en la función potencial y su gradiente.

Bajo estas configuraciones, los autores demuestran que el proceso condicional invertido en el tiempo satisface una ecuación diferencial estocástica (EDE) donde la deriva se modifica mediante un término de guía. Específicamente, demuestran que la función de puntuación condicional, $s_y(t, x)$, se descompone en la puntuación incondicional, $s(t, x)$, y un término de guía, $C\nabla \log h_y(t, x)$:
$$s_y(t, x) = s(t, x) + C\nabla \log h_y(t, x)$$
Aquí, $h_y$ es la transformación $h$ de dimensión infinita definida a través de la esperanza condicional del potencial de verosimilitud.

Entrenamiento de Guía Supervisada (SGT)

Dado que el término de guía $C\nabla \log h_y$ es intratable debido a su dependencia de la ley de transición completa del proceso de dimensión infinita, los autores introducen el Entrenamiento de Guía Supervisada (SGT). Este es un objetivo de entrenamiento libre de simulación diseñado para aprender el término de guía directamente.

• Objetivo: El método minimiza una pérdida de coincidencia de puntuación de eliminación de ruido. En lugar de depender de un control óptimo estocástico basado en simulación (que sufre de alta varianza y requiere muestrear trayectorias), el SGT aprovecha la puntuación incondicional conocida $s(t, x)$ y la distribución conjunta de datos y observaciones $(X_0, Y)$.
• Función de Pérdida: La pérdida se formula para minimizar la diferencia entre el término de guía aprendido $u(t, x, y)$ y el término de guía verdadero. El objetivo es:
  $$\mathbb{E} \left[ \left\| \frac{X_t - e^{-t/2}X_0}{1 - e^{-t}} + s(t, X_t) + u(t, X_t, Y) \right\|^2_K \right]$$
  donde $K$ es un espacio de Hilbert elegido (por ejemplo, el espacio de Cameron-Martin).
• Parametrización: El término de guía se parametriza utilizando una red neuronal. Los autores exploran la precondicionamiento de la salida de la red con el operador de covarianza $C$ en diferentes grados ($k \in \{0, 1/2, 1\}$) para imponer regularidad y alinearse con la estructura de ruido de la EDE.

Aproximaciones y Comparaciones

El artículo también analiza enfoques heurísticos existentes:

• Control Óptimo Estocástico (SOC): Aunque teóricamente sólido, el SOC requiere un entrenamiento basado en simulación que es computacionalmente costoso e inestable en las etapas tempranas del entrenamiento.
• Aproximación de Tweedie (FunDPS): Los autores extienden la aproximación FunDPS (que utiliza la fórmula de Tweedie para estimar los datos limpios) a la Configuración 2 (continuidad absoluta), relajando las suposiciones restrictivas de trabajos anteriores. Sin embargo, señalan que este enfoque aún incurre en sobrecarga computacional debido a la necesidad de realizar retropropagación a través del modelo de puntuación en cada paso de discretización.

Contribuciones Clave

1. Extensión Teórica: El artículo proporciona la primera prueba rigurosa de que los modelos de difusión de dimensión infinita pueden condicionarse mediante la transformación $h$ de Doob bajo configuraciones generales (soporte de Cameron-Martin o continuidad absoluta), estableciendo la descomposición de la puntuación condicional en una puntuación incondicional y un término de guía.
2. Entrenamiento de Guía Supervisada (SGT): Los autores proponen un algoritmo de entrenamiento novedoso y libre de simulación para aprender el término de guía intratable. Este enfoque evita la alta varianza de los métodos basados en simulación y el costo computacional de diferenciar a través del modelo de puntuación en cada paso (como lo requieren las aproximaciones basadas en Tweedie).
3. Invarianza de Resolución: Al tratar el problema en dimensiones infinitas y discretizar solo en el paso final, el marco ofrece un enfoque invariante de resolución para el condicionamiento, evitando la degradación del rendimiento que a menudo se observa al aplicar arquitecturas de dimensión finita a resoluciones más altas.
4. Generalización de FunDPS: El trabajo demuestra que las aproximaciones basadas en Tweedie (FunDPS) se mantienen bajo la Configuración 2 (continuidad absoluta) menos restrictiva, ampliando su aplicabilidad.

Resultados Experimentales

Los autores evalúan el SGT en tres problemas inversos bayesianos en espacios de funciones:

1. Observaciones Escasas: Recuperar una función 1D a partir de observaciones puntuales ruidosas.
2. Ecuación de Calor: Recuperar la distribución inicial de temperatura de una ecuación de calor a partir de observaciones ruidosas en un momento posterior.
3. Relleno de Formas: Reconstruir formas (dígito "3" de MNIST) a partir de coeficientes de Fourier parciales (descriptores de Fourier elípticos).

Hallazgos:

• Rendimiento: El SGT supera consistentemente a la línea base heurística FunDPS en términos de Error Cuadrático Medio (RMSE) y Puntuación de Energía (ES).
• Comparación con Difusión Condicional: El SGT logra una precisión comparable a la de un modelo de "difusión condicional" entrenado desde cero (que sirve como límite superior), a pesar de que el modelo condicional es significativamente más grande y se entrena durante más pasos.
• Robustez: En experimentos con modelos base incondicionales imperfectos (inicializados aleatoriamente o parcialmente entrenados), el SGT demuestra una robustez superior, recuperando muestras realistas donde FunDPS falla completamente.
• Eficiencia: El SGT requiere menos parámetros y pasos de entrenamiento que entrenar un modelo condicional completo desde cero, ya que solo entrena la red de guía mientras reutiliza un modelo incondicional preentrenado.

Significado y Afirmaciones

El artículo afirma ofrecer el primer método en espacio de funciones para ajustar finamente modelos de difusión entrenados para muestrear con precisión de una distribución posterior. El significado radica en cerrar la brecha entre los requisitos teóricos de la inferencia bayesiana de dimensión infinita y la implementación práctica de los modelos de difusión.

Los autores enfatizan que su marco permite:

• Invarianza de Resolución: La capacidad de generar muestras en resoluciones diferentes a los datos de entrenamiento sin degradación del rendimiento.
• Estabilidad: Un régimen de entrenamiento que es estable incluso cuando el modelo incondicional subyacente es imperfecto.
• Flexibilidad: Opciones alternativas para la discretización, el entrenamiento y las funciones de pérdida que no están restringidas por suposiciones de densidad de dimensión finita.

El trabajo concluye que aprender explícitamente el término de guía de dimensión infinita produce una precisión superior en comparación con las aproximaciones heurísticas, proporcionando un camino principiado hacia adelante para aplicar modelos de difusión a problemas inversos complejos en ciencia e ingeniería.