Resumen Técnico: Descomposición Determinista de la Dinámica Generativa Estocástica

Enunciado del Problema

El modelado generativo moderno se visualiza cada vez más a través de la lente del transporte de probabilidad, donde las muestras evolucionan desde una distribución base simple $\pi_0$ hacia una distribución de datos objetivo $\pi_1$. Existe una distinción fundamental entre los modelos deterministas (por ejemplo, Flujos Normalizadores, Coincidencia de Flujos), que evolucionan las muestras mediante Ecuaciones Diferenciales Ordinarias (ODE) gobernadas por un campo de velocidad, y los modelos estocásticos (por ejemplo, Modelos de Difusión), que evolucionan las muestras mediante Ecuaciones Diferenciales Estocásticas (SDE) que involucran tanto deriva como difusión.

Si bien los modelos deterministas ofrecen campos de velocidad tratables, los modelos estocásticos capturan una evolución de densidad más rica. Sin embargo, cuando las dinámicas estocásticas se reformulan en representaciones deterministas (como las ODE de flujo de probabilidad), los mecanismos distintos de deriva (transporte direccional) y difusión (reconfiguración de la densidad) a menudo se comprimen en un único campo de velocidad efectivo. Este colapso oscurece los roles específicos de la evolución determinista frente a la fluctuación estocástica, dificultando el análisis, el control o la recombinación independiente de estos efectos durante la muestreo. Los enfoques existentes suelen tratar la estocasticidad como una fuente de ruido externa o la absorben completamente en una deriva unificada, sin proporcionar una representación determinista estructurada que separe el transporte de los efectos inducidos por la difusión.

Metodología: Descomposición de Transporte-Osmosis

Los autores proponen un marco teórico que descompone el campo de velocidad determinista de un proceso generativo estocástico en dos componentes distintos y complementarios: un Campo de Transporte ($u_t$) y un Campo Osmótico ($d_t$).

1. Derivación Teórica

La descomposición surge de la estructura bidireccional intrínseca de los procesos estocásticos. Para una trayectoria de densidad marginal dada $\{\pi_t\}_{t \in [0,1]}$, la deriva hacia adelante $b^\to_t$ y la deriva hacia atrás $b^\leftarrow_t$ están acopladas a través de la puntuación marginal $\nabla \log \pi_t$. Bajo condiciones de regularidad canónicas, la relación es:
$$b^\to_t(x) - b^\leftarrow_t(x) = \beta \nabla \log \pi_t(x)$$
donde $\beta$ es el coeficiente de difusión.

Los autores definen la descomposición como:

• Campo de Transporte ($u_t$): El componente simétrico, definido como el promedio de las derivas hacia adelante y hacia atrás:
  $$u_t(x) = \frac{1}{2} (b^\to_t(x) + b^\leftarrow_t(x))$$
  Este campo gobierna el transporte de probabilidad marginal mediante la ecuación de continuidad ($\partial_t \pi_t + \nabla \cdot (\pi_t u_t) = 0$). Representa la columna vertebral determinista de la dinámica, moviendo la masa de probabilidad sin alterar la geometría de la densidad local a través de la difusión.
• Campo Osmótico ($d_t$): El componente antisimétrico, definido como la mitad de la diferencia entre las derivas hacia adelante y hacia atrás:
  $$d_t(x) = \frac{1}{2} (b^\to_t(x) - b^\leftarrow_t(x)) = \frac{\beta}{2} \nabla \log \pi_t(x)$$
  Este campo está determinado enteramente por la puntuación marginal. Captura efectos dependientes de la densidad inducidos por la difusión (análogo a la velocidad osmótica en la teoría clásica de la difusión). No representa aleatoriedad a nivel de muestra, sino cómo la difusión reconfigura la densidad marginal.

La deriva hacia adelante original se reconstruye como $b^\to_t = u_t + d_t$.

2. Marco de Coincidencia de Puentes (BM)

Para aprender estos campos descompuestos, los autores proponen la Coincidencia de Puentes, un marco de entrenamiento basado en flujos. En lugar de aprender una única velocidad efectiva, BM aprende dos redes neuronales separadas: $u_\theta$ (transporte) y $d_\phi$ (osmótico).

El objetivo de entrenamiento es una pérdida de regresión que iguala los campos aprendidos con los campos objetivo:
$$\mathcal{L}_{BM} = \mathbb{E}_{t, x_t} \left[ \| u_\theta(x_t, t) - u^*(x_t, t) \|^2 + \lambda_d \| d_\phi(x_t, t) - d^*(x_t, t) \|^2 \right]$$

El artículo introduce dos formulaciones para construir los objetivos $u^*$ y $d^*$:

• Coincidencia de Puentes Marginal (MBM): Apunta directamente a la descomposición marginal. El objetivo de transporte $u^*$ satisface la ecuación de continuidad para la trayectoria prescrita, y el objetivo osmótico $d^*$ se deriva de la puntuación marginal $\nabla \log \pi_t$. Esto requiere estimar la puntuación marginal, a menudo mediante Estimación de Densidad de Kernel (KDE).
• Coincidencia de Puentes Condicional (CBM): Utiliza una distribución condicional tratable $p_t(x|z)$ (por ejemplo, una interpolación gaussiana entre puntos extremos) para evitar la estimación explícita de la puntuación marginal. Los objetivos se definen condicionalmente: $d^*_t(x, z) = \frac{\beta_t}{2} \nabla_x \log p_t(x|z)$ y $u^*_t = v^*_t - d^*_t$. La esperanza sobre la variable de condicionamiento $z$ recupera la descomposición marginal.

3. Muestreo y Recombinación

Una característica clave del marco es la capacidad de recombinar los campos aprendidos en el momento del muestreo. Las dinámicas de muestreo hacia adelante se definen como:
$$b^{BM}_t(x) = u_\theta(x, t) + \lambda_d d_\phi(x, t)$$
donde $\lambda_d$ es un peso ajustable. Esto permite un muestreo controlable donde la contribución del efecto osmótico inducido por la difusión puede ajustarse independientemente de la columna vertebral de transporte.

Contribuciones Clave

1. Descomposición de Transporte-Osmosis: El artículo deriva una descomposición formal de las dinámicas generativas estocásticas, demostrando que los modelos deterministas y estocásticos comparten una columna vertebral común de transporte marginal ($u_t$), pero difieren en cómo se integran los efectos inducidos por la difusión ($d_t$) en la dinámica de las muestras.
2. Marco de Coincidencia de Puentes: Los autores proponen un marco de entrenamiento que aprende estos campos descompuestos utilizando tanto formulaciones marginales como condicionales, conectando efectivamente la información basada en puntuaciones con objetivos de regresión al estilo de flujos.
3. Muestreo Controlable e Interpretable: Los resultados empíricos muestran que recombinar los componentes aprendidos con pesos variables ($\lambda_d$) permite un control interpretable sobre el proceso de generación. Ajustar $\lambda_d$ permite intercambiar entre nitidez y suavidad en las imágenes generadas y mejora la coincidencia de puntos extremos en tareas específicas de transporte 2D.

Resultados Experimentales

Los autores evaluaron la Coincidencia de Puentes en tareas de transporte 2D (tablero de ajedrez, lunas, mezclas gaussianas) y en puntos de referencia de generación de imágenes (CIFAR-10, ImageNet-32, ImageNet-64).

• Transporte 2D: En tareas 2D, las variantes de BM lograron una coincidencia de puntos extremos competitiva en comparación con las líneas base estándar de Coincidencia de Flujos (FM). Se encontró que el peso osmótico óptimo $\lambda_d$ dependía de la tarea; para objetivos complejos y multimodales, aumentar la contribución osmótica mejoró la coincidencia, mientras que para estructuras más simples, podría degradar el rendimiento.
• Generación de Imágenes: En los subconjuntos de CIFAR-10 e ImageNet, el modelo CBM logró una calidad de generación comparable o superior a la línea base CFM-Diffusion. Crucialmente, el $\lambda_d$ óptimo varió entre las métricas de evaluación (FID, KID, IS), lo que sugiere que la descomposición proporciona un mecanismo para intercambiar diferentes aspectos de la calidad de generación. Notablemente, el mejor rendimiento no siempre se logró en $\lambda_d = 1$ (la reconstrucción teórica), lo que indica que la recombinación en el momento del muestreo ofrece un grado de libertad útil para modelos de capacidad finita.
• Visualización: Las visualizaciones de los campos vectoriales confirmaron que $u_t$ impulsa un transporte coherente a gran escala, mientras que $d_t$ exhibe patrones estructurados a menor escala responsables de la reconfiguración local de la densidad. Las simulaciones a nivel de partícula ilustraron cómo $d_t$ desplaza las trayectorias a lo largo de la trayectoria de probabilidad sin dominar la tendencia global de transporte.

Significado y Afirmaciones

El artículo afirma proporcionar una perspectiva unificada sobre las dinámicas generativas deterministas y estocásticas. Al separar explícitamente la columna vertebral de transporte de la configuración de densidad inducida por la difusión, el trabajo ofrece una visión interpretable de cómo la estocasticidad configura el transporte de probabilidad.

Los autores enfatizan que esta descomposición no es meramente una curiosidad teórica, sino una herramienta práctica para la controlabilidad. Permite a los practicantes ajustar la "contribución osmótica" en el momento del muestreo sin reentrenar, habilitando un control fino sobre las características de la muestra (por ejemplo, nitidez frente a suavidad) y facilitando potencialmente procedimientos de muestreo interactivos (por ejemplo, pausar, revertir o regenerar desde estados intermedios).

El artículo se mantiene modesto en cuanto a su alcance, señalando que la descomposición se aplica más directamente a las dinámicas generativas basadas en campos y que aprender campos separados introduce una sobrecarga adicional de modelado y computación. Se sugiere que el trabajo futuro se centre en reducir esta sobrecarga mientras se preservan los beneficios de interpretabilidad y controlabilidad en aplicaciones posteriores.