A Few-Step Generative Model on Cumulative Flow Maps

Resumen Técnico: Un Modelo Generativo de Pocos Pasos sobre Mapas de Flujo Acumulativo

Enunciado del Problema
Los modelos generativos, incluidos los modelos de difusión y la coincidencia de flujo, se formulan típicamente como el aprendizaje de mapas de flujo instantáneos (o dinámicas instantáneas) que predicen actualizaciones de estado locales condicionadas al estado actual $x(t)$. Para generar datos, estos modelos requieren una integración numérica iterativa a lo largo de muchos pasos de tiempo pequeños para aproximar el mapa de flujo acumulativo—el transporte de tiempo finito que mueve muestras desde una distribución fuente simple hacia una distribución de datos compleja. Este proceso de muestreo de múltiples pasos incurre en costos computacionales significativos.

Aunque esfuerzos recientes han explorado la generación de pocos pasos y de un solo paso, los enfoques existentes enfrentan limitaciones:

1. Los métodos basados en destilación a menudo requieren pipelines de entrenamiento complejos maestro-alumno.
2. Los modelos de consistencia y el Flujo Medio (que aprende velocidades medias) están diseñados principalmente para formulaciones específicas (por ejemplo, coincidencia de flujo de predicción de $u$) y no se generalizan naturalmente a otros marcos ampliamente utilizados en gráficos por computadora, como DDIM, EDM o la coincidencia de flujo de predicción de $x_1$.
3. Aprender directamente mapas acumulativos de largo alcance es un desafío porque los contrapartes condicionales requeridas para los objetivos de entrenamiento estándar no existen para campos acumulativos, creando una barrera fundamental de entrenamiento.

Metodología: Mapas de Flujo Acumulativo (CFM)
Los autores proponen Mapas de Flujo Acumulativo (CFM), un marco unificado que conecta las actualizaciones instantáneas locales con el transporte de tiempo finito mediante una parametrización explícita de campo acumulativo.

• Abstracción Unificada: El método formaliza el mapa de flujo instantáneo $\psi_{t \to t+h}$ utilizando una función abstracta $F[m_t(x), x, t, t+h]$, donde $m_t(x)$ es el campo instantáneo (por ejemplo, velocidad). Esta abstracción unifica parametrizaciones diversas (coincidencia de flujo $u$, coincidencia de flujo $x_1$, DDIM, EDM).
• Parametrización Acumulativa: CFM extiende esto al transporte de largo alcance definiendo un mapa de flujo acumulativo $\psi_{t \to r}$ como el límite de la composición de mapas instantáneos. El modelo aprende un campo de parametrización acumulativa $m_{t \to r}(x)$ tal que $\psi_{t \to r}(x) = F[m_{t \to r}(x), x, t, r]$. Esto permite que el modelo avance el muestreo desde el tiempo $t$ hasta un tiempo futuro arbitrario $r$ en un solo paso o en pocos pasos.
• Entrenamiento mediante Ecuaciones de Campo: Un desafío clave es que un campo acumulativo condicional $m_{t \to r}(x | X_1)$ no existe de manera autoconsistente. Para superar esto, los autores derivan una reformulación basada en ecuaciones de campo (Teorema 3). Expresan el campo acumulativo en términos del campo instantáneo y sus derivadas:
  $$m_{t \to r}(x) = G(t, r)m_t(x) + H(t, r)E[\dots]$$
  Esta formulación permite la construcción de una función de pérdida sustituta (Ecuación 7) que utiliza el campo instantáneo condicional $m_t(x | X_1)$ (que es aprendible) para supervisar el campo acumulativo. La pérdida incluye términos de derivada ($\partial_t m$ y $\partial_x m$) que se calculan mediante productos vectoriales de Jacobiano (JVP) o aproximaciones discretas.
• Implementación: El enfoque requiere cambios arquitectónicos mínimos. Augmenta la incrustación de tiempo con un codificador adicional para el tiempo objetivo $r$ y utiliza una incrustación promediada $(emb_t + emb_r)/2$. No se requiere destilación ni aumento de capacidad.

Contribuciones Clave

1. Abstracción de Mapa de Flujo Instantáneo–Acumulativo: El artículo formaliza los mapas de flujo acumulativo como transportes de tiempo finito obtenidos mediante la composición de mapas instantáneos, unificando la generación de múltiples pasos y de pocos pasos bajo un único marco matemático.
2. Generalización más allá de la Predicción de $u$: CFM generaliza el concepto de Flujo Medio a una amplia gama de formulaciones generativas, incluyendo la coincidencia de flujo $u$ y $x_1$, EDM y DDIM. Esto habilita la generación de pocos pasos en configuraciones donde los métodos anteriores (como el Flujo Medio) son inaplicables, como en el modelado de distribuciones geométricas y la generación de imágenes en el espacio de píxeles.
3. Entrenamiento Agnóstico al Modelo: Al derivar un objetivo basado en ecuaciones de campo, el método permite el aprendizaje de mapas de flujo acumulativo sin cambios arquitectónicos ni destilación, reduciendo sustancialmente los pasos de muestreo en modelos existentes.

Resultados Experimentales
Los autores evalúan CFM en cinco tareas diversas de gráficos, demostrando aceleraciones significativas (10×–200×) mientras preservan o mejoran la calidad de generación:

• Generación de Imágenes (CelebA-HQ): Utilizando CFM-DDIM, el modelo logra generación de 1 paso y 4 pasos con puntuaciones FID comparables a las líneas base de 128 pasos, superando a los métodos de destilación y entrenamiento de consistencia.
• Modelado de Distribuciones Geométricas: En la tarea GeoDist, CFM-EDM logra aceleraciones de 6×–10× sin degradación en la Distancia de Chamfer en comparación con las líneas base de 60 pasos. Cabe destacar que los métodos de predicción de $u$ no logran soportar la generación de pocos pasos en este dominio, mientras que CFM-EDM tiene éxito.
• Predicción Conjunta de Posiciones (PDT): Aplicado al conjunto de datos RigNet, CFM-DDIM reduce la inferencia de 1000 pasos a 5 pasos (aceleración de 200×) manteniendo una precisión de predicción de articulaciones (CD-J2J, IoU, Precisión, Recall) comparable al PDT original de 1000 pasos.
• Generación de Bocetos Condicionada por Imagen: En el conjunto de datos ControlSketch, CFM genera bocetos vectorizados en 1 o 4 pasos (aceleración de 50×) con fidelidad (MS-SSIM, DreamSim) que coincide con la línea base de 50 pasos de SwiftSketch.
• Generación de SDF 3D: Para la reconstrucción condicional dispersa de SDF (64 puntos), CFM-$x_1$-FM logra aceleraciones de 6–16× sobre la Difusión Funcional con calidad de reconstrucción comparable.

Significado y Afirmaciones
El artículo afirma que CFM proporciona un marco matemático general particularmente adecuado para aplicaciones de gráficos por computadora que involucran diversas representaciones de datos (imágenes, nubes de puntos, campos implícitos) y formulaciones generativas. Su significado principal radica en:

• Desacoplar la Eficiencia de la Arquitectura: Logra una aceleración drástica de la inferencia (hasta 200×) únicamente modificando el objetivo de entrenamiento y las incrustaciones de tiempo, sin requerir destilación ni reformas arquitectónicas.
• Marco Unificador: Cierra la brecha entre las dinámicas instantáneas y el transporte de largo alcance, ofreciendo una solución principista para la generación de pocos pasos en modelos donde los enfoques anteriores de "velocidad media" fallaron.
• Practicidad: El método es agnóstico al modelo y puede aplicarse a modelos preentrenados de múltiples pasos para acelerarlos, o utilizarse para entrenar nuevos modelos de pocos pasos desde cero.

Los autores sostienen que, aunque CFM es aplicable a una amplia gama de modelos, su evaluación actual se limita a cinco aplicaciones y cuatro formulaciones representativas, dejando la extensión a conjuntos de datos de mayor escala (por ejemplo, ImageNet) como trabajo futuro.