Resumen Técnico: FlowConsist

Planteamiento del Problema

Los modelos de flujo rápidos, incluyendo los Modelos de Consistencia y MeanFlow, buscan acelerar el muestreo generativo aprendiendo a predecir directamente las integrales de camino de la Ecuación Diferencial Ordinaria (ODE), permitiendo la generación en uno o pocos pasos. Sin embargo, los autores argumentan que los paradigmas de entrenamiento actuales sufren dos problemas fundamentales que degradan el rendimiento:

1. Deriva Sistemática de la Trayectoria: Los métodos actuales construyen velocidades condicionales emparejando aleatoriamente muestras de ruido ($\epsilon$) y de datos ($x$). Aunque la esperanza de estas velocidades condicionales es igual a la velocidad marginal, las trayectorias condicionales individuales intersectan múltiples trayectorias marginales distintas. Entrenar con estas velocidades condicionales provoca que el objetivo de optimización se desvíe de la verdadera trayectoria única de la ODE marginal, lo que genera trayectorias inconsistentes.
2. Acumulación de Errores: Los errores de aproximación introducidos por el modelo se acumulan a lo largo de grandes intervalos de tiempo. En los modelos de flujo rápido que dependen de velocidades autopredichas para el entrenamiento, estos errores se combinan, causando desviaciones significativas entre las muestras generadas y la distribución de datos reales, particularmente en la generación de un solo paso (1-NFE).

Metodología

Los autores proponen FlowConsist, un marco de entrenamiento diseñado para imponer consistencia de trayectoria y corregir la acumulación de errores sin requerir un modelo profesor preentrenado.

1. Imposición de la Consistencia de la Trayectoria (Reemplazo de Velocidades Condicionales)

La idea teórica central es que depender de velocidades condicionales ($v_t = \epsilon - x$) introduce un término de varianza ($L_{var}$) en la función de pérdida, lo que obliga al modelo a suprimir gradientes en direcciones de alta varianza y evita el ajuste fiel de trayectorias curvas.

• Cambio Teórico: En lugar de utilizar la velocidad condicional aleatoria como un sustituto de la velocidad marginal, FlowConsist reemplaza la velocidad condicional en el objetivo de consistencia por la velocidad marginal predicha por el propio modelo ($u_\theta$).
• Implementación: Los autores derivan un nuevo objetivo de entrenamiento (Eq. 7) que combina un término de Flow Matching estándar con un término de regularización de consistencia de trayectoria.
  • El objetivo minimiza la diferencia entre la velocidad promedio predicha y un objetivo derivado de la propia predicción de la velocidad marginal del modelo.
  • Crucialmente, la velocidad condicional solo se utiliza en un término que converge a la velocidad marginal en esperanza una vez que el modelo está entrenado, eliminando efectivamente la deriva sistemática durante el proceso de optimización.
• Guía de Clasificador sin Clase (CFG): El método incorpora CFG tratando la escala de guía $\omega$ como una entrada secundaria, lo que permite al modelo aprender una representación unificada que puede ajustarse durante la inferencia.

2. Rectificación de Trayectoria (Abordaje de la Acumulación de Errores)

Para abordar la divergencia monotónica causada por los errores de aproximación acumulados a través de los pasos de tiempo, los autores introducen una estrategia de rectificación de trayectoria.

• Alineación de la Velocidad Marginal: A diferencia de los métodos anteriores que solo corrigen el ruido inicial, FlowConsist alinea la distribución marginal de las muestras generadas por el modelo con la distribución de datos reales en cada paso de tiempo a lo largo de la trayectoria.
• Mecanismo sin Profesor: En lugar de depender de un modelo profesor preentrenado (como en DMD) para estimar las velocidades marginales reales, FlowConsist utiliza un modelo auxiliar ($G_\psi$) entrenado para estimar la velocidad marginal de las muestras generadas por el modelo principal ($F_\theta$).
• Proceso de Corrección: El modelo principal se entrena para alinear su velocidad marginal predicha con la velocidad estimada por el modelo auxiliar. Esto efectivamente "tira" de las predicciones del modelo hacia la distribución de datos reales, rectificando los errores acumulativos que de otro modo se acumularían en un mapeo de un solo paso.

Principales Contribuciones

1. Identificación de la Deriva de la Trayectoria: El artículo proporciona una prueba teórica (Teorema 1 y 2) demostrando que las velocidades condicionales en Flow Matching poseen inherentemente una covarianza no nula, lo que conduce a una inevitable deriva de la trayectoria cuando se usan como estimaciones de velocidad instantánea en modelos de flujo rápido.
2. Nuevo Objetivo de Entrenamiento: Los autores proponen una alternativa fundamentada (Eq. 7) que reemplaza las velocidades condicionales con velocidades marginales autopredichas, asegurando que la optimización permanezca anclada a una trayectoria marginal consistente.
3. Estrategia de Rectificación de Trayectoria: Se introduce un método sin profesor (Eq. 11) para alinear las distribuciones marginales en cada paso de tiempo, mitigando la acumulación de errores de aproximación sobre intervalos de tiempo largos.
4. Rendimiento de Vanguardia (SOTA): El método logra un nuevo estado del arte en ImageNet 256×256 con una Distancia de Incepción de Fréchet (FID) de 1.52 utilizando solo 1 paso de muestreo (1-NFE), sin destilación de un modelo profesor.

Resultados Experimentales

• Dataset y Configuración: Los experimentos se realizaron en ImageNet 256×256 utilizando una arquitectura DiT y un espacio latente VAE preentrenado.
• Estudios de Ablación:
  • Reemplazar la pérdida estándar de MeanFlow con la propuesta pérdida de consistencia de trayectoria marginal (Eq. 7) mejoró el FID de 5.86 a 4.99.
  • Añadir la pérdida de alineación de velocidad marginal (Eq. 11) redujo aún más el FID a 4.31.
  • El método demostró robustez a través de diferentes escalas de CFG y ratios de integración de los dos componentes de pérdida.
• Comparación: FlowConsist-XL/2 logró un FID de 1.52 (1-NFE), superando al mejor modelo de flujo rápido no destilado anterior (iMF-XL/2 con 1.72) y acercándose al rendimiento de los métodos de destilación. También superó a los modelos de difusión de múltiples pasos en términos de eficiencia (1 paso frente a más de 250 pasos) manteniendo una calidad competitiva.

Significancia

El artículo afirma que FlowConsist ofrece una nueva perspectiva para el modelado de flujo rápido al abordar las causas raíz de las limitaciones de rendimiento en los marcos existentes: el desajuste teórico entre las velocidades condicionales y marginales, y la acumulación práctica de errores de aproximación. Al rectificar estos problemas, los autores demuestran que la generación de alta fidelidad en un solo paso es alcanzable únicamente mediante objetivos de entrenamiento refinados, cerrando la brecha entre los paradigmas de "sin profesor" y de "destilación de profesor". El trabajo subraya que la consistencia de la trayectoria es un requisito central para que los modelos de flujo rápido ejecuten con éxito mapeos lineales entre pasos de tiempo.