Resumen Técnico: Seguir la Media: Flujo de Coincidencia Guiado por Referencia

Declaración del Problema

Controlar las salidas de modelos generativos preentrenados (por ejemplo, imponer atributos, estilos o estructuras específicos) sigue siendo un desafío significativo. Los enfoques existentes suelen caer en tres categorías, cada una con limitaciones distintas:

1. Ajuste fino y Adaptadores: Requieren modificar los parámetros del modelo para cada nuevo objetivo, lo cual es computacionalmente costoso e inflexible para cambios dinámicos.
2. Métodos de Guía: Dejan el generador congelado pero dependen de clasificadores auxiliares, modelos de recompensa o señales de recompensa, introduciendo una sobrecarga computacional adicional y dependencia de redes externas.
3. Métodos Basados en Búsqueda: Evitan el reentrenamiento pero incurren en altos costos de inferencia mediante muestreo repetido, filtrado u optimización por cada indicación.

Ninguno de estos enfoques evita simultáneamente el entrenamiento adicional, las redes auxiliares y la búsqueda en tiempo de prueba, manteniendo al mismo tiempo una generación de alta calidad. Este artículo propone una formulación alternativa: Flujos Guiados por Referencia, que controla la generación adaptando el modelo a través de ejemplos de datos en lugar de actualizaciones de parámetros o señales de recompensa externas.

Metodología

La idea central del artículo es que en la Coincidencia de Flujos (FM), el campo de velocidad $u_t(x)$ está gobernado únicamente por la media del punto final condicional $\mu_t(x) = \mathbb{E}[x_1 | x_t = x]$. Para un interpolante lineal, la velocidad viene dada por:
$$u_t(x) = \frac{\mu_t(x) - x}{1 - t}$$
En consecuencia, desplazar la media del punto final desplaza toda la trayectoria del flujo. Los autores proponen que esta media puede desplazarse condicionando sobre un conjunto de referencia $R$ de imágenes, dirigiendo efectivamente el modelo hacia la distribución inducida por $R$ sin alterar los pesos del modelo.

El artículo materializa este principio en dos formas:

1. Guía de Media de Referencia (RMG)

RMG es un método libre de entrenamiento para controlar modelos preentrenados congelados.

• Mecanismo: Calcula una corrección de forma cerrada al campo de velocidad basada en la diferencia entre la media del punto final del conjunto de referencia ($\hat{\mu}^\rho_t$) y la media del punto final del modelo preentrenado ($\mu^\theta_t$).
• Fórmula: La velocidad guiada se define como:
  $$u^\pi_t(x) \approx u^\theta_t(x) + \beta_t \frac{\hat{\mu}^\rho_t(x) - \mu^\theta_t(x)}{1 - t}$$
  donde $\beta_t$ es un programa de guía y $\hat{\mu}^\rho_t(x)$ es el promedio ponderado empírico del conjunto de referencia (calculado mediante un softmax sobre las imágenes de referencia).
• Propiedades: No requiere cálculo de gradientes, ni redes auxiliares, ni evaluaciones adicionales del modelo más allá del modelo base. El conjunto de referencia puede intercambiarse en tiempo de inferencia para cambiar el color, la identidad, el estilo o la estructura.

2. Guía Semiparamétrica (SPG)

SPG es una arquitectura aprendible que amortiza el concepto de guía de media de referencia.

• Arquitectura: El modelo $\mu^\theta_t(x_t, R)$ se condiciona explícitamente sobre un conjunto de referencia $R$ durante el entrenamiento. Utiliza un mecanismo de atención cruzada para calcular un "ancla" $\bar{x}$ (análogo a la media de forma cerrada) y un refinador residual aprendido $f^\theta$ para corregir correlaciones molestas (por ejemplo, fondos compartidos) que el ancla podría copiar inadvertidamente.
• Entrenamiento: El modelo se entrena con un objetivo de dejar uno fuera para evitar que el ancla atienda a su propio punto final, combinado con una pérdida residual para enseñar al refinador a capturar detalles más allá del ancla.
• Propiedades: SPG iguala la calidad de generación incondicional de modelos estándar (por ejemplo, DiT-B/4) mientras habilita el control en tiempo de inferencia mediante el intercambio del conjunto de referencia.

Contribuciones Clave

1. Desplazamiento de Media como Guía: Los autores definen la guía como una interpolación geométrica entre la trayectoria de probabilidad del conjunto de entrenamiento y la de un conjunto de referencia. Demuestran que el término de guía resultante depende únicamente de la diferencia entre las medias de los puntos finales de las dos distribuciones.
2. Guía de Media de Referencia (RMG): Un método libre de entrenamiento que calcula el desplazamiento de velocidad de forma cerrada utilizando un banco de referencia. Permite el control sobre modelos congelados (demostrado en FLUX.2-klein) sin gradientes, clasificadores o modelos de recompensa.
3. Guía Semiparamétrica (SPG): Una arquitectura controlable que aprende a aproximar el ancla de media de referencia y una corrección residual. Preserva la calidad de generación incondicional mientras permite que el conjunto de referencia se intercambie en tiempo de inferencia, suprimiendo efectivamente correlaciones molestas como fondos compartidos.

Resultados

El artículo valida el enfoque mediante análisis mecanístico y experimentos extensos:

• Validación Mecanística: En la distribución de dos lunas y MNIST, los autores demuestran que cambiar la composición del conjunto de referencia desplaza directamente el campo de flujo y el atractor final, aislando el papel causal de la media posterior.
• Control Libre de Entrenamiento (RMG): Aplicado a un modelo FLUX.2-klein (4B) congelado, RMG dirige con éxito la generación para color (elefantes rosas/azules), identidad (jirafas/cebras), estilo (Van Gogh/bocetos) y estructura (formas de cerradura, poses de manos).
  • BenchMark GenEval: RMG supera a las líneas base basadas en búsqueda (Mejor de 4, SMC) y basadas en gradientes (ReNO) en tareas de texto a imagen composicionales (por ejemplo, posición, generación de dos objetos) mientras utiliza una sola trayectoria de muestreo y ningún modelo auxiliar. Logra una puntuación media de 91.17 en comparación con la 80.10 de la línea base, con un tiempo de inferencia significativamente menor y sin llamadas a modelos externos.
• Guía Semiparamétrica (SPG): Entrenado en AFHQv2, SPG iguala la calidad incondicional de una línea base DiT-B/4 (FID 23.26 vs. 23.11).
  • Control: Intercambiar el conjunto de referencia (por ejemplo, solo gatos vs. solo perros) desplaza sistemáticamente la distribución de salida. Las proporciones de clases generadas siguen de cerca la composición del conjunto de referencia.
  • Supresión de Artefactos: A diferencia de RMG, que puede transferir correlaciones molestas (por ejemplo, un fondo blanco de todas las imágenes de referencia), el refinador residual de SPG preserva con éxito la guía a nivel de objeto mientras suprime dichos artefactos.

Significado y Afirmaciones

El artículo argumenta que los modelos generativos pueden adaptarse a través de datos en lugar de actualizaciones de parámetros. Al enmarcar el control como un problema de desplazar las medias de los puntos finales, los autores proporcionan una alternativa simple y fundamentada al ajuste fino, la guía auxiliar o la búsqueda.

• Para Modelos Congelados: RMG demuestra que un modelo preentrenado puede ser dirigido efectivamente cambiando el conjunto de referencia que sigue implícitamente, ofreciendo un paradigma de "guía con ejemplos, no con recompensas".
• Para Modelos Aprendibles: SPG muestra que este mecanismo puede amortizarse en una arquitectura aprendible que mantiene una alta calidad de generación mientras habilita un control flexible en tiempo de inferencia.
• Dirección Más Amplia: El trabajo sugiere un camino hacia modelos generativos que se adaptan dinámicamente a través de referencias de datos, reduciendo la necesidad de reentrenamiento o ingeniería de recompensas compleja para la generación controlable.

Los autores reconocen limitaciones, señalando que RMG hereda la calidad de su conjunto de referencia (referencias ruidosas introducen artefactos) y que calcular medias sobre conjuntos grandes puede ser costoso, aunque el submuestreo ofrece remedios. Enfatizan la necesidad de una curación responsable de los conjuntos de referencia para prevenir un uso indebido.