SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

Resumen Técnico: SEFI-Image

Planteamiento del Problema

El entrenamiento de modelos fundacionales de texto a imagen (T2I) se ha vuelto cada vez más intensivo en recursos, con modelos de vanguardia que requieren cientos de miles de horas de GPU. Aunque métodos previos intentaron aprovechar la guía semántica para acelerar el entrenamiento, estos enfoques fueron validados principalmente en conjuntos de datos simples y de baja resolución (por ejemplo, ImageNet 256×256) utilizando modelos de pequeña escala (<1B de parámetros). Una pregunta crítica sigue siendo si los mecanismos de guía semántica mantienen su efectividad en escalas de modelos mayores, resoluciones más altas y dentro del complejo entorno práctico de los modelos T2I. Además, los métodos existentes suelen tener dificultades con el compromiso fundamental en la difusión latente: una alta fidelidad de reconstrucción requiere distribuciones latentes complejas que son difíciles de modelar, mientras que los espacios latentes simplificados suelen sacrificar la calidad de la imagen.

Metodología: Difusión de Prioridad Semántica (SFD)

El artículo propone SEFI-Image, un modelo fundacional T2I basado en la Difusión de Prioridad Semántica (SFD), un nuevo paradigma de difusión latente. La innovación central es el desacoplamiento del proceso de eliminación de ruido en flujos semánticos y de textura asíncronos.

1. Mecanismo Central

A diferencia de los modelos de difusión latente convencionales que eliminan el ruido de toda la información bajo un único cronograma de pasos temporales, el SFD separa los factores semánticos (estructura global, disposición de objetos) de los factores de textura (detalles de alta frecuencia).

• Pasos Temporales Asíncronos: El modelo asigna pasos temporales distintos $t_s$ (semántico) y $t_z$ (textura). El latente semántico se somete al proceso de eliminación de ruido ligeramente antes que el latente de textura ($t_s \ge t_z$), asegurando que la generación de la textura esté siempre condicionada a un ancla estructural más "limpia".
• Inferencia de Tres Fases:
  1. Inicialización Semántica: Solo se eliminan los ruidos de los latentes semánticos para establecer la estructura global.
  2. Generación Asíncrona: Ambos flujos eliminan el ruido, pero la semántica lidera para guiar el refinamiento de la textura.
  3. Completado de Textura: Los semánticos se han eliminado por completo; los latentes de textura refinan los detalles finos.
• Condicionamiento de Doble Paso Temporal: El núcleo de la Transformación de Difusión (DiT) acepta incrustaciones de pasos temporales separadas para ambos flujos, lo que permite que el modelo sea consciente de los niveles de ruido asíncronos en cada paso.

2. Componentes de la Arquitectura

• Construcción de Latente Compuesto:
  • Latente Semántico ($s_1$): Extraído mediante un modelo fundacional visual congelado (DINOv2-Large) y comprimido por un VAE Semántico (SemVAE). Esto captura la identidad del objeto y la estructura de la escena.
  • Latente de Textura ($t_1$): Codificado directamente desde la imagen por un VAE de Textura (un VAE de FLUX.2 ajustado). Esto captura los detalles de reconstrucción de bajo nivel.
• Codificador de Texto: Utiliza el núcleo de LLM de Qwen3-VL (variantes de 2B o 4B dependiendo del tamaño del modelo de generación) para manejar prompts complejos, largos y bilingües (chino/inglés).
• Núcleo DiT: Una arquitectura estilo FLUX.2 que incorpora bloques MMDiT de doble flujo y bloques de flujo único, adaptada para aceptar el latente compuesto y los pasos temporales duales.

3. Flujo de Entrenamiento

El proceso de entrenamiento involucra tres etapas:

1. Pre-entrenamiento: Utiliza 450M de pares imagen-texto internos y 28M de datos sintéticos de renderizado de texto. El currículo progresa de 256px a 1024px. Los datos sintéticos se centran en la alineación estricta a nivel de caracteres para el renderizado de texto.
2. Entrenamiento Continuo: Entrenado en una mezcla curada de 9M de alta calidad (escenarios naturales, UI, anime, etc.) a 1024px para potenciar el seguimiento de instrucciones.
3. Ajuste Fino Supervisado (SFT): Utiliza ~650K imágenes de alta calidad con filtrado estricto basado en estética, calidad técnica y capacidad de subtitulado. Esta etapa enfatiza prompts difíciles y renderizado de texto preciso.
4. Destilación y RL:
   • Destilación de Pocos Pasos: Se utiliza DMD2 para destilar el modelo SFT en variantes "Turbo" de 4 pasos, preservando el desfase de prioridad semántica.
   • Post-entrenamiento de RL: Se aplica DiffusionNFT para agudizar el seguimiento de prompts, la calidad visual y la supresión de artefactos.

Principales Contribuciones

1. Difusión de Prioridad Semántica Escalable: El artículo demuestra que el SFD no se limita a modelos pequeños o conjuntos de datos de juguete. Escala con éxito a modelos de 1B, 2B y 5B de parámetros, manteniendo la efectividad en la generación T2I de alta resolución.
2. Eficiencia de Recursos: El modelo más grande de 5B fue entrenado con solo 125K horas de GPU A800, lo que representa aproximadamente el 10–20% de la computación utilizada por Z-Image, logrando un rendimiento comparable o superior.
3. Resolución del Compromiso entre Reconstrucción y Generación: Al separar la semántica de las texturas, el SFD permite que el VAE de Textura se ajuste agresivamente para la fidelidad de reconstrucción (mejorando el PSNR en Kodak de 33.18 a 36.40) sin sacrificar la velocidad de convergencia típicamente asociada con espacios latentes complejos.
4. Familia de Modelos Integral: El lanzamiento de tres escalas de modelos (1B, 2B, 5B) y sus correspondientes variantes Turbo proporciona opciones de despliegue flexibles para diversos presupuestos de hardware.

Resultados de Rendimiento

SEFI-Image fue evaluado en múltiples benchmarks contra bases sólidas (Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image):

• GenEval & DPG: El modelo de 5B logra una puntuación general de GenEval de 0.88, igualando a Qwen-Image y superando a FLUX.2-Klein-9B (0.85) y Z-Image (0.84). Notablemente, la variante de 1B también alcanza 0.87, demostrando un fuerte razonamiento compositivo incluso a escalas pequeñas.
• Renderizado de Texto Largo (LongTextBench): El modelo de 5B logra la puntuación media más alta (0.978), superando a Qwen-Image y JoyAI-Image.
• Generación Visual de Texto (CVTG-2K): El modelo de 5B logra 0.8947 de Precisión de Palabras y 0.9434 de NED, mejorando sobre las bases más fuertes.
• Instrucciones Bilingües (OneIG): El modelo de 5B logra las mejores puntuaciones generales tanto en los benchmarks de inglés (0.5606) como de chino (0.5379).
• Comportamiento de Escalamiento: Los experimentos muestran que un modelo SFD de 2B puede superar a un modelo no-SFD de 4B, indicando una mejor eficiencia de parámetros.

Significado y Reivindicaciones

Los autores afirman que SEFI-Image ofrece un paradigma principista y eficiente en recursos para construir modelos fundacionales T2I. El trabajo desafía la noción de que la guía semántica solo es efectiva para tareas de pequeña escala o condicionadas por clase. Al desacoplar la disposición semántica de la síntesis de textura, el modelo logra un compromiso de reconstrucción-generación superior, permitiendo una convergencia rápida y una generación de alta calidad con costos computacionales significativamente reducidos.

El artículo posiciona a SEFI-Image como una solución práctica y fácilmente desplegable que proporciona conocimientos útiles para el modelado de difusión guiado por semántica. Indica explícitamente que, aunque los modelos actuales son fuertes, están limitados por el tope de 5B de parámetros (debido a restricciones de hardware) y la escala de los datos de entrenamiento, dejando espacio para el escalamiento futuro en tamaño de modelo, diversidad de datos y aplicación a la generación de video y edición de imágenes.