Résumé Technique : SEFI-Image

Problématique

L'entraînement de modèles fondamentaux de texte-vers-image (T2I) est devenu de plus en plus gourmand en ressources, les modèles de pointe nécessitant des centaines de milliers d'heures de GPU. Bien que les méthodes précédentes aient tenté de tirer parti du guidage sémantique pour accélérer l'entraînement, ces approches ont été largement validées uniquement sur des jeux de données simples et à basse résolution (ex: ImageNet 256×256) utilisant des modèles de petite échelle (<1B de paramètres). Une question cruciale demeure : le mécanisme de guidage sémantique reste-t-il efficace à l'échelle de modèles plus importants, à des résolutions plus élevées et dans le cadre complexe et pratique de la génération T2I ? De plus, les méthodes existantes luttent souvent contre le compromis fondamental de la diffusion latente : une haute fidélité de reconstruction nécessite des distributions latentes complexes difficiles à modéliser, tandis que des espaces latents simplifiés sacrifient souvent la qualité de l'image.

Méthodologie : Diffusion Prioritaire sur la Sémantique (SFD)

Le papier propose SEFI-Image, un modèle de fondation T2I basé sur la Diffusion Prioritaire sur la Sémantique (SFD), un nouveau paradigme de diffusion latente. L'innovation centrale est le découplage du processus de débruitage en deux flux asynchrones : sémantique et texture.

1. Mécanisme Central

Contrairement aux modèles de diffusion latente conventionnels qui débruitent toutes les informations sous un calendrier de pas de temps unique, la SFD sépare les facteurs sémantiques (structure globale, disposition des objets) des facteurs de texture (détails à haute fréquence).

• Pas de temps Asynchrones : Le modèle assigne des pas de temps distincts $t_s$ (sémantique) et $t_z$ (texture). Le latent sémantique est débruité légèrement avant le latent de texture ($t_s \ge t_z$), garantissant que la génération de la texture est toujours conditionnée par une ancre structurelle plus "propre".
• Inférence en Trois Phases :
  1. Initialisation Sémantique : Seuls les latents sémantiques sont débruités pour établir la structure globale.
  2. Génération Asynchrone : Les deux flux se débruitent, mais la sémantique précède pour guider le raffinement de la texture.
  3. Complétion de la Texture : Les sémantiques sont entièrement débruitées ; les latents de texture affinent les détails fins.
• Conditionnement à Double Pas de Temps : Le backbone Diffusion Transformer (DiT) accepte des embeddings de pas de temps séparés pour les deux flux, permettant au modèle d'être conscient des niveaux de bruit asynchrones à chaque étape.

2. Composants de l'Architecture

• Construction de Latents Composites :
  • Latent Sémantique ($s_1$) : Extrait via un modèle de fondation visuelle gelé (DINOv2-Large) et compressé par un VAE Sémantique (SemVAE). Cela capture l'identité de l'objet et la structure de la scène.
  • Latent de Texture ($z_1$) : Encodé directement à partir de l'image par un VAE de Texture (un VAE FLUX.2 finetuné). Cela capture les détails de reconstruction de bas niveau.
• Encodeur de Texte : Utilise le backbone LLM de Qwen3-VL (variantes 2B ou 4B selon la taille du modèle de génération) pour gérer des prompts complexes, longs et bilingues (Chinois/Anglais).
• Backbone DiT : Une architecture de style FLUX.2 incorporant des blocs MMDiT à double flux et des blocs à flux simple, adaptée pour accepter le latent composite et les doubles pas de temps.

3. Pipeline d'Entraînement

Le processus d'entraînement comprend trois étapes :

1. Pré-entraînement : Utilise 450M de paires image-texte internes et 28M de données synthétiques de rendu de texte. Le curriculum progresse de 256px à 1024px. Les données synthétiques se concentrent sur l'alignement strict au niveau du caractère pour le rendu de texte.
2. Entraînement Continu : Entraîné sur un mélange de 9M d'images de haute qualité (paysages naturels, UI, anime, etc.) à 1024px pour booster le respect des instructions.
3. Fine-tuning Supervisé (SFT) : Utilise environ 650K images de haute qualité avec un filtrage strict basé sur l'esthétique, la qualité technique et la capacité de légende. Cette étape met l'accent sur les prompts difficiles et le rendu de texte précis.
4. Distillation & RL :
   • Distillation à peu d'étapes : DMD2 est utilisé pour distiller le modèle SFT en variantes "Turbo" à 4 étapes tout en préservant l'offset prioritaire sur la sémantique.
   • Post-entraînement par RL : DiffusionNFT est appliqué pour affiner le respect des prompts, la qualité visuelle et la suppression des artefacts.

Principales Contributions

1. Évolutivité de la Diffusion Prioritaire sur la Sémantique : Le papier démontre que la SFD n'est pas limitée aux petits modèles ou aux jeux de données simplifiés. Elle parvient à passer à l'échelle avec des modèles de 1B, 2B et 5B de paramètres, maintenant son efficacité dans la génération T2I à haute résolution.
2. Efficacité des Ressources : Le plus grand modèle de 5B a été entraîné avec seulement 125K heures de GPU A800, représentant environ 10 à 20 % de la puissance de calcul utilisée par Z-Image, tout en atteignant des performances comparables ou supérieures.
3. Résolution du Compromis Reconstruction-Génération : En séparant la sémantique et les textures, la SFD permet au Texture VAE d'être agressivement finetuné pour la fidélité de reconstruction (améliorant le PSNR sur Kodak de 33.18 à 36.40) sans sacrifier la vitesse de convergence typiquement associée aux espaces latents complexes.
4. Famille de Modèles Complète : La sortie de trois échelles de modèles (1B, 2B, 5B) et de leurs variantes Turbo correspondantes offre des options de déploiement flexibles selon les budgets matériels.

Résultats de Performance

SEFI-Image a été évalué sur plusieurs benchmarks contre des bases solides (Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image) :

• GenEval & DPG : Le modèle 5B atteint un score GenEval global de 0.88, égalant Qwen-Image et surpassant FLUX.2-Klein-9B (0.85) et Z-Image (0.84). Notamment, la variante 1B atteint également 0.87, démontrant un fort raisonnement compositionnel même à petite échelle.
• Rendu de Texte Long (LongTextBench) : Le modèle 5B obtient le score moyen le plus élevé (0.978), surpassant Qwen-Image et JoyAI-Image.
• Génération de Texte Visuel (CVTG-2K) : Le modèle 5B atteint 0.8947 de précision de mots (Word Accuracy) et 0.9434 de NED, dépassant les bases les plus fortes.
• Instructions Bilingues (OneIG) : Le modèle 5B obtient les meilleurs scores globaux sur les benchmarks anglais (0.5606) et chinois (0.5379).
• Comportement de Mise à l'Échelle : Les expériences montrent qu'un modèle SFD de 2B peut surpasser un modèle non-SFD de 4B, indiquant une meilleure efficacité des paramètres.

Signification et Revendications

Les auteurs affirment que SEFI-Image offre un paradigme principled et efficace en ressources pour construire des modèles de fondation T2I. Ce travail remet en question l'idée que le guidage sémantique n'est efficace que pour les petites échelles ou les tâches conditionnées par classe. En découplant la disposition sémantique de la synthèse de texture, le modèle atteint un compromis reconstruction-génération supérieur, permettant une convergence rapide et une génération de haute qualité avec des coûts de calcul considérablement réduits.

Le papier positionne SEFI-Image comme une solution pratique et prête à être déployée, fournissant des perspectives utiles sur la modélisation de la diffusion guidée par la sémantique. Il note explicitement que bien que les modèles actuels soient performants, ils sont limités par le plafond de 5B de paramètres (en raison de contraintes matérielles) et l'échelle des données d'entraînement, laissant place à une future mise à l'échelle de la taille des modèles, de la diversité des données et des applications à la génération vidéo et l'édition d'images.