SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

Riepilogo Tecnico: SEFI-Image

Problema

L'addestramento di modelli fondazionali di text-to-image (T2I) è diventato sempre più dispendioso in termini di risorse, con i modelli allo stato dell'arte che richiedono centinaia di migliaia di ore di GPU. Sebbene metodi precedenti abbiano tentato di sfruttare la guida semantica per accelerare l'addestramento, tali approcci sono stati validati ampiamente solo su dataset semplici e a bassa risoluzione (ad es. ImageNet 256×256) utilizzando modelli di piccola scala (<1B di parametri). Una questione critica rimane aperta: se i meccanismi di guida semantica rimangano efficaci a scale di modelli più grandi, risoluzioni più elevate e all'interno del complesso scenario pratico della T2I. Inoltre, i metodi esistenti spesso faticano con il fondamentale compromesso nella diffusione latente: un'alta fedeltà di ricostruzione richiede distribuzioni latenti complesse che sono difficili da modellare, mentre spazi latenti semplificati spesso sacrificano la qualità dell'immagine.

Metodologia: Semantic-First Diffusion (SFD)

Il documento propone SEFI-Image, un modello fondazionale T2I basato su Semantic-First Diffusion (SFD), un nuovo paradigma di diffusione latente. L'innovazione principale è il disaccoppiamento del processo di denoising in flussi semantici e di texture asincroni.

1. Meccanismo Core

A differenza dei convenzionali modelli di diffusione latente che denoisano tutte le informazioni sotto un singolo schema di timestep, SFD separa i fattori semantici (struttura globale, layout degli oggetti) dai fattori di texture (dettagli ad alta frequenza).

• Timestep Asincroni: Il modello assegna timestep distinti $t_s$ (semantico) e $t_z$ (texture). Il latente semantico viene denoisato leggermente prima del latente di texture ($t_s \ge t_z$), garantendo che la generazione della texture sia sempre condizionata da un'ancora strutturale più "pulita".
• Inferenza in Tre Fasi:
  1. Inizializzazione Semantica: Solo i latenti semantici vengono denoisati per stabilire la struttura globale.
  2. Generazione Asincrona: Entrambi i flussi effettuano il denoising, ma la semantica guida il raffinamento della texture.
  3. Completamento della Texture: La semantica è completamente denoisata; i latenti di texture raffinano i dettagli a grana fine.
• Condizionamento a Doppio Timestep: Il backbone Diffusion Transformer (DiT) accetta embedding di timestep separati per entrambi i flussi, permettendo al modello di essere consapevole dei livelli di rumore asincroni in ogni fase.

2. Componenti dell'Architettura

• Costruzione del Latente Composito:
  • Latente Semantico ($s_1$): Estratto tramite un modello visivo fondazionale congelato (DINOv2-Large) e compresso da un Semantic VAE (SemVAE). Questo cattura l'identità dell'oggetto e la struttura della scena.
  • Latente di Texture ($z_1$): Codificato direttamente dall'immagine da un Texture VAE (un FLUX.2 VAE finetuned). Questo cattura i dettagli di ricostruzione a basso livello.
• Text Encoder: Utilizza il backbone LLM di Qwen3-VL (varianti da 2B o 4B a seconda della dimensione del modello di generazione) per gestire prompt complessi, lunghi e bilingui (Cinese/Inglese).
• Backbone DiT: Un'architettura in stile FLUX.2 che incorpora blocchi MMDiT a doppio stream e blocchi a singolo stream, adattata per accettare il latente composito e i doppi timestep.

3. Pipeline di Addestramento

Il processo di addestramento prevede tre fasi:

1. Pre-training: Utilizza 450M di coppie immagine-testo interne e 28M di dati sintetici renderizzati con testo. Il curriculum progredisce da 256px a 1024px. I dati sintetici si concentrano sull'allineamento rigoroso a livello di carattere per il rendering del testo.
2. Continual Training: Addestrato su un mix curato di 9M di alta qualità (paesaggi naturali, UI, anime, ecc.) a 1024px per potenziare il rispetto delle istruzioni.
3. Supervised Fine-Tuning (SFT): Utilizza circa 650K immagini di alta qualità con filtraggio rigoroso basato su estetica, qualità tecnica e capacità di captioning. Questa fase enfatizza prompt difficili e un accurato rendering del testo.
4. Distillazione & RL:
   • Distillazione Few-Step: DMD2 viene utilizzato per distillare il modello SFT in varianti "Turbo" a 4 step preservando l'offset semantic-first.
   • Post-training RL: Viene applicato DiffusionNFT per affinare il rispetto dei prompt, la qualità visiva e la soppressione degli artefatti.

Contributi Chiave

1. Scalabilità della Semantic-First Diffusion: Il documento dimostra che SFD non è limitata a piccoli modelli o dataset di test. Ha successo scalando a modelli da 1B, 2B e 5B di parametri, mantenendo l'efficacia nella generazione T2I ad alta risoluzione.
2. Efficienza delle Risorse: Il modello più grande da 5B è stato addestrato con sole 125K ore di GPU A800, rappresentando circa il 10-20% della computazione utilizzata da Z-Image, pur ottenendo prestazioni comparabili o superiori.
3. Risoluzione del Compromesso Ricostruzione-Generazione: Separando semantica e texture, SFD permette al Texture VAE di essere aggressivamente finetuned per la fedeltà di ricostruzione (migliorando il PSNR su Kodak da 33.18 a 36.40) senza sacrificare la velocità di convergenza tipicamente associata a spazi latenti complessi.
4. Famiglia di Modelli Completa: Il rilascio di tre scale di modelli (1B, 2B, 5B) e delle relative varianti Turbo fornisce opzioni di deployment flessibili per diversi budget hardware.

Risultati delle Prestazioni

SEFI-Image è stato valutato su molteplici benchmark contro solidi baseline (Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image):

• GenEval & DPG: Il modello da 5B raggiunge un punteggio GenEval complessivo di 0.88, eguagliando Qwen-Image e superando FLUX.2-Klein-9B (0.85) e Z-Image (0.84). Notevolmente, la variante da 1B raggiunge anche 0.87, dimostrando un forte ragionamento compositivo anche a piccole scale.
• Rendering di Testo Lungo (LongTextBench): Il modello da 5B raggiunge il punteggio medio più alto (0.978), superando Qwen-Image e JoyAI-Image.
• Generazione di Testo Visivo (CVTG-2K): Il modello da 5B raggiunge 0.8947 di Accuratezza delle Parole e 0.9434 di NED, migliorando rispetto ai baseline più forti.
• Istruzioni Bilingue (OneIG): Il modello da 5B ottiene i migliori punteggi complessivi su entrambi i benchmark, inglese (0.5606) e cinese (0.5379).
• Comportamento di Scaling: Gli esperimenti mostrano che un modello SFD da 2B può superare un modello non-SFD da 4B, indicando una migliore efficienza dei parametri.

Significato e Rivendicazioni

Gli autori affermano che SEFI-Image offre un paradigma principato e efficiente nelle risorse per costruire modelli fondazionali T2I. Il lavoro sfida la nozione secondo cui la guida semantica sia efficace solo per compiti di piccola scala o condizionati da classi. Decoupling (disaccoppiando) il layout semantico dalla sintesi della texture, il modello ottiene un superiore compromesso ricostruzione-generazione, consentendo una convergenza rapida e una generazione di alta qualità con costi computazionali significativamente ridotti.

Il documento posiziona SEFI-Image come una soluzione pratica e pronta per il deployment che fornisce intuizioni utili per la modellazione della diffusione guidata dal semantico. Si nota esplicitamente che, sebbene gli attuali modelli siano forti, sono limitati dal limite di 5B di parametri (a causa di vincoli hardware) e dalla scala dei dati di addestramento, lasciando spazio per una futura scalabilità in termini di dimensione del modello, diversità dei dati e applicazione alla generazione video e all'editing di immagini.