💻 computer science

SeFi-Image: A Text-to-Image Foundation Model with Semantic-First Diffusion

SeFi-Image is een nieuw text-to-image fundamenteel model dat gebruikmaakt van een semantisch-eerst diffusieparadigma dat state-of-the-art prestaties bereikt over meerdere benchmarks met aanzienlijk minder trainingsrekenkracht (125K A800 GPU-uren) vergeleken met eerdere modellen, terwijl het schaalbare varianten en gedestilleerde few-step versies biedt voor diverse deploymentbehoeften.

Oorspronkelijke auteurs: SeFi-Team

Gepubliceerd 2026-06-23

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: SeFi-Team

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Een Huis Bouwen Voordat Je de Muren Schildert

Stel je voor dat je een robot probeert te leren om een meesterwerk te schilderen op basis van een beschrijving die je hem geeft.

De Oude Manier (Traditionele AI):
Meestal proberen deze robots alles tegelijk te leren. Ze moeten tegelijkertijd uitzoeken waar de boom komt, welke kleur de lucht heeft, hoe de bladeren eruitzien en hoe de schors aanvoelt. Het is alsof je probeert een huis te bouwen, de muren te schilderen en de loodgietersinstallatie te installeren op exact hetzelfde moment. Het kost een enorme hoeveelheid tijd, energie en geld (rekenkracht) om het goed te krijgen.

De SeFi-Image Manier (Semantic-First Diffusion):
Het SeFi-Image-team realiseerde zich dat mensen dit niet zo doen. Wij schetsen meestal eerst de contouren en vullen daarna de details in.

Stap 1: De Blauwdruk (Semantiek): Eerst begrijpt de AI het "grote plaatje". Waar is de zon? Is er een kat? Staat de kat op het dak? Het creëert een schoon, structureel skelet van de afbeelding.
Stap 2: De Details (Textuur): Zodra het skelet solide is, vult de AI de vacht van de kat in, de wolken in de lucht en de textuur van het dak.

Dit paper introduceert een nieuwe methode genaamd Semantic-First Diffusion. Het dwingt de AI om het "blauwdruk"-gedeelte op te lossen voordat het zich zorgen gaat maken over de "verf". Omdat de blauwdruk al duidelijk is, heeft het deel dat de details toevoegt een makkelijker werk.

Waarom Dit een Groot Ding is

1. Het is een "Budgetvriendelijke" Superster
Normaal gesproken heb je een supercomputer nodig die maandenlang draait om een AI heel goed te laten tekenen.

De Vergelijking: Het paper noemt een beroemd model genaamd Z-Image dat een fortuin kostte om te trainen (met 314.000 GPU-uren).
Het SeFi-Image Resultaat: Hun grootste model (5 miljard parameters) behaalde vergelijkbare of zelfs betere resultaten met slechts 125.000 GPU-uren. Dat is alsof je hetzelfde werk doet met slechts 10–20% van de elektriciteitsrekening. Ze bewezen dat je niet zoveel geld hoeft te verbranden om een hoogwaardig resultaat te krijgen als je het leerproces beter organiseert.

2. De "Drie Maten" Aanpak
Het team heeft niet alleen één gigantische robot gebouwd; ze hebben er drie gebouwd:

De Kleine (1B): Klein, snel en verrassend slim. Het kan instructies goed opvolgen, ook al is het klein.
De Middelgrote (2B): Een gebalanceerde optie.
De Grote (5B): De zware werker die de meest complexe verzoeken afhandelt.
Dit is handig omdat verschillende mensen verschillende computers hebben. Als je een krachtige server hebt, gebruik je de Grote. Als je een laptop hebt, kun je de Kleine gebruiken.

3. Het is Goed in het Lezen en Schrijven van Tekst
Een van de moeilijkste dingen voor AI is het tekenen van tekst in een afbeelding (zoals een bord bij een winkel of een boekomslag).

Het Probleem: De meeste AI's krijgen letters door elkaar of spellen woorden verkeerd.
De SeFi-Image Fix: Ze gaven de AI een speciaal dieet van "synthetische data". Stel je een machine voor die miljoenen afbeeldingen genereert van tekst op eenvoudige achtergronden of complexe lay-outs, om de AI precies te leren hoe letters eruitzien en waar ze moeten staan. Hierdoor is SeFi-Image erg goed in het nauwkeurig weergeven van tekst, zelfs in lange, ingewikkelde zinnen.

Hoe Ze Het Getraind Hebben (Het "Curriculum")

Het paper beschrijft een slim trainingsschema, als een student die van de basisschool naar de universiteit gaat:

Basisschool (Pre-training): Ze lieten de AI miljoenen afbeeldingen met eenvoudige beschrijvingen zien om de basis van vormen en objecten te leren.
Middelbare School (Continual Training): Ze schakelden over naar afbeeldingen van hogere kwaliteit om de AI te leren hoe hij specifiekere instructies moet opvolgen.
Universiteit (Fine-Tuning): Ze gebruikten een zeer strikte filter om alleen de beste mogbare afbeeldingen aan de AI te laten zien, om hem te leren een kunstenaar te zijn in plaats van alleen een schetsmaker.

Ze hebben ook een "Turbo"-versie van het model gemaakt. Denk hierbij aan een "fast-forward"-knop. Normaal gesproken doet AI 50 stappen om een afbeelding te tekenen. Ze gebruikten een techniek genaamd distillatie om de AI te leren dit in slechts 4 stappen te doen, waardoor het veel sneller is voor real-time gebruik zonder te veel kwaliteitsverlies.

Wat Ze Hebben Ontdekt (De Resultaten)

Het werkt: Het model slaagde voor veel tests (benchmarks) waarbij het complexe instructies moest opvolgen (zoals "zet een rode kat op een blauwe stoel naast een boom").
Het schaalt: Hoewel de "Grote" (5B) de beste is, presteerde de "Kleine" (1B) bijna net zo goed als veel grotere modellen van andere bedrijven. Dit bewijst dat de "Eerst de Blauwdruk"-methode zeer efficiënt is.
Het is tweetalig: Het werkt goed in zowel Engels als Chinees.

De Beperkingen (Wat Ze Niet Hebben Gedaan)

De auteurs zijn eerlijk over wat hun model nog niet kan:

Grootte-limiet: Hun grootste model is 5 miljard parameters. Ze zouden het graag groter willen maken, maar ze kwamen tekort aan computerkracht (specifiek werden ze beperkt door NVIDIA A800 GPU's).
Stijlvariatie: Omdat ze sterk gefocust waren op natuurlijke afbeeldingen en tekst, is het model niet zo goed in zeer specifieke artistieke stijlen (zoals complexe grafische vormgeving of infographics) als het is in algemene foto's.
Video & Bewerking: Ze hebben dit gebouwd voor het maken van nieuwe afbeeldingen vanuit tekst. Ze hebben het nog niet getest op het bewerken van bestaande foto's of het maken van video's.

Samenvatting

SeFi-Image is een nieuwe manier om AI te leren tekenen. In plaats van de AI te leren alles tegelijk te leren, leert het de AI eerst de "blauwdruk" te tekenen en daarna de "huid". Deze eenvoudige verandering zorgt ervoor dat ze een model kunnen bouwen dat goedkoper te trainen, sneller te draaien en net zo goed (of zelfs beter) is dan de duurste modellen die momenteel beschikbaar zijn. Ze hebben hun code en modellen vrijgegeven zodat iedereen ze kan uitproberen.

Technische Samenvatting: SEFI-Image

Probleemstelling

Het trainen van fundamentele tekst-naar-afbeelding (T2I) modellen is steeds resource-intensiever geworden, waarbij state-of-the-art modellen honderdduizenden GPU-uren vereisen. Hoewel eerdere methoden probeerden om semantische sturing te benutten om de training te versnellen, werden deze benaderingen grotendeks alleen gevalideerd op eenvoudige, laag-resolutie datasets (bijv. ImageNet 256×256) met kleinschalige modellen (<1B parameters). Een cruciale openstaande vraag blijft of semantische sturingsmechanismen effectief blijven bij grotere model-schalen, hogere resoluties en binnen de complexe, praktische T2I-omgeving. Bovendien hebben bestaande methoden vaak moeite met de fundamentele afweging in latente diffusie: hoge reconstructiefaillibiliteit vereist complexe latente distributies die moeilijk te modelleren zijn, terwijl vereenvoudigde latente ruimtes vaak ten koste gaan van de beeldkwaliteit.

Methodologie: Semantic-First Diffusion (SFD)

Het artikel stelt SEFI-Image voor, een T2I-fundamenteel model gebouwd op Semantic-First Diffusion (SFD), een nieuw latent diffusie-paradigma. De kerninnovatie is het ontkoppelen van het denoising-proces in asynchrone semantische en textuurstromen.

1. Kernmechanisme

In tegenstelling tot conventionele latente diffusiemodellen die alle informatie onder een enkel tijdstap-schema denoisen, scheidt SFD semantische factoren (globale structuur, objectlay-out) van textuurfactoren (hoogfrequente details).

Asynchrone Tijdstappen: Het model wijst verschillende tijdstappen $t_s$ (semantisch) en $t_z$ (textuur) toe. Het semantische latente wordt iets eerder gedenoised dan het textuur latente ( $t_s \ge t_z$ ), wat ervoor zorgt dat de textuurgeneratie altijd wordt geconditioneerd op een "schonere" structurele anker.
Driefasige Inferentie:
1. Semantische Initialisatie: Alleen semantische latentes worden gedenoised om de globale structuur vast te stellen.
2. Asynchrone Generatie: Beide stromen denoisen, maar de semantiek leidt de verfijning van de textuur.
3. Textuur Voltooiing: Semantiek is volledig gedenoised; textuur latentes verfijnen de fijnmazige details.
Dual-Timestep Conditionering: De Diffusion Transformer (DiT) backbone accepteert aparte tijdstap-embeddings voor beide stromen, waardoor het model zich bewust kan zijn van de asynchrone ruisniveaus bij elke stap.

2. Architecturale Componenten

Composiet Latente Constructie:
- Semantisch Latente ( $s_1$ ): Geëxtraheerd via een bevroren visueel fundamenteel model (DINOv2-Large) en gecomprimeerd door een Semantische VAE (SemVAE). Dit vangt objectidentiteit en scène-structuur op.
- Textuur Latente ( $z_1$ ): Direct gecodeerd vanuit de afbeelding door een Textuur VAE (een gefinetunede FLUX.2 VAE). Dit vangt details voor lage-niveau reconstructie op.
Tekst Encoder: Maakt gebruik van de LLM-backbone van Qwen3-VL (2B of 4B varianten afhankelijk van de generatiemodelgrootte) om complexe, lange en tweetalige (Chinees/Engels) prompts te verwerken.
DiT Backbone: Een FLUX.2-stijl architectuur die double-stream MMDiT-blokken en single-stream blokken incorporeert, aangepast om de composiete latente en duale tijdstappen te accepteren.

3. Trainingspipeline

Het trainingsproces omvat drie stadia:

Pre-training: Gebruikt 450M interne beeld-tekst paren en 28M synthetische tekst-gerenderde data. Het curriculum vordert van 256px naar 1024px. De synthetische data focust op strikte karakter-niveau uitlijning voor tekstrendering.
Continuele Training: Getraind op een gecureerde 9M hoogwaardige mix (natuurlijke scènes, UI, anime, etc.) op 1024px om instructie-opvolging te verbeteren.
Supervised Fine-Tuning (SFT): Gebruikt ~650K hoogwaardige afbeeldingen met strikte filtering op basis van esthetiek, technische kwaliteit en beschrijfbaarheid. Deze fase legt de nadruk op harde prompts en nauwkeurige tekstrendering.
Distillatie & RL:
- Few-Step Distillatie: DMD2 wordt gebruikt om het SFT-model te distilleren naar 4-staps "Turbo" varianten, terwijl de semantic-first offset behouden blijft.
- RL Post-training: DiffusionNFT wordt toegepast om prompt-opvolging, visuele kwaliteit en artefact-onderdrukking aan te scherpen.

Belangrijkste Bijdragen

Schaalbare Semantic-First Diffusion: Het artikel demonstreert dat SFD niet beperkt is tot kleine modellen of toy-datasets. Het schaalt succesvol naar 1B, 2B en 5B parameter modellen, waarbij de effectiviteit in hoog-resolutie T2I generatie behouden blijft.
Resource Efficiëntie: Het grootste 5B model werd getraind met slechts 125K A800 GPU-uren, wat ongeveer 10–20% vertegenwoordigt van de rekenkracht die gebruikt is door Z-Image, terwijl het vergelijkbare of superieure prestaties behaalt.
Resolutie van de Reconstruction-Generation Trade-off: Door semantiek en texturen te scheiden, staat SFD de Texture VAE toe om agressief te worden gefinetuned voor reconstructiefaillibiliteit (verbetering van PSNR op Kodak van 33.18 naar 36.40) zonder de convergentiesnelheid op te offeren die gewoonlijk geassocieerd wordt met complexe latente ruimtes.
Omvattende Model Familie: De release van drie model-schalen (1B, 2B, 5B) en hun bijbehorende Turbo varianten biedt flexibele implementatieopties voor variërende hardwarebudgetten.

Prestatieresultaten

SEFI-Image werd op meerdere benchmarks geëvalueerd tegen sterke baselines (Qwen-Image, Z-Image, FLUX.2-Klein-9B, JoyAI-Image):

GenEval & DPG: Het 5B model bereikt een algemene GenEval score van 0.88, wat overeenkomt met Qwen-Image en FLUX.2-Klein-9B (0.85) en Z-Image (0.84) overtreft. Opvallend genoeg bereikt de 1B variant ook 0.87, wat sterke compositorische redenering aantoont, zelfs op kleine schaal.
Long-Text Rendering (LongTextBench): Het 5B model bereikt de hoogste gemiddelde score (0.978), waarmee het Qwen-Image en JoyAI-Image overtreft.
Visuele Tekstgeneratie (CVTG-2K): Het 5B model bereikt 0.8947 Word Accuracy en 0.9434 NED, een verbetering ten opzichte van de sterkste baselines.
Tweetalige Instructies (OneIG): Het 5B model behaalt de beste algemene scores op zowel de Engelse (0.5606) als de Chinese (0.5379) benchmarks.
Scaling Gedrag: Experimenten tonen aan dat een 2B SFD model een 4B non-SFD model kan overtreffen, wat duidt op verbeterde parameter-efficiëntie.

Betekenis en Claims

De auteurs beweren dat SEFI-Image een principieel en resource-efficiënt paradigma biedt voor het bouwen van T2I fundamentele modellen. Het werk daagt het idee uit dat semantische sturing alleen effectief is voor kleine schaal of klasse-conditionele taken. Door semantische lay-out te ontkoppelen van textuursynthese, bereikt het model een superieure reconstruction-generation trade-off, wat snelle convergentie en hoogwaardige generatie mogelijk maakt met aanzienlijk verminderde rekenkosten.

Het artikel positioneert SEFI-Image als een praktische, direct inzetbare oplossing die nuttige inzichten biedt in semantisch gestuurde diffusie-modellering. Er wordt expliciet vermeld dat hoewel de huidige modellen sterk zijn, ze beperkt worden door de 5B parameter cap (vanwege hardwarebeperkingen) en de schaal van de trainingsdata, wat ruimte laat voor toekomstige schaling in modelgrootte, datadiversiteit en toepassing op videogeneratie en beeldbewerking.