NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers

In dit paper wordt NAMI voorgesteld, een efficiënt beeldgeneratiemodel dat via een bruggeleidde progressieve rectified flow-architectuur de inferentietijd voor 1024-resolutie beelden met 64% verlaagt terwijl de beeldkwaliteit behouden blijft.

De kern

Wat is NAMI?

Stel je voor dat je een schilderij wilt maken. De oude manier (de huidige topmodellen) is alsof je begint met een heel groot canvas en direct met de fijnste penseelstreken begint, terwijl je tegelijkertijd de hele compositie moet bedenken. Dit kost enorm veel tijd en energie.

NAMI (Bridged Progressive Rectified Flow Transformers) is een slimme nieuwe manier om dit te doen. Het is alsof je een bouwplan volgt in drie stappen:

1. De schets: Je begint klein en ruw. Je tekent alleen de contouren en de basisindeling.
2. De verf: Je vergroot het beeld en vult de kleuren in.
3. De details: Pas op het allerlaatste moment voeg je de fijne details toe, zoals de glans in een oog of de textuur van een haar.

De drie slimme trucs van NAMI

1. De "Matroesjka-pop" aanpak (Resolutie)

In plaats van het hele schilderij in één keer te maken, maakt NAMI het in lagen, net als een Russische pop (matroesjka).

• Stap 1: Het model werkt eerst op een heel kleine, wazige afbeelding (bijv. 256x256 pixels). Hier gebruikt het een klein, snel team van neurale netwerken. Dit team is goed in het bedenken van het "wat" en "waar" (bijv. "een kat op een mat").
• Stap 2: Zodra de basis staat, wordt het beeld vergroot. Nu komt er een groter team bij om de details toe te voegen.
• Stap 3: Bij de hoogste resolutie (1024x1024) is het hele team aanwezig voor de allerlaatste verfwerkzaamheden.

Waarom is dit slim? Je hoeft niet de hele zware machine aan te zetten voor het ruwe werk. Dat bespaart enorm veel tijd en energie.

2. De "Brugbouwer" (BridgeFlow)

Een groot probleem bij deze stap-voor-stap methode is de overgang. Als je van een klein beeld naar een groot beeld springt, kan het beeld "uit elkaar vallen" of vervormen. Het is alsof je een brug bouwt tussen twee eilanden; als de brug niet stevig is, val je in het water.

NAMI introduceert een speciaal BridgeFlow-module. Dit is als een slimme lijm of een tussenbrug.

• Deze module zorgt ervoor dat de overgang van de ene stap naar de andere naadloos verloopt.
• Hij "leert" hoe hij het beeld moet herschikken en aanpassen zodat de stijl en de inhoud perfect blijven kloppen, zonder dat het beeld eruitziet alsof het is geknipt en geplakt.

3. De "Meertrapsraket" (Training)

Bij het trainen van deze AI (leren tekenen) gebruiken de makers een slimme strategie. In plaats van eerst alleen op kleine plaatjes te leren en daarna pas op grote, leren ze gelijktijdig op alle groottes.

• Het is alsof een student niet eerst alleen sommen tot 10 leert en pas later tot 1000, maar dat hij alle niveaus door elkaar oefent. Hierdoor leert het model de "essentie" van een object veel sneller en beter.

Wat levert dit op?

• Snelheid: Het paper laat zien dat NAMI 64% sneller is dan de huidige topmodellen (zoals FLUX) om een hoogwaardig plaatje te maken. Het is alsof je van een langzame trein overstapt op een sneltrein.
• Kwaliteit: Ondanks dat het sneller is, is de kwaliteit net zo goed. De "ruwe schets" is al zo goed dat de latere stappen alleen maar hoeven te verfijnen.
• Nieuwe Test (NAMI-1K): De auteurs zijn ook kritisch op bestaande tests. Ze zeggen: "De oude tests zijn te makkelijk en niet divers genoeg." Daarom hebben ze een nieuwe test gemaakt met 1.000 verschillende prompts (van korte zinnen tot lange verhalen), zodat ze echt kunnen zien of de AI begrijpt wat mensen bedoelen in de echte wereld.

Samenvatting in één zin

NAMI is een slimme AI die een afbeelding bouwt als een bouwproject: eerst de fundering en het raamwerk (snel en simpel), en daarna pas de dure afwerking (duur en gedetailleerd), waarbij een speciale brug zorgt dat alles perfect op elkaar aansluit. Hierdoor krijg je prachtige plaatjes in een fractie van de tijd.

Technische samenvatting

1. Het Probleem

Bestaande flow-based Transformer-modellen (zoals FLUX en SD3) hebben state-of-the-art prestaties bereikt in tekst-naar-beeld generatie, maar kampen met twee belangrijke beperkingen:

• Hoge inferentie-latentie en rekentkosten: Door de grote parametergroottes en de noodzaak om het volledige denoising-proces op hoge resolutie te doorlopen, is de inferentie-tijd hoog.
• Onderschatting van het generatieproces: De meeste huidige methoden voeren een uniforme denoising uit over alle stadia, zonder rekening te houden met het feit dat vroege stadia voornamelijk grove concepten en lay-outs genereren, terwijl latere stadia zich richten op fijne details. Dit leidt tot overbodige rekencapaciteit in de vroege fasen.
• Beperkte benchmarks: Bestaande evaluatiemethoden (zoals GenEval) lijden onder beperkte prompt-diversiteit en distributie-bias, wat een nauwkeurige beoordeling van menselijke voorkeuren bemoeilijkt.

2. Methodologie: NAMI

De auteurs stellen NAMI (Bridged Progressive Rectified Flow Transformers) voor, een architectuur die het generatieproces decomposeert over temporele, ruimtelijke en architecturale dimensies.

Kerncomponenten:

• Progressieve Rectified Flow: Het generatieproces wordt opgedeeld in $K$ resolutiestadia (bijv. 256, 512, 1024). In plaats van één groot model dat alles doet, wordt de rectified flow opgesplitst in tijdvensters die corresponderen met deze resoluties.
• Ruimtelijke Cascading (Model Partitioning):
  • In lage resolutiestadia worden minder Transformer-lagen gebruikt om de basislay-out en conceptcontouren te genereren.
  • Naarmate de resolutie toeneemt, worden er progressief meer lagen toegevoegd aan het model.
  • Dit betekent dat het model in de vroege fasen lichter is en sneller rekent, terwijl de complexiteit alleen toeneemt wanneer details nodig zijn.
• BridgeFlow Module: Om de overgang tussen verschillende resolutiestadia (bijv. van 256 naar 512) naadloos te maken, wordt een leerbaar BridgeFlow-module gebruikt.
  • In tegenstelling tot eerdere methoden (zoals Pyramid Flow) die niet-parametrische herschaal- en herdenoising-stappen gebruiken, leert BridgeFlow een lineaire transformatie om de kansverdelingen aan de randen van de stadia uit te lijnen.
  • Dit zorgt voor continuïteit in het probabilistische pad zonder de inferentie-efficiëntie te schaden.
• Multi-resolutie Training: Het model wordt getraind met data van verschillende resoluties tegelijkertijd. Dit bevordert kennisdeling binnen het model en voorkomt "catastrophic forgetting" tijdens het fijnafstemmen op hogere resoluties.

3. Belangrijkste Bijdragen

1. Nieuwe Architectuur: Introductie van Bridged Progressive Rectified Flow Transformers die multi-resolutie training mogelijk maken, wat leidt tot snellere convergentie.
2. Efficiëntie: NAMI-2B reduceert de inferentietijd voor het genereren van 1024x1024 afbeeldingen met 64% ten opzichte van een gelijkwaardig FLUX-basismodel, terwijl de beeldkwaliteit behouden blijft.
3. BridgeFlow: Een nieuwe module die de stromen tussen verschillende stadia uitlijnt via een leerbare lineaire transformatie, wat robuuster en efficiënter is dan bestaande niet-parametrische methoden.
4. NAMI-1K Benchmark: Introductie van een nieuwe evaluatiedataset bestaande uit 1.000 prompts (gemaakt door mensen, AI en open benchmarks) om menselijke voorkeuren, semantische alignering en instructie-opvolging beter te evalueren dan bestaande benchmarks.

4. Resultaten

• Snelheid: In tests op een A100 GPU reduceert NAMI-2B de tijd voor 1024x1024 generatie van 8,47 seconden (baseline) naar 2,98 seconden.
• Kwaliteit:
  • Op benchmarks zoals GenEval en DPG-Benchmark scoort NAMI-2B (2B parameters) concurrerend met of beter dan modellen met vergelijkbare parametergroottes (zoals SD3-medium en Hunyuan-DiT), en benadert zelfs de prestaties van veel grotere modellen (zoals FLUX-dev 12B) op specifieke taken.
  • Op de nieuwe NAMI-1K benchmark (menselijke evaluatie) behaalt NAMI-2B een totale score van 70,69, wat hoger is dan SD3-medium (69,97) en Infinity (69,77), en dicht in de buurt komt van FLUX-dev (85,05), ondanks dat FLUX-dev zes keer zo groot is.
• Trainingsefficiëntie: NAMI toont een hogere trainingsthruput (274 img/s vs 241 img/s) en een lagere piekgeheugengebruik (55GB vs 67,6GB) vergeleken met een FLUX-gebaseerde baseline.

5. Significantie

NAMI biedt een paradigmaverschuiving in de efficiënte beeldgeneratie door het "overhead"-probleem van grote Transformer-modellen aan te pakken. In plaats van het model te verkleinen (wat vaak kwaliteit kost), wordt het model dynamisch aangepast aan de fase van de generatie.

• Commercialisatie: De aanzienlijke reductie in inferentietijd maakt high-quality beeldgeneratie haalbaarder voor commerciële toepassingen met lagere hardware-eisen.
• Evaluatie: De introductie van NAMI-1K benadrukt de noodzaak van meer diverse en mensgerichte evaluatiemethoden, aangezien traditionele benchmarks vaak tekortschieten in het meten van realistische en complexe prompt-volging.
• Toekomst: De methode is modulair en kan worden gecombineerd met andere efficiëntietechnieken, en toont potentie voor toepassingen buiten generatie, zoals beeldbewerking (image editing) zonder extra training.

Kortom, NAMI bewijst dat het slim verdelen van rekencapaciteit over de tijd en resolutie van het generatieproces leidt tot modellen die zowel sneller als kwalitatief hoogstaand zijn.