NAMI: Efficient Image Generation via Bridged Progressive Rectified Flow Transformers

Die Arbeit stellt NAMI vor, einen effizienten Bildgenerierungsansatz auf Basis von Rectified Flow-Transformern, der durch eine stufenweise, mehrstufige Architektur und ein BridgeFlow-Modul die Inferenzzeit um 64 % reduziert, ohne dabei die Bildqualität zu beeinträchtigen.

Das Wesentliche

Stell dir vor, du möchtest ein riesiges, hochauflösendes Gemälde malen.

Das alte Problem:
Bisherige KI-Modelle (wie die, die wir heute kennen) versuchen oft, das ganze Bild auf einmal zu malen. Sie starten mit einem riesigen Leinwandformat und versuchen, jedes Detail – vom groben Umriss eines Baumes bis zum einzelnen Lichtreflex auf einem Blatt – in einem einzigen, riesigen Arbeitsgang zu erledigen. Das ist wie wenn ein Maler versuchen würde, ein 100-Meter-Bild zu malen, indem er mit einem winzigen Pinsel bei jedem Strich das ganze Bild neu betrachtet. Es dauert ewig, ist anstrengend und kostet viel Energie (Rechenleistung).

Die neue Lösung: NAMI
Die Forscher von 360 AI haben eine clevere Methode namens NAMI entwickelt. Sie nennen es "Bridged Progressive Rectified Flow". Klingt kompliziert? Stell es dir so vor:

1. Der Baumeister-Ansatz (Stufenweise Verfeinerung)

Statt das ganze Bild auf einmal zu malen, baut NAMI das Bild wie ein Architekt, der ein Haus errichtet:

• Stufe 1: Der grobe Entwurf (Niedrige Auflösung): Zuerst wird nur ein kleines, unscharfes Skizzenbild erstellt. Hier geht es nur um die Grundidee: "Wo steht das Haus? Wo ist der Baum?" Dafür braucht man nur einen kleinen, schnellen Helfer (wenige KI-Schichten). Das geht blitzschnell.
• Stufe 2: Die Wände hochziehen (Mittlere Auflösung): Jetzt wird die Skizze vergrößert. Der Architekt fügt mehr Details hinzu: Fenster, Türen, die Farbe der Wände. Dafür braucht man einen etwas größeren Helfer.
• Stufe 3: Das feine Finish (Hohe Auflösung): Zum Schluss wird das Bild riesig. Jetzt kommen die Spezialisten, die die Tapetenmuster, die Lichtreflexe und die feinsten Texturen hinzufügen. Hier wird der volle, große Helfer eingesetzt.

Der Clou: NAMI spart sich die Zeit, indem es in den frühen Phasen nicht den riesigen, teuren "Super-Helfer" einsetzt, sondern nur die kleinen, schnellen Helfer. Erst wenn es wirklich nötig ist (bei den feinen Details), wird der große Motor hochgefahren.

2. Die Brücke (BridgeFlow)

Ein großes Problem bei dieser Methode war bisher: Wie bringt man das kleine Skizzenbild nahtlos in das große Bild, ohne dass es wie ein Flickenteppich aussieht?
Stell dir vor, du hast eine kleine Skizze und willst sie auf eine riesige Leinwand übertragen. Wenn du sie einfach nur hochskalierst (wie beim Zoomen auf dem Handy), wird sie unscharf und verzerrt.

NAMI nutzt eine spezielle "Brücke" (BridgeFlow). Das ist wie ein intelligenter Übersetzer, der genau weiß, wie man die groben Linien der Skizze perfekt in die feinen Linien des großen Bildes überführt. Er sorgt dafür, dass der Übergang zwischen den Stufen glatt ist und nichts "verloren geht".

3. Das Ergebnis: Schneller und besser

Dank dieser Methode passiert etwas Magisches:

• Geschwindigkeit: Das Bild entsteht 64 % schneller. Das ist, als würde man einen 100-Meter-Lauf in der Hälfte der Zeit schaffen, weil man nicht den ganzen Weg mit dem vollen Tempo rennen muss, sondern erst im Sprint antritt, wenn es ans Ziel geht.
• Qualität: Die Bilder sind trotzdem genauso schön und detailliert wie bei den alten, langsamen Modellen.
• Effizienz: Es wird weniger Rechenleistung verschwendet, weil man nicht überall den "Super-Computer" braucht.

Zusammenfassung in einer Metapher

Stell dir vor, du willst eine 1000-teilige Puzzle-Landschaft zusammenbauen.

• Die alten Modelle versuchen, jedes einzelne Puzzleteil sofort an seinen exakten Platz zu legen, während sie das ganze Bild im Kopf haben. Das dauert ewig.
• NAMI macht es anders:
  1. Zuerst legt es nur die Randsteine und die groben Farbflächen (das "Layout") auf einen kleinen Tisch. Das geht schnell.
  2. Dann vergrößert es den Tisch und fügt die mittleren Teile hinzu.
  3. Erst am Ende kommt der große Tisch, auf dem die feinsten Details (die Augen des Vogels, die Blätter) platziert werden.
  4. Die Brücke sorgt dafür, dass die Teile, die vom kleinen Tisch auf den großen übertragen werden, perfekt passen.

Fazit: NAMI ist wie ein effizienter Baumeister, der weiß, wann er schnell und grob arbeiten muss und wann er Zeit für die feinen Details hat. Das macht die KI nicht nur schneller, sondern auch günstiger in der Nutzung, ohne dass die Bilder schlechter werden.

Technische Zusammenfassung

1. Problemstellung

Flow-basierte Transformer-Modelle (wie SD3 oder FLUX) haben zwar den State-of-the-Art in der Bildgenerierung erreicht, leiden jedoch unter hoher Inferenz-Latenz und hohen Rechenkosten aufgrund ihrer großen Parameteranzahl.

• Ineffizienz: Herkömmliche Diffusionsmodelle führen den Denoising-Prozess über alle Stufen hinweg mit einer einheitlichen Auflösung und voller Modellkapazität durch, obwohl frühe Stufen oft nur grobe Layouts und späte Stufen feine Details benötigen.
• Redundanz: Die Verwendung aller Transformer-Schichten über den gesamten Generierungsprozess hinweg führt zu einer Verschwendung von Rechenressourcen, da die Komplexität der Aufgabe mit der Auflösung variiert.
• Benchmark-Limitierungen: Bestehende Evaluierungsmaße (wie GenEval oder DPG-Benchmark) weisen oft eine begrenzte Vielfalt an Prompts und Verteilungsverzerrungen auf, was eine umfassende Bewertung der menschlichen Präferenz erschwert.

2. Methodik: NAMI (Bridged Progressive Rectified Flow Transformers)

NAMI löst diese Probleme durch eine räumlich-zeitliche Trennung des Generierungsprozesses. Der Ansatz kombiniert Rectified Flow mit einer progressiven, mehrstufigen Architektur.

A. Progressive Rectified Flow

Der Generierungsprozess wird in $K$ Auflösungsstufen unterteilt, die jeweils einem Zeitfenster im Flow entsprechen:

• Niedrige Auflösung (Frühe Stufen): Hier werden nur wenige Transformer-Schichten verwendet, um grobe Layouts und Konzeptkonturen zu generieren. Dies reduziert die Rechenlast erheblich in den frühen Phasen.
• Hohe Auflösung (Späte Stufen): Mit steigender Auflösung werden schrittweise mehr Transformer-Schichten hinzugefügt, um Details und hohe Qualität zu erzeugen.
• Multi-Resolution Training: Das Modell wird gleichzeitig mit Daten unterschiedlicher Auflösungen trainiert. Dies ermöglicht einen Wissensaustausch zwischen den Stufen und beschleunigt die Konvergenz, ohne dass ein separates Fine-Tuning für höhere Auflösungen nötig ist.

B. BridgeFlow-Modul

Ein kritischer Bestandteil ist das BridgeFlow-Modul, das die Übergänge zwischen den Auflösungsstufen (den „Sprungpunkten") verbindet.

• Problem: Herkömmliche Methoden (wie Pyramid Flow) verwenden nicht-parametrische Reskalierung und Renoisierung, was ineffizient ist und die Robustheit einschränkt.
• Lösung: BridgeFlow führt eine lernbare lineare Transformation ein. Es passt die Wahrscheinlichkeitsverteilungen am Ende einer Stufe an die Startverteilung der nächsten Stufe an (nach dem Hochskalieren). Dies geschieht datengesteuert durch Minimierung des Mean Squared Error (MSE), was zu einer glatteren und effizienteren Übergangsphase führt.

C. Architektur

Das Modell basiert auf dem MM-DiT (Multimodal Diffusion Transformer) Block.

• NAMI-2B: Ein 2-Milliarden-Parameter-Modell mit 22 Schichten.
• Schichtverteilung: Die Schichten sind dynamisch über die Auflösungsstufen verteilt (z. B. 9:7:6 für 256/512/1024 Pixel), wobei frühe Stufen weniger Schichten nutzen.

3. Hauptbeiträge

1. Neue Architektur: Einführung von Bridged Progressive Rectified Flow Transformers, die Multi-Resolution-Training ermöglichen und die Modellkonvergenz beschleunigen.
2. Effizienzsteigerung: Durch die zeitliche Trennung und räumliche Kaskadierung von DiT-Modulen wird die Inferenzzeit für Bilder in 1024×1024 Auflösung um 64 % reduziert, bei gleichzeitiger Beibehaltung der Bildqualität.
3. BridgeFlow-Modul: Entwicklung eines lernbaren Moduls zur Ausrichtung der Flows zwischen den Stufen, das die Ineffizienz von nicht-parametrischen Übergängen überwindet.
4. NAMI-1K Benchmark: Vorstellung eines neuen Evaluierungsdatensatzes mit 1.000 Prompts (kombiniert aus Open-Benchmarks, KI-generierten und menschlich erstellten Prompts), der Verteilungsverzerrungen mindert und eine umfassendere Bewertung der menschlichen Präferenz ermöglicht.

4. Ergebnisse

• Inferenzgeschwindigkeit: Auf einer A100 GPU benötigt NAMI-2B für 1024×1024 Bilder nur 2,98 Sekunden im Vergleich zu 8,47 Sekunden bei einem vergleichbaren FLUX-Base-Modell (Reduktion um 64,82 %).
• Qualität: Auf Benchmarks wie GenEval und DPG-Benchmark erreicht NAMI-2B (2B Parameter) Ergebnisse, die mit deutlich größeren Modellen (z. B. FLUX-dev mit 12B Parametern) konkurrieren können und deutlich besser sind als andere 2B-Modelle (wie SD3-medium oder SANA).
• Menschliche Bewertung (NAMI-1K): In der Bewertung durch menschliche Annotatoren (Relevanz, Kohärenz, Ästhetik, Realismus) übertrifft NAMI-2B Modelle ähnlicher Größe (SD3, Infinity, Hunyuan-DiT) und zeigt nur geringe Lücken zu den sehr großen FLUX-Modellen.
• Trainingseffizienz: NAMI zeigt eine höhere Trainingsgeschwindigkeit (Throughput) und einen besseren FID/CLIP-Score im Vergleich zu FLUX-basierten Baselines bei gleicher Hardware.

5. Bedeutung und Ausblick

NAMI demonstriert, dass die Zerlegung des Generierungsprozesses in Auflösungsstufen mit angepasster Modellkapazität ein effektiver Weg ist, um die Lücke zwischen hoher Bildqualität und praktischer Inferenz-Effizienz zu schließen.

• Praktische Relevanz: Die drastische Reduktion der Inferenzzeit macht hochwertige Bildgenerierung auf kommerziell verfügbaren GPUs (wie A100) viel zugänglicher.
• Flexibilität: Die Architektur ist orthogonal zu anderen Optimierungsmethoden (wie Linear Attention) und kann mit diesen kombiniert werden.
• Anwendbarkeit: Das Paper zeigt zudem, dass die Methode training-free für Aufgaben wie Bildbearbeitung (Image Editing) adaptiert werden kann, indem die Layouts früher Stufen beibehalten und nur die späteren Stufen modifiziert werden.

Zusammenfassend bietet NAMI einen neuen Paradigmenwechsel weg von „ein Modell für alle Stufen" hin zu einem skalierbaren, stufenweisen Ansatz, der die inhärente Struktur der Bildgenerierung (von grob zu fein) besser ausnutzt.