🤖 AI

NanoFLUX: Distillation-Driven Compression of Large Text-to-Image Generation Models for Mobile Devices

NanoFLUX ist ein 2,4B-Parameter-Text-zu-Bild-Modell, das durch eine progressive Kompressionspipeline unter Verwendung von Transformer-Pruning, ResNet-basiertem Token-Downsampling und visuell-signalgesteuerter Textencoder-Destillation aus dem 17B FLUX.1-Schnell destilliert wurde und eine hochwertige Bildgenerierung auf mobilen Geräten in etwa 2,5 Sekunden ermöglicht.

Ursprüngliche Autoren: Ruchika Chavhan, Malcolm Chadwick, Alberto Gil Couto Pimentel Ramos, Luca Morreale, Mehdi Noroozi, Abhinav Mehrotra

Veröffentlicht 2026-02-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruchika Chavhan, Malcolm Chadwick, Alberto Gil Couto Pimentel Ramos, Luca Morreale, Mehdi Noroozi, Abhinav Mehrotra

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Meisterkoch, FLUX.1-Schnell, der die köstlichsten, komplexesten und visuell beeindruckendsten Mahlzeiten (Bilder) vorstellen kann, die man sich vorstellen kann. Dieser Koch ist ein Genie, aber er ist auch riesig: Er wiegt 17 Milliarden „Einheiten“ (Parameter) und benötigt eine massive, industrielle Küche (leistungsstarke Cloud-Server), um zu arbeiten. Sie können diesen Koch nicht mit nach Hause in Ihre kleine Wohnung (ein Mobiltelefon) nehmen, weil die Küche zu groß, die Stromrechnung zu hoch und der Koch zu langsam für ein schnelles Abendessen ist.

NanoFLUX ist die Lösung. Es ist, als würde man einen winzigen, super-effizienten Lehrlingskoch erschaffen, der fast genau dieselben köstlichen Mahlzeiten wie der Meister kochen kann, aber direkt in Ihre Tasche passt und in Sekunden fertig ist.

So erklärt das Paper, wie sie diesen winzigen Lehrlingskoch gebaut haben, indem sie drei Tricks angewandt haben:

1. Das „Aufräumen des Chaos“ (Pruning redundanter Teile)

Der Meisterkoch hat ein Gehirn mit 12 Milliarden „Neuronen“ (den Diffusion Transformer). Die Forscher stellten fest, dass viele dieser Neuronen entweder die gleiche Arbeit wiederholten oder gar nicht viel bewirkten.

Die Analogie: Stellen Sie sich eine Bibliothek mit 12 Millionen Büchern vor, von denen 10 Millionen nur Fotokopien derselben drei Seiten sind.
Die Lösung: Sie verwendeten einen intelligenten Scanner, um die Duplikate zu finden und wegzuwerfen. Sie stellten auch fest, dass einige „Köche“ (Attention Heads) exakt dieselbe Aufgabe ausführten, also entließen sie die Überschüssigen. Andere Köche, die ähnliche Aufgaben erledigten, wurden zu einem Super-Koch verschmolzen.
Das Ergebnis: Sie schrumpften das Gehirn von 12 Milliarden Einheiten auf nur noch 2 Milliarden Einheiten, ohne die Fähigkeit zu verlieren, ein großartiges Essen zuzubereiten.

2. Die „Zoom-Out, Zoom-In“-Strategie (Token Downsampling)

Wenn der Koch ein Bild betrachtet, um es zu rekonstruieren, betrachtet er normalerweise jedes einzelne Pixel (oder jeden „Token“) die ganze Zeit über in voller Auflösung. Das ist langsam und anstrengend.

Die Analogie: Stellen Sie sich vor, Sie malen eine Landschaft. Ganz am Anfang müssen Sie nicht jedes einzelne Blatt an einem Baum sehen; Sie müssen nur die allgemeine Form des Waldes und der Berge erkennen. Erst wenn Sie die feinen Details hinzufügen, müssen Sie heranzoomen und die Blätter malen.
Die Lösung: NanoFLUX verwendet eine spezielle „ResNet“-Linse. In den frühen Phasen der Bilderstellung betrachtet es das Bild aus der Ferne (niedrige Auflösung), was sehr schnell geht. Erst wenn es an der Zeit ist, die feinen Details hinzuzufügen, wechselt es zur hochauflösenden Nahaufnahme.
Das Ergebnis: Der Koch verbringt weniger Zeit damit, das ganze Bild anzustarren, und mehr Zeit damit, sich auf das Wesentliche zu konzentrieren, was den Prozess viel schneller macht.

3. Der „Intelligente Assistent“ (Text Encoder Distillation)

Der Meisterkoch besitzt auch eine massive Enzyklopädie (einen 5-Milliarden-Einheiten-Text-Encoder), um Ihre Anweisungen zu verstehen. Wenn Sie sagen „eine Katze mit einem Hut“, muss die Enzyklopädie genau wissen, was das bedeutet.

Die Analogie: Der Meisterkoch hat ein 5-Miliarden-Seiten starkes Wörterbuch. Der Lehrling benötigt nur ein 330-Millionen-Seiten starkes Wörterbuch.
Die Lösung: Anstatt dem Lehrling einfach nur ein kleineres Wörterbuch zu geben, brachten sie ihm bei, die Notizen des Meisters zu lesen. Sie zeigten dem Lehrling die visuellen Hinweise, die der Meisterkoch beim Lesen der Anweisungen sah. Auf diese Weise lernt das kleine Wörterbuch, die „Vibe“ und die Bedeutung der Wörter genauso gut zu verstehen wie das riesige Wörterbuch, ohne all die zusätzlichen Seiten zu benötigen.
Das Ergebnis: Der Textverständnis-Teil des Modells schrumpfte von 5 Milliarden Einheiten auf 330 Millionen Einheiten, versteht aber Ihre Prompts dennoch perfekt.

Das Endergebnis

Durch die Kombination dieser drei Tricks erschufen die Forscher NanoFLUX.

Größe: Es ging von einem massiven 17-Milliarden-Parameter-Modell auf ein winziges 2,4-Milliarden-Parameter-Modell (etwa 7-mal kleiner).
Geschwindigkeit: Auf einem Mobiltelefon kann es ein hochwertiges Bild (512x512 Pixel) in etwa 2,5 Sekunden generieren.
Qualität: Das Paper behauptet, dass die Bilder fast identisch mit denen sind, die von der riesigen, teuren Cloud-Version erstellt werden.

Kurz gesagt: Sie haben das Modell nicht nur kleiner gemacht; sie haben es intelligenter darin gemacht, wie es arbeitet, und damit bewiesen, dass man keinen Supercomputer mehr braucht, um wunderschöne KI-Kunst zu generieren.

Technisches Resümee: NanoFLUX

Problemstellung

Großskalige Text-zu-Bild (T2I) Diffusionsmodelle, wie die FLUX-Familie (Skalierung bis zu 17B Parametern) und Qwen-Image (20B Parameter), haben eine erstklassige visuelle Qualität erreicht. Ihr massiver Umfang schafft jedoch eine erhebliche Barriere für den Einsatz auf Geräten (On-Device), da sie kostspielige GPU-Infrastrukturen oder Cloud-basierte Inferenz erfordern. Bestehende Lösungen für Geräte setzen oft auf kleinere Modelle, denen eine vergleichbare Qualität fehlt, oder nutzen Kompressionstechniken (Pruning, Quantisierung, Schrittreduzierung), die die architektonische Redundanz von großskaligen Diffusionstransformern (DiTs) und deren zugehörigen Textencodern nicht vollständig adressieren. Die Herausforderung besteht darin, diese massiven Modelle für Mobilgeräte zu komprimieren und dabei die Generationsqualität beizubehalten sowie die Inferenzlatenz zu minimieren.

Methodik: NanoFLUX

Die Autoren führen NanoFLUX ein, ein 2,4B-Parameter T2I-Modell, das aus dem 17B FLUX.1-Schnell Teacher-Modell destilliert wurde. Die Kompression erfolgt durch eine progressive, distillationsgesteuerte Pipeline, die auf die zwei schwersten Komponenten abzielt: den 12B Diffusionstransformer (DiT) und den 5B T5-XXL Textencoder.

1. Transformer-Kompression (12B $\to$ 2B)

Die Autoren wenden eine vierstufige progressive Kompressionsstrategie an, um die Größe des DiT zu reduzieren:

Stufe C1: Attention-Head-Pruning (12B $\to$ 5B):
- Analyse: Eine Singulärwertzerlegung (SVD) der Attention-Head-Outputs zeigte, dass nicht alle Heads unabhängig sind; viele enthalten redundante Informationen.
- Aktion: Die Anzahl der Attention-Heads ( $H$ ) wurde einheitlich von 24 auf 16 reduziert.
- Distillation: Ein Feature-Level-Loss wurde eingeführt, um sicherzustellen, dass die verbleibenden Heads kollektiv die Information der geprunteten Heads bewahren. Der Student wurde mit den ersten 16 Heads des Teachers initialisiert.
Stufe C2: Reduktion der Head-Dimension (5B $\to$ 3B):
- Analyse: SVD wurde erneut auf die Features des 5B-Modells angewendet.
- Aktion: Die Head-Dimension ( $d_H$ ) wurde von 128 auf 96 reduziert, wobei die obersten singulären Komponenten beibehalten wurden. Dies ergab ein 3B-Parameter-Modell.
Stufe C3: Depth-Pruning via Block-Merging (3B $\to$ 2,5B):
- Analyse: Die Input-Output-Kosinusähnlichkeit wurde für die Transformer-Blöcke berechnet. Single-Stream (SS) Blöcke zeigten eine hohe Ähnlichkeit (>0,85), was auf funktionale Redundanz hindeutet.
- Aktion: Anstatt diese Blöcke zu löschen, verschmolzen die Autoren eine Kette von 15 redundanten SS-Blöcken zu einem einzigen Block, indem sie deren Parameter mittelten. Dies reduzierte die Transformer-Tiefe von 38 auf 24 Blöcke.
Stufe C4: Statische Layer-Normalisierung (2,5B $\to$ 1,8B):
- Analyse: Die vom Modell vorhergesagten adaptiven Layer-Normalisierungs-Koeffizienten (AdaLN) zeigten eine geringe Varianz über die Samples hinweg, was darauf hindeutet, dass die dynamische Konditionierung durch CLIP-Projektionen redundant ist.
- Aktion: Die dynamischen AdaLN-Koeffizienten wurden durch vorab berechnete statische Mittelwerte (Static-LN) ersetzt. Dies entfernte etwa 0,7B Parameter. Das Modell wurde kurz nachgejustiert (Fine-tuning) mit eingefrorenen Koeffizienten, um die Qualität wiederherzustellen.

2. Progressives Token-Downsampling

Um die quadratische Komplexität der Self-Attention ohne Verlust an Details zu bewältigen:

Mechanismus: Ein ResNet-basiertes Downsampling-Modul ( $D$ ) und ein Upsampling-Modul ( $U$ ) wurden in den Transformer eingefügt.
Hybride Strategie: Das Modell arbeitet mit einem hybriden Auflösungsschema. Frühe Diffusions-Timesteps (die die globale Struktur erfassen) verarbeiten gedownsamptes Token-Material (Reduktion der Token-Anzahl um das 4-fache), während spätere Timesteps (die Details verfeinern) Full-Resolution-Tokens verarbeiten.
Training: Eine „Progressive Token Downsampling“ (PTD) Strategie wurde verwendet, um das Training zu stabilisieren. Module wurden inkrementell eingefügt und trainiert, wobei der Downsampling-Punkt über die Iterationen hinweg früher im Netzwerk platziert wurde.
Ergebnis: 23 von 43 Transformer-Blöcken operieren auf gedownsampten Tokens, was die Latenz signifikant reduziert und gleichzeitig die Hochauflösungs-Verarbeitung dort ermöglicht, wo sie notwendig ist.

3. Textencoder-Distillation (5B $\to$ 330M)

Ziel: Den 5B T5-XXL Encoder in einen 330M T5-Large Encoder zu destillieren.
Methode: Ein zweistufiger Distillationsprozess:
1. Embedding Matching: Ein MLP wird dem Studenten hinzugefügt, um die Output-Dimension des Teachers anzupassen und den MSE zwischen den Prompt-Embeddings zu minimieren.
2. Blockweise Distillation: Der Student wird darauf trainiert, die Prompt-Hidden-States des Teachers an spezifischen Transformer-Layern zu matchen. Entscheidend ist, dass die Methode visuelle Signale aus den frühen Layern des Denoisers (via Joint Attention) nutzt, um den Textencoder zu leiten und so die Fehlerakkumulation zu mildern.
3. Stabilität: Gradienten werden für High-Noise-Timesteps ( $t < \hat{t}$ ) abgetrennt (detached), um eine instabile Supervision zu vermeiden, wobei der Fokus der Distillation auf späteren Timesteps und den ersten drei Transformer-Layern liegt.

Kernergebnisse

Modellgröße: Das finale NanoFLUX-Modell umfasst 2,4B Parameter (2B DiT + 330M Textencoder), eine 7 $\times$ Reduktion gegenüber dem 17B FLUX.1-Schnell Teacher-Modell.
Performance:
- Auf mobilen Geräten generiert NanoFLUX 512 $\times$ 512 Bilder in etwa 2,5 Sekunden.
- Quantitative Benchmarks (One-IG, DPG, GenEval, HPDv3) zeigen, dass NanoFLUX eine vergleichbare Leistung wie das Teacher-Modell beibehält, mit nur geringfügiger Degradierung in spezifischen Metriken (z. B. sinkt HPSv3 von 11,45 auf 10,41).
- Qualitative Ergebnisse deuten darauf hin, dass das Modell die Bildqualität und die Prompt-Treue vergleichbar zum ursprünglichen 17B-Modell bewahrt.
Effizienz: Die Strategie des progressiven Token-Downsamplings balanciert erfolgreich Inferenzlatenz und Generationsqualität, wodurch das Modell effizient auf ressourcenbeschränkter Hardware laufen kann.

Bedeutung und Ansprüche

Das Paper behauptet, dass NanoFLUX das erste Framework ist, das die umfassende Kompression großskaliger Modelle für die T2I-Generierung untersucht, insbesondere mit Blick auf Modelle wie FLUX. Seine Bedeutung liegt in:

Machbarkeit der On-Device-Generierung: Nachweis, dass hochwertige T2I-Generierung auf Mobilgeräten ohne Abhängigkeit von Cloud-Infrastruktur möglich ist.
Architektonische Erkenntnisse: Bereitstellung eines praktischen Weges zur Skalierung kleinerer generativer Modelle durch Identifizierung und Ausnutzung spezifischer architektonischer Redundanzen (Attention-Heads, Block-Tiefe, Normalisierungs-Dynamik) anstatt sich rein auf generische Quantisierung oder Schrittreduzierung zu verlassen.
Generalisierbarkeit: Bereitstellung von Erkenntnissen und einer progressiven Distillations-Pipeline, die sich auf zukünftige großskalige generative Modelle übertragen lassen könnten.

Die Autoren positionieren diese Arbeit als einen Schritt zur Verbreiterung des Zugangs zu hochwertiger generativer KI für Nutzer mit begrenzten Rechenressourcen.