Amber-Image: Efficient Compression of Large-Scale Diffusion Transformers

Die Arbeit stellt Amber-Image vor, ein effizientes Kompressionsframework, das große Diffusion-Transformer-Modelle wie Qwen-Image durch gezielte Tiefenpruning- und Hybrid-Stream-Strategien ohne Neutraining in ressourcenschonende Varianten mit 10B und 6B Parametern verwandelt, wobei die hohe Bildqualität und Textrendering-Leistung erhalten bleibt.

Das Wesentliche

🎨 Das große Problem: Der riesige Bild-Koch

Stell dir vor, du möchtest die besten Bilder der Welt aus Texten zaubern (z. B. „Ein roter Drache, der über einem Vulkan fliegt"). Dafür gibt es heute riesige künstliche Intelligenzen, die wie Super-Köche in einem gigantischen, 60-stöckigen Hochhaus arbeiten.

Diese „Köche" (die KI-Modelle) sind unglaublich gut. Aber sie haben zwei riesige Probleme:

1. Sie sind zu teuer: Um sie zu betreiben, braucht man ganze Fabriken voller Supercomputer. Das kostet ein Vermögen.
2. Sie sind zu schwer: Man kann sie nicht auf einem normalen Laptop oder sogar einem starken Gaming-PC laufen lassen. Sie sind wie ein Elefant, der versuchen würde, in eine Minifluse zu passen.

Die Forscher von HelloGroup (die Entwickler von Amber-Image) haben sich gedacht: „Warum bauen wir nicht einen kleineren, schlankeren Koch, der fast genauso gut kocht, aber in eine normale Küche passt?"

✂️ Die Lösung: Der „Amber-Image"-Schere-Effekt

Statt einen neuen Koch von Grund auf zu trainieren (was Jahre und Millionen an Strom kosten würde), haben sie einen bestehenden, riesigen Koch (einen 20-Milliarden-Parameter-Modell namens Qwen-Image) genommen und ihn intelligent geschrumpft.

Sie haben das in zwei Schritten gemacht:

Schritt 1: Der große Schnitt (Amber-Image-10B)

Stell dir das 60-stöckige Hochhaus des Original-Kochs vor. Die Forscher haben sich angesehen, welche Stockwerke wirklich wichtig sind und welche eher „Luft" machen.

• Die Analyse: Sie haben getestet: „Was passiert, wenn wir das 15. Stockwerk weglassen? Wird das Bild dann schlecht?"
• Der Schnitt: Sie haben die 30 am wenigsten wichtigen Stockwerke entfernt. Das Gebäude ist jetzt nur noch halb so hoch (30 Stockwerke).
• Der Trick: Damit das Gebäude nicht einstürzt, haben sie die verbleibenden Stockwerke nicht einfach so gelassen. Sie haben sie wie einen Flüssigkeits-Mixer behandelt: Sie haben die Eigenschaften der entfernten Stockwerke in die verbleibenden „hineingemischt" (durch eine mathematische Durchschnittsbildung). So behält der verkleinerte Koch das Wissen des großen, ohne die extra Etagen zu brauchen.

Schritt 2: Der Umbau zur Single-Stream-Küche (Amber-Image-6B)

Jetzt haben sie noch einen Schritt weitergedacht. Im Original-Koch gab es zwei getrennte Arbeitsgänge: Einer für die Text-Beschreibung und einer für das Bild.

• Die Idee: In den unteren Stockwerken (den frühen Schichten) braucht man zwei getrennte Arbeitsgänge, um Text und Bild zu verstehen. Aber in den oberen Stockwerken (den tieferen Schichten), wo das Bild eigentlich schon gezeichnet wird, ist das Trennen eigentlich nur noch unnötiger Ballast.
• Der Umbau: Sie haben die oberen 20 Stockwerke in eine einzige Arbeitslinie umgewandelt. Der Koch nutzt jetzt nur noch einen Arm, um das Bild fertigzustellen, anstatt zwei.
• Das Ergebnis: Ein noch kleineres Modell (Amber-Image-6B), das extrem schnell ist, aber immer noch fast so gut malt wie der riesige Original-Koch.

🚀 Warum ist das so genial?

Normalerweise müsste man, um so einen kleinen Koch zu trainieren, Millionen von Bildern und Texten durchfüttern und Jahre an Rechenzeit investieren. Das ist wie der Versuch, einen neuen Michelin-Sterne-Koch aus einem Lehrling zu machen, indem man ihn 10 Jahre lang kochen lässt.

Amber-Image macht es anders:

• Kein Training von Null: Sie nehmen einen fertigen Meisterkoch und schneiden ihn nur zu.
• Winzige Kosten: Der ganze Prozess (Schrumpfen und Feinabstimmung) hat weniger als 2.000 Stunden auf High-End-Computern gebraucht. Zum Vergleich: Ein Training von Null würde oft das Zehnfache kosten.
• Ergebnis: Die kleinen Modelle (10 Milliarden und 6 Milliarden Parameter) können auf Benchmarks (Testaufgaben) oft sogar besser abschneiden als die riesigen Modelle, besonders wenn es darum geht, komplexe Anweisungen zu befolgen oder Text im Bild korrekt zu schreiben.

🏆 Das Fazit

Stell dir vor, du hast einen riesigen, schweren Sack voller Gold (das große KI-Modell). Die Forscher haben den Sack nicht wegwerfen müssen. Stattdessen haben sie ihn wie einen Rucksack umgebaut: Sie haben den unnötigen Ballast entfernt, die Struktur gestrafft und ihn so leicht gemacht, dass du ihn bequem auf deinem Rücken (oder deinem Laptop) tragen kannst, ohne dass er an Wert verliert.

Amber-Image ist also der Beweis, dass man nicht immer das größte und schwerste Modell braucht, um die besten Bilder zu erzeugen. Man braucht nur den richtigen Scherenschnitt und ein wenig Cleverness.

Technische Zusammenfassung

1. Problemstellung

Diffusion Transformer (DiT) Architekturen, insbesondere Multi-Modal Diffusion Transformers (MMDiT) wie in Qwen-Image (60 Schichten, 20 Mrd. Parameter), haben die Text-zu-Bild-Generierung (T2I) revolutioniert. Sie bieten jedoch erhebliche Nachteile:

• Hohe Rechenkosten: Das Training und die Inferenz erfordern massive Ressourcen, was den Einsatz auf Consumer-Hardware erschwert.
• Datenabhängigkeit: Das Training neuer, effizienter Modelle von Grund auf erfordert oft ultra-große, sorgfältig kuratierte Datensätze und komplexe Datenpipelines.
• Vendor Lock-in: Hochwertige geschlossene Systeme sind teuer und bieten keine Anpassungsmöglichkeiten.

Ziel der Arbeit ist es, diese Barrieren zu überwinden, indem leistungsfähige, aber leichtgewichtige Modelle ohne Neutraining von Grund auf und ohne massive Datenengineering-Projekte erstellt werden.

2. Methodik

Das Paper stellt Amber-Image vor, eine Familie von T2I-Modellen, die durch einen spezialisierten Kompressionsframework aus dem 20B-Parameter-Modell Qwen-Image abgeleitet werden. Der Prozess erfolgt in zwei sequentiellen Stufen und nutzt eine Kombination aus strukturem Pruning, Architekturwandel und Wissensdistillation.

A. Architektur und Ausgangspunkt

• Basismodell: Qwen-Image (60 Schichten, Dual-Stream MMDiT, Text-Encoder Qwen2.5-VL-7B und VAE bleiben unverändert).
• Ziel: Reduktion der Parameter um 70 % (auf 10B und 6B) bei Beibehaltung der Generierungsqualität.

B. Stufe 1: Depth Pruning für Amber-Image-10B

1. Schichtwichtigkeits-Schätzung (Layer Importance Estimation):
   • Anstelle von Gradienten-basierten Methoden wird eine globale Ablationsstrategie verwendet.
   • Jede der 60 Schichten wird einzeln „abgeschaltet" (Ablation), und die Abweichung in der Rauschvorhersage ($\epsilon$) wird gemessen.
   • Eine dynamische Gewichtung ($\omega_t$) berücksichtigt, dass Fehler in frühen Zeitschritten (hohe Rauschpegel) die semantische Struktur stärker beeinflussen als Fehler in späten Schritten.
   • Die 30 unwichtigsten Schichten werden identifiziert und entfernt.
2. Lokale Gewichts-Averaging (Weight Averaging):
   • Um den Verlust an Repräsentationskapazität zu minimieren, werden die verbleibenden Schichten neu initialisiert.
   • Die Gewichte einer verbleibenden Schicht werden als arithmetisches Mittel der ursprünglichen Gewichte dieser Schicht plus der unmittelbar folgenden, entfernten Schichten berechnet. Dies dient als qualitativ hochwertiger „Warm Start".
3. Wiederherstellung (Recovery):
   • Zielgerichtete Distillation: Nur die neu initialisierten Schichten werden trainiert, um die hidden states des Lehrers (Original-Qwen-Image) nachzuahmen.
   • Global Fine-Tuning: Anschließend erfolgt ein kurzes Full-Parameter-Fine-Tuning auf einem hochwertigen Datensatz (1 Mio. Bild-Text-Paare), um die Kohärenz wiederherzustellen.

C. Stufe 2: Umwandlung in Single-Stream für Amber-Image-6B

Um die Effizienz weiter zu steigern, wird die Architektur der tieferen Schichten vereinfacht:

1. Hybrid-Stream-Architektur:
   • Die ersten 10 Schichten bleiben als Dual-Stream (getrennte Verarbeitung von Text und Bild) erhalten, um modality-spezifische Merkmale zu extrahieren.
   • Die folgenden 20 Schichten werden in einen Single-Stream umgewandelt.
2. Initialisierung:
   • Die Single-Stream-Schichten werden direkt mit den Gewichten des Bild-Branches des 10B-Modells initialisiert, da der Bild-Branch für die räumliche Struktur primär ist.
3. Progressive Ausrichtung:
   • Lokale Distillation: Die 20 Single-Stream-Schichten werden trainiert, um die konkatinierten Hidden States (Text + Bild) des 10B-Lehrers nachzuahmen. Die ersten 10 Schichten bleiben dabei eingefroren.
   • Feinabstimmung: Ein leichtgewichtiges Full-Parameter-Fine-Tuning schließt den Prozess ab.

3. Schlüsselbeiträge

1. Strukturiertes Depth Pruning mit Fidelity-Aware Initialisierung: Eine Methode zur sicheren Entfernung von 50 % der Schichten in einem MMDiT, kombiniert mit einer cleveren Gewichtsinitialisierung durch lokales Averaging, die einen Trainingskollaps verhindert.
2. Progressive Architekturvereinfachung: Der Übergang von Dual-Stream zu Single-Stream in den tieferen Schichten reduziert die Parameter um weitere 40 % bei minimalem Qualitätsverlust, indem Cross-Modal-Redundanzen in späteren Phasen genutzt werden.
3. Zwei-Stufen-Wissensübertragung ohne große Datenmengen: Der gesamte Prozess (Pruning, Distillation, Fine-Tuning) kommt mit einem kleinen, hochwertigen Datensatz aus und eliminiert die Notwendigkeit, Modelle von Grund auf neu zu trainieren.

4. Ergebnisse

Die Evaluation erfolgte auf mehreren Benchmarks (DPG-Bench, GenEval, OneIG-Bench, LongText-Bench, CVTG-2K):

• Generelle Bildqualität: Amber-Image-10B und -6B erreichen auf DPG-Bench und GenEval die besten Gesamtergebnisse aller verglichenen Modelle. Sie übertreffen sogar den 20B-Lehrer (Qwen-Image) sowie geschlossene Systeme wie Seedream 3.0 und GPT Image 1 in Bezug auf semantische Ausrichtung und kompositorisches Denken.
• Text-Rendering:
  • Auf LongText-Bench und CVTG-2K zeigt Amber-Image-10B starke Leistungen, die geschlossene Baselines übertreffen.
  • Amber-Image-6B zeigt trotz der aggressiven Kompression immer noch konkurrenzfähige Ergebnisse, liegt jedoch leicht hinter spezialisierten Text-Rendering-Modellen (wie Ovis-Image oder Z-Image) zurück, insbesondere bei komplexen Layouts.
• Schwächen: Auf dem OneIG-Bench (insbesondere in den Dimensionen „Style" und „Diversity") gibt es Lücken im Vergleich zu Top-Modellen. Dies wird auf die begrenzte Vielfalt der Fine-Tuning-Daten und den Verlust ästhetischer Priors während der Kompression zurückgeführt.

5. Bedeutung und Effizienz

• Ressourceneffizienz: Der gesamte Trainingspipeline für beide Varianten (10B und 6B) benötigt weniger als 2.000 GPU-Stunden (auf 8 NVIDIA A100 GPUs über ca. 10 Tage). Dies ist ein Bruchteil der Kosten für das Training vergleichbarer Modelle von Grund auf (die oft Zehntausende GPU-Stunden benötigen).
• Praktische Anwendbarkeit: Amber-Image ermöglicht den Einsatz hochqualitativer Diffusionsmodelle auf Consumer-Hardware und senkt die Einstiegshürden für Forscher und Entwickler erheblich.
• Skalierbarkeit: Der Ansatz demonstriert, dass große Foundation-Modelle effizient komprimiert und für spezifische Anwendungsfälle (z. B. vertikale Domänen mit 2–3B Parametern) angepasst werden können, ohne massive Dateninfrastrukturen zu benötigen.

Fazit: Amber-Image beweist, dass durch intelligente Kompression, strukturiertes Pruning und gezielte Distillation State-of-the-Art-Ergebnisse bei drastisch reduzierten Kosten und Parametern erreicht werden können.