🤖 machine learning

Diffusion Domain Expansion: Learning to Coordinate Pre-trained Diffusion Models

Dieser Artikel schlägt Diffusion Domain Expansion (DDE) vor, eine Methode, die einen kompakten trainierbaren Koordinator nutzt, um vortrainierte Diffusionsmodelle effizient zu erweitern, um größere Objekte zu generieren und komplexe Konditionierung zu bewältigen, und dabei eine überlegene Leistung bei Aufgaben zur Erzeugung langer Audiodaten und bedingter Bilder demonstriert.

Ursprüngliche Autoren: Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

Veröffentlicht 2026-05-25

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen Meisterkünstler, der unglaublich talentiert darin ist, kleine, perfekte 4x4-Zoll-Quadrate zu malen. Dieser Künstler (das vortrainierte Diffusionsmodell) hat Jahre damit verbracht, diese winzigen Quadrate perfekt zu malen. Sie möchten jedoch, dass er ein riesiges, panoramisches Wandgemälde oder eine komplexe Szene mit vielen spezifischen Details malt. Wenn Sie ihn einfach bitten, das Ganze auf einmal zu malen, könnte er verwirrt sein, oder die Ränder der Quadrate würden nicht zusammenpassen, was zu einer chaotischen Collage führt.

Diese Arbeit stellt eine neue Methode namens Diffusion Domain Expansion (DDE) vor. Betrachten Sie DDE als die Einstellung eines intelligenten Projektmanagers (des Koordinators), der neben dem Meisterkünstler arbeitet.

So funktioniert es, aufgeteilt in einfache Konzepte:

1. Das Problem: Die „Kleines Quadrat"-Begrenzung

Der Meisterkünstler weiß nur, wie man kleine Quadrate malt.

Das Ziel: Sie möchten ein riesiges Bild (wie ein langes Lied oder ein breites Satellitenfoto) oder ein Bild mit vielen spezifischen Anweisungen (wie „setze hier einen Baum, dort ein Auto und dort einen Hund").
Der alte Weg: Bisherige Methoden versuchten, die kleinen Quadrate mit starren Regeln (wie einem festen Rezept) zusammenzukleben. Manchmal passten die Teile nicht gut zusammen, oder die Regeln waren zu streng, um komplexe Anfragen zu bewältigen.

2. Die Lösung: Der „Intelligente Koordinator"

Anstatt den Meisterkünstler neu zu trainieren (was teuer und langsam ist), trainieren die Autoren ein winziges, effizientes Koordinat-Netzwerk.

Wie es funktioniert: Der Koordinator betrachtet die kleinen Quadrate, die der Künstler gerade malt. Er wirkt wie ein Dirigent in einem Orchester. Er hört zu, was der Künstler für jedes kleine Fleckchen tut, und sagt: „Hey, dieses Fleckchen muss besser mit dem daneben verschmelzen" oder „Stelle sicher, dass der Baum in diesem Fleckchen mit dem Himmel in jenem Fleckchen übereinstimmt."
Die Magie: Der Koordinator lernt, die „entrauschten" (bereinigten) Ausgaben des Meisterkünstlers zu nehmen und zu einem einzigen riesigen, kohärenten Meisterwerk zusammenzufügen.

3. Die Superkraft: Generalisierung (Die „Dehnbare" Fähigkeit)

Der beeindruckendste Teil dieser Arbeit ist, dass der Koordinator dehnbar ist.

Das Training: Der Koordinator wird an Beispielen mittlerer Aufgaben trainiert (z. B. ein Lied, das 48 Sekunden lang ist, oder ein Bild mit 2 spezifischen Objekten).
Das Ergebnis: Obwohl er nur an mittleren Aufgaben trainiert wurde, kann er erfolgreich viel größere Aufgaben bewältigen (z. B. ein 2-Minuten-Lied oder ein Bild mit 5 Objekten), ohne dass zusätzliches Training erforderlich ist. Es ist, als würde man einem Kind beibringen, zwei Schnürsenkel zusammenzubinden, und dann beobachten, wie es erfolgreich einen ganzen Bund Schnürsenkel zusammenbindet, weil es das Konzept des Bindens verstanden hat und nicht nur den spezifischen Knoten.

4. Realwelt-Tests (Das „Zeig es mir")

Die Autoren testeten diesen „Projektmanager"-Ansatz in drei verschiedenen Szenarien:

Lange Musik erstellen: Sie nahmen ein Modell, das nur kurze 12-Sekunden-Clips erstellen konnte, und nutzten den Koordinator, um sie zu langen, kohärenten Songs zusammenzufügen (bis zu 2 Minuten). Das Ergebnis klang viel natürlicher als das bloße Zusammenkleben von Clips.
Komplexe Szenen (CLEVR): Sie baten das Modell, Bilder mit mehreren spezifischen Objekten an bestimmten Stellen zu generieren (z. B. „ein roter Würfel hier, eine blaue Kugel dort"). Der Koordinator schaffte es, 5 verschiedene Objekte korrekt zu platzieren, während andere Methoden nach 2 oder 3 Objekten Schwierigkeiten hatten.
Satellitenkarten: Sie nutzten es, um große Satellitenbilder basierend auf einfachen Kartenskizzen zu generieren. Der Koordinator stellte sicher, dass Straßen und Gebäude über das gesamte Bild hinweg fließend verliefen, anstatt wie eine Patchwork-Decke auszusehen.

5. Warum es besser ist

Effizienz: Der Koordinator ist winzig im Vergleich zum Meisterkünstler. Er hat weit weniger „Parameter" (Gehirnzellen) und benötigt viel weniger Zeit zum Trainieren.
Qualität: Bei jedem Test erzeugte der Koordinator hochwertigere Ergebnisse als die bisherigen „Klebe"-Methoden. Die Musik klang besser, die Bilder waren genauer und die Karten sahen realistischer aus.

Zusammenfassung

Kurz gesagt ist Diffusion Domain Expansion ein cleverer Trick. Anstatt zu versuchen, einem kleinen Künstler beizubringen, von Grund auf ein riesiges Wandgemälde zu malen, stellen Sie einen intelligenten, leichten Manager ein, der die kleinen Striche des Künstlers koordiniert. Dieser Manager lernt, die Teile so gut zu verschmelzen, dass das Endergebnis aussieht, als wäre es von einem riesigen Künstler gemalt worden, obwohl der Künstler nur wusste, wie man kleine Quadrate malt. Und das Beste daran? Dieser Manager kann noch größere Aufträge bewältigen als die, für die er trainiert wurde.

Technischer Überblick: Diffusion Domain Expansion (DDE)

Problemstellung

Vorab trainierte Diffusionsmodelle haben State-of-the-Art-Ergebnisse bei der Generierung von Bildern, Audio und anderen Datenmodalitäten erzielt. Das Neutraining dieser Modelle von Grund auf, um größere Ausgabedomänen (z. B. Panorama-Bilder, lange Audiospuren) oder komplexere Konditionierungseingaben (z. B. mehrere Objektpositionen) zu bewältigen, ist jedoch rechnerisch sehr aufwendig. Bestehende Ansätze zur Erweiterung generativer Domänen verlassen sich oft auf feste, algorithmische Koordinationsmechanismen (z. B. MultiDiffusion), die kein zusätzliches Training erfordern, aber auf spezifische Aufgaben beschränkt sind und an Flexibilität mangeln. Andere Methoden, wie das Training dynamischer Diffusor-Module, erfordern häufig feste Modalitäten zum Trainingszeitpunkt oder versagen bei der Generalisierung auf Domänen, die größer sind als die während des Trainings beobachteten.

Die zentrale Herausforderung, die in diesem Papier adressiert wird, besteht darin, wie die generative Domäne vorab trainierter Diffusionsmodelle effizient erweitert werden kann, um größere Objekte zu generieren und komplexere Konditionierung zu bewältigen, ohne die Basismodelle neu zu trainieren, wobei sichergestellt werden muss, dass die Lösung auf Instanzen generalisiert, die größer sind als diejenigen, die während des Trainings des Koordinators gesehen wurden.

Methodik: Diffusion Domain Expansion (DDE)

Die Autoren schlagen Diffusion Domain Expansion (DDE) vor, ein Framework, das ein kompaktes, trainierbares „Koordinator"-Netzwerk einsetzt, um die Ausgaben vorab trainierter Diffusionsmodelle zu orchestrieren.

Allgemeine Formulierung

Gegeben ein vorab trainiertes konditioniertes Diffusionsmodell $p(x|y)$ mit einem Entrauschungsnetzwerk $D(x, y, t)$ , ist das Ziel, ein erweitertes Objekt $X^{[L]}$ konditioniert auf eine erweiterte Eingabe $Y^{[L]}$ zu generieren, wobei $L$ den Maßstab darstellt (z. B. Anzahl der Patches oder Konditionierungslabels).

Zerlegung: Das erweiterte Paar $(X^{[L]}, Y^{[L]})$ wird mittels einer Abbildungsfunktion $F$ in $L$ kleinere Teile $([x_1, \dots, x_L], [y_1, \dots, y_L])$ zerlegt. Diese Teile liegen innerhalb der ursprünglichen Domäne des Basismodells.
Basis-Generierung: Jeder Teil $x_i$ wird vom vorab trainierten Entrauscher $D(x_i, y_i, t)$ verarbeitet.
Koordinierung: Ein trainierbares Koordinatormodell $C[\cdot]$ nimmt die Sequenz der entrauschten Ausgaben $[D(x_i, y_i, t)]_{i=1}^L$ und die Konditionierungsinformationen $[y_i]_{i=1}^L$ als Eingabe. Es lernt, diese Ausgaben zu koordinieren, um eine kohärente Schätzung des gesamten erweiterten Objekts $X^{[L]}(0)$ zu erzeugen.
Trainingsziel: Der Koordinator wird durch Minimierung des Entrauschungsfehlers des zusammengesetzten Entrauschers $D^{[L]}$ auf einem Datensatz der Größe $L_{train}$ trainiert. Entscheidend ist, dass die Methode so konzipiert ist, dass sie auf Testgrößen $L_{test} \ge L_{train}$ generalisiert.

Koordinator-Architektur

Die Autoren nutzen eine Vision Transformer (ViT)-Architektur für den Koordinator, angepasst von Peebles & Xie (2023).

Eingabe-Verarbeitung: Die entrauschten Patches aus den vorab trainierten Modellen werden „gepatcht" und mit globalen Positions-Encodings relativ zum größeren Objekt angereichert. Die Autoren verwenden Rotary Position Embeddings (RoPE), um größere räumliche Dimensionen effektiv zu handhaben.
Versöhnung: Während des Vorwärtsprozesses verarbeitet der Transformer alle Patches. Um überlappende Patches (die zur Sicherstellung der Kontinuität verwendet werden) zu handhaben, wird die endgültige Ausgabe durch Mittelung der Werte in den überlappenden Regionen konstruiert, inspiriert von der MultiDiffusion-Sampling-Methode.
Effizienz: Der Koordinator ist deutlich kleiner als das Basismodell (z. B. 66M vs. 405M Parameter bei der Musikgenerierung) und erfordert weniger Trainingsepochen.

Hauptbeiträge

Neues Framework: Einführung von DDE, einer Methode, die einen kleinen, trainierbaren Koordinator verwendet, um die Generierungsfähigkeiten vorab trainierter Diffusionsmodelle auf größere Objekte und komplexere Konditionierung zu erweitern.
Generalisierungsfähigkeit: Nachweis, dass der Koordinator Objekte generieren und Konditionierungseingaben handhaben kann, die in ihrem Maßstab größer sind als diejenigen, die in seinen Trainingsdaten vorhanden waren ( $L_{test} \ge L_{train}$ ).
Architektur-Design: Validierung einer ViT-basierten Architektur als geeigneter Koordinator, der langreichweitige Abhängigkeiten lernt und gleichzeitig lokale Konsistenz durch Mittelung der Überlappungen erzwingt.
Effizienz: Der Ansatz erreicht hochwertige Generierung mit deutlich weniger Parametern und Trainingszeit im Vergleich zum Neutraining von Basismodellen oder der Verwendung größerer Koordinator-Architekturen.

Experimentelle Ergebnisse

Die Autoren evaluierten DDE über drei Domänen:

1. Generierung langer Audiospuren (Slakh2100)

Aufgabe: Generierung von Musikspuren der Länge $10l$ (120 Sekunden) unter Verwendung eines Basismodells, das auf Länge $l$ (12 Sekunden) trainiert wurde.
Basislinien: Konkatenation und MultiDiffusion.
Ergebnisse: DDE erreichte eine Fréchet Audio Distance (FAD) von 2,112 für 4l-Spuren und 2,142 für 10l-Spuren. Dies schnitt bei der 10l-Aufgabe deutlich besser ab als MultiDiffusion (4,796) und Konkatenation (4,596). Der Koordinator (66M Parameter) war viel kleiner als das Basismodell (405M).

2. Konditionierte Bildgenerierung (CLEVR)

Aufgabe: Generierung von Bildern, die auf mehreren Objektpositionen ( $L$ Labels) konditioniert sind, wobei das Basismodell nur eine Position handhabt.
Basislinien: RRR (Reduce, Reuse, Recycle) und MultiDiffusion.
Ergebnisse: DDE zeigte eine überlegene Genauigkeit bei der Erfüllung mehrerer Konditionierungsbeschränkungen. Für 5 Konditionierungen erreichte DDE 44,5% Genauigkeit (Heun-Sampler), verglichen mit 33,6% für RRR und 36,3% für MultiDiffusion. Der Koordinator generalisierte vom Training auf $L_{train}=2$ zum Testen auf $L_{test}=5$ .

3. Generierung von Satellitenbildern

Aufgabe: Generierung großer Satellitenbilder, die auf schematischen Karten konditioniert sind.
Basislinien: MultiDiffusion.
Ergebnisse: DDE erreichte einen niedrigeren FID-Score als MultiDiffusion sowohl für in-Distribution ( $N=96$ , FID 31,75 vs. 37,81) als auch für out-of-Distribution ( $N=128$ , FID 27,37 vs. 35,01) Größen. Die visuelle Inspektion zeigte, dass DDE kohärentere Bilder ohne die bei MultiDiffusion-Proben beobachteten sichtbaren Nähte erzeugte.

Bedeutung und Behauptungen

Das Papier behauptet, dass DDE eine praktische und effiziente Lösung für die Skalierung von Diffusionsmodellen ohne die prohibitiven Kosten des Neutrainings bietet. Durch das Erlernen der Koordination vorab trainierter Prozesse ermöglicht die Methode:

Domänenerweiterung: Generierung größerer Objekte (längeres Audio, größere Bilder) und Handhabung komplexerer Bedingungen (mehrere Labels) über die ursprünglichen Fähigkeiten des Modells hinaus.
Generalisierung: Die Fähigkeit, auf Maßstäbe zu extrapolieren, die größer sind als diejenigen, die während des Trainings des Koordinators gesehen wurden.
Qualität und Konsistenz: Der ViT-basierte Koordinator lernt effektiv langreichweitige Abhängigkeiten, löst Konflikte zwischen lokalen Entrauschungsschritten und erzeugt global konsistente Ausgaben.

Die Autoren weisen darauf hin, dass die primäre Einschränkung die Notwendigkeit zusätzlicher Daten und Zeit zum Training des Koordinatormodells ist, obwohl diese Kosten deutlich niedriger sind als das Training eines vollständigen Diffusionsmodells von Grund auf. Als zukünftige Arbeiten wird die Anwendung von DDE auf die Generierung von Proteinsequenzen und die Erstellung von Videos aus kurzen Clips vorgeschlagen.