🤖 machine learning

Diffusion Domain Expansion: Learning to Coordinate Pre-trained Diffusion Models

Dit artikel stelt Diffusion Domain Expansion (DDE) voor, een methode die gebruikmaakt van een compacte, trainbare coördinator om vooraf getrainde diffusiemodellen efficiënt uit te breiden voor het genereren van grotere objecten en het verwerken van complexe conditionering, waarbij superieure prestaties worden aangetoond bij taken voor het genereren van lange audio en conditionele afbeeldingen.

Oorspronkelijke auteurs: Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

Gepubliceerd 2026-05-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Egor Lifar, Semyon Savkin, Timur Garipov, Shangyuan Tong, Tommi Jaakkola

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een meesterkunstenaar voor die ongelooflijk getalenteerd is in het schilderen van kleine, perfecte vierkanten van 4 bij 4 inch. Deze kunstenaar (het voorgetrainde diffusiemodel) heeft jarenlang geleerd om deze kleine vierkanten perfect te schilderen. Je wilt echter dat ze een enorm, panoramisch muurschildering of een complexe scène met veel specifieke details schilderen. Als je hen gewoon vraagt om het hele werk in één keer te schilderen, raken ze misschien in de war, of passen de randen van de vierkanten niet bij elkaar, wat resulteert in een rommelige collage.

Dit artikel introduceert een nieuwe methode genaamd Diffusion Domain Expansion (DDE). Denk aan DDE als het inhuren van een slimme projectmanager (de coördinator) om naast de meesterkunstenaar te werken.

Hier is hoe het werkt, opgesplitst in eenvoudige concepten:

1. Het Probleem: De Beperking van het "Kleine Vierkant"

De meesterkunstenaar weet alleen hoe ze kleine vierkanten moeten schilderen.

Het Doel: Je wilt een enorm beeld (zoals een lang lied of een breed satellietbeeld) of een beeld met veel specifieke instructies (zoals "zet hier een boom, daar een auto en daar een hond").
De Oude Manier: Eerdere methoden probeerden de kleine vierkanten aan elkaar te lijmen met rigide regels (zoals een vast recept). Soms pasten de stukken niet goed bij elkaar, of waren de regels te streng om complexe verzoeken aan te kunnen.

2. De Oplossing: De "Slimme Coördinator"

In plaats van de meesterkunstenaar opnieuw te trainen (wat duur en traag is), trainen de auteurs een klein, efficiënt coördinatorennetwerk.

Hoe het werkt: De coördinator kijkt naar de kleine vierkanten die de kunstenaar momenteel schildert. Het werkt als een dirigent in een orkest. Het luistert naar wat de kunstenaar doet voor elk klein stukje en zegt: "Hé, dit stukje moet beter samengaan met het ernaast," of "Zorg ervoor dat de boom in dit stukje overeenkomt met de lucht in dat stukje."
De Magie: De coördinator leert de "ontruiste" (opgeschoonde) output van de meesterkunstenaar te nemen en ze samen te naaien tot één groot, coherent meesterwerk.

3. De Superkracht: Generalisatie (De "Rekbare" Vaardigheid)

Het meest indrukwekkende deel van dit artikel is dat de coördinator rekbaar is.

De Training: De coördinator wordt getraind op voorbeelden van middelgrote taken (bijvoorbeeld een lied van 48 seconden lang, of een beeld met 2 specifieke objecten).
Het Resultaat: Hoewel het alleen getraind is op middelgrote taken, kan het succesvol omgaan met veel grotere taken (bijvoorbeeld een lied van 2 minuten of een beeld met 5 objecten) zonder extra training. Het is alsof je een kind leert twee schoenveters aan elkaar te knopen, en je ziet ze vervolgens met succes een heel bundel schoenveters aan elkaar knopen omdat ze het concept van knopen hebben begrepen, niet alleen de specifieke knoop.

4. Realistische Tests (Het "Bewijs")

De auteurs hebben deze "Projectmanager"-aanpak getest in drie verschillende scenario's:

Het Maken van Lange Muziek: Ze namen een model dat alleen korte clips van 12 seconden kon maken en gebruikten de coördinator om deze aan elkaar te naaien tot lange, coherente nummers (tot 2 minuten). Het resultaat klonk veel natuurlijker dan het simpelweg aan elkaar lijmen van clips.
Complexe Scènes (CLEVR): Ze vroegen het model om beelden te genereren met meerdere specifieke objecten op specifieke plekken (bijvoorbeeld "een rode kubus hier, een blauwe bol daar"). De coördinator slaagde erin 5 verschillende objecten correct te plaatsen, terwijl andere methoden al vastliepen na 2 of 3.
Satellietkaarten: Ze gebruikten het om grote satellietbeelden te genereren op basis van eenvoudige kaartschetsen. De coördinator zorgde ervoor dat de wegen en gebouwen soepel over het hele beeld liepen, in plaats van eruit te zien als een patchwork quilt.

5. Waarom Het Beter Is

Efficiëntie: De coördinator is klein in vergelijking met de meesterkunstenaar. Het heeft veel minder "parameters" (hersencellen) en kost veel minder tijd om te trainen.
Kwaliteit: Bij elke test produceerde de coördinator resultaten van hogere kwaliteit dan de eerdere "lijm"-methoden. De muziek klonk beter, de beelden waren accurater en de kaarten zagen er realistischer uit.

Samenvatting

Kortom, Diffusion Domain Expansion is een slimme truc. In plaats van te proberen een kleine kunstenaar vanaf nul een gigantisch muurschildering te leren schilderen, huur je een slimme, lichtgewicht manager in om de kleine streken van de kunstenaar te coördineren. Deze manager leert de stukken zo goed aan elkaar te naaien dat het eindresultaat eruitziet alsof het door een gigantische kunstenaar is geschilderd, zelfs al kon de kunstenaar alleen maar kleine vierkanten schilderen. En het beste deel? Deze manager kan zelfs grotere klussen aan dan die waarvoor het is getraind.

Technische Samenvatting: Diffusion Domain Expansion (DDE)

Probleemstelling

Vooraf getrainde diffusiemodellen hebben state-of-the-art resultaten bereikt in het genereren van afbeeldingen, audio en andere datamodi. Het opnieuw trainen van deze modellen vanaf nul om grotere uitvoerdomeinen (bijv. panoramische afbeeldingen, lange audiosporen) of complexere conditionele invoer (bijv. meerdere objectlocaties) te hanteren, is echter rekenkundig duur. Bestaande benaderingen om generatieve domeinen uit te breiden, vertrouwen vaak op vaste, algoritmische coördinatiemechanismen (bijv. MultiDiffusion) die geen extra training vereisen, maar beperkt zijn tot specifieke taken en flexibiliteit missen. Andere methoden, zoals het trainen van dynamische diffusermodules, vereisen vaak vaste modi tijdens de training of falen in generalisatie naar domeinen die groter zijn dan die tijdens de training werden waargenomen.

De kernuitdaging die in dit artikel wordt aangepakt, is hoe het generatieve domein van vooraf getrainde diffusiemodellen efficiënt kan worden uitgebreid om grotere objecten te genereren en complexere conditionering te hanteren zonder de basismodellen opnieuw te trainen, terwijl ervoor wordt gezorgd dat de oplossing generaliseert naar instanties die groter zijn dan die tijdens de training van de coördinator werden gezien.

Methodologie: Diffusion Domain Expansion (DDE)

De auteurs stellen Diffusion Domain Expansion (DDE) voor, een raamwerk dat een compact, trainbaar "coördinator"-netwerk inzet om de uitvoer van vooraf getrainde diffusiemodellen te orchestreren.

Algemene Formulering

Gegeven een vooraf getraind conditioneel diffusiemodel $p(x|y)$ met een ruisverwijderend netwerk $D(x, y, t)$ , is het doel om een uitgebreid object $X^{[L]}$ te genereren, geconditioneerd op uitgebreide invoer $Y^{[L]}$ , waarbij $L$ de schaal voorstelt (bijv. aantal patches of conditionele labels).

Decompositie: Het uitgebreide paar $(X^{[L]}, Y^{[L]})$ wordt gedecomposeerd in $L$ kleinere delen $([x_1, \dots, x_L], [y_1, \dots, y_L])$ met behulp van een afbeeldingsfunctie $F$ . Deze delen vallen binnen het oorspronkelijke domein van het basismodel.
Basisgeneratie: Elk deel $x_i$ wordt verwerkt door de vooraf getrainde ruisverwijderaar $D(x_i, y_i, t)$ .
Coördinatie: Een trainbaar coördinatorennetwerk $C[\cdot]$ neemt de reeks geruisde uitvoer $[D(x_i, y_i, t)]_{i=1}^L$ en de conditionele informatie $[y_i]_{i=1}^L$ als invoer. Het leert deze uitvoer te coördineren om een coherente schatting van het volledige uitgebreide object $X^{[L]}(0)$ te produceren.
Trainingsdoel: De coördinator wordt getraind door de ruisverwijderingsfout van de samengestelde ruisverwijderaar $D^{[L]}$ te minimaliseren op een dataset van grootte $L_{train}$ . Cruciaal is dat de methode is ontworpen om te generaliseren naar testschalen $L_{test} \ge L_{train}$ .

Coördinatorarchitectuur

De auteurs gebruiken een Vision Transformer (ViT)-architectuur voor de coördinator, aangepast van Peebles & Xie (2023).

Invoerverwerking: De geruisde patches van de vooraf getrainde modellen worden "gepatchified" en aangevuld met globale positie-encoderingen ten opzichte van het grotere object. De auteurs maken gebruik van Rotary Position Embeddings (RoPE) om grotere ruimtelijke dimensies effectief te hanteren.
Verzoening: Tijdens het voorwaartse proces verwerkt de transformer alle patches. Om overlappende patches te hanteren (gebruikt om continuïteit te waarborgen), wordt de uiteindelijke uitvoer geconstrueerd door de waarden in de overlappende gebieden te middelen, geïnspireerd door de MultiDiffusion-samplingmethode.
Efficiëntie: De coördinator is aanzienlijk kleiner dan het basismodel (bijv. 66M versus 405M parameters bij muziekgeneratie) en vereist minder trainingsepochen.

Belangrijkste Bijdragen

Nieuw Raamwerk: Introductie van DDE, een methode die een kleine, trainbare coördinator gebruikt om de generatieve capaciteiten van vooraf getrainde diffusiemodellen uit te breiden naar grotere objecten en complexere conditionering.
Generaliserend Vermogen: Aantonen dat de coördinator kan generaliseren om objecten te genereren en conditionele invoer te hanteren die groter zijn in schaal dan die in de trainingsdata aanwezig waren ( $L_{test} \ge L_{train}$ ).
Architectuurontwerp: Validatie van een ViT-gebaseerde architectuur als geschikte coördinator, die lange-afstand afhankelijkheden leert terwijl lokale consistentie wordt afgedwongen via overlap-middeling.
Efficiëntie: De benadering bereikt hoogwaardige generatie met aanzienlijk minder parameters en trainingstijd in vergelijking met het opnieuw trainen van basismodellen of het gebruik van grotere coördinatorarchitecturen.

Experimentele Resultaten

De auteurs evalueerden DDE over drie domeinen:

1. Generatie van Lange Audiosporen (Slakh2100)

Taak: Genereren van muzieksporen van lengte $10l$ (120 seconden) met een basismodel getraind op lengte $l$ (12 seconden).
Basislijnen: Concatenatie en MultiDiffusion.
Resultaten: DDE behaalde een Fréchet Audio Distance (FAD) van 2,112 voor 4l-sporen en 2,142 voor 10l-sporen. Dit presteerde aanzienlijk beter dan MultiDiffusion (4,796) en Concatenatie (4,596) voor de 10l-taak. De coördinator (66M parameters) was veel kleiner dan het basismodel (405M).

2. Conditionele Afbeeldingsgeneratie (CLEVR)

Taak: Genereren van afbeeldingen geconditioneerd op meerdere objectlocaties ( $L$ labels), waarbij het basismodel slechts één locatie aankan.
Basislijnen: RRR (Reduce, Reuse, Recycle) en MultiDiffusion.
Resultaten: DDE toonde superieure nauwkeurigheid in het voldoen aan meerdere conditionele beperkingen. Voor 5 conditioneringen behaalde DDE 44,5% nauwkeurigheid (Heun-sampler), vergeleken met 33,6% voor RRR en 36,3% voor MultiDiffusion. De coördinator generaliseerde van training op $L_{train}=2$ naar testen op $L_{test}=5$ .

3. Generatie van Satellietbeelden

Taak: Genereren van grote satellietbeelden geconditioneerd op schematische kaarten.
Basislijnen: MultiDiffusion.
Resultaten: DDE behaalde een lagere FID-score dan MultiDiffusion voor zowel in-distributie ( $N=96$ , FID 31,75 versus 37,81) als out-of-distributie ( $N=128$ , FID 27,37 versus 35,01) maten. Visuele inspectie toonde aan dat DDE coherenter afbeeldingen produceerde zonder de zichtbare naden die bij MultiDiffusion-stalen werden waargenomen.

Betekenis en Beweringen

Het artikel beweert dat DDE een praktische en efficiënte oplossing biedt voor het schalen van diffusiemodellen zonder de prohibitieve kosten van opnieuw trainen. Door te leren vooraf getrainde processen te coördineren, maakt de methode het mogelijk:

Domeinuitbreiding: Generatie van grotere objecten (langere audio, grotere afbeeldingen) en hantering van complexere condities (meerdere labels) buiten de oorspronkelijke capaciteiten van het model.
Generalisatie: Het vermogen om te extrapoleren naar schalen die groter zijn dan die tijdens de training van de coördinator werden gezien.
Kwaliteit en Consistentie: De ViT-gebaseerde coördinator leert effectief lange-afstand afhankelijkheden, lost conflicten tussen lokale ruisverwijderingsstappen op en produceert globaal consistente uitvoer.

De auteurs merken op dat de primaire beperking de behoefte is aan extra data en tijd om het coördinatormodel te trainen, hoewel deze kosten aanzienlijk lager zijn dan het trainen van een volledig diffusiemodel vanaf nul. Toekomstig werk wordt voorgesteld voor het toepassen van DDE op het genereren van eiwitsequenties en het creëren van video's uit korte clips.