तकनीकी सारांश: डिवाइड-एंड-डिनाइज (Divide-and-Denoise)

समस्या विवरण

पूर्व-प्रशिक्षित डिफ्यूजन मॉडल्स (pre-trained diffusion models) की बढ़ती संख्या संयोजन (composition) के महत्वपूर्ण अवसर प्रदान करती है, जिससे उपयोगकर्ता कई विशिष्ट मॉडलों (जैसे, कुत्तों पर प्रशिक्षित एक मॉडल और बिल्लियों पर दूसरा) की विशेषज्ञता को मिलाकर जटिल डेटा उत्पन्न कर सकते हैं, जिसे कोई भी एकल मॉडल अकेले नहीं बना सकता। हालाँकि, इन मॉडलों को सहजता से संयोजित करने में दो प्राथमिक चुनौतियाँ आती हैं:

1. प्रभुत्व (Dominance): एक मॉडल दूसरों पर हावी हो सकता है, जिससे विशिष्ट अवधारणाओं की उपेक्षा होती है।
2. असहमति (Disagreement): मॉडल संघर्ष कर सकते हैं, जिसके परिणामस्वरूप असंगत आउटपुट, ओवरलैपिंग ऑब्जेक्ट्स, या बेमेल गुण (जैसे, एक "कुत्ता" और "बिल्ली" मिलकर एक एकल असंगत आकार में मिल जाना) प्राप्त होते हैं।

मौजूदा दृष्टिकोण, जैसे कि उत्पाद घनत्व (product densities) के माध्यम से संयुक्त वितरण को परिभाषित करना या उपयोगकर्ता-निर्धारित स्थानिक विभाजन (जैसे, MultiDiffusion), अक्सर संघर्ष उत्पन्न होने पर प्रत्येक मॉडल की विशिष्ट विशेषताओं को बनाए रखने में विफल रहते हैं। उपयोगकर्ता-निर्धारित विभाजन कठिन होते हैं, अक्सर जटिल डोमेन (जैसे, प्रोटीन संरचना) के लिए अव्यवहारिक होते हैं, और पीढ़ी के विभिन्न चरणों में मॉडलों की विशिष्ट शक्तियों और कमजोरियों के अनुकूल नहीं होते हैं।

कार्यप्रणाली: डिवाइड-एंड-डिनाइज (Divide-and-Denoise)

लेखक डिवाइड-एंड-डिनाइज का प्रस्ताव करते हैं, जो एक गेम-थ्योरेटिक फ्रेमवर्क है जो सैंपलिंग प्रक्रिया के दौरान कई पूर्व-प्रशिक्षित डिफ्यूजन मॉडलों को समन्वित करता है। यह विधि दो युग्मित प्रक्रियाओं (coupled processes) के माध्यम से संचालित होती है जो प्रत्येक टाइमस्टेप $t$ पर एक साथ विकसित होती हैं:

1. विभाजन प्रक्रिया (डिविजन प्रोसेस - निष्पक्ष आवंटन)

निश्चित विभाजनों के बजाय, यह विधि ऑनलाइन एक इष्टतम "श्रम विभाजन" (division of labor) का अनुमान लगाती है। लेटेंट इमेज (latent image) को $m$ विशेषताओं (वस्तुओं/goods) के एक सेट के रूप में माना जाता है जिन्हें $n$ मॉडलों (खिलाड़ियों) के बीच आवंटित किया जाना है।

• उपयोगिता (Utilities): प्रत्येक मॉडल $i$ को लेटेंट $x$ की प्रत्येक विशेषता $j$ के लिए एक उपयोगिता $u_{ij}(x, t)$ सौंपी जाती है। पेपर में दो प्रकार की उपयोगिताएँ परिभाषित की गई हैं:
  • स्कोर-आधारित (Score-based): कंडीशनल और अनकंडीशनल गाइडेंस के बीच स्कोर अंतर के परिमाण से व्युत्पन्न (किसी भी कंडीशनल डिफ्यूजन मॉडल के लिए लागू)।
  • अटेंशन-आधारित (Attention-based): क्रॉस-अटेंशन मैप्स से व्युत्पन्न (उन मॉडलों के लिए विशिष्ट जिनमें क्रॉस-अटेंशन कंडीशनिंग है)।
• फेयर डिवीजन गेम (Fair Division Game): प्रत्येक चरण में, विधि एक आवंटन मैट्रिक्स $Q$ निर्धारित करने के लिए एक फेयर डिवीजन गेम को हल करती है। इसका उद्देश्य निष्पक्षता बाधाओं (जैसे, आनुपातिकता, ईर्ष्या-मुक्तता/envy-freeness) के अधीन कुल अपेक्षित उपयोगिता (दक्षता) को अधिकतम करना है।
• अनुकूलन (Optimization): आवंटन $Q_t$ को पिछले टाइमस्टेप के आवंटन से क्लबी बैक डायवर्जेंस (KL divergence) द्वारा नियमित किए गए एक बाधा-युक्त अनुकूलन समस्या को हल करके अपडेट किया जाता है ताकि टेम्पोरल स्मूथनेस सुनिश्चित की जा सके। समाधान एक ड्यूल (dual) समस्या के माध्यम से प्राप्त किया जाता है, जिससे एक डिकम्पोजेबल आवंटन प्राप्त होता है जहाँ प्रत्येक विशेषता को प्रत्येक मॉडल को एक भिन्नात्मक भार (fractional weight) सौंपा जाता है।

2. कंपोजिट डिनोइजिंग प्रक्रिया (कंपोजिट डिनोइजिंग प्रोसेस)

एक बार जब $Q_t$ निर्धारित हो जाता है, तो विधि इस विभाजन के अनुरूप एक कंपोजिट डिनोइजिंग कर्नेल $p^c_t$ का निर्माण करती है।

• संरेखण (Alignment): कंपोजिट अपडेट को इस तरह से तैयार किया जाता है कि मॉडल $i$ को आवंटित विशेषताओं के लिए डिनोइजिंग स्टेप मॉडल $i$ के प्रस्ताव के करीब रहे, जबकि कुल उपयोगिता को अधिकतम किया जाए।
• अपडेट नियम: सरलीकृत धारणाओं (फैक्टराइज्ड डिस्ट्रीब्यूशन और लीनियर यूटिलिटी) के तहत, इष्टतम कंपोजिट मीन $\mu^c_t$ को व्यक्तिगत मॉडल मीन्स के भारित योग (weighted sum) के रूप में निकाला जाता है जिसमें एक गाइडेंस टर्म शामिल है:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  यहाँ $\odot$ फीचर-वाइज प्रोडक्ट को दर्शाता है, और दूसरा पद कुल उपयोगिता के ग्रेडिएंट पर आधारित एक गाइडेंस अपडेट के रूप में कार्य करता है।
• फिक्टिशियस प्लेयर (Fictitious Player): उन निम्न-उपयोगिता वाले क्षेत्रों को संभालने के लिए जहाँ मॉडल संघर्ष कर सकते हैं या उनमें प्राथमिकता की कमी हो सकती है, एक "फिक्टिशियस प्लेयर" पेश किया गया है जिसकी उपयोगिता समान (uniform) है। इस खिलाड़ी का प्रस्ताव सभी मॉडलों का औसत है, जो अस्पष्ट क्षेत्रों में निष्पक्षता बाधाओं को लागू किए बिना सहयोग को प्रोत्साहित करता है।

मुख्य योगदान

1. इन्फरेंस-टाइम कोऑर्डिनेशन एल्गोरिदम: एक विधि जो साझा वेट्स, आर्किटेक्चर या ट्रेनिंग डेटा की आवश्यकता के बिना अलग-अलग विशेषज्ञता वाले कई पूर्व-प्रशिक्षित डिफ्यूजन मॉडलों को समन्वित करती है।
2. युग्मित प्रक्रियाएं (Coupled Processes): एक गतिशील विभाजन प्रक्रिया (फेयर डिवीजन गेम को हल करना) को एक कंपोजिट डिनोइजिंग प्रक्रिया (मॉडलों को उनके असाइन किए गए क्षेत्रों के साथ संरेखित करना) के साथ एकीकृत करना।
3. यूटिलिटी फॉर्मुलेशन: किसी भी कंडीशनल डिफ्यूजन मॉडल (स्कोर-आधारित) के लिए लागू होने वाली मॉडल उपयोगिताओं के सामान्य विवरण और क्रॉस-अटेंशन मॉडल्स के लिए एक विशिष्ट इंस्टेंशिएशन (अटेंशन-आधारित)।
4. अनुभवजन्य सत्यापन (Empirical Validation): प्रदर्शन का प्रदर्शन कि सिंगल-कॉसेप्ट मॉडल्स की एक टीम, इस विधि के माध्यम से समन्वित होकर, मानक बेंचमार्क पर मौजूदा कंपोजिशन तकनीकों और यहाँ तक कि मल्टी-कॉसेप्ट मॉडल्स से भी बेहतर प्रदर्शन करती है।

प्रयोगात्मक परिणाम

विधि का मूल्यांकन Stable Diffusion 2.0 और Diffusion Transformer (DiT) मॉडलों का उपयोग करके कंडीशनल इमेज जनरेशन पर किया गया।

• बेंचमार्क: मूल्यांकन GenEval बेंचमार्क (ऑब्जेक्ट प्रेजेंस और एट्रिब्यूट बाइंडिंग पर केंद्रित), CLIP-Score, VQAScore, और ImageReward का उपयोग करके किया गया।
• प्रदर्शन:
  • ऑब्जेक्ट जनरेशन: "कॉन्सेप्ट्स एज ऑब्जेक्ट्स" सेटिंग (जैसे, हैंडबैग और स्पोर्ट्स बॉल के साथ एक छवि बनाना) में, Divide-and-Denoise ने एवरेजिंग, कंपोजेबल डिफ्यूजन और MultiDiffusion जैसे बेसलाइन्स को काफी पीछे छोड़ दिया। 3-ऑब्जेक्ट जनरेशन के लिए, इसने GenEval के "%images" मेट्रिक पर 59.5% हासिल किया, जबकि मल्टी-कॉसेप्ट डिफ्यूजन के लिए यह 14.75% और MultiDiffusion के लिए 14.00% था।
  • एट्रिब्यूट बाइंडिंग: विशिष्ट रंगों (जैसे, "नारंगी घोड़ा") के साथ वस्तुओं को उत्पन्न करते समय, विधि ने गुणों को सही वस्तुओं से सफलतापूर्वक बांधा, जिससे उन बेसलाइन्स से बेहतर प्रदर्शन हुआ जो अक्सर एट्रिब्यूट लीकेज या गायब वस्तुओं से ग्रस्त होते हैं।
  • संघर्ष समाधान (Conflict Resolution): परस्पर विरोधी अवधारणाओं (जैसे, "डेजर्ट" बनाम "स्नोवी माउंटेन") के परिदृश्यों में, विधि ने बेसलाइन्स की तुलना में विविध स्थानिक लेआउट और उच्च गुणवत्ता वाली छवियां बनाईं, जिससे असंगत अवधारणाओं के मिश्रण से बचा गया।
  • निष्पक्षता (Fairness): निष्पक्षता बाधाओं (आनुपातिकता) के समावेश ने विशेष रूप से मॉडलों की संख्या बढ़ने के साथ मेट्रिक्स में सुधार किया, जिससे किसी भी एकल मॉडल को जनरेशन पर हावी होने से रोका गया।

महत्व और दावे

पेपर का दावा है कि Divide-and-Denoise कंट्रोलेबल और रियूजेबल जेनेरेटिव मॉडलिंग के लिए एक सामान्य रेसिपी प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• संघर्षों का समाधान: यह मैन्युअल हस्तक्षेप या ग्राउंड-ट्रुथ पार्टीशन की आवश्यकता के बिना मॉडलों के बीच संघर्ष को प्रभावी ढंग से हल करता है।
• मॉडल एग्नोस्टिक (Model Agnosticism): इसका फॉर्मूलेशन विशिष्ट मॉडल आर्किटेक्चर या कंडीशनिंग मैकेनिज्म से बंधा नहीं है, जो लेटेंट डिफ्यूजन मॉडल्स (Stable Diffusion) और ट्रांसफार्मर-आधारित मॉडल्स (DiT) दोनों के साथ काम करता है।
• सहकारी अंतःक्रिया (Cooperative Interaction): यह रेखांकित करता है कि गेम-थ्योरेटिक फेयरनेस द्वारा मध्यस्थता की गई पूर्व-प्रशिक्षित मॉडलों की सहकारी अंतःक्रिया, एक एकल बड़े मल्टी-कॉसेप्ट मॉडल को प्रशिक्षित करने से बेहतर परिणाम दे सकती है।
• स्केलेबिलिटी: यह विधि कई मॉडलों (4 तक परीक्षण किया गया) और डोमेन तक स्केल करती है, जिसमें टेक्स्ट-टू-ग्राफ, टेक्स्ट-टू-ऑडियो, और ऑडियो-टू-इमेज जनरेशन के लिए संभावित विस्तार शामिल हैं।

लेखक नोट करते हैं कि हालांकि यह विधि कुछ कंप्यूटेशनल ओवरहेड (मुख्य रूप से डिवीजन स्टेज में) पेश करती है, रनटाइम ऑप्टिमाइजेशन (जैसे, प्रदर्शन लाभ बनाए रखते हुए शुरुआती टाइमस्टेप्स में डिवीजन और गाइडेंस स्टेप्स को सीमित करना) लागत को काफी कम कर सकता है।