🤖 machine learning

Diversify Diffusion with Temperature Sampling and Variance-Corrective Time Shifting

यह शोध पत्र 'वैरिएंस-करेक्टिव टाइम शिफ्टिंग' नामक एक प्रशिक्षण-मुक्त विधि प्रस्तुत करता है जो प्रभावी तापमान सैंपलिंग (टेम्परेचर सैंपलिंग) को सक्षम करने के लिए डिफ्यूजन मॉडल्स का उपयोग करती है ताकि वेरिएंस को बढ़ाए बिना प्रमुख मोड्स को सपाट करके विविधता को बढ़ाया जा सके, जिससे उच्च गुणवत्ता और कंडीशन फिडेलिटी बनाए रखते हुए विभिन्न आर्किटेक्चर में सैंपल विविधता में सुधार किया जा सके।

मूल लेखक: Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

प्रकाशित 2026-07-14

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Peizhuo Li, Emre Aksan, Alexandru-Eugen Ichim, Thabo Beeler, Olga Sorkine-Hornung

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट कलाकार है जिसने वर्षों तक चित्रों के एक विशाल पुस्तकालय का अध्ययन किया है। यह रोबोट उन चीजों को बनाने में माहिर है जो उसने सबसे अधिक बार देखी हैं—जैसे कि कुर्सियों पर बैठे लाखों बिल्लियाँ। लेकिन यदि आप इसे कुछ दुर्लभ बनाने के लिए कहते हैं, जैसे कि चंद्रमा पर एक नन्हा अंतरिक्ष यात्री हेलमेट पहने हुए बिल्ली, तो यह संघर्ष कर सकता है या आपको बस एक साधारण बिल्ली ही बनाकर दे देगा। रोबट "लोकप्रिय" चीजों की नकल करने में इतना अच्छा है कि वह पुस्तकालय में छिपे अजीब, अद्भुत और दुर्लभ विचारों को भूल जाता है।

यह शोध पत्र एक चतुर तरकीब पेश करता है जो रोबोट की याददाश्त को झकझोर देगी और उसे बिना फिर से प्रशिक्षित किए या नए सबक सिखाए उन दुर्लभ विचारों को खोजने में मदद करेगी।

समस्या: "बहुत-तेज़" बनाम "बहुत-धुंधला" का जाल

लेखकों ने पहले एक सरल विचार आज़माया: रोबोट को अपनी याददाश्त को "शिथिल" (relax) करने के लिए कहना। कल्पना कीजिए कि रोबोट की याददाश्त एक भीड़भाड़ वाला कमरा है जहाँ सबसे लोकप्रिय विचार (जैसे "कुर्सी पर बिल्ली") ज़ोर से चिल्ला रहे हैं, और दुर्लभ विचार (जैसे "अंतरिक्ष यात्री बिल्ली") फुसफुसा रहे हैं। उन्हें सुनने के लिए, आप सोच सकते हैं, "आइए हम चिल्लाने वालों की आवाज़ को कम कर देते हैं!"

गणित की भाषा में, इसे टेम्परेचर सैंपलिंग (temperature sampling) कहा जाता है। यह डेटा के "तापमान" को बढ़ाने जैसा है। जब आप चीजों को गर्म करते हैं, तो तेज़ और धीमी आवाज़ों के बीच का अंतर कम हो जाता है, जिससे दुर्लभ विचारों के प्रकट होने की संभावना बढ़ जाती है।

हालाвँकि, शोध पत्र दिखाता है कि ऐसा लापरवाही से करना एक आपदा है। यह एक स्पीकर की आवाज़ कम करने के लिए केवल उसके पावर नॉब को अधिकतम तक घुमाने जैसा है। परिणाम क्या होता है? रोबोट केवल फुसफुसाहट ही नहीं सुनता; वह मतिभ्रम (hallucination) का शिकार हो जाता है। चित्र धुंधले, अस्त-व्यस्त और शोर से भरे हो जाते हैं। लेखक बताते हैं कि ऐसा इसलिए होता है क्योंकि केवल रोबोट के "स्कोर" (उसका अगला चित्र बनाने का अनुमान) को स्केल करने से बहुत अधिक वैरिएंस (variance) पैदा हो जाता है। यह ऐसा है जैसे रोबोट नई संभावनाओं को लेकर इतना उत्साहित हो जाता है कि वह अनियंत्रित रूप से कांपने लगता है, जिससे चित्र खराब हो जाता है।

समाधान: "टाइम-ट्रैवल" फिक्स

शोध पत्र का मुख्य निष्कर्ष एक चतुर वर्कअराउंड है जिसे वैरिएंस-करेक्टिव टाइम शिफ्टिंग (variance-corrective time shifting) कहा जाता है।

केवल रोबोट को अपनी याददाश्त को "शिथिल" करने के लिए कहने के बजाय, लेखक उसे चित्र को थोड़े अलग समय पर देखने के लिए कहते हैं।

यहाँ उपमा (analogy) दी गई है: कल्पना कीजिए कि आप एक धुंधले बॉक्स के अंदर छिपी हुई वस्तु के आकार का अनुमान लगाने की कोशिश कर रहे हैं।

मानक तरीका: आप रोबत से पूछते हैं, "बॉक्स में क्या है?" वह धुंधले बॉक्स को देखता है और एक उत्तर देता है।
नाइव "हीट" तरीका: आप उसे कहते हैं, "कल्पना करो कि कोहरा और भी घना है और वस्तु और भी धुंधली है!" रोबोट अनुमान लगाने की कोशिश करता है, लेकिन क्योंकि कोहरा इतना घना है, वह रैंडम आकृतियों का अनुमान लगाने लगता है, और परिणाम एक गड़बड़ी बन जाता है।
शोध पत्र का तरीका: लेखक कहते हैं, "ठीक है, चलो मान लेते हैं कि कोहरा वास्तव में जितना है उससे कम घना है, लेकिन हम अभी भी वही 'शिथिल' अहसास चाहते हैं।" वे रोबोट को धोखा देते हैं और उसे उस बॉक्स को देखने के लिए कहते हैं जैसे कि वह समय के एक पहले के, स्पष्ट क्षण में हो (एक "शिफ्टेड टाइमस्टेप")। फिर, वे उस स्पष्ट दृश्य पर "रिलैक्स" नियम लागू करते हैं।

शोर के "पहले के, स्पष्ट" संस्करण को देखकर, रोबोट अतिरिक्त धुंधलेपन से भ्रमित हुए बिना विविधता का लाभ उठा सकता है। यह विशेष चश्मे पहनने जैसा है जो आपको पूरी तस्वीर को धुंधला किए बिना दुर्लभ विचारों को स्पष्ट रूप से देखने देते हैं। लेखक दिखाते हैं कि यह तरकीब अवांछित कंपन (वैरिएंस) को रद्द कर देती है जबकि नए विचारों को खोजने के लाभ को बनाए रखती है।

यह शोध पत्र किन बातों को खारिज करता है

लेखक बहुत स्पष्ट हैं कि क्या काम नहीं करता है। वे स्पष्ट रूप से इनके विरुद्ध तर्क देते हैं:

केवल स्कोर को स्केल करना: रोबोट के अनुमान को एक संख्या से गुणा करना (नाइव दृष्टिकोण) प्रक्रिया को तोड़ देता है। यह धुंधली, अनुपयोगी छवियां बनाता है।
अन्य तरीके: उन्होंने "CADS" (जो प्रॉम्प्ट सिग्नल को बदलता है) और "Feynman-Kac" (जो पथ को ठीक करने के लिए कई कणों का उपयोग करता है) जैसे अन्य ट्रिक्स का परीक्षण किया। उन्होंने पाया कि CADS अक्सर रोबोट को प्रॉम्प्ट को पूरी तरह से अनदेखा करने पर मजबूर कर देता है (जैसे कि बिल्ली मांगने पर कुत्ता बनाना), और Feynman-Kac बहुत शोर भरा हो जाता है और अच्छी छवियां बनाने में विफल रहता है।

वे कितने आश्वस्त हैं?

शोध पत्र अपने परिणामों में काफी आश्वस्त है, लेकिन वे केवल अनुमान नहीं लगाते, बल्कि सबूतों के साथ इसकी पुष्टि करते हैं।

सिमुलेशन और परीक्षण: उन्होंने एक सरल गणितीय मॉडल (10,000 सैंपल वाला एक "टॉय उदाहरण") पर इसका परीक्षण किया और दिखाया कि यह पूरी तरह से काम करता है।
वास्तविक दुनिया के मॉडल: उन्होंने इसे वास्तविक, शक्तिशाली इमेज जनरेटर जैसे Stable Diffusion 1.5, Stable Diffusion XL, Stable Diffusion 3.5, और DiT पर लागू किया।
आंकड़े: उन्होंने विशिष्ट स्कोर का उपयोग करके परिणामों को मापा। उदाहरण के लिए, DiT मॉडल पर, उनकी विधि ने एक Vendi score (विविधता का माप) 13.86 प्राप्त किया, जबकि बेसलाइन 13.45 थी, जबकि Fidelity (प्रॉम्प्ट के साथ मिलान) को 0.859 पर उच्च रखा। Stable Diffusion 3.5 पर, उन्हें 12.43 का Vendi स्कोर और 0.897 की फिडेलिटी मिली।
"अर्ली" बनाम "लेट" ट्रिक: उन्होंने यह भी खोजा कि इस ट्रिक को लागू करना कब महत्वपूर्ण है। यदि आप इसे प्रक्रिया के शुरुआती चरण में लागू करते हैं (जब छवि केवल एक धुंधला बादल होती है), तो आपको पूरी तरह से अलग कंपोजिशन मिलते हैं (जैसे बिल्ली बनाम कुत्ता)। यदि आप इसे अंत में लागू करते हैं (जब छवि लगभग पूरी हो जाती है), तो आपको केवल विवरणों में छोटे बदलाव मिलते हैं (जैसे नीली आँखों वाली बिल्ली बनाम हरी आँखों वाली बिल्ली)।

मुख्य निष्कर्ष

यह शोध पत्र यह दावा नहीं करता है कि इसने AI आर्ट की हर समस्या को हल कर दिया है। लेखक स्वीकार करते हैं कि रोबोट की अभी भी सीमाएं हैं (वह ऐसी घोड़े की तस्वीर नहीं बना सकता जिसके पांच पैर हों यदि उसने उसे कभी देखा ही नहीं)। वे यह भी नोट करते हैं कि एक ट्रेड-ऑफ है: रोबोट को अधिक विविध बनाने का अर्थ कभी-कभी यह हो सकता है कि वह आपके सटीक निर्देशों का पालन करने में थोड़ा कम सटीक हो जाए।

लेकिन, उन्होंने दिखाया है कि इस वैरिएस-करेक्टिव टाइम शिफ्टिंग के साथ, आप एक मानक AI मॉडल को एक अधिक साहसी कलाकार में बदल सकते हैं। आप इसे अपने प्रशिक्षण डेटा के दुर्लभ, अजीब और अद्भुत कोनों को खोजने के लिए प्रेरित कर सकते हैं, और इसके लिए आपको इसे फिर से प्रशिक्षित करने या अंतिम छवि की गुणवत्ता से समझौता करने की आवश्यकता नहीं है। यह एक मुफ्त अपग्रेड है जो "टेम्परेचर नॉब" को एक टूटे हुए स्विच से बदलकर रचनात्मकता के एक सटीक उपकरण में बदल देता है।

तकनीकी सारांश: टेम्परेचर सैंपलिंग और वेरिएंस-करेक्टिव टाइम शिफ्टिंग के साथ डाइवर्सिफाई डिफ्यूजन

समस्या विवरण

डिफ्यूजन मॉडल अपने प्रशिक्षण वितरण (training distributions) को सटीकता से पुनरुत्पादित करते हैं, लेकिन वे स्वाभाविक रूप से डेटा असंतुलन (data imbalances) को भी विरासत में प्राप्त करते हैं, जिससे दुर्लभ या कम प्रतिनिधित्व वाले मोड (modes) तक पहुँचना कठिन हो जाता है। हालाँकि एक स्वाभाविक इन्फरेंस-टाइम समाधान उच्च-तापमान वाले लक्ष्य वितरण $p^{(\gamma)}_0(x) \propto p_0(x)^\gamma$ (जहाँ $0 < \gamma < 1$ ) से नमूना लेना (sampling) है ताकि प्रमुख मोड को सपाट किया जा सके और दुर्लभ मोड को बढ़ावा दिया जा सके, लेकिन इस अवधारणा का सीधा अनुप्रयोग व्यवहार में विफल रहता है।

सीधे सीखे गए स्कोर फंक्शन को $\gamma$ द्वारा स्केल करना (अर्थात, $\gamma \nabla_x \log p_t(x)$ का उपयोग करना) मैक्रोस्कोपिक लक्ष्य को तो प्राप्त करता है, लेकिन यह एक माइक्रोस्कोपिक वेरिएंस एक्सपेंशन (variance expansion) उत्पन्न करता है। यह अतिरिक्त वेरिएंस, नोइज़्ड टेम्पर्ड मार्जिनल के स्कोर और रिवर्स डिफ्यूजन प्रक्रिया के बीच सख्त पत्राचार (correspondence) को तोड़ देता है, जिसके परिणामस्वरूप ऑफ-मैनिफोल्ड, धुंधले और निम्न-गुणवत्ता वाले नमूने मिलते हैं। विविधता बढ़ाने वाले मौजूदा तरीकों के लिए रिट्रेनिंग, सहायक क्लासिफायर, या समानांतर पार्टिकल फ़िल्टरिंग की आवश्यकता होती है, जो उनकी प्रयोज्यता या शुद्धता को सीमित करता है।

कार्यप्रणाली: वेरिएंस-करेक्टिव टाइम शिफ्टिंग

लेखक वेरिएंस-करेक्टिव टाइम शिफ्टिंग का प्रस्ताव करते हैं, जो एक ट्रेनिंग-फ्री तंत्र है जो मोड रीवेटिंग (mode reweighting) को वेरिएंस इन्फ्लेशन (variance inflation) से अलग करता है। मुख्य अंतर्दृष्टि यह है कि जबकि टेम्पर्ड वितरण का स्कोर $\nabla_x \log p^{(\gamma)}_t(x)$ मूल स्कोर को केवल स्केल करके प्राप्त नहीं किया जा सकता है, इसे एक शिफ्टेड टाइमस्टेप $\tilde{t}$ पर नेटवर्क को क्वेरी करके सटीक रूप से अनुमानित किया जा सकता है।

सैद्धांतिक व्युत्पत्ति (Theoretical Derivation)

मिसमैच (The Mismatch): नोइजी मार्जिन $p_t(x)^\gamma$ का सीधा टेम्परिंग, टेम्पर्ड डेटा के नोइजी मार्जिन $p^{(\gamma)}_t(x)$ से भिन्न होता है। अच्छी तरह से अलग किए गए मोड के अनुमान के तहत, सीधा टेम्परिंग प्रभावी रूप से गाऊसी घटकों (Gaussian components) के वेरिएंस को $1/\gamma$ द्वारा स्केल करता है, जबकि वास्तविक टेम्पर्ड मार्जिन मूल वेरिएंस शेड्यूल को बनाए रखता है।
करेक्शन (The Correction): वांछित टेम्पर्ड मार्जिन को बिना वेरिएंस इन्फ्लेशन के पुनः प्राप्त करने के लिए, यह विधि एक शिफ्टेड समय $\tilde{t}$ पर प्री-ट्रेंड नेटवर्क को क्वेरी करती है ताकि शोर का स्तर (noise level) $\sigma^2_{\tilde{t}} = \gamma \sigma^2_t$ संतुष्ट हो सके।
स्कोर एस्टिमेटर (The Score Estimator): टेम्पर्ड वितरण के लिए स्कोर को इस प्रकार अनुमानित किया जाता है:
$\nabla_x \log p^{(\gamma)}_t(x) \approx \gamma \left( -\frac{\epsilon_\theta(x, \tilde{t})}{\sigma^2_{\tilde{t}}} \right)$
यह प्रभावी रूप से वेरिएंस एक्सपेंशन को रद्द करता है जबकि मोड रीवेटिंग प्रभाव को सुरक्षित रखता है।

कोर्स-टू-फाइन कंट्रोल (Coarse-to-Fine Control)

यह विधि रिवर्स डिफ्यूजन प्रक्रिया के विभिन्न चरणों में लागू होने वाले एक शेड्यूल $\gamma(t)$ की अनुमति देती है:

प्रारंभिक चरण (उच्च शोर/High Noise): यहाँ $\gamma(t) < 1$ लागू करना कंपोजिशनल डाइवर्सिटी (compositional diversity) को संचालित करता है, जो सैंपलिंग पार्टिकल्स को विभिन्न अट्रैक्टर्स (मोड्स) की ओर निर्देशित करता है।
मध्य/अंतिम चरण (कम शोर/Low Noise): यहाँ $\gamma(t) < 1$ लागू करना वैश्विक संरचना और मोड पहचान को सुरक्षित रखते हुए लोकल अपीयरेंस वेरिएशन (local appearance variation) को प्रेरित करता है।

मुख्य योगदान

वेरिएंस एक्सपेंशन की पहचान: यह शोध पत्र पहचानता है कि डिफ्यूजन मॉडल्स में सीधा स्कोर स्केलिंग अनपेक्षित वेरिएंस इन्फ्लेशन के कारण रिवर्स डिफ्यूजन प्रक्रिया को बाधित करता है, जिससे सैंपल क्वालिटी खराब हो जाती है।
वेरिएंस-करेक्टिव टाइम शिफ्टिंग: एक ज़ीरो-कॉस्ट, ट्रेनिंग-फ्री करेक्शन जो नेटवर्क को शिफ्टेड टाइमस्टेप पर क्वेरी करके वांछित टेम्पर्ड मार्जिन को पुनः प्राप्त करता है, जिससे प्रभावी हाई-टेम्परेचर सैंपलिंग संभव होती है।
प्रैक्टिकल डाइवर्सिटी नॉब: यह विधि टेम्परेचर सैंपलिंग को रिट्रेनिंग के बिना प्री-ट्रेंड डिफ्यूजन और फ्लो-मैचिंग बैकबोन्स में विविधता बढ़ाने के लिए एक व्यावहारिक उपकरण में बदल देती है।
स्टेज-स्पेसिफिक कंट्रोल: लेखक प्रदर्शित करते हैं कि तापमान हस्तक्षेप (temperature intervention) का समय कोर्स-टू-फाइन कंट्रोल की अनुमति देता है, जो कंपोजिशनल डाइवर्सिटी (शुरुआती) और लोकल वेरिएशन (बाद के) के बीच अंतर करता है।

प्रयोगात्मक परिणाम

इस पद्धति का मूल्यांकन विभिन्न आर्किटेक्चर (DiT, Stable Diffusion 1.5/3.5/XL, Motion Diffusion Models) और मोडैलिटीज (इमेज, मोशन) पर किया गया।

डाइवर्सिटी बनाम फिडेलिटी (Diversity vs. Fidelity): यह विधि सैंपल क्वालिटी और कंडीशन फिडेलिटी (VQA स्कोर या क्लासिफायर एक्यूरेसी द्वारा मापा गया) को न्यूनतम लागत के साथ डाइवर्सिटी (Vendi स्कोर द्वारा मापा गया) में लगातार सुधार करती है।
तुलना:
- CADS के विरुद्ध: प्रस्तावित विधि बेहतर प्रॉम्प्ट फिडेलिटी बनाए रखती है, जबकि CADS अक्सर कंडीशन के प्रति अलाइनमेंट को कम कर देता है।
- Feynman-Kac (FK) के विरुद्ध: लेखक के प्रयोगों में FK उच्च तापमान ( $\gamma < 1$ ) के साथ संघर्ष करता है, जो अक्सर अनुपयोगी नमूने देता है, जबकि प्रस्तावित विधि स्थिर रहती है।
- डायरेक्ट टेम्परिंग/TSR के विरुद्ध: टाइम शिफ्टिंग के बिना, कम $\gamma$ मान अत्यधिक शोर पेश करते हैं। टाइम-शिफ्टिंग करेक्शन समान डाइवर्सिटी लाभ प्राप्त करते हुए उच्च सैंपल क्वालिटी बनाए रखता है।
क्वांटिटेटिव परफॉर्मेंस: DiT, SD1.5, SDXL, और SD3.5 पर, विधि ने उच्च फिडेलिटी बनाए रखते हुए CMMD (परसेप्चुअल क्वालिटी) और Vendi (डाइवर्सिटी) दोनों में सर्वश्रेष्ठ या दूसरा सर्वश्रेष्ठ स्कोर प्राप्त किया।

महत्व और दावे

यह शोध पत्र दावा करता है कि वेरिएंस-करेक्टिव टाइम शिफ्टिंग डिफ्यूजन मॉडल्स पर टेम्परेचर सैंपलिंग लागू करने की एक मौलिक सीमा को हल करता है। मूल स्कोर स्केलिंग में निहित वेरिएंस इन्फ्लेशन को ठीक करके, यह विधि उपयोगकर्ताओं को डेटा वितरण के "लॉन्ग टेल" (long tail) को एक्सप्लोर करने में सक्षम बनाती है—यानी दुर्लभ या विविध मोड जेनरेट करना—बिना उस गुणवत्ता या कंडीशन एडहेरेंस को खोए जिसके लिए डिफ्यूजन मॉडल्स जाने जाते हैं।

लेखक इसे लचीले इन्फरेंस-टाइम कंट्रोल की दिशा में एक महत्वपूर्ण कदम के रूप में देखते हैं, जो रिट्रेनिंग या सहायक डेटा की आवश्यकता के बिना विभिन्न मॉडल परिवारों (फ्लो-मैचिंग मॉडल्स सहित) के लिए डाइवर्सिटी के लिए एक "नॉब" प्रदान करता है। वे स्वीकार करते हैं कि यह विधि अंतर्निहित मॉडल की क्षमता द्वारा सीमित है और फिडेलिटी एवं डाइवर्सिटी के बीच का ट्रेड-ऑफ प्रति मॉडल ट्यूनिंग की मांग करता है, लेकिन वे इस बात पर जोर देते हैं कि प्रस्तावित टाइम-शिफ्टिंग मैकेनिज्म इस ट्रेड-ऑफ को प्रबंधनीय और प्रभावी बनाता है।