📊 statistics

Variance-Tilted Diffusion Models for Diverse Sampling

यह शोध पत्र एक वेरिएंस-टिल्टेड डिफ्यूजन सैंपलिंग विधि प्रस्तुत करता है जो पोस्टीरियर डिनोइज़्ड मीन्स (posterior denoised means) को स्पष्ट रूप से प्रतिकर्षित करने और कणों को उच्च फीचर वेरिएंस वाले क्षेत्रों की ओर निर्देशित करने के लिए ड़ूब $h$ -ट्रांसफॉर्म (Doob $h$ -transform) का उपयोग करके विविध कैंडिडेट सेट्स उत्पन्न करता है।

मूल लेखक: Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

प्रकाशित 2026-06-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Iskander Azangulov, Leo Zhang, Kianoosh Ashouritaklimi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक जादुई कलाकार (एक "डिफ्यूजन मॉडल") है जो विवरण के आधार पर चित्र बनाने में अविश्वसनीय रूप से कुशल है, जैसे कि "कांच से बना एक बत्तख।" आमतौर पर, यदि आप इस कलाकार को 100 बत्तखें बनाने के लिए कहते हैं, तो वे बस एक ही आदर्श बत्तख के 100 थोड़े अलग संस्करण ही बनाएंगे। वे सभी एक ही मुद्रा में, एक ही रोशनी के साथ, बहुत समान दिखेंगे।

यह तब बहुत अच्छा है जब आपको केवल एक अच्छी तस्वीर चाहिए। लेकिन क्या होगा यदि आपको एक गेम के लिए बत्तखों का एक पूरा संग्रह चाहिए, और आपको वे पूरी तरह से अलग चाहिए? जैसे कि एक तैर रही हो, एक उड़ रही हो, एक हरे कांच की बनी हो, और दूसरी नीले कांच की बनी हो?

इस तरह के बत्तखों को मांगने का सामान्य तरीका आमतौर पर विफल हो जाता है। यह ऐसा है जैसे किसी शेफ से 100 अलग-अलग केक बनाने के लिए कहना, लेकिन वे बस 100 एक जैसे चॉकलेट केक बना देते हैं क्योंकि वह उनकी पसंदीदा रेसिपी है।

समस्या: "ग्रुपथिंक" (समूह सोच) वाला कलाकार

पेपर तर्क देता है कि वर्तमान AI मॉडल बहुत अधिक "ग्रुपथिंक-य" (समूह सोच वाले) हैं। उन्हें सबसे संभावित, सुरक्षित उत्तर खोजने के लिए प्रशिक्षित किया गया है। जब आप उन्हें बैच में नमूने बनाने के लिए कहते हैं, तो वे बार-बार उसी सुरक्षित उत्तर को दोहराते हैं।

समाधान: "वैरिएंस-टिल्टेड" (विचलन-झुकाव) विधि

लेखक प्रस्तावित करते हैं कि कलाकार से बात करने का एक नया तरीका है। केवल "एक बत्तख पेंट करो" कहने के बजाय, वे एक विशेष नियम जोड़ते हैं: "100 बत्तखें पेंट करें, लेकिन सुनिश्चित करें कि जब आप उन सभी को एक साथ देखें, तो वे एक-दूसरे से यथासंभव दूर तक फैली हुई हों।"

वे इसे "वैरिएंस-टिल्टेड डिफ्यूजन" कहते हैं।

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. फीचर मैप (द "मेजरिंग टेप" या मापने वाला टेप)

सबसे पहले, आपको "अंतर" को मापने का एक तरीका चाहिए। लेखक एक उपकरण का उपयोग करते हैं जिसे लीनियर ऑपरेटर (A) कहा जाता है। इसे एक विशेष मापने वाले टेप के रूप में समझें।

यह बत्तख के आकार को माप सकता है।
यह रंग को माप सकता है।
यह बैकग्राउंड को माप सकता है।
यह केवल बायां पंख भी माप सकता है।

यह उपकरण बत्तख की जटिल छवि को संख्याओं की एक सरल सूची में बदल देता है जो उस बत्तख को अद्वितीय बनाता है।

2. वैरिएंस गोल (द "स्प्रेड आउट" नियम)

लक्ष्य वैरिएंस (Variance) को अधिकतम करना है। रोजमर्रा की भाषा में, वैरिएंस केवल "फैलाव" का एक फैंसी शब्द है।

यदि सभी 100 बत्तखें एक सीधी रेखा में खड़ी हैं, तो वैरिएंस कम है (वे एक साथ गुच्छों में हैं)।
यदि बत्तखें पूरे कमरे में बिखरी हुई हैं, तो वैरिएंस अधिक है।

पेपर एक गणितीय नियम बनाता है जो कहता है: "हम चाहते हैं कि बत्तखों का अंतिम बैच हमारे मापने वाले टेप के अनुसार उच्चतम संभव फैलाव रखे।"

3. डूब एच-ट्रांसफॉर्म (द "घोस्टली गाइड" या भूतिया मार्गदर्शक)

यह कठिन गणित वाला हिस्सा है, लेकिन इसका सरल संस्करण यहाँ है।
आमतौर पर, AI छवियों को एक-एक करके, स्वतंत्र रूप से उत्पन्न करता है। उन्हें विविध बनाने के लिए, लेखक खेल के नियम बदल देते हैं। वे कल्पना करते हैं कि AI केवल एक बत्तख नहीं बना रहा है; यह पूरे समूह को बना रहा है, और समूह एक साथ "बात" कर रहा है।

वे डूब एच-ट्रांसफॉर्म (Doob h-transform) नामक एक गणितीय ट्रिक का उपयोग करते हैं। इसे एक भूतिया मार्गदर्शक (Ghostly Guide) के रूप में समझें जो कलाकार के कान में फुसफुसाता है जबकि वह पेंट कर रहा होता है।

फुसफुसाहट: "हे, जो बत्तख तुम पेंट कर रहे हो वह उस बत्तख जैसी दिखती है जिसे तुमने 5 सेकंड पहले पेंट किया था। इसे थोड़ा हिलाओ! इसे दो पैरों के बजाय एक पैर पर खड़ा करो!"
विकर्षण (Repulsion): मार्गदर्शक नए डक्स को दूसरों से दूर धकेलता है (जैसे एक ही पोल वाले चुंबक)।
वक्रता (Curvature): मार्गदर्शक उन्हें उन क्षेत्रों की ओर भी धकेलता है जहाँ "फैलाव" स्वाभाविक रूप से अधिक होता है, यह सुनिश्चित करता है कि वे केवल एक अजीब कोने में जमा न हो जाएं।

काम करने वाले दो बल

पेपर इस "भूतिया मार्गदर्शक" को दो सरल बलों में विभाजित करता है:

"मेरी नकल मत करो" बल: यह बत्तखों को एक-दूसरे से दूर धकेलता है। यदि AI ऐसी बत्तख पेंट करने की कोशिश करता है जो समूह के औसत के बहुत करीब दिखती है, तो यह बल उसे दूर धकेलता है। यह सुनिश्चित करता है कि सभी बत्तखें एक ही "औसत" बत्तख जैसी न दिखें।
"किनारे की खोज करें" बल: यह बत्तखों को संभावित दुनिया के किनारों की ओर धकेलता है। यह AI को कुछ असामान्य या दुर्लभ चीजें आज़माने के लिए प्रोत्साहित करता है, बजाय इसके कि वह उबाऊ, सुरक्षित केंद्र पर टिका रहे।

परिणाम

जब लेखकों ने छवियों (जैसे "एक कांच की बत्तख" या "एक बॉल के साथ कोर्गी") पर इसका परीक्षण किया, तो परिणाम आश्चर्यजनक थे:

मानक AI (CFG): ऐसी बत्तखों का समूह बनाया जो दिखने में बहुत समान थीं।
उनकी विधि (वैरिएंस-टिल्टेड): बिल्कुल अलग मुद्राओं, बैकग्राउंड और शैलियों वाली बत्तखों का एक समूह बनाया। कुछ तैर रही थीं, कुछ उड़ रही थीं, कुछ बारिश में थीं, और कुछ धूप में थीं।

यह क्यों मायने रखता है (पेपर के अनुसार)

पेपर का दावा है कि यह पिछले तरीकों से बेहतर है क्योंकि:

यह सटीक है: उन्होंने विविधता बनाने के लिए केवल एक नियम का अनुमान नहीं लगाया। उन्होंने लक्ष्य (फैलाव को अधिकतम करना) से शुरुआत की और वहां तक पहुँचने के लिए सटीक चरणों को गणितीय रूप से निकाला।
यह पारदर्शी है: आप देख सकते हैं कि "भूतिया मार्गदर्शक" वास्तव में क्या कर रहा है। यह कोई ब्लैक बॉक्स नहीं है; यह व्यक्तिगत बत्तखों और समूह के बीच एक स्पष्ट खिंचाव और धक्का है।

संक्षेप में: यह पेपर AI को एक नकलची बनने के बजाय एक रचनात्मक निर्देशक बनना सिखाता है, यह सुनिश्चित करता है कि जब आप विचारों का एक बैच मांगते हैं, तो आपको एक ही चीज़ की 100 कॉपियों के बजाय विचारों का एक समृद्ध और विविध संग्रह मिले।

तकनीकी सारांश: विविध सैंपलिंग के लिए वेरिएंस-टिल्टेड डिफ्यूजन मॉडल

समस्या विवरण (Problem Statement)
डिफ्यूजन मॉडल उच्च-रिज़ॉल्यूशन इमेज सिंथेसिस से लेकर वैज्ञानिक खोज (जैसे प्रोटीन फोल्डिंग और मॉलिक्यूलर डॉकिंग) तक विभिन्न डोमेन में जनरेटिव मॉडलिंग के लिए मानक बन गए हैं। हालांकि, मानक सैंपलिंग प्रतिमान स्वतंत्र और समान रूप से वितरित (i.i.d.) नमूनों को खींचने पर निर्भर करता है। यह दृष्टिकोण उन डाउनस्ट्रीम कार्यों के लिए उप-इष्टतम (suboptimal) है जिनमें विविध उम्मीदवारों के एक सेट की आवश्यकता होती है जो डेटा मैनिफोल्ड के विशिष्ट क्षेत्रों को कवर करते हों, जैसे कि ड्रग डिज़ाइन में संरचनात्मक रूप से विविध लिगेंड्स उत्पन्न करना या रोबोटिक मोशन प्लानिंग में सुदृढ़ प्रक्षेपवक्र (trajectory) प्रस्ताव देना।

विविधता लागू करने वाले मौजूदा तरीके, जैसे कि पार्टिकल गाइडेंस, सैंपलिंग डायनेमिक्स में प्रतिकर्षण क्षमता (repulsive potentials) पेश करते हैं। प्रभावी होने के बावजूद, ये विधियाँ ड्रिफ्ट (drift) को ह्यूरिस्टिक रूप से संशोधित करती हैं, जिसके परिणामस्वरूप एक निहित लक्ष्य वितरण (implicit target distribution) प्राप्त होता है जिसे सटीक रूप से मूल्यांकन करना या नियंत्रित करना कम्प्यूटेशनल रूप से कठिन होता है।

कार्यप्रणाली (Methodology)
लेखक एक "टारगेट-फर्स्ट" (target-first) फॉर्मूलेशन का प्रस्ताव करते हैं जहाँ बैच लक्ष्य वितरण को सटीक सैंपलर व्युत्पन्न करने से पहले स्पष्ट रूप से परिभाषित किया जाता है। मुख्य नवाचार एक वेरिएंस-वेटेड बैच डिस्ट्रीब्यूशन है जो एक निर्धारित लीनियर फीचर मैप के बाद नमूनों के बड़े एम्पिरिकल स्प्रेड (empirical spread) वाले संग्रहों को प्राथमिकता देता है।

नमूनों के एक बैच $\mathbf{x} = (x^{(1)}, \dots, x^{(n)})$ के लिए, लक्ष्य वितरण $\pi^A_0(\mathbf{x})$ को इस प्रकार परिभाषित किया गया है:
$\pi^A_0(\mathbf{x}) \propto \text{Var}^A_n(\mathbf{x}) \prod_{i=1}^n p_0(x^{(i)})$
जहाँ $p_0$ मूल डेटा वितरण है, और $A: \mathbb{R}^d \to \mathbb{R}^k$ एक लीनियर ऑपरेटर है जो नमूनों को कार्य-विशिष्ट फीचर स्पेस में मैप करता है, और $\text{Var}^A_n(\mathbf{x})$ फीचर्स $A(x^{(i)})$ का एम्पिरिकल वेरिएंस है।

इस वितरण से नमूना लेने के लिए, लेखक स्वतंत्र डिफ्यूजन डायनेमिक्स का सटीक Doob $h$ -transform व्युत्पन्न करते हैं। इसमें शोर वाले अवस्था (noisy state) $\mathbf{x}_t$ पर बैच वेरिएंस का कंडीशनल एक्सपेक्टेशन (conditional expectation) की गणना करना शामिल है:
$h^A_t(\mathbf{x}_t) := \mathbb{E}[\text{Var}^A_n(\mathbf{X}_0) \mid \mathbf{X}_t = \mathbf{x}_t]$

ट्वीडी की पहचान (Tweedie's identities) और बायस-वेरिएंस डिकंपोजिशन का उपयोग करते हुए, लेखक स्कोर करेक्शन $\nabla_{\mathbf{x}_t} \log h^A_t(\mathbf{x}_t)$ के लिए एक क्लोज्ड-फॉर्म अभिव्यक्ति व्युत्पन्न करते हैं। यह करेक्शन दो विशिष्ट पदों (terms) से बना है:

इंटरेक्शन टर्म (प्रतिकर्षण/Repulsion): एक पद जो पार्टिकल्स के पोस्टीरियर डिनोइज़्ड मीन्स ( $\mu_t$ ) को फीचर स्पेस में एक-दूसरे से दूर धकेलता है। इसे डैनोइज़र के माध्यम से वेक्टर-जैकबियन प्रोडक्ट्स (VJP) का उपयोग करके कुशलतापूर्वक कंप्यूट किया जाता है।
कर्वेचर टर्म (Curvature Term): एक पद जो पार्टिकल्स को उच्च फीचर वेरिएंस वाले क्षेत्रों की ओर ले जाता है, जिसमें स्कोर फंक्शन का डाइवर्जेंस (विशेष रूप से $\text{div}(A^\top A \nabla s_t)$ ) शामिल है। इसे फाईनाइट डिफरेंस या स्टोकेस्टिक ट्रेस एस्टिमेटर्स (जैसे हचिंसन एस्टिमेटर) के माध्यम से अनुमानित किया जाता है।

परिणामी सैंपलर एक इंटरैक्टिंग-पार्टिकल प्रोसेस है जहाँ प्रत्येक पार्टिकल का स्कोर मानक स्कोर और व्युत्पन्न Doob करेक्शन का योग होता है।

मुख्य योगदान (Key Contributions)

टारगेट-फर्स्ट फॉर्मूलेशन: यह पेपर विविध जनरेशन को एक स्पष्ट बैच लक्ष्य वितरण से सटीक सैंपलिंग समस्या के रूप में फ्रेम करता है, जिससे अनियंत्रित प्रतिकर्षण बलों (repulsive forces) वाले ह्यूरिस्टिक तरीकों से बचा जा सके।
क्लोज्ड-फॉर्म Doob करेक्शन: लेखक एक सामान्य लीनियर ऑपरेटर $A$ के लिए स्कोर करेक्शन का एक विश्लेषणात्मक व्युत्पन्न प्रदान करते हैं, जो पोस्टीरियर मीन्स के लिए रिपल्शन टर्म और फीचर वेरिएंस के लिए कर्वेचर टर्म को डीकंपोज करता है।
ट्रैकेबल सैंपलिंग एल्गोरिदम: एक डिस्क्रीटाइज्ड इंटरैक्टिंग-पार्टिकल सैंपलर पेश किया गया है। अग्रणी इंटरेक्शन टर्म कुशल VJP गणनाओं का लाभ उठाता है, जबकि कर्वेचर टर्म को संख्यात्मक अनुमान द्वारा संभाला जाता है, जिससे यह विधि मौजूदा डिफ्यूजन मॉडल्स के लिए व्यावहारिक बन जाती है।

परिणाम (Results)
लेखकों ने विभिन्न प्रॉम्प्ट्स के साथ Stable Diffusion v1.5 (512x512) का उपयोग करके इमेज जनरेशन पर इस दृष्टिकोण का मूल्यांकन किया। उन्होंने तीन कॉन्फ़िगरेशन की तुलना की:

स्टैंडर्ड क्लासिफायर-फ्री गाइडेंस (CFG)।
वेरिएंस-टिल्टेड (VT) बिना डाइवर्जेंस टर्म के।
वेरिएंस-टिल्टेड + डाइवर्जेंस (VT + Divergence)।

गुणात्मक परिणाम (चित्र 1-5) दर्शाते हैं कि प्रस्तावित विधियाँ मानक CFG की तुलना में अधिक विविध नमूनों का उत्पादन करती हैं। उत्पन्न चित्र उच्च-संभावना वाले मोड के मामूली बदलावों के बजाय पोज़, बैकग्राउंड और विजुअल स्टाइल की एक विस्तृत श्रृंखला को कवर करते हैं। डाइवर्जेंस टर्म का समावेश विविधता को और अधिक परिष्कृत करता है, हालांकि लेखक नोट करते हैं कि पूर्ण विधि इमेज क्वालिटी पर थोड़ा नकारात्मक प्रभाव डाल सकती है और डाइवर्जेंस एस्टीमेशन के कारण कम्प्यूटेशनल लागत बढ़ा देती है।

महत्व और दावे (Significance and Claims)
यह पेपर ह्यूरिस्टिक पार्टिकल रिपल्शन के लिए एक संभाव्य (probabilistic) विकल्प प्रदान करने का दावा करता है। एक वेरिएंस-वेटेड टारगेट के लिए सटीक सैंपलर व्युत्पन्न करके, विधि एक अनियंत्रित प्रतिकर्षण बल के बजाय एक पारदर्शी संभाव्य उद्देश्य प्रदान करती है। लेखक इसे विविध सैंपलिंग के लिए एक कठोर दृष्टिकोण के रूप में प्रस्तुत करते हैं जो व्यावहारिक कार्यान्वयन पथों को बनाए रखता है।

लेखक सीमाओं के संबंध में विनम्र बने हुए हैं, यह स्वीकार करते हुए कि हालांकि उनकी विधि गुणात्मक रूप से विविधता में सुधार करती है, यह इमेज क्वालिटी को थोड़ा कम कर सकती है और सेकंड-ऑर्डर डेरिवेटिव (डाइवर्जेंस) के अनुमान के कारण उच्च कम्प्यूटेशनल लागत भी आती है। वे सुझाव देते हैं कि भविष्य के कार्य गुणवत्ता संबंधी समस्याओं को कम करने के लिए Doob करेक्शन को एनीलिंग (annealing) करने और कर्वेचर टर्म के लिए अधिक कुशल एस्टिमेटर्स विकसित करने पर ध्यान केंद्रित कर सकते हैं।