🤖 machine learning

Diverse Sampling in Diffusion Models with Marginal Preserving Particle Guidance

यह शोधपत्र EDDY को पेश करता है, जो डिफ्यूजन और फ्लो मैचिंग मॉडल्स के लिए एक ट्रेनिंग-फ्री गाइडेंस मैकेनिज्म है, जो डाइवर्जेंस-फ्री डायनेमिक्स के माध्यम से सैंपल विविधता को बढ़ाता है और साथ ही मार्जिनल डिस्ट्रीब्यूशन को सख्ती से सुरक्षित रखते हुए उच्च जनरेशन गुणवत्ता बनाए रखता है।

मूल लेखक: Gal Vinograd, Idan Achituve, Ethan Fetaya

प्रकाशित 2026-05-08

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gal Vinograd, Idan Achituve, Ethan Fetaya

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक कलाकार हैं जिसने पेंटिंग की एक विशिष्ट शैली में महारत हासिल कर ली है। आप एक सुंदर कुर्सी, एक आरामदायक कमरा, या एक सूर्यास्त को पूर्ण यथार्थवाद (realism) के साथ चित्रित कर सकते हैं। हालाँकि, हर बार जब आप एक "आरामदायक कमरा" बनाने की कोशिश करते हैं, तो आप अंततः बिल्कुल एक ही कमरा बनाते हैं, बस रोशनी में थोड़ा बदलाव होता है। आप विविधता चाहते हैं—अलग फर्नीचर व्यवस्था, अलग रंग, अलग कोण—बिना "आरामदायक कमरे" के अहसास को खोए।

यह वह समस्या है जिसे पेपर EDDY (Exact-marginal Diversification via Divergence-free dYnamics) AI इमेज जनरेटर्स के लिए हल करने की कोशिश करता है।

यहाँ बताया गया है कि यह कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करते हुए:

समस्या: "क्लोन" प्रभाव (The "Clone" Effect)

आधुनिक AI इमेज जनरेटर (जैसे डिफ्यूजन मॉडल्स) इस तरह काम करते हैं कि वे रैंडम स्टैटिक (शोर/noise) के ढेर से शुरुआत करते हैं और धीरे-धीरे इसे साफ करके एक छवि प्रकट करते हैं।

समस्या: यदि आप AI को एक "बिल्ली" की 10 छवियां बनाने के लिए कहते हैं, और आप इसे 10 अलग-अलग बार करते हैं, तो आपको 10 अलग-अलग बिल्लियाँ मिलती हैं। लेकिन यदि आप समय बचाने के लिए एक ही समय में 10 बिल्लियाँ बनाने के लिए कहते हैं, तो वे अक्सर संदिग्ध रूप से समान दिखती हैं। वे "क्लोन" बन जाती हैं।
पुराना समाधान: पिछले तरीकों ने AI को अलग होने के लिए मजबूर करने की कोशिश की, जैसे कि AI को एक "प्रतिकर्षण बल" (repulsive force) देना, जैसे कि उसे कहना, "हे, जो तुम्हारा पड़ोसी पेंट कर रहा है, उसे मत पेंट करना!"
दोष: पुराने तरीके एक पार्टी में एक अनाड़ी बाउंसर की तरह थे। उन्होंने छवियों को इतनी जोर से दूर धकेला कि छवियां विकृत हो गईं। बिल्लियाँ अलग तो दिख सकती थीं, लेकिन उनके तीन पैर भी हो सकते थे या अजीबोगरीब खामियां (artifacts) आ सकती थीं क्योंकि AI को अपने ही नियमों को तोड़ने के लिए मजबूर किया गया था।

समाधान: "मछलियों का झुंड" (The "Swarm of Fish" - EDDY)

लेखक एक नए तरीके का प्रस्ताव देते हैं जो AI को निर्देशित करने के लिए मछलियों के एक झुंड की तरह है।

लक्ष्य: आप चाहते हैं कि मछलियाँ (छवियां) पूरे समुद्र (विविधता) में फैल जाएं और अन्वेषण करें, लेकिन आप यह भी चाहते हैं कि वे समुद्र की विशिष्ट सीमाओं के भीतर रहें (उच्च गुणवत्ता और प्रॉम्प्ट का पालन करना बनाए रखें)।
गुप्त नुस्खा (The Physics Trick): पेपर एक गणितीय अवधारणा का उपयोग करता है जिसे फॉकर-प्लांक समीकरण (Fokker-Planck equation) कहा जाता है। इसे AI की पेंटिंग प्रक्रिया के लिए "संरक्षण के नियम" के रूप में सोचें। यह कहता है: यदि आप कणों (छवियों) को एक बहुत ही विशिष्ट, घूमते हुए (swirling) तरीके से घुमाते हैं, तो आप उन्हें एक-दूसरे के सापेक्ष बदलने में सक्षम हैं, बिना उस समग्र आकार को बदले जिसमें वे तैर रहे हैं।
यह कैसे काम करता है:
- कल्पना कीजिए कि AI एक साथ 10 छवियां पेंट कर रहा है।
- EDDY हर जोड़ी (pair) को देखता है। यदि दो छवियां एक-दूसरे के बहुत करीब आ रही हैं (बहुत समान हो रही हैं), तो EDDY उन्हें अलग होने के लिए एक कोमल, घूमता हुआ धक्का (swirling nudge) देता है।
- जादू: यह धक्का "डाइवर्जेंस-फ्री" (divergence-free) है। रोजमर्रा की भाषा में, यह एक नदी में भंवर की तरह है। पानी घूमता है, चीजों को दूर धकेलता है, लेकिन किसी भी विशिष्ट स्थान में पानी की कुल मात्रा बिल्कुल वही रहती है।
- इस गणितीय ट्रिक के कारण, छवियां विविध हो जाती हैं (वे विभिन्न "मोड्स" या विविधताओं का अन्वेषण करती हैं), लेकिन प्रत्येक व्यक्तिगत छवि की गुणवत्ता एकदम सटीक बनी रहती है। वे विकृत या खराब नहीं होती हैं।

"परसेप्चुअल" (Perceptual) चुनौती

पेपर नोट करता है कि टेक्स्ट-टू-इमेज जैसे जटिल कार्यों के लिए, हम केवल पिक्सेल देखकर समानता को नहीं माप सकते (जैसे दो फोटो की अगल-बगल तुलना करना)। हमें यह मापना होगा कि वे कैसा "महसूस" करते हैं।

उपमा: कल्पना कीजिए कि आप दो पेंटिंग्स के बीच समानता बताने की कोशिश कर रहे हैं। आप पिक्सेल नहीं गिनते; आप उनके "वाइब" या "स्टाइल" को देखते हैं।
समाधान: EDDY इस "वाइब" को मापने के लिए एक "फीचर स्पेस" (जैसे DINO या CLIP एम्बेडिंग्स) का उपयोग करता है। हालाँकि, इस "वाइब" के लिए सटीक गणित करना कंप्यूटर के लिए अविश्वसनीय रूप से धीमा और महंगा है।
शॉर्टकट: लेखकों ने एक चतुर सन्निकटन (approximation) बनाया ( "फाइनाइट डिफरेंसेज" और "हचिनसन ट्रेस एस्टीमेशन" का उपयोग करके)। इसे एक कुशल कलाकार के रूप में सोचें जो हर एक पिक्सेल की गणना करने के बजाय कुछ त्वरित, रफ स्केच बनाकर एक आदर्श ब्रशस्ट्रोक का अनुमान लगा सकता है। यह तेज़ है, और हालांकि यह 100% गणितीय रूप से पूर्ण नहीं है, यह लगभग उतना ही अच्छा काम करता है जितना कि पूर्ण संस्करण।

परिणाम

EDDY ने सिंथेटिक डेटा और वास्तविक टेक्स्ट-टू-इमेज मॉडल्स (जैसे FLUX और Stable Diffusion) पर परीक्षण किया।

विविधता (Diversity): इसने मानक तरीकों की तुलना में अधिक विविध छवियां (जैसे कमरे में अलग-अलग कुर्सी व्यवस्था) सफलतापूर्वक उत्पन्न कीं।
गुणवत्ता (Quality): पुराने "अनाड़ी बाउंसर" तरीकों के विपरीत, जो अजीबोगरीब खामियां पैदा करते थे, EDDY ने छवियों को फोटोरियलिस्टिक और प्रॉम्प्ट के प्रति सच्चा बनाए रखा।
दक्षता (Efficiency): यह इमेज जनरेशन प्रक्रिया में थोड़ा अतिरिक्त समय जोड़ता है (लगभग 25% धीमा), लेकिन यह AI मॉडल को शून्य से फिर से प्रशिक्षित करने की आवश्यकता को टाल देता है।

सारांश

EDDY AI इमेज जनरेशन के लिए एक नया "ट्रैफिक पुलिस" है। छवियों को तोड़ने के बजाय उन्हें अलग करने के लिए मजबूर करने के बजाय, यह उन्हें धीरे से दूर धकेलने के लिए एक चतुर गणितीय भंवर का उपयोग करता है। यह AI को उच्च-गुणवत्ता वाली विविध छवियां बनाने की अनुमति देता है जो प्रॉम्प्ट का पूरी तरह से पालन करती हैं, बिना उन अजीब विकृतियों के जो पिछले तरीकों में देखी गई थीं।

तकनीकी सारांश: EDDY – Divergence-free dYnamics के माध्यम से सटीक-सीमांत विविधीकरण (Exact-marginal Diversification)

समस्या विवरण

डिफ्यूजन और फ्लो मैचिंग मॉडल ने इमेज, मॉलिक्यूल्स और टेक्स्ट जैसे विभिन्न मोडैलिटीज में शक्तिशाली जनरेटिव टूल्स के रूप में अपनी पहचान स्थापित की है। सैंपल क्वालिटी को बेहतर बनाने के लिए एक सामान्य इन्फरेंस-टाइम रणनीति 'गाइडेंस' (guidance) है, जहाँ ड्रिफ्ट टर्म (drift term) को शर्तों या बाधाओं को पूरा करने के लिए समायोजित किया जाता है। हालाँकि, एक ही कंडीशन के लिए कई सैंपल्स जेनरेट करते समय, मानक स्वतंत्र और समान रूप से वितरित (I.I.D.) सैंपलिंग अक्सर कम विविधता (low diversity) प्रदान करती है, जिससे आउटपुट समान मोड्स के आसपास क्लस्टर हो जाते हैं।

विविधता की इस कमी को दूर करने के लिए मौजूदा तरीके आमतौर पर सैंपल्स के बीच इंटरैक्शन पेश करते हैं, जैसे कि शुरुआती नॉइज़ लेटेंट्स को ऑप्टिमाइज़ करना या सैंपलिंग के दौरान रिपल्सिव पोटेंशियल (repulsive potentials) जोड़ना। जबकि ये दृष्टिकोण विविधता बढ़ा सकते हैं, यह पेपर एक महत्वपूर्ण दोष की पहचान करता है: वे अक्सर व्यक्तिगत सैंपल्स के मार्जिनल डिस्ट्रीबशन (marginal distribution) को विकृत कर देते हैं। यह विरूपण एक ऐसे ट्रेड-ऑफ की ओर ले जाता है जहाँ बढ़ी हुई विविधता की कीमत सैंपल फिडेलिटी (fidelity) के रूप में चुकानी पड़ती है, जो दृश्य आर्टिफ़ेक्ट्स, कम प्रॉम्प्ट एडहेरेंस (prompt adherence), या पर्सेप्चुअल डिग्रेडेशन के रूप में प्रकट होता है। मुख्य चुनौती एक ऐसा पार्टिकल-आधारित विविधीकरण पेश करना है जो कंडीशनल डिस्ट्रीब्यूशन के विभिन्न मोड्स को एक्सप्लोर करने के लिए सैंपल्स को प्रोत्साहित करे, बिना किसी एकल सैंपल के लक्षित मार्जिनल डिस्ट्रीबशन को बदले, और आदर्श रूप से बिना किसी अतिरिक्त ट्रेनिंग के।

कार्यप्रणाली: EDDY

लेखक EDDY (Exact-marginal Diversification via Divergence-free dYnamics) का प्रस्ताव करते हैं, जो फॉकर-प्लैंक समीकरण (Fokker–Planck equation - FPE) में समरूपताओं (symmetries) का लाभ उठाने वाला एक ट्रेनिंग-फ्री गाइडेंस मैकेनिज्म है।

सैद्धांतिक आधार

यह विधि इस अवलोकन पर आधारित है कि FPE, जो प्रायिकता घनत्व $p_t$ के विकास को नियंत्रित करता है, गैर-तुच्छ समरूपताओं (nontrivial symmetries) को स्वीकार करता है। विशेष रूप से, कुछ ड्रिफ्ट परटर्बेशन्स (drift perturbations) कणों के प्रक्षेपवक्र (trajectories) को बदल सकते हैं बिना विकसित होने वाले मार्जिनल घनत्व को बदले।

FPE की समरूपता: लेखक मैट्रिक्स स्टीन ऑपरेटर (Matrix Stein operator) का उपयोग करते हैं। वे सिद्ध करते हैं कि यदि एक ड्रिफ्ट परटर्बेशन $\psi_t$ को एक स्मूथ, एंटी-सिमेट्रिक मैट्रिक्स फील्ड $A$ के माध्यम से ऑपरेटर $A_p(A) = \text{div}(A) + A\nabla \log p$ द्वारा निर्मित किया जाता है, तो परिणामी FPE अपरिवर्तित रहता है। फलस्वरूप, सभी समय $t$ के लिए मार्जिनल डिस्ट्रीब्यूशन $p_t$ संरक्षित रहता है, भले ही कई इंटरैक्टिंग पार्टिकल्स का संयुक्त वितरण (joint distribution) बदल जाए।

एल्गोरिदम निर्माण

EDDY इस सिद्धांत को एक गाइडेंस फील्ड बनाकर लागू करता है जो मार्जिनल संरक्षण बनाए रखते हुए कणों के बीच रिपल्सिव इंटरैक्शन को प्रेरित करता है:

पेयरवाइज एंटी-सिमेट्रिक मैट्रिसेस: प्रत्येक कणों के जोड़े $(x_i, x_j)$ के लिए, एक समानता कर्नेल (similarity kernel) $k$ से प्राप्त रिपल्सिव दिशा $r^{(ij)} = -\nabla k(x_i, x_j)$ और एक वेक्टर $v^{(j)}$ (आमतौर पर कण $j$ का ड्रिफ्ट या स्कोर) का उपयोग करके एक एंटी-सिमेट्रिक मैट्रिक्स $A^{(ij)}$ बनाया जाता है।
$A^{(ij)} = r^{(ij)} \otimes v^{(j)} - v^{(j)} \otimes r^{(ij)}$
डाइवर्जेंस-फ्री ड्रिफ्ट: कण $i$ के लिए गाइडेंस टर्म सभी पड़ोसियों पर इन मैट्रिसेस को स्टीन ऑपरेटर के अनुप्रयोग का औसत है:
$\psi_i^{\text{EDDY}} = \frac{1}{n-1} \sum_{j \neq i} A_p(A^{(ij)})$
यह एक ट्रांसपोर्ट फील्ड का परिणाम है जो स्थानीय रूप से डाइवर्जेंस-फ्री (इसीलिए नाम "EDDY") है, जो कणों को एक-दूसरे से दूर धकेलता है ताकि विविधता बढ़े, जबकि सैद्धांतिक रूप से यह गारंटी देता है कि सिंगल-पार्टिकल मार्जिनल $p_t$ बना रहता है।

उच्च आयामों के लिए व्यावहारिक सन्निकटन (Practical Approximations)

टेक्स्ट-टू-इमेज जनरेशन जैसे उच्च-आयामी सेटिंग्स में, कर्नेल के सटीक सेकंड-ऑर्डर डेरिवेटिव्स (जो डाइवर्जेंस टर्म के लिए आवश्यक हैं) की गणना करना कम्प्यूटेशनल रूप से अत्यधिक कठिन है। EDDY दो व्यावहारिक सन्निकटन का उपयोग करता है:

फाइनाइट डिफरेंसेस (Finite Differences): हेसियन-वेक्टर प्रोडक्ट्स को अनुमानित करने के लिए उपयोग किया जाता है।
हचिनसन ट्रेस एस्टीमेशन (Hutchinson Trace Estimation): लैपलेसियन टर्म को अनुमानित करने के लिए उपयोग किया जाता है।
ये सन्निकटन विधि को रॉ पिक्सेल स्पेस के बजाय पर्सेप्चुअल फीचर स्पेस (जैसे DINO या CLIP एम्बेडिंग्स) पर काम करने में सक्षम बनाते हैं। हालांकि इन सन्निकटनों का अर्थ यह है कि मार्जिनल संरक्षण अब सैद्धांतिक रूप से सटीक नहीं है, लेखक तर्क देते हैं कि विधि अभी भी प्रमाणित मार्जिनल-प्रिजर्विंग फील्ड के एक फाइनाइट-सैंपल एस्टीमेट के रूप में बनी रहती है।

कम्प्यूटेशनल लागत को और कम करने के लिए, गाइडेंस को सैंपलिंग ट्राजेक्टरी के शुरुआती, हाई-नॉइज़ हिस्से (जैसे पहले 20% स्टेप्स) के दौरान ही लागू किया जाता है।

मुख्य योगदान

पेपर चार प्राथमिक योगदानों को रेखांकित करता है:

सैद्धांतिक पहचान: FPE की उन समरूपताओं की पहचान और प्रमाण जो मार्जिनल डिस्ट्रीब्यूशन को संरक्षित करने वाले पार्टिकल गाइडेंस मैकेनिज्म की अनुमति देती हैं।
कर्नेल-आधारित निर्माण: इन समरूपताओं के साथ संगत रिपल्सिव इंटरैक्शन को प्रेरित करने के लिए एंटी-सिमेट्रिक पेयरवाइज मैट्रिसेस का उपयोग करके एक विशिष्ट निर्माण।
स्केलेबल सन्निकटन: फाइनाइट डिफरेंसेस और हचिनसन एस्टीमेटर्स का विकास, जो फीचर-स्पेस कर्नेल्स के उपयोग को सक्षम बनाता है, जिससे यह विधि टेक्स्ट-टू-इमेज जनरेशन जैसे उच्च-आयामी कार्यों के लिए लागू हो जाती है।
अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक डिस्ट्रीबशन्स और आधुनिक टेक्स्ट-टू-इमेज मॉडल्स (FLUX.1-dev और SDXL) पर मूल्यांकन, जो डिस्ट्रीब्यूशनल फिडेलिटी बनाए रखते हुए बेहतर विविधता प्रदर्शित करता है।

प्रयोगात्मक परिणाम

लेखक EDDY का मूल्यांकन I.I.D. सैंपलिंग, पार्टिकल गाइडेंस (PG), और कंडीशन-एनील्ड डिफ्यूजन सैंपलिंग (CADS) के विरुद्ध करते हैं।

सिंथेटिक 2D गौसियन मिक्सचर: 2D मिश्रण (mixture of Gaussians) पर, EDDY-RBF (सटीक RBF कर्नेल का उपयोग करके) सफलतापूर्वक मोड कवरेज (विविधता) को बढ़ाता है, जबकि सांख्यिकीय परीक्षणों (Kolmogorov-Smirnov, Mann-Whitney, Welch t-test) को पास करता है जो पुष्टि करते हैं कि मार्जिनल डिस्ट्रीब्यूशन I.I.D. बेसलाइन से अभिन्न है।
टेक्स्ट-टू-इमेज जनरेशन:
- विविधता बनाम फिडेलिटी: EDDY लगातार PG की तुलना में बेहतर पारेटो फ्रंटियर (Pareto frontier) प्राप्त करता है। समान विविधता स्तरों (DINO पेयरवाइज सिमिलरिटी द्वारा मापा गया) पर, EDDY उच्च प्रॉम्प्ट एलाइनमेंट (CLIPScore) और बेहतर एस्थेटिक स्कोर प्रदान करता है।
- आर्टिफेक्ट रिडक्शन: जबकि PG अक्सर विविधता के लिए प्रयास करते समय गंभीर दृश्य आर्टिफेक्ट्स (जैसे विकृत संरचनाएं) पेश करता है, EDDY फोटोरियलिज्म बनाए रखता है, जिसमें कोई भी गिरावट संरचनात्मक आर्टिफेक्ट्स के बजाय हल्के ब्लरिंग के रूप में दिखाई देती है।
- CADS के साथ तुलना: CADS कंडीशनिंग सिग्नल्स को विक्षेपित करके विविधता में सुधार करता है लेकिन प्रॉम्प्ट एडहेरेंस को काफी कम कर देता है। EDDY उच्च प्रॉम्प्ट फिडेलिटी बनाए रखते हुए विविधता बढ़ाता है।
- परीक्षण किए गए मॉडल्स: प्रयोग FLUX.1-dev (फ्लो मैचिंग) और Stable Diffusion XL (डिफ्यूजन) पर किए गए।

महत्व और दावे

पेपर का दावा है कि EDDY कंडीशनल जनरेशन के लिए एक सिद्धांतवादी मार्ग (principled path) प्रदान करता है। FPE की समरूपताओं का लाभ उठाकर, यह विविधता और फिडेलिटी के बीच के उस ट्रेड-ऑफ को अलग करता है जो मौजूदा रिपल्सिव सैंपलिंग विधियों को प्रभावित करता है।

लेखक इस बात पर जोर देते हैं कि EDDY ट्रेनिंग-फ्री है, जिसके लिए क्षमता कार्यों (potential functions) या महत्व भार (importance weights) को सीखने की आवश्यकता नहीं होती है। हालांकि इस विधि में कम्प्यूटेशनल ओवरहेड (कर्नेल मूल्यांकन और सन्निकटन के कारण FLUX.1-dev पर लगभग 25% रनटाइम वृद्धि) होता है, लेखक तर्क देते हैं कि यह प्रतिस्पर्धी दृष्टिकोणों में देखे गए गंभीर आर्टिफेक्ट्स के बिना उच्च-गुणवत्ता वाले, विविध सैंपल्स प्राप्त करने के लिए एक आवश्यक लागत है। यह कार्य सुझाव देता है कि कंडीशनल डिस्ट्रीब्यूशन के मोड्स को एक्सप्लोर करते समय जनरेटिव आउटपुट की गुणवत्ता बनाए रखने के लिए मार्जिनल डिस्ट्रीब्यूशन को संरक्षित करना एक महत्वपूर्ण बाधा है।