🤖 machine learning

MMD Guidance: Training-Free Distribution Adaptation for Diffusion Models via Maximum Mean Discrepancy Guidance

यह शोध पत्र MMD गाइडेंस (MMD Guidance) का प्रस्ताव करता है, जो एक प्रशिक्षण-मुक्त (training-free) विधि है जो रिवर्स डिफ्यूजन प्रक्रिया में मैक्सिमम मीन डिसक्रेपेंसी (Maximum Mean Discrepancy) ग्रेडिएंट्स को शामिल करके पूर्व-प्रशिक्षित डिफ्यूजन मॉडल्स को उपयोगकर्ता-विशिष्ट लक्षित वितरणों के अनुकूल बनाती है, जिससे सीमित संदर्भ डेटा के साथ प्रभावी वितरण संरेखण प्राप्त किया जाता है और नमूना निष्ठा (sample fidelity) भी सुरक्षित रहती है।

मूल लेखक: Matina Mahdizadeh Sani, Nima Jamali, Mohammad Jalali, Farzan Farnia

प्रकाशित 2026-06-10

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Matina Mahdizadeh Sani, Nima Jamali, Mohammad Jalali, Farzan Farnia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "MMD Guidance" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) का उपयोग करते हुए हिंदी अनुवाद दिया गया है।

समस्या: "जेनेरिक आर्टिस्ट" की दुविधा

कल्पना कीजिए कि आपने एक विश्व-स्तरीय कलाकार (एक प्री-ट्रेन्ड AI मॉडल जैसे Stable Diffusion) को काम पर रखा है जिसने लाखों चित्र देखे हैं। यह कलाकार अविश्वसनीय रूप से प्रतिभाशाली है और आपके द्वारा मांगी गई किसी भी चीज़ को बना सकता है। हालाँकि, इस कलाकार की एक विशिष्ट, सामान्य (generic) शैली है। यदि आप "बिल्ली" मांगते हैं, तो वह एक प्यारी, मानक कार्टून बिल्ली बनाता है।

अब, कल्पना कीजिए कि आप एक डिज़ाइनर हैं जिसे ऐसी बिल्लियों की आवश्यकता है जो आपकी विशिष्ट ब्रांड शैली जैसी दिखें—शायद वे एक रफ, स्केची, ब्लैक-एंड-व्हाइट शैली में बनाई गई हों। आपके पास अपनी विशिष्ट शैली के केवल 50 उदाहरण हैं।

समस्या यह है:

आप कलाकार को फिर से प्रशिक्षित (retrain) नहीं कर सकते: कलाकार को आपकी नई शैली सिखाने में हफ्तों का काम और भारी मात्रा में कंप्यूटिंग पावर लगेगी।
मानक प्रॉम्प्ट्स काम नहीं करते: कलाकार को सिर्फ "एक स्केची बिल्ली बनाओ" कहना पर्याप्त नहीं है; वे अभी भी अपनी जेनेरिक शैली पर ही वापस आ जाते हैं।
मौजूदा उपकरण अनाड़ी हैं: मौजूदा तरीके कलाकार को आपके उदाहरणों को देखने के लिए मजबूर करने की कोशिश करते हैं, लेकिन वे अक्सर अनुमान लगाने या अप्रत्यक्ष संकेतों का उपयोग करके ऐसा करते हैं, जो हमेशा आपकी शैली के सटीक "वाइब" या वितरण (distribution) को नहीं पकड़ पाता है।

समाधान: MMD Guidance ("सांख्यिकीय दिशा-सूचक" या Statistical Compass)

लेखकों ने MMD Guidance नामक एक विधि प्रस्तावित की है। इसे कलाकार को ड्राइंग प्रक्रिया के दौरान एक विशेष कंपास (दिशा-सूचक) देने के रूप में समझें।

MMD क्या है?
MMD का अर्थ है Maximum Mean Discrepancy। सरल शब्दों में, यह दो समूहों के बीच की "दूरी" को मापने का एक गणितीय तरीका है।

ग्रुप A: वे चित्र जिन्हें AI वर्तमान में बनाने की कोशिश कर रहा है।
ग्रुप B: आपके संदर्भ चित्रों (आपके 50 स्केची बिल्लियों) का छोटा सेट।

MMD यह गणना करता है कि ग्रुप A का समग्र पैटर्न (overall pattern) ग्रुप B से कितना भिन्न है। यह केवल एक पिक्सेल को नहीं देखता; यह चित्रों के पूरे संग्रह के "आकार" को देखता है।

यह कंपास कैसे काम करता है?
जैसे ही AI चित्र बनाता है (जो कई छोटे चरणों में होता है, जैसे कि एक स्केच को रिफाइन करना), MMD कंपास लगातार जाँचता है: "क्या जो चित्र आप बना रहे हैं, वे मेरे संदर्भ स्केच के सांख्यिकीय पैटर्न से मेल खाने लगे हैं?"

यदि AI का वर्तमान चित्र आपकी शैली से बहुत दूर है, तो कंपास एक "धक्का" (एक गणितीय ग्रेडिएंट) देता है ताकि ड्राइंग को वापस आपकी शैली की ओर मोड़ा जा सके।
यदि AI भटक रहा है, तो कंपास उसे वापस खींच लेता है।

यह विधि क्यों विशेष है?

यह बहुत कम उदाहरणों के साथ काम करता है:
अधिकांश सांख्यिकीय तरीकों को एक शैली को समझने के लिए हजारों उदाहरणों की आवश्यकता होती है। MMD विशेष है क्योंकि यह केवल 50 या 100 छवियों के साथ भी "स्टाइल डिस्टेंस" का सटीक अनुमान लगा सकता है। यह बिल्कुल वैसा ही है जैसे पूरे बर्तन को पीने के बजाय केवल कुछ बूंदों को चखकर सूप के स्वाद को पहचान लेना।
यह "ट्रेनिंग-फ्री" (प्रशिक्षण-मुक्त) है:
आपको AI के दिमाग (weights) को बदलने की आवश्यकता नहीं है। आपको इसे प्रशिक्षित करने में कई दिन बिताने की आवश्यकता नहीं है। आप बस इमेज जेनरेट होने के क्षण के दौरान कंपास चालू कर देते हैं। यह कार के इंजन को बदले बिना ड्राइवर को GPS अपडेट देने जैसा है।
यह कुशल है (Latent Space):
चित्र लाखों पिक्सेल वाली बड़ी फाइलें होते हैं। हर पिक्सेल के लिए कंपास की दिशा की गणना करना धीमा होगा। इसके बजाय, लेखक एक ट्रिक का उपयोग करते हैं: वे पहले चित्र को एक छोटे, अमूर्त कोड (जिसे "लेटेंट स्पेस" कहा जाता है) में कंप्रेस कर देते हैं। वे इस संकुचित स्पेस में स्टीयरिंग (मार्गदर्शन) करते हैं, जो बहुत तेज़ है, और फिर इसे वापस एक पूर्ण चित्र में विस्तारित करते हैं। यह घर की हर ईंट को फिर से पेंट करने के बजाय ब्लूप्रिंट को एडिट करने जैसा है।
यह संदर्भ को समझता है (Prompt-Aware):
यदि आप टेक्स्ट (जैसे, "एक कुत्ता" बनाम "एक बिल्ली") के आधार पर चित्र बना रहे हैं, तो कंपास स्मार्ट है। यह एक "प्रोडक्ट कर्नेल" का उपयोग करता है ताकि यह सुनिश्चित हो सके कि "कुत्ते" की छवियां आपके डॉग-रेफरेंस स्टाइल से मेल खाती हैं और "बिल्ली" की छवियां आपके कैट-रेफरेंस स्टाइल से। यह उन्हें आपस में नहीं मिलाता है। यह एक ऐसे कंपास की तरह है जो जानता है कि उसे "कुत्तों" को "डॉग स्टाइल" की ओर और "बिल्लियों" को "कैट स्टाइल" की ओर अलग-अलग मोड़ना चाहिए।

परिणाम

लेखकों ने इस पद्धति का परीक्षण किया:

सिंथेटिक डेटा: सरल गणितीय आकार (Gaussian mixtures)। कंपास ने AI को सटीक अनुपात और आकारों से मेल खाने के लिए सफलतापूर्वक निर्देशित किया।
वास्तविक चित्र: उन्होंने चेहरों (FFHQ डेटासेट) और वस्तुओं (कार, बाइक) पर परीक्षण किया।
- बिना MMD के: AI जेनेरिक चेहरे या कारें बनाता।
- MMD के साथ: AI ऐसे चेहरे बनाता जो ऐसा दिखते थे जैसे उन्होंने धूप का चश्मा पहना हो (यदि वह संदर्भ शैली थी) या ऐसी कारें जो विंटर स्केच जैसी दिखती थीं, जो संदर्भ सेट की विशिष्ट दृश्य शैली से मेल खाती थीं।

उन्होंने पाया कि MMD Guidance द्वारा बनाए गए चित्र:

लक्ष्य शैली के अधिक अनुरूप थे (कम वितरण विसंगति)।
मूल AI के समान उच्च गुणवत्ता वाले थे (फिडेलिटी बनाए रखी)।
अधिक कुशल थे (उन तरीकों की तुलना में जिनमें रिट्रेनिंग की आवश्यकता होती है)।

सारांश उपमा (Summary Analogy)

कल्प la कल्पना कीजिए कि आप एक शेफ (AI) को एक विशिष्ट पारिवारिक रेसिपी (आपका लक्ष्य वितरण) बनाना सिखाने की कोशिश कर रहे हैं।

रिट्रेनिंग (पुनः प्रशिक्षण) एक नए शेफ को काम पर रखने और पुराने को निकालने जैसा है जो केवल वही एक रेसिपी जानता हो। यह महंगा और धीमा है।
स्टैंडर्ड प्रॉम्प्टिंग शेफ को, "इसे मसालेदार बनाओ" कहने जैसा है। शेफ इसे बहुत अधिक मसालेदार या बहुत कम मसालेदार बना सकता है क्योंकि वह आपकी "मसालेदार" की परिभाषा नहीं जानता।
MMD Guidance शेफ के बगल में खड़े होकर, अपने हाथ में परिवार का मूल रेसिपी कार्ड पकड़े हुए खाना पकाने जैसा है। हर बार जब वह कोई सामग्री जोड़ता है, तो आप धीरे से उसका हाथ निर्देशित करते हैं: "थोड़ा कम नमक, बिल्कुल ऐसा ही," या "थोड़ी अधिक गर्मी, बिल्कुल ऐसे।" आप शेफ के कौशल को नहीं बदलते; आप बस आपकी पारिवारिक डिश के सटीक स्वाद से मेल खाने के लिए वास्तविक समय में उसके हाथ का मार्गदर्शन करते हैं, और इसके लिए केवल कुछ संदर्भ नमूनों की आवश्यकता होती है।

तकनीकी सारांश: MMD मार्गदर्शन: मैक्सिमम मीन ディस्क्रीपेंसी (Maximum Mean Discrepancy) के माध्यम से डिफ्यूजन मॉडल्स के लिए ट्रेनिंग-मुक्त वितरण अनुकूलन

समस्या विवरण
प्री-ट्रेंड डिफ्यूजन मॉडल्स शक्तिशाली जनरेटिव प्रायर (generative priors) के रूप में कार्य करते हैं, लेकिन वे अक्सर उपयोगकर्ता-विशिष्ट लक्षित वितरणों (target distributions) के साथ संरेखित होने में विफल रहते हैं, विशेष रूप से उन डोमेन अनुकूलन परिदृश्यों में जहाँ केवल कुछ संदर्भ उदाहरण उपलब्ध होते हैं। इन मॉडल्स को फिर से प्रशिक्षित करना कई उपयोगकर्ताओं के लिए कम्प्यूटेशनल रूप से अव्यावहारिक है। मौजूदा इन्फरेंस-टाइम मार्गदर्शन विधियाँ, जैसे कि क्लासिफायर गाइडेंस या क्लासिफायर-फ्री गाइडेंस, सरोगेट उद्देश्यों (जैसे क्लास लाइकलीहुड) को अनुकूलित करती हैं, न कि सीधे तौर पर उत्पन्न नमूनों और एक लक्षित संदर्भ सेट के बीच वितरण संबंधी विसंगति (distributional discrepancy) को कम करती हैं। फलस्वरूप, एक ऐसी प्रशिक्षण-मुक्त तंत्र की आवश्यकता है जो डिफ्यूजन मॉडल के आउटपुट को सीमित संदर्भ डेटा द्वारा परिभाषित एक लक्षित वितरण के साथ स्पष्ट रूप से संरेखित कर सके।

कार्यप्रणाली
लेखक MMD मार्गदर्शन का प्रस्ताव करते हैं, जो एक प्रशिक्षण-मुक्त अनुकूलन विधि है जो रिवर्स डिफ्यूजन प्रक्रिया को मैक्सिमम मीन ディस्क्रीपेंसी (MMD) से प्राप्त ग्रेडिएंट्स के माध्यम से संवर्धित करती है।

MMD के माध्यम से वितरण मिलान: यह विधि टाइमस्टेप $t$ पर उत्पन्न नमूनों के एम्पिरिकल वितरण और एक छोटे संदर्भ डेटासेट के बीच स्क्वेयर्ड MMD को कम करती है। MMD को अन्य डाइवर्जेंस (जैसे KL-डाइवर्जेंस या वासरस्टीन डिस्टेंस) की तुलना में इसलिए चुना गया है क्योंकि यह सीमित नमूनों से अनबायस्ड (unbiased) और लो-वेरिएंस अनुमान प्रदान करता है और 'कर्स ऑफ डायमेंशनैलिटी' से ग्रस्त नहीं होता है, और इसका कर्नेल-आधारित फॉर्मूलेशन कुशल ग्रेडिएंट गणना की अनुमति देता है।
मार्गदर्शन तंत्र (Guidance Mechanism): सैंपलिंग के दौरान, मानक अपडेट स्टेप को वर्तमान लेटेंट सैंपल $z_t$ के सापेक्ष स्क्वेयर्ड MMD के ग्रेडिएंट को घटाकर संशोधित किया जाता है। अपडेट नियम है:
$z_{t-1}^{(i)} = \text{sampler}(z_t^{(i)}, t, \epsilon_\theta) - \lambda_t \nabla_{z_t^{(i)}} \widehat{\text{MMD}}^2(\hat{P}_t, \hat{Q})$
जहाँ $\lambda_t$ मार्गदर्शन की शक्ति (guidance strength) को नियंत्रित करता है। ग्रेडिएंट में एक इंट्रा-बैच टर्म (जो उत्पन्न नमूनों के बीच विविधता को बढ़ावा देता है) और एक क्रॉस-टर्म (जो नमूनों को संदर्भ वितरण की ओर आकर्षित करता है) शामिल है।
लेटेंट स्पेस कार्यान्वयन: कम्प्यूटेशनल दक्षता सुनिश्चित करने के लिए, MMD मार्गदर्शन को लेटेंट डिफ्यूजन मॉडल्स (LDMs) के लेटेंट स्पेस में लागू किया जाता है। संदर्भ छवियों को एक बार VAE एनकोडर का उपयोग करके एनकोड किया जाता है, और मार्गदर्शन संपीड़ित (compressed) लेटेंट रिप्रजेंटेशन पर कंप्यूट किया जाता है। यह डाइमेंशनैलिटी को कम करता है और MMD अनुमान के लिए सिग्नल-टू-नॉइज़ अनुपात में सुधार करता है।
प्रॉम्प्ट-अवेयर विस्तार: कंडीशनल जनरेशन के लिए, यह विधि एक प्रोडक्ट कर्नेल $k_{\text{multimodal}}([p, x], [p', x']) = k_{\text{text}}(p, p') \cdot k_{\text{image}}(x, x')$ तक विस्तारित होती है। यह मार्गदर्शन को टेक्स्टुअल सिमेंटिक्स (प्रॉम्प्ट समानता के माध्यम से) और विजुअल स्टाइल (लेटेंट समानता के माध्यम से) दोनों के साथ संयुक्त रूप से संरेखित करने की अनुमति देता है, जिससे बिना डिनोइज़र को फिर से प्रशिक्षित किए प्रॉम्प्ट-अवेयर वितरण मिलान संभव होता है।

मुख्य योगदान

MMD मार्गदर्शन का परिचय, जो सीमित संदर्भ सेटों द्वारा निर्दिष्ट लक्षित वितरणों के लिए डिफ्यूजन मॉडल्स को अनुकूलित करने के लिए एक प्रशिक्षण-मुक्त इन्फरेंस-टाइम विधि है।
टेक्स्ट प्रॉम्प्ट और विजुअल स्टाइल को संयुक्त रूप से संरेखित करने के लिए प्रोडक्ट कर्नेल्स का उपयोग करते हुए एक प्रॉम्प्ट-अवेयर अनुकूलन विस्तार का प्रस्ताव।
LDMs के लेटेंट स्पेस में संचालित होने वाला एक कुशल कार्यान्वयन।
सैद्धांतिक गारंटी जो दिखाती है कि MMD ग्रेडिएंट सीमित संदर्भ नमूनों के साथ भी उच्च संभाव्यता के साथ वास्तविक पॉपुलेशन ग्रेडिएंट के आसपास केंद्रित होता है।

परिणाम
लेखक सिंथेटिक Gaussian Mixture Models (GMMs) और वास्तविक दुनिया के इमेज बेंचमार्क (FFHQ, CelebA-HQ, AFHQ) पर Stable Diffusion v1.4, SDXL, और PixArt जैसे मॉडल्स का उपयोग करके MMD मार्गदर्शन का मूल्यांकन करते हैं।

वितरण संरेखण (Distribution Alignment): सिंथेटिक GMMs पर, MMD मार्गदर्शन सीमित नमूनों के साथ लक्षित मिश्रण अनुपातों (mixture proportions) और मोड्स को सफलतापूर्वक रिकवर करता है, जो Fréchet Distance (FD) और Kernel Distance (KD) में No-Guidance, Classifier-Free Guidance (CFG), और Classifier Guidance (CG) जैसे बेसलाइन्स से बेहतर प्रदर्शन करता है।
इमेज जनरेशन: FFHQ और CelebA-HQ पर, MMD मार्गदर्शन प्रशिक्षण-मुक्त बेसलाइन्स की तुलना में बेहतर फिडेलिटी (fidelity) और वितरण कवरेज (FD, KD, Density, और Coverage द्वारा मापा गया) प्राप्त करता है, और फाइन-ट्यूनिंग विधियों के मुकाबले प्रतिस्पर्धी प्रदर्शन करता है, जबकि इसके लिए किसी प्रशिक्षण की आवश्यकता नहीं होती है।
प्रॉम्प्ट-अवेयर अनुकूलन: SDXL और PixArt के प्रयोगों में, MMD मार्गदर्शन टेक्स्ट प्रॉम्प्ट का सम्मान करते हुए संदर्भ शैलियों (जैसे एनिमे कैट्स, वैन गॉग डॉग्स) से मेल खाने के लिए उत्पन्न छवियों की विजुअल स्टाइल को सफलतापूर्वक अनुकूलित करता है, जिससे वितरण विसंगति मेट्रिक्स में महत्वपूर्ण कमी आती है।
दक्षता: यह विधि न्यूनतम कम्प्यूटेशनल ओवरहेड लेती है। रनटाइम विश्लेषण दिखाता है कि MMD मार्गदर्शन के साथ नमूने उत्पन्न करना अनगाइडेड सैंपलिंग की तुलना में केवल थोड़ा धीमा है, जिससे यह बड़े पैमाने के LDMs के लिए स्केलेबल बनता है।
मजबूती (Robustness): यह विधि केवल 10-50 संदर्भ नमूनों के साथ भी अच्छा प्रदर्शन करती है और विभिन्न डोमेन गैप्स में प्रभावी रहती है, हालांकि बड़े गैप के लिए अधिक संदर्भ नमूनों या मजबूत मार्गदर्शन की आवश्यकता होती है।

महत्व और सीमाएं
पेपर का दावा है कि MMD मार्गदर्शन डिफ्यूजन मॉडल्स में डोमेन अनुकूलन के लिए एक व्यावहारिक, प्रशिक्षण-मुक्त समाधान प्रदान करता है, जो फाइन-ट्यूनिंग से जुड़ी कम्प्यूटेशनल और मेमोरी लागत को कम करता है। यह सीमित संदर्भ डेटा और तीव्र परिनियोजन (deployment) आवश्यकताओं वाले सेटिंग्स में विशेष रूप से उपयोगी है। लेखक नोट करते हैं कि हालांकि विधि सीमित डेटा के साथ अच्छा प्रदर्शन करती है, फिर भी अत्यंत विरल (sparse) परिदृश्यों में ग्रेडिएंट अनुमान विचरण (variance) से जूझना पड़ सकता है। वे यह भी सुझाव देते हैं कि एडेप्टिव कर्नेल चयन और MMD को अन्य डाइवर्जेंस के साथ जोड़ना भविष्य के कार्य के लिए संभावित दिशाएं हैं।

समस्या: "जेनेरिक आर्टिस्ट" की दुविधा

समाधान: MMD Guidance ("सांख्यिकीय दिशा-सूचक" या Statistical Compass)

यह विधि क्यों विशेष है?

परिणाम

सारांश उपमा (Summary Analogy)

इसी तरह के और पेपर