📊 statistics

Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD

यह शोध पत्र डिस्क्रीट मोमेंट मैचिंग डिस्टिलेशन (D-MMD) प्रस्तुत करता है, जो एक नवीन विधि है जो टेक्स्ट और इमेज जनरेशन के लिए डिस्क्रीट डिफ्यूजन मॉडल्स को सफलतापूर्वक डिस्टिल करती है, जिसमें उच्च गुणवत्ता और विविधता बनाए रखने के लिए कंटीन्यूअस-डोमेन तकनीकों का लाभ उठाया गया है और साथ ही डिस्टिल्ड जनरेटर्स को संभावित रूप से अपने टीचर्स से बेहतर प्रदर्शन करने में सक्षम बनाया गया है।

मूल लेखक: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

प्रकाशित 2026-03-23

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Emiel Hoogeboom, David Ruhe, Jonathan Heek, Thomas Mensink, Tim Salimans

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन धीमे कलाकार (शिक्षक) को सौ ब्रशस्ट्रोक के बजाय कुछ ही ब्रशस्ट्रोक में एक उत्कृष्ट कृति (मास्टरपीस) पेंट करना सिखाने की कोशिश कर रहे हैं।

यह कलाकार डिस्क्रीट डिफ्यूजन (Discrete Diffusion) का विशेषज्ञ है। इसे "चित्र पहचानने के खेल" की तरह समझें। कलाकार एक कैनवास से शुरुआत करता है जो शोर (static noise) से ढका होता है। हर चरण में, वह शोर को देखता है और अनुमान लगाता है कि अंतिम चित्र कैसा दिखना चाहिए, धीरे-धीरे शोर को हटाते हुए जब तक कि चित्र स्पष्ट न हो जाए। समस्या क्या है? एक सटीक चित्र पाने के लिए, उन्हें सैकड़ों छोटे, सतर्क चरणों की आवश्यकता होती है। यह एक कमरे को एक-एक इंच के कदम लेकर पार करने जैसा है; आप वहां पहुंच तो जाएंगे, लेकिन इसमें बहुत समय लगेगा।

यह शोध पत्र एक नई विधि D-MMD (Discrete Moment Matching Distillation) पेश करता है। यह कैसे काम करता है, इसके लिए कुछ रोजमर्रा के उदाहरणों का उपयोग किया गया है:

1. समस्या: "एक-समय-में-एक-कदम" वाला जाल

अधिकांश AI मॉडल जो टेक्स्ट या इमेज जनरेट करते हैं, वे एक बार में एक शब्द पढ़ने वाले व्यक्ति की तरह काम करते हैं। वे तेज़ हैं लेकिन लूप में फंस सकते हैं या दोहराव वाली गलतियाँ कर सकते हैं।
डिफ्यूजन मॉडल अलग हैं। वे पूरी तस्वीर (या वाक्य) को एक साथ देखते हैं और उसे परिष्कृत करते हैं। लेकिन क्योंकि वे बहुत सावधान होते हैं, उन्हें बहुत समय लगता है।

उपमा: कल्पना कीजिए कि आप एक अंधेरे कमरे में एक विशिष्ट चाबी खोजने की कोशिश कर रहे हैं। पुराना तरीका यह है कि फर्श के हर एक इंच को एक-एक करके महसूस किया जाए। यह गहन है, लेकिन धीमा है।

2. समाधान: "स्मार्ट छात्र" (D-MMD)

शोधकर्ताओं ने एक छात्र (Student) मॉडल को प्रशिक्षित करना चाहा जो शिक्षक (Teacher) के समान कार्य कर सके, लेकिन केवल कुछ ही चरणों में (जैसे 512 के बजाय केवल 16 चरणों में)।

अतीत में, जब लोगों ने इन डिस्क्रीट मॉडलों को तेज़ करने की कोशिश की, तो छात्र "कोलैप्स" (collapse) हो जाता था।

उपमा: कल्पना कीजिए कि एक छात्र नृत्य सीखने की कोशिश कर रहा है। यदि वे बहुत तेज़ी से चलने की कोशिश करते हैं, तो वे नाचना बंद कर देते हैं और बस एक ही जगह पर खड़े हो जाते हैं (मोड कोलैप्स)। वे मूल नृत्य की विविधता और रचनात्मकता खो देते हैं। पिछली विधियों ने छात्र को जम जाने या उबाऊ, दोहराव वाले परिणाम देने के लिए मजबूर किया।

D-MMD अलग है। यह छात्र को सिखाने के लिए एक चतुर "तीन-व्यक्तियों के खेल" का उपयोग करता है:

शिक्षक: मूल धीमा, पूर्ण कलाकार।
छात्र: वह तेज़ सीखने वाला जिसे हम प्रशिक्षित कर रहे हैं।
रेफरी (सहायक मॉडल): एक स्मार्ट पर्यवेक्षक जो दोनों को देखता है।

खेल कैसे काम करता है:

छात्र एक ऐसा अनुमान लगाने की कोशिश करता है जो शिक्षक के अंतिम उत्तर जैसा दिखे।
हालाँकि, रेफरी भी देख रहा है। रेफरी यह अनुमान लगाने की कोशिश करता है कि छात्र क्या करेगा।
छात्र को रेफरी को मूर्ख बनाने के लिए पुरस्कृत किया जाता है और साथ ही शिक्षक को प्रसन्न करने के लिए भी।
रेफरी को शिक्षक और छात्र के बीच के अंतर को पहचानने में बहुत कुशल होने के लिए प्रशिक्षित किया जाता है।

यह एक स्वस्थ प्रतिस्पर्धा पैदा करता है। छात्र बिना अपनी "आत्मा" या विविधता खोए, बड़े और आत्मविश्वासी कदम (कम चरण) उठाना सीखता है। वे केवल सूक्ष्म विवरणों के बजाय उत्तर के समग्र आकार का अनुमान लगाना सीखते हैं, जिससे समय की बचत होती है।

3. जादू का नुस्खा: "सॉफ्ट" प्रोबेबिलिटीज़ (Soft Probabilities)

टेक्स्ट और इमेज की दुनिया में, डेटा "डिस्क्रीट" होता है (जैसे अलग-अलग लेगो ब्लॉक्स, न कि चिकनी मिट्टी)। आमतौर पर, आप सीखने को आसान बनाने के लिए किनारों को स्मूथ नहीं कर सकते।
इस पेपर का गुप्त मंत्र "सॉफ्ट प्रोबेबिलिटीज़" का उपयोग करना है।

उपमा: छात्र के यह कहने के बजाय कि, "मैं 100% निश्चित हूँ कि यह एक बिल्ली है," वे कहते हैं, "मुझे लगता है कि इसकी 60% संभावना है कि यह एक बिल्ली है और 40% संभावना है कि यह एक कुत्ता है।"
प्रशिक्षण के दौरान इन "सॉफ्ट" अनुमानों को बनाए रखकर, गणित सुचारू रूप से काम करता है। छात्र पहले उत्तर के "वाइब" (vibe) को सीखता है, और फिर अंत में एक निश्चित उत्तर में बदल जाता है। यह उस "कोलैप्स" को रोकता है जहाँ मॉडल एक ही उबाऊ उत्तर पर अटक जाता है।

4. परिणाम: छात्र शिक्षक को हरा देता है

सबसे आश्चर्यजनक बात यह है कि छात्र अक्सर शिक्षक से बेहतर होता है।

क्यों? शिक्षक को "सुरक्षित" रहने और सभी संभावनाओं को कवर करने के लिए प्रशिक्षित किया गया था (जैसे एक सतर्क ड्राइवर)। इस नई विधि के साथ प्रशिक्षित छात्र, "साहसी" बनना और सबसे संभावित, उच्च-गुणवत्ता वाले परिणामों की ओर लक्ष्य साधना सीखता है (जैसे एक रेस कार ड्राइवर)।
प्रमाण: इमेजेस (CIFAR-10) और टेक्स्ट (Open Web Text) पर, D-MMD छात्रों ने 16 चरणों में उच्च-गुणवत्ता वाले परिणाम बनाए जो वास्तव में शिक्षक के 512 चरणों वाले परिणामों से बेहतर थे।

5. सफलता को मापने का एक नया तरीका

पेपर यह भी बताता है कि हम आमतौर पर AI को कैसे आंकते हैं, उसमें एक कमी है।

पुराना मेट्रिक (परप्लेक्सिटी - Perplexity): यह किसी भाषण को इस आधार पर आंकने जैसा है कि वह डिक्शनरी में कितनी अच्छी तरह फिट बैठता है। यदि कोई रोबोट "हेलो हेलो हेलो" दोहरा रहा है, तो वह एकदम सटीक स्कोर करेगा क्योंकि वह बहुत अनुमान योग्य है।
नया मेट्रिक (ग्रेडिएंट मोमेंट - Gradient Moment): लेखकों ने एक नया परीक्षण बनाया। वे पूछते हैं: "यदि हम इस AI के आउटपुट को एक मानव विशेषज्ञ को दिखाएं, तो क्या विशेषज्ञ को इसे समझने के लिए अपने स्वयं के मस्तिष्क को बदलने की आवश्यकता महसूस होगी?"
- यदि आउटपुट अजीब या नकली है, तो विशेषज्ञ का मस्तिष्क "घिसेगा" (उच्च ग्रेडिएंट)।
- यदि आउटपुट एकदम सही है, तो विशेषज्ञ का मस्तिष्क शांत रहेगा (शून्य ग्रेडिएंट)।
- इस नए परीक्षण का उपयोग करके, उन्होंने साबित किया कि उनके छात्र मॉडल वास्तव में उच्च-गुणवत्ता वाले, विविध और यथार्थवादी टेक्स्ट और इमेज बना रहे थे।

सारांश

D-MMD एक नई प्रशिक्षण तकनीक है जो धीमी, सावधान AI मॉडलों को अपनी रचनात्मकता खोए बिना तेज़ और आत्मविश्वासी होना सिखाती है। यह सुनिश्चित करने के लिए कि तेज़ मॉडल केवल "हार न मान दे" और एक ही चीज़ को न दोहराए, यह छात्र, शिक्षक और रेफरी के बीच एक प्रतिस्पर्धी खेल का उपयोग करता है। परिणाम? AI जो मूल धीमे मॉडलों की तुलना में बहुत कम समय में, अक्सर बेहतर गुणवत्ता के साथ, टेक्स्ट और इमेज जनरेट कर सकता है।

यहाँ शोध पत्र "Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिस्क्रीट डिफ्यूजन मॉडल (जो टेक्स्ट और इमेज जनरेशन के लिए उपयोग किए जाते हैं) उच्च कम्प्यूटेशनल लागत से ग्रस्त हैं क्योंकि उच्च-गुणवत्ता वाले आउटपुट तक पहुँचने के लिए उन्हें कई सैंपलिंग स्टेप्स की आवश्यकता होती है। निरंतर (continuous) डिफ्यूजन मॉडल्स के विपरीत, जिनके पास सैंपलिंग स्टेप्स को कुछ ही चरणों तक कम करने के लिए स्थापित डिस्टिलेशन तकनीकें मौजूद हैं, डिस्क्रीट डिफ्यूजन डिस्टिलेशन एक चुनौतीपूर्ण कार्य बना हुआ है।

बाधा (The Bottleneck): वर्तमान डिस्क्रीट डिस्टिलेशन विधियाँ अक्सर विफल हो जाती हैं क्योंकि वे फैक्टरलाइज्ड टोकन जनरेशन (प्रत्येक टोकन को स्वतंत्र रूप से मॉडल करना) पर निर्भर करती हैं। यह धारणा पुनरावृत्त सैंपलिंग (iterative sampling) के दौरान त्रुटि संचय (error accumulation) का कारण बनती है।
मौजूदा विधियों की सीमा (The Limitation of Existing Methods): पिछले प्रयास (जैसे, SDTT, Di4C) या तो गुणवत्ता में गिरावट का शिकार होते हैं, टोकन के बीच सहसंबंध (correlations) को पकड़ने में विफल रहते हैं, या विशिष्ट डिफ्यूजन प्रकारों (जैसे, मास्क डिफ्यूजन) तक ही सीमित होते हैं।
लक्ष्य (The Goal): एक ऐसा डिस्टिलेशन मेथड विकसित करना जो डिस्क्रीट डिफ्यूजन मॉडल्स के लिए फंक्शन इवैलुएशन (NFEs) की संख्या को कम करे, जबकि सैंपल क्वालिटी और विविधता को बनाए रखे या उसमें सुधार करे, जिससे संभावित रूप से स्टूडेंट मॉडल अपने टीचर मॉडल से बेहतर प्रदर्शन कर सकें।

2. कार्यप्रणाली: डिस्क्रीट मोमेंट मैचिंग डिस्टिलेशन (D-MMD)

लेखक D-MMD का प्रस्ताव करते हैं, जो निरंतर डोमेन से डिस्क्रीट डोमेन में मोमेंट मैचिंग डिस्टिलेशन (MMD) फ्रेमवर्क का एक सामान्यीकरण (generalization) है।

मुख्य अवधारणा (Core Concept)

सीधे KL-डाइवर्जेंस को कम करने के बजाय, D-MMD क्लीन डेटा डिस्ट्रीब्यूशन के बीच टीचर और स्टूडेंट के कंडीशनल एक्सपेक्टेशंस (मोमेंट्स) को मिलाने का लक्ष्य रखता है।

एडवर्सरियल सेटअप (Adversarial Setup): यह विधि एक फिक्स्ड टीचर मॉडल ( $\hat{x}_\theta$ ) द्वारा निर्देशित, एक स्टूडेंट जनरेटर ( $\hat{x}_\eta$ ) और एक ऑक्सिलरी मॉडल ( $\hat{x}_\phi$ ) के बीच अल्टरनेटिंग ऑप्टिमाइजेशन का उपयोग करती है।
उद्देश्य (The Objective):
- स्टूडेंट टीचर के विरुद्ध लॉस को कम करने और ऑक्सिलरी मॉडल के विरुद्ध लॉस को अधिकतम करने का प्रयास करता है।
- ऑक्सिलरी मॉडल स्टूडेंट के विरुद्ध लॉस को कम करने और टीचर के करीब रहने (रेगुलराइजेशन) का प्रयास करता है।
डिस्क्रीट अनुकूलन (Discrete Adaptation):
- निरंतर MMD में, ग्रेडिएंट स्क्वायर एरर से प्राप्त होता है। डिस्क्रीट सेटिंग्स में, कैटेगोरिकल डिस्ट्रीब्यूशन से सीधा सैंपलिंग करना नॉन-डिफरेंशिएबल है।
- सॉफ्ट टारगेट्स (Soft Targets): लेखक जनरेटर के अपडेट के लिए हार्ड कैटेगोरिकल सैंपल्स के बजाय सॉफ्ट प्रोबेबिलिटी वेक्टर $\hat{x}_\eta(z_t)$ का उपयोग करते हैं। यह ग्रेडिएंट फ्लो की अनुमति देता है।
- लॉग-प्रोबेबिलिटी मैचिंग (Log-Probability Matching): अपडेट नियम प्रभावी रूप से आउटपुट स्पेस में सीधे अंतर के बजाय टीचर और ऑक्सिलरी मॉडल के बीच लॉग-प्रोबेबिलिटी में एक डेल्टा बन जाता है।
- बायस को संभालना (Handling Bias): मास्क डिफ्यूजन के लिए, सॉफ्ट टारगेट्स अच्छी तरह काम करते हैं। यूनिफॉर्म डिफ्यूजन के लिए, बायस को ठीक करने के लिए ऑक्सिलरी मॉडल को हार्ड सैंपल्स पर प्रशिक्षित किया जाना चाहिए।

एल्गोरिदम प्रवाह (Algorithm 1)

डेटा $x$ को सैंपल करें और उसे $z_t$ तक डिफ्यूज करें।
स्टूडेंट से सॉफ्ट प्रोबेबिलिटीज $\hat{x}_\eta(z_t)$ जेनरेट करें।
एक हार्ड टोकन $x$ (या मास्क डिफ्यूजन के लिए सॉफ्ट टारगेट) सैंपल करें और उसे एक नए स्टेट $z_s$ तक डिफ्यूज करें।
ईवन स्टेप्स (Even Steps): स्टूडेंट पैरामीटर्स $\eta$ को $L(\hat{x}_\eta, \hat{x}_\theta) - L(\hat{x}_\eta, \hat{x}_\phi)$ को मिनिमाइज करने के लिए अपडेट करें।
ऑड स्टेप्स (Odd Steps): ऑक्सिलरी पैरामीटर्स $\phi$ को $L(x, \hat{x}_\phi) + L(\hat{x}_\theta, \hat{x}_\phi)$ को मिनिमाइज करने के लिए अपडेट करें।

मुख्य तकनीकी अंतर्दृष्टि: फैक्टरलाइज्ड जनरेटर्स और कोरिलेशन

एक प्रमुख सैद्धांतिक बाधा यह है कि एक फैक्टरलाइज्ड मॉडल (जो टोकन स्वतंत्रता मानता है) सहसंबंधित (correlated) आउटपुट कैसे सीख सकता है।

लेखक समझाते हैं कि जनरेटर दो चरणों का एक संयोजन है: "सॉफ्ट सैंपल्स" (प्रोबेबिलिटीज) उत्पन्न करना और फिर हार्ड टोकन को सैंपल करना।
हालांकि हार्ड सैंपलिंग स्टेप फैक्टरलाइज्ड है, लेकिन सॉफ्ट प्रोबेबिलिटी वेक्टर $\hat{x}_\eta(z_t)$ फैक्टरलाइज्ड नहीं है। अपने सॉफ्ट आउटपुट डिस्ट्रीब्यूशन के मोमेंट्स को मैच करने के लिए, जनरेटर अपने सॉफ्ट आउटपुट डिस्ट्रीब्यूशन की एंट्रॉपी को कम करने के लिए सीखता है। यह फैक्टरलाइज्ड डिस्ट्रीब्यूशन का "कोलैप्स" (collapse) मॉडल को टोकन के बीच निहित रूप से सहसंबंध सीखने की अनुमति देता है, जो प्रभावी रूप से एक मिक्सचर डिस्ट्रीब्यूशन के रूप में कार्य करता है।

3. मुख्य योगदान

D-MMD एल्गोरिदम: डिस्क्रीट डिफ्यूजन के लिए एक नया, सामान्यीकरण योग्य डिस्टिलेशन एल्गोरिदम जो मास्क्ड डिफ्यूजन और यूनिफॉर्म डिफ्यूजन दोनों के लिए काम करता है।
टीचर से बेहतर प्रदर्शन (Teacher Outperformance): यह प्रदर्शित करता है कि डिस्टिल्ड स्टूडेंट मॉडल काफी कम सैंपलिंग स्टेप्स (जैसे, 16 स्टेप्स बनाम 1024 स्टेप्स) का उपयोग करके अपने टीचर की तुलना में उच्च सैंपल क्वालिटी प्राप्त कर सकते हैं।
नया मूल्यांकन मेट्रिक (ग्रेडिएंट मोमेंट): यह पेपर डिस्क्रीट डिफ्यूजन मॉडल्स का मूल्यांकन करने के लिए ग्रेडिएंट मोमेंट (GM) मेट्रिक पेश करता है।
- समस्या: स्टैंडर्ड परप्लेक्सिटी (Perplexity) डिफ्यूजन मॉडल्स के लिए दोषपूर्ण है क्योंकि इसे लो-टेम्परेचर सैंपलिंग (मोड कोलैप्स) द्वारा "गेम" किया जा सकता है और यह वास्तविक डिस्ट्रीब्यूशनल समानता को नहीं दर्शाता है।
- समाधान: GM जेनरेट किए गए सैंपल्स पर एक रेफरेंस LLM (जैसे, GPT-2) के ग्रेडिएंट के स्क्वेर्ड नॉर्म को मापता है। यदि सैंपल्स ट्रेनिंग डेटा के समान हैं, तो ग्रेडिएंट शून्य होता है। यह मेट्रिक मोड कोलैप्स के प्रति रोबस्ट है।
नॉइज़ कंडीशनिंग (Noise Conditioning): यह पहचाना गया कि इनपुट नॉइज़ सोर्स (गौसियन नॉइज़) जोड़ना मास्क डिफ्यूजन डिस्टिलेशन के लिए महत्वपूर्ण है ताकि जनरेटर अपने आउटपुट डिस्ट्रीब्यूशन को प्रभावी ढंग से कोलैप्स कर सके, जिससे FID स्कोर में काफी सुधार होता है।

4. प्रयोगात्मक परिणाम

लेखकों ने CIFAR-10 (इमेज) और Open Web Text (OWT) (टेक्स्ट) पर D-MMD का मूल्यांकन किया।

CIFAR-10 (इमेज):
- यूनिफॉर्म डिफ्यूजन: D-MMD ने 32 स्टेप्स में 3.7 का FID प्राप्त किया, जो 1024-स्टेप टीचर (FID 7.5) से बेहतर है।
- मास्क्ड डिफ्यूजन: D-MMD ने 64 स्टेप्स में 3.5 का FID प्राप्त किया, जो टीचर (FID 6.4) से बेहतर है।
- D-MMD लगातार कम NFEs के साथ मौजूदा विधियों जैसे Di4C और SDTT से बेहतर प्रदर्शन करता है।
टेक्स्ट जनरेशन (OWT):
- मास्क्स्ड D-MMD: केवल 16 स्टेप्स के साथ टीचर से बेहतर प्रदर्शन किया (GPT-2 GM: 0.236 बनाम 256 स्टेप्स पर टीचर का 0.275)।
- यूनिफॉर्म D-MMD: टीचर की तुलना में महत्वपूर्ण सुधार भी दिखाया।
- ब्लॉक ऑटोरेग्रेसिव: 256-टोकन ब्लॉक्स जेनरेट करने वाले सेटअप में, 16-स्टेप D-MMD ने 256-स्टेप टीचर के प्रदर्शन की बराबरी की।
साहित्य के साथ तुलना (Comparison with Literature):
- D-MMD ने SDTT और Di4C को काफी पीछे छोड़ दिया। SDTT बार-बार डिस्टिलेशन राउंड के दौरान गुणवत्ता में गिरावट दिखाता है, जबकि D-MMD गुणवत्ता बनाए रखता है या उसमें सुधार करता है।
- ग्रेडिएंट मोमेंट मेट्रिक ने खुलासा किया कि कम परप्लेक्सिटी वाली विधियों में अक्सर खराब विविधता (उच्च कोलैप्स) देखी गई, जबकि D-MMD ने क्वालिटी और विविधता के बीच संतुलन बनाया।

5. महत्व और निष्कर्ष

दक्षता (Efficiency): D-MMD डिस्क्रीट डिफ्यूजन मॉडल्स की इन्फरेंस लागत को नाटकीय रूप से कम करता है, जिससे वे लेटेंसी के मामले में ऑटोरेग्रेसिव मॉडल्स के प्रतिस्पर्धी बनते हैं, जबकि डिफ्यूजन के समानांतर सैंपलिंग लाभ को बरकरार रखते हैं।
गुणवत्ता (Quality): स्टूडेंट मॉडल्स की टीचर से बेहतर प्रदर्शन करने की क्षमता इस पारंपरिक धारणा को चुनौती देती है कि डिस्टिलेशन केवल टीचर का अनुमान लगाता है। यह उनके एडवर्सरियल ट्रेनिंग के कारण है, जो मॉडल को पूरी तरह से कोलैप्स किए बिना मोड्स (रिवर्स-KL व्यवहार) की ओर धकेलता है।
सामान्यीकरण (Generalization): डिस्क्रीट स्पेस में MMD को सामान्यीकृत करके और मास्क और यूनिफॉर्म दोनों डिफ्यूजन को हैंडल करके, यह कार्य डिस्क्रीट जेनेरेटिव मॉडल्स को तेज करने के लिए एक एकीकृत ढांचा प्रदान करता है।
मेट्रिक इनोवेशन: ग्रेडिएंट मोमेंट मेट्रिक का परिचय डिस्क्रीट जेनेरेटिव मॉडल्स के मूल्यांकन के लिए एक अधिक विश्वसनीय तरीका प्रदान करता है, जो डिफ्यूजन-आधारित जनरेशन के संदर्भ में परप्लेक्सिटी की सीमाओं को संबोधित करता है।

संक्षेप में, D-MMD स्पीड-क्वालिटी ट्रेड-ऑफ को हल करके और एक मजबूत सैद्धांतिक और अनुभवजन्य ढांचा प्रदान करके डिस्क्रीट डिफ्यूजन मॉडल्स को वास्तविक दुनिया के अनुप्रयोगों के लिए व्यावहारिक बनाने में एक बड़ी सफलता है।