📊 statistics

What Does a Discrete Diffusion Model Learn?

यह शोध पत्र यह सिद्ध करके कि नकारात्मक ELBO, डेटा एंट्रॉपी और एक पाथ KL डाइवर्जेंस के ठीक बराबर है, डिस्क्रीट डिफ्यूजन मॉडल्स के लिए एक कठोर सैद्धांतिक ढांचा स्थापित करता है, जिससे विभिन्न लॉस फंक्शन्स (जैसे कि डिनोइजिंग, स्कोर, और ब्रिज प्लग-इन) को एक एकल इष्टतम ओरेकल जंप रेट के कोऑर्डिनेट ट्रांसफॉर्मेशन के रूप में एकीकृत किया जा सके और इन दृष्टिकोणों के लिए सटीक विश्लेषणात्मक रूपांतरण और इनिशियलाइजेशन कैलिब्रेशन प्रदान किया जा सके।

मूल लेखक: Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

प्रकाशित 2026-07-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rodrigo Casado Noguerales, Bernhard Schölkopf, Thomas Hofmann, Aran Raoufi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक फटे हुए दस्तावेज़ को पुनर्स्थापित (restore) करना सिखाने की कोशिश कर रहे हैं। दस्तावेज़ एक साफ टेक्स्ट पेज ( $Z_0$ ) के रूप में शुरू होता है। फिर आप इसे एक श्रेडर (shredder) से गुजारते हैं जो धीरे-धीरे शब्दों को रैंडम कचरे (gibberish) में बदल देता है जब तक कि वह केवल कागज़ के टुकड़ों का एक ढेर ( $Z_T$ ) न बन जाए।

रोबोट का काम इस प्रक्रिया को उल्टा करना सीखना है: कागज़ के उन टुकड़ों को लेकर मूल दस्तावेज़ को फिर से बनाना। डिस्क्रीट डिफ्यूजन मॉडल्स (Discrete Diffusion Models) यही करते हैं।

यह शोध पत्र एक बहुत ही विशिष्ट प्रश्न पूछता है: जब हम एक रोबोट को प्रशिक्षित (train) करते हैं, तो वह वास्तव में क्या सीख रहा होता है?

लेखकों का तर्क है कि लंबे समय से, शोधकर्ता एक ही चीज़ को वर्णित करने के लिए तीन अलग-अलग "भाषाओं" या "निर्देशांकों" (coordinates) का उपयोग कर रहे हैं, जिससे अक्सर भ्रम पैदा होता है। उनका दावा है कि ये तीन भाषाएँ हैं:

डिनोइज़र (The Denoiser): "यहाँ मूल शब्द क्या था?"
कैविटी या ब्रिज प्लग-इन (The Cavity/Bridge Plug-in): "यहाँ मूल शब्द क्या था, वर्तमान में दिख रहे अस्त-व्यस्त शब्द को अनदेखा करते हुए?"
स्कोर (The Score): "यह शब्द उस दूसरे शब्द की तुलना में कितना अधिक संभावित है?"

यह शोध पत्र सिद्ध करता है कि ये तीन अलग-अलग मॉडल नहीं हैं। वे केवल एक ही गणितीय वस्तु (mathematical object) को लिखने के तीन अलग-अलग तरीके हैं। हालाँकि, यदि आप गलत भाषा बोलते हैं (उदाहरण के लिए, आप रोबोट को एक "डिनोइज़र" बनने के लिए प्रशिक्षित करते हैं लेकिन फिर उससे "कैविटी" की तरह कार्य करने के लिए कहते हैं बिना अनुवाद किए), तो रोबोट भ्रमित हो जाता है, गणित टूट जाता है, और प्रशिक्षण विफल हो जाता है।

यहाँ उनके प्रमुख निष्कर्षों का सरल उपमाओं (analogies) के माध्यम से विवरण दिया गया है:

1. "ओरेकल डिस्टेंस" (The Oracle Distance - वास्तविक लक्ष्य)

आमतौर पर, हम प्रशिक्षण लक्ष्य (ELBO) को केवल इस विचार के रूप में देखते हैं कि मॉडल के सही होने की संभावना कितनी है। लेखक सिद्ध करते हैं कि यह गलत है।

वे दिखाते हैं कि प्रशिक्षण लक्ष्य वास्तव में एक दूरी मापने वाला यंत्र (distance meter) है। यह सटीक रूप से मापता है कि रोबोट का "रिवर्स पाथ" (उल्टा रास्ता) "परफेक्ट पाथ" (ओरेकल) से कितना दूर है।

उपमा: कल्पना कीजिए कि परफेक्ट पाथ एक ऐसे भगवान द्वारा खींचा गया GPS रूट है जो जानता है कि कागज़ का हर टुकड़ा कहाँ से आया था। रोबोट उस रूट पर वापस गाड़ी चलाने की कोशिश कर रहा है।
पेपर सिद्ध करता है कि प्रशिक्षण की "लागत" (cost) केवल अंतिम मंजिल तक पहुँचना नहीं है; बल्कि यह उस पूरी यात्रा से मेल खाना है जो रोबोट तय करता है। यदि रोबोट किसी भी बिंदु पर गलत मोड़ लेता है, तो "दूरी" बढ़ जाती है।
फ्लोर (The Floor): चाहे रोबोट कितना भी अच्छा हो जाए, एक न्यूनतम लागत है जिसे वह कभी पार नहीं कर सकता। यह फ्लोर मूल दस्तावेज़ में मौजूद एन्ट्रॉपी (entropy) (सूचना की मात्रा) है। आप दस्तावेज़ को बिना उस "कीमत" चुकाए अन-श्रेड (un-shred) नहीं कर सकते जो सूचना के खो जाने से उत्पन्न हुई है।

2. "प्रोजेक्शन" (The Projection - रोबोट कैसे सीखता है)

रोबोट प्रशिक्षण के दौरान कभी भी साफ दस्तावेज़ नहीं देखता; वह केवल बिखरे हुए, शोर वाले (noisy) संस्करण को देखता है।

उपमा: कल्पना कीजिए कि रोबोट एक अपराध स्थल का पता लगाने वाला जासूस है जो कोहरे से ढका हुआ है। "ओरेकल" (परफेक्ट रिवर्स प्रोसेस) को ठीक से पता है कि क्या हुआ था क्योंकि उसके पास एक टाइम मशीन है। रोबोट को केवल उस धुंधले दृश्य के आधार पर अनुमान लगाना होगा कि क्या हुआ था।
पेपर सिद्ध करता है कि रोबोट अनिवार्य रूप से उन सभी संभावित "परफेक्ट" इतिहासों का एक औसत (average) ले रहा है जो वर्तमान धुंधले दृश्य तक ले गए होंगे। वह परफेक्ट ज्ञान को उस सीमित जानकारी पर "प्रोजेक्ट" कर रहा है जो वास्तव में उसके पास है।

3. "तीन निर्देशांक" (The Three Coordinates - शब्दकोश)

लेखक तीन भाषाओं (Denoiser, Cavity, Score) के बीच अनुवाद करने के लिए एक "शब्दकोश" प्रदान करते हैं।

समस्या: कुछ प्रकार के श्रेडिंग (जैसे मास्क्ड डिफ्यूजन, जहाँ शब्दों को [MASK] टोकन से बदल दिया जाता है) में, "डिनोइज़र" और "कैविटी" एक ही चीज़ होते हैं। यह पूछने जैसा है कि "शब्द क्या है?" और "वर्तमान अव्यवस्था को अनदेखा करते हुए शब्द क्या है?" और दोनों का उत्तर समान मिलता है क्योंकि अव्यवस्था कोई सुराग नहीं देती।
जाल (The Trap): अन्य प्रकार की श्रेडिंग (जैसे यूनिफॉर्म डिफ्यूजन, जहाँ शब्दों को रैंडम तरीके से बदला जाता है) में, "डिनोइज़र" और "कैविटी" अलग-अलग होते हैं।
- यदि आप रोबोट को "डिनोइज़र" बनने के लिए प्रशिक्षित करते हैं (अव्यवस्थित शब्द के आधार पर साफ शब्द का अनुमान लगाना) लेकिन फिर उसे "कैविटी" के रूप में उपयोग करने की कोशिश करते हैं (अव्यवस्थित शब्द को अनदेखा करना), तो गणित विस्फोट (explode) हो जाता है। संख्याएँ अनंत (infinity) हो जाती हैं, और प्रशिक्षण विफल हो जाता है।
- पेपर समझाता है कि क्यों कुछ तरीके मास्क किए गए टेक्स्ट के लिए बहुत अच्छे काम करते हैं लेकिन यूनिफॉर्म टेक्स्ट के लिए विफल हो जाते हैं: वे बिना अनुवाद किए गलत निर्देशांक का उपयोग कर रहे थे।

4. "कैलिब्रेशन" (The Calibration - काम की जाँच करना)

लेखक एक सरल तरीका देते हैं जिससे आप प्रशिक्षण के बिल्कुल शुरुआत में (कुछ भी सीखने से पहले) यह जाँच सकें कि आपका रोबोट सही ढंग से काम कर रहा है या नहीं।

उपमा: यदि आप रोबोट को एक खाली कागज देते हैं और उसे अनुमान लगाने के लिए कहते हैं, तो उसे रैंडम अनुमान लगाना चाहिए।
पेपर सिद्ध करता है कि यदि आप "कैविटी" भाषा का उपयोग करते हैं, तो एक रैंडम अनुमान का एक विशिष्ट, अनुमानित स्कोर होता है (जो वोकैबुलरी के आकार, जैसे $\log V$ , से संबंधित है)। यदि आपके रोबोट का स्कोर अलग है, तो आपका कोड टूटा हुआ है।
इसके विपरीत, यदि आप यूनिफॉर्म डिफ्यूजन के साथ "डिनोइज़र" भाषा का उपयोग करते हैं, तो स्कोर अनंत हो जाता है। यह समझाता है कि क्यों कुछ मॉडल प्रशिक्षण शुरू होते ही क्रैश हो जाते हैं।

"मुख्य निष्कर्ष" का सारांश (Summary of the Takeaway)

पेपर हमें बताता है:

केवल एक ही सच्चा रिवर्स प्रोसेस है (ओरेकल)।
Denoisers, Cavities, और Scores उसी को वर्णित करने के तीन अलग-अलग तरीके हैं।
आपको काम के लिए सही भाषा बोलनी होगी। यदि आप "यूनिफॉर्म डिफ्यूजन" कर रहे हैं, तो आपको "कैविटी" भाषा का उपयोग करना चाहिए (या अपने डिनोइज़र आउटपुट को कैविटी भाषा में बदलना चाहिए), अन्यथा गणित टूट जाएगा।
प्रशिक्षण लक्ष्य एक सटीक दूरी है, न कि केवल एक अस्पष्ट प्रायिकता सीमा (probability bound)।

संक्षेप में, यह पेपर क्षेत्र में व्याप्त बहुत सारी उलझनों को दूर करता है, यह दिखाते हुए कि इन मॉडल्स का "जादू" वास्तव में एक ही समस्या को देखने के विभिन्न तरीकों के बीच सही गणितीय अनुवाद का मामला है।

तकनीकी सारांश: एक डिस्क्रीट डिफ्यूजन मॉडल क्या सीखता है?

समस्या विवरण

डिस्क्रीट डिफ्यूजन मॉडल (Discrete diffusion models) श्रेणीबद्ध डेटा (categorical data), जैसे कि टेक्स्ट, के लिए जनरेटिव मॉडलिंग के एक शक्तिशाली ढांचे के रूप में उभरे हैं। ये मॉडल डेटा को एक फॉरवर्ड नॉइज़िंग प्रक्रिया (एक continuous-time Markov chain, या CTMC) के माध्यम से दूषित करके और इस प्रक्रिया को उलटने (reverse करने) को सीखकर कार्य करते हैं। हालाँकि, साहित्य में सीखी गई रिवर्स प्रक्रिया को कई अलग-अलग दिखने वाले पैरामीट्रिज़ेशन के माध्यम से प्रस्तुत किया जाता है: डिनोजर (स्वच्छ टोकन की भविष्यवाणी करना), स्कोर रेश्यो (नॉइज़ी कंडिशनल्स के अनुपात), और ब्रिज प्लग-इन्स या कैविटी लॉज़ (संदर्भ को देखते हुए लेकिन स्थानीय नॉइज़ी टोकन को अनदेखा करते हुए स्वच्छ टोकन की भविष्यवाणी करना)।

क्षेत्र में एक महत्वपूर्ण अस्पष्टता मौजूद है: क्या ये अलग-अलग वस्तुएं हैं, या वे एक ही अंतर्निहित प्रक्रिया के विभिन्न समन्वय तंत्र (coordinate systems) हैं? यह शोध पत्र तर्क देता है कि न्यूरल नेटवर्क के आउटपुट को "गलत" कोऑर्डिनेट में पढ़ने से वह निरंतर-समय मार्कोव चेन बदल जाती है जिसे अनुकूलित (optimize) और सैंपल किया जा रहा है। विशेष रूप से, यूनिफॉर्म डिफ्यूजन (uniform diffusion) में, मानक ब्रिज-प्लग-इन ऑब्जेक्टिव एक कैविटी लॉ को प्रशिक्षित करता है, न कि एक साधारण डिनोजर को, जो कि एक ऐसा अंतर है जो मास्कड डिफ्यूजन (masked diffusion) में छिप जाता है जहाँ दोनों समान हो जाते हैं। इसके अलावा, प्रशिक्षण ऑब्जेक्टिव (Evidence Lower Bound, या ELBO) की केवल एक लूज़ सरोगेट (loose surrogate) के रूप में व्याख्या करना, इसकी वास्तविक प्रकृति को छिपा देता है जो कि एक पाथ-स्पेस डायवर्जेंस (path-space divergence) है।

कार्यप्रणाली (Methodology)

लेखक CTMCs पर आधारित निरंतर-समय डिस्क्रीट डिफ्यूजन का एक कठोर, स्व-निहित सिद्धांत विकसित करते हैं। उनका दृष्टिकोण शामिल है:

सामान्य CTMC ELBO का व्युत्पन्न (Derivation): वेरिएशनल ऑटोएनकोडर (VAE) ढांचे से शुरू करते हुए, वे परिमित-अवस्था जंप प्रक्रियाओं (finite-state jump processes) के लिए निरंतर-समय ELBO व्युत्पन्न करते हैं। महत्वपूर्ण रूप से, वे उन बाउंड्री टर्म्स (reconstruction at $t_1$ और terminal prior at $t_2$ ) को बनाए रखते हैं जिन्हें साहित्य में अक्सर छोड़ दिया जाता है, जिससे यह सुनिश्चित होता है कि ऑब्जेक्टिव एक वैध लाइकलीहुड बाउंड है और विभिन्न नॉइज़िंग प्रक्रियाओं में तुलना योग्य है।
द ऑरेकल डिस्टेंस आइडेंटिटी (The Oracle Distance Identity): वे सिद्ध करते हैं कि नेगेटिव ELBO (NELBO) केवल एक बाउंड नहीं है बल्कि एक सटीक अपघटन (decomposition) है:
$\text{NELBO} = H(q_0) + \text{KL}(P^\star_{[t_1, t_2]} \parallel P^\theta_{[t_1, t_2]}) + \text{Boundary Terms}$
यहाँ, $H(q_0)$ डेटा एंट्रॉपी है, और KL टर्म ऑरेकल रिवर्स प्रोसेस (वास्तविक मार्जिनल रिवर्स डायनेमिक्स) और सीखे गए प्रोसेस के बीच का पाथ-स्पेस डायवर्जेंस है।
रिवर्स-रेट प्रोजेक्शन (Reverse-Rate Projection): वे प्रदर्शित करते हैं कि ELBO का पॉपुलेशन ऑप्टिमाइज़र मार्जिनल रिवर्स जंप रेट है, जो वर्तमान नॉइज़ी स्टेट के दिए जाने पर क्लीन-कंडीशन्ड रिवर्स रेट का पोस्टीरियर एक्सपेक्टेशन है। यह स्थापित करता है कि ELBO एक प्रोजेक्शन समस्या है।
कोऑर्डिनेट डिक्शनरी (Coordinate Dictionary): टोकन-फैक्टरइज़ेबल नॉइज़िंग प्रक्रियाओं के लिए, वे अनुकूलित रिवर्स रेट के तीन कोऑर्डिनेट्स के बीच सटीक, क्लोज्ड-फॉर्म रूपांतरण प्राप्त करते हैं:
- डिनोजर (Denoiser): $\pi^\star_i(z^i_0 | z^t_t)$
- कैविटी (Cavity): $\mu^\star_i(z^i_0 | z^{\setminus i}_t)$
- स्कोर (Score): $s^\star_i(z^i_t, y | z^{\setminus i}_t)$
सूचना-सैद्धांतिक विश्लेषण (Information-Theoretic Analysis): वे ELBO की अपरिहार्य लागत (irreducible cost) के रूप में सूचना हानि की दर, $-\frac{d}{dt}I(Z_0; Z_t)$ की पहचान करते हैं, यह सिद्ध करते हुए कि NELBO के लिए यूनिवर्सल लोअर बाउंड डेटा एंट्रॉपी $H(q_0)$ है, चाहे नॉइज़िंग प्रक्रिया कुछ भी हो।

मुख्य योगदान

1. द ऑरेकल डिस्टेंस थ्योरम

यह पेपर सिद्ध करता है कि NELBO को कम करना सीखे गए रिवर्स डायनेमिक्स और वास्तविक ऑरेकल रिवर्स डायनेमिक्स के बीच पाथ-लॉ KL डायवर्जेंस को कम करने के बराबर है। यह ELBO को एक लूज़ वेरिएशनल बाउंड से एक सटीक ट्रैजेक्टरी मिसमैच मेट्रिक में बदल देता है। अद्वितीय ऑप्टिमाइज़र मार्जिनल रिवर्स रेट है, और अपरिहार्य लागत डेटा एंट्रॉपी है।

2. पैरामीट्रिज़ेशन का एकीकरण

लेखक एक "डिक्शनरी" प्रदान करते हैं जो दिखाती है कि डिनोजर, कैविटी लॉ और स्कोर एक ही अनुकूलित रिवर्स रेट के तीन सटीक कोऑर्डिनेट्स हैं।

रूपांतरण (Conversion): वे इन कोऑर्डिनेट्स के बीच रूपांतरण के लिए क्लोज्ड-फॉर्म सूत्र प्रदान करते हैं (जैसे, डिनोजर वह कैविटी लॉ है जिसे स्थानीय फॉरवर्ड कर्नेल द्वारा रीवेट किया गया है)।
निहितार्थ: बिना रूपांतरण के कैविटी लॉ (या इसके विपरीत) के लिए डिज़ाइन किए गए लॉस के साथ डिनोजर हेड को प्रशिक्षित करना उप-इष्टतम (suboptimal) लर्निंग की ओर ले जाता है।

3. मास्कड बनाम यूनिफॉर्म अंतर का समाधान

पेपर स्पष्ट करता है कि मास्कड डिफ्यूजन (MDM) और यूनिफॉर्म डिफ्यूजन (UDM) अलग तरह से व्यवहार क्यों करते हैं:

मास्कड डिफ्यूजन: एक मास्क किए गए स्थान पर, स्थानीय अवलोकन अनइंफॉर्मेटिव (uninformative) होता है। फलस्वरूप, डिनोजर और कैविटी लॉ समान होते हैं ( $\pi^\star = \mu^\star$ )। यह सुनिश्चित करता कि मानक डिनोसिंग क्रॉस-एन्ट्रॉपी पूरी तरह से काम करे।
यूनिफॉर्म डिफ्यूजन: स्थानीय अवलोकन जानकारी रखता है। डिनोजर और कैविटी लॉ भिन्न होते हैं। पेपर सिद्ध करता है कि यूनिफॉर्म डिफ्यूजन के लिए डिनोजर पैरामीट्रिज़ेशन का उपयोग करने से ELBO (शुरुआत में $t \to 0$ पर) डाइवर्ज (diverge) हो जाता है क्योंकि अनइंफॉर्मेटिव प्रायर रेट कैलकुलेशन में सिंगुलर कोशिएंट्स (singular quotients) बनाता है। इसके विपरीत, कैविटी (ब्रिज प्लग-इन) पैरामीट्रिज़ेशन स्थिर और वेल-कैलिब्रेटेड रहता है।

4. व्यावहारिक अंशांकन और डायग्नोस्टिक्स (Practical Calibration and Diagnostics)

इनिशियलाइज़ेशन चेक: लेखक एक कैलिब्रेशन आइडेंटिटी प्राप्त करते हैं: एक अनइंफॉर्मेटिव कैविटी हेड (यूनिफॉर्म डिस्ट्रीब्यूशन) ठीक $\log V$ का प्रति-टोकन NELBO देता है (जहाँ $V$ वोकैबुलरी साइज है)। यह कार्यान्वयन की शुद्धता के लिए एक डीबगिंग टूल के रूप में कार्य करता है।
बाउंड्री टर्म्स: वे प्रदर्शित करते हैं कि बाउंड्री टर्म्स को छोड़ने से ELBO मान विभिन्न नॉइज़िंग प्रक्रियाओं (जैसे, मास्कड बनाम यूनिफॉर्म) के बीच तुलना करने योग्य नहीं रह जाते हैं।

5. त्रुटि स्रोतों का पृथक्करण

ढांचा दो त्रुटि स्रोतों को स्पष्ट रूप से अलग करता है:

रिवर्स-रेट एरर: मॉडल के रेट और ऑरेकल रेट के बीच का अंतर, जिसे ELBO मापता है।
फैक्टरइज़ेशन एरर: संयुक्त रिवर्स स्टेप को टोकन-वाइज स्टेप्स (पैरेलल सैंपलिंग) के उत्पाद के रूप में अनुमानित करने से उत्पन्न त्रुटि। यह त्रुटि ELBO के लिए अदृश्य है लेकिन जनरेटिव परप्लेक्सिटी में प्रकट होती है, यहाँ तक कि एक ऑरेकल मॉडल के लिए भी।

परिणाम और सत्यापन

सैद्धांतिक दावों को एक सटीक रूप से हल करने योग्य टोय मॉडल (8 टोकन पर एक होमोजेनियस बिग्राम चेन) पर संख्यात्मक रूप से सत्यापित किया गया है।

ऑरेकल डिस्टेंस: प्रयोग पुष्टि करते हैं कि अतिरिक्त NELBO (डेटा एंट्रॉपी फ्लोर के ऊपर) सीखने के साथ शून्य की ओर घटता है, जो पाथ KL भविष्यवाणी से मेल खाता है।
कोऑर्डिनेट पेनल्टी: संख्यात्मक परीक्षण दिखाते हैं कि गलत कोऑर्डिनेट में रेट को पढ़ने से (उदाहरण के लिए, कैविटी आउटपुट को डिनोजर मानना) NELBO और जनरेटिव परप्लेक्सिटी में महत्वपूर्ण दंड (penalty) मिलता है, जब तक कि सही रूपांतरण लागू न किया जाए।
डाइवर्जेंस: प्रयोग पुष्टि करते हैं कि एक यूनिफॉर्म डिनोजर हेड शुरुआत में डाइवर्ज होता है, जबकि एक यूनिफॉर्म कैविटी हेड स्थिर रहता है।
कैलिब्रेशन: अनइंफॉर्मेटिव कैविटी हेड के लिए $\log V$ की पहचान बिल्कुल सटीक रूप से बनी रहती है।

महत्व और दावे

पेपर का दावा है कि यह पहला कठोर, सामान्य निरंतर-समय डिस्क्रीट डिफ्यूजन सिद्धांत प्रदान करता है जो विप्रत (disparate) पैरामीट्रिज़ेशन को एक एकल ज्यामितीय और सूचना-सैद्धांतिक ढांचे के तहत एकीकृत करता है।

सैद्धांतिक स्पष्टता: यह लंबे समय से चली आ रही इस भ्रम को दूर करता है कि डिस्क्रीट डिफ्यूजन मॉडल वास्तव में क्या सीखते हैं, यह पहचानते हुए कि मार्जिनल रिवर्स रेट ही वास्तविक ऑब्जेक्टिव है और ELBO एक पाथ डायवर्जेंस है।
व्यावहारिक मार्गदर्शन: यह चिकित्सकों (practitioners) को ठोस नियम प्रदान करता है:
- यूनिफॉर्म और हाइब्रिड डिफ्यूजन के लिए कैविटी (ब्रिज प्लग-इन) पैरामीट्रिज़ेशन का उपयोग करें ताकि डाइवर्जेंस से बचा जा सके।
- मास्कड डिफ्यूजन के लिए डिनोजर पैरामीट्रिज़ेशन का उपयोग करें।
- यदि प्रशिक्षण या सैंपलिंग के दौरान पैरामीट्रिज़ेशन के बीच स्विच कर रहे हैं, तो हमेशा क्लोज्ड-फॉर्म रूपांतरणों को लागू करें।
- विभिन्न विधियों की निष्पक्ष तुलना सुनिश्चित करने के लिए ELBL गणनाओं में बाउंड्री टर्म्स को शामिल करें।
सीमाएँ: लेखक नोट करते हैं कि उनका सत्यापन एक छोटे, सटीक रूप से हल करने योग्य मॉडल पर है। जबकि समकालीन कार्य ([GJS+26]) यूनिफॉर्म डिफ्यूजन के लिए बड़े पैमाने पर साक्ष्य प्रदान करते हैं, लेखक कहते हैं कि बड़े भाषा मॉडलों के पैमाने पर इन लाभों की पुष्टि करना एक आवश्यक अगला कदम है। वे यह भी स्पष्ट करते हैं कि उनका विश्लेषण "टीचर-फोर्स्ड" अवस्थाओं (वास्तविक फॉरवर्ड प्रक्रिया पर प्रशिक्षण) को मानता है; सैंपलिंग ड्रिफ्ट (स्व-जेनरेटेड अवस्थाओं तक सामान्यीकरण) एक अलग चुनौती है जिसे ELBO ऑब्जेक्टिव द्वारा संबोधित नहीं किया गया है।

संक्षेप में, यह पेपर तर्क देता है कि डिस्क्रीट डिफ्यूजन एड-हॉक (ad-hoc) विधियों का संग्रह नहीं है, बल्कि एक एकीकृत प्रक्रिया है जहाँ पैरामीट्रिज़ेशन का चुनाव कोऑर्डिनेट्स का चुनाव है, और लॉस फंक्शन का चुनाव उन कोऑर्डिनेट्स के अनुरूप होना चाहिए ताकि इष्टतम रिवर्स डायनेमिक्स की ओर अभिसरण (convergence) सुनिश्चित हो सके।