📊 statistics

A theory of learning data statistics in diffusion models, from easy to hard

यह शोध पत्र यह स्थापित करता है कि डिफ्यूजन मॉडल पदानुक्रमित (hierarchical) तरीके से डेटा सांख्यिकी सीखते हैं, जो जटिल उच्च-क्रम सहसंबंधों (higher-order correlations) को सुलझाने से पहले सरल युग्मवार सहसंबंधों (pairwise correlations) को प्राथमिकता देते हैं, एक ऐसी प्रक्रिया जो एक नव-लक्षित "डिफ्यूजन सूचना घातांक" (diffusion information exponent) द्वारा नियंत्रित होती है जो विभिन्न सांख्यिकीय क्रमों को सीखने के लिए आवश्यक नमूना जटिलता (sample complexity) को निर्धारित करती है।

मूल लेखक: Lorenzo Bardone, Claudia Merger, Sebastian Goldt

प्रकाशित 2026-03-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Lorenzo Bardone, Claudia Merger, Sebastian Goldt

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्लियों के चित्र बनाना सिखा रहे हैं। आप उसे केवल एक पूरी तस्वीर नहीं दिखाते; इसके बजाय, आप शुद्ध स्टैटिक (सफेद शोर/वाइट नॉइज़) की एक तस्वीर से शुरुआत करते हैं और रोबोट से कहते हैं कि वह बिल्ली प्रकट होने तक शोर को धीरे-धीरे "साफ" करे। डिफ्यूजन मॉडल (Diffusion Models) इसी तरह काम करते हैं। वे आज आप जो अद्भुत चित्र देखते हैं, उसके पीछे का AI हैं।

लेकिन रहस्य यह है: रोबोट वास्तव में कैसे सीखता है? क्या वह पहले कानों का आकार सीखता है, फिर फर की बनावट, फिर मूंछें? या वह सब कुछ एक साथ सीखता है?

यह शोध पत्र, "A theory of learning data statistics in diffusion models, from easy to hard," इस प्रश्न का उत्तर देता है। यह खुलासा करता है कि इन AI मॉडलों में सीखने का एक बहुत ही मानवीय तरीका होता है: वे पहले आसान चीजें सीखते हैं, और कठिन चीजें बाद में।

सरल उपमाओं का उपयोग करके इसका विवरण यहाँ दिया गया है:

1. "आसान-से-कठिन" सीखने का वक्र (The "Easy-to-Hard" Learning Curve)

शोधकर्ताओं ने पाया कि डिफ्यूजन मॉडल एक "डिस्ट्रीब्यूशनल सिम्पलिसिटी बायस" (वितरण सरलता पूर्वाग्रह) से ग्रस्त होते हैं (या यूँ कहें कि इससे लाभ उठाते हैं)।

उपमा: कल्पना कीजिए कि आप एक नई भाषा सीखने की कोशिश कर रहे हैं।
- चरण 1 (आसान चीजें): शुरुआत में, आप केवल सबसे सामान्य शब्द और बुनियादी वाक्य संरचनाएं सीखते हैं (जैसे "Hello" या "The cat is big")। आप अभी जटिल कविता नहीं लिख सकते, लेकिन आप एक साधारण बातचीत कर सकते हैं।
- चरण 2 (कठिन चीजें): बुनियादी बातों में महारत हासिल करने के बाद ही आप जटिल व्याकरण, मुहावरे और सूक्ष्म सांस्कृतिक बारीकियों को सीखना शुरू करते हैं।
प्रयोग: शोधकर्ताओं ने एक मॉडल को वास्तविक छवियों (जैसे बिल्लियाँ और कारें) पर प्रशिक्षित किया। फिर, उन्होंने इसे दो चीजों पर परखा:
1. वास्तविक छवियां: जो जटिल विवरणों से भरी होती हैं।
2. "क्लोन" छवियां: ये नकली छवियां थीं जो सांख्यिकीय रूप से वास्तविक छवियों जैसी बनाई गई थीं, लेकिन वे केवल धुंधले धब्बे थे जिनमें औसत चमक और रंग पैटर्न (मीन और कोवेरिएंस) समान थे। इनमें जटिल विवरणों की कमी थी।
- परिणाम: प्रशिक्षण के पहले 1,000 चरणों के लिए, मॉडल वास्तविक छवियों और धुंधले "क्लोन" दोनों पर समान रूप से अच्छा प्रदर्शन करता था। इसका मतलब है कि मॉडल केवल "आसान" सांख्यिकी (औसत रंग और बुनियादी आकार) का उपयोग कर रहा था। वह अभी तक जटिल विवरणों को "देख" नहीं पा रहा था। हजारों चरणों के बाद ही इसने क्लोन से बेहतर प्रदर्शन करना शुरू किया, जिससे सिद्ध हुआ कि इसने अंततः "कठिन" जटिल विवरणों को सीख लिया था।

2. "डिफ्यूजन इंफॉर्मेशन एक्सपोनेंट" (कठिनाई स्कोर)

यह शोध पत्र एक गणितीय अवधारणा पेश करता जिसे डिफ्यूजन इंफॉर्मेशन एक्सपोनेंट ( $k^*$ ) कहा जाता है। इसे विभिन्न प्रकार की जानकारी के लिए एक "कठिनाई स्कोर" के रूप में समझें।

स्तर 1 (आसान): औसत चमक या बुनियादी आकार सीखना। यह चलना सीखने जैसा है। मॉडल बहुत कम उदाहरणों के साथ इसे बहुत जल्दी कर सकता है।
स्तर 4 (कठिन): जटिल सह-संबंध (correlations) सीखना, जैसे "यदि आँखें नीली हैं, तो फर के सफेद होने की संभावना अधिक है।" यह वायलिन बजाना सीखने जैसा है।
निष्कर्ष: मॉडल को "स्तर 1" की तुलना में "स्तर 4" की चीजों को सीखने के लिए क्यूबिक (बहुत-बहुत अधिक) डेटा की आवश्यकता होती है। यह केवल थोड़ा कठिन नहीं है; यह घातीय (exponentially) रूप से कठिन है।

3. "छिपा हुआ जाल" (द स्फेरिकल कंस्ट्रेंट)

एक आश्चर्यजनक खोज यह भी है कि सीखते समय मॉडल कैसे आगे बढ़ता है।

उपमा: कल्पना कीजिए कि एक हाइकर (पर्वतारोही) पहाड़ चढ़ने की कोशिश कर रहा है (पैटर्न सीखना)।
- प्रोजेक्टेड SGD (स्मार्ट हाइकर): शोधकर्ताओं ने पाया कि यदि आप हाइकर को एक विशिष्ट पथ (एक गोले/स्फीयर) पर रहने के लिए मजबूर करते हैं, तो वह कुशलतापूर्वक चढ़ता है।
- अनकन्स्ट्रेंड SGD (खोया हुआ हाइकर): यदि आप हाइकर को स्वतंत्र रूप से घूमने देते हैं, तो वह अक्सर एक "तुच्छ समाधान" (trivial solution) में फंस जाता है। यह ऐसा है जैसे हाइकर तय करता है, "चढ़ना बहुत कठिन है; मैं बस नीचे बैठा रहूँगा और कुछ नहीं करूँगा।"
- परिणाम: एक विशिष्ट गणितीय "लगाम" (गोलाकार बाधा/spherical constraint) के बिना, मॉडल अक्सर हार मान लेता है और कुछ भी नहीं सीख पाता, शून्य पर अटक जाता है। यह लगाम उसे प्रयास करते रहने के लिए मजबूर करती है।

4. "गुप्त शॉर्टकट" (कोरिलेटेड लेटेंट्स)

शोध पत्र ने कठिन चीजों को सीखने की गति बढ़ाने का एक तरीका भी खोजा है।

उपमा: कल्पना कीजिए कि आप एक विशेष प्रकार के पक्षी को पहचानना सीख रहे हैं।
- कठिन तरीका: आपको हर एक पंख के पैटर्न को शून्य से याद करना होगा।
- आसान तरीका: आपको एहसास होता है कि इस जंगल में, यदि आप लाल चोंच देखते हैं, तो पक्षी के पंख हमेशा नीले होते हैं। विशेषताएं आपस में जुड़ी हुई हैं।
निष्कर्ष: यदि डेटा में जटिल विशेषताएं स्वाभाविक रूप से जुड़ी (सह-संबंधित) हैं, तो मॉडल उन्हें बहुत तेजी से सीखता है। यह कठिन अवधारणाओं को आसान अवधारणाओं से जोड़ने वाले एक 'चीट शीट' की तरह है।

5. डीप नेटवर्क क्यों मदद करते हैं (द "ओवर-पैरामीटराइजेशन" मैजिक)

अंत में, यह शोध पत्र देखता है कि आधुनिक AI विशाल, गहरे नेटवर्क का उपयोग क्यों करता है।

उपमा: कल्पना कीजिए कि एक व्यक्ति एक जटिल पहेली को हल करने की कोशिश कर रहा है। वह फंस सकता है। लेकिन यदि आप उन्हें 100 लोगों की टीम (एक चौड़ा नेटवर्क) देते हैं, तो वे पहेली के टुकड़ों को आपस में बांट सकते हैं, जिससे एक-दूसरे की मदद से वे मुश्किल रास्तों से बाहर निकल सकें।
निष्कर्ष: भले ही गणित कहता है कि एक सरल मॉडल फंस जाना चाहिए, नेटवर्क को चौड़ा (अधिक न्यूरॉन्स) या गहरा (अधिक परतें) बनाने से यह "तुच्छ समाधान" से बचने और बिना किसी मैनुअल ट्यूनिंग के कठिन, जटिल पैटर्न सीखने में सक्षम होता है।

सारांश

यह शोध पत्र हमें बताता है कि डिफ्यूजन मॉडल जादू नहीं हैं; वे क्रमिक शिक्षार्थी (sequential learners) हैं।

वे सरल, बुनियादी सांख्यिकी (जैसे औसत रंग) को बहुत जल्दी सीखना शुरू करते हैं।
उन्हें जटिल, उच्च-स्तरीय विवरणों (जैसे विशिष्ट बनावट और संबंध) को सीखने में बहुत अधिक समय लगता है।
उन्हें हार मानने से बचने के लिए गणितीय बाधाओं की आवश्यकता होती है।
बड़े नेटवर्क उन्हें इन जालों से बाहर निकलने और कठिन चीजों को सीखने में मदद करते हैं।

यही कारण है कि इन मॉडलों को प्रशिक्षित करने में इतना समय और डेटा लगता है: वे वास्तव में एक पहाड़ चढ़ रहे हैं, नीचे की आसान ढलान से शुरुआत करते हैं और धीरे-धीरे, कठिन परिश्रम के साथ, ऊपर की जटिल चोटी तक पहुँचते हैं।

यहाँ शोध पत्र "A theory of learning data statistics in diffusion models, from easy to hard" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल (Diffusion models) ने जनरेटिव मॉडलिंग में अत्याधुनिक प्रदर्शन हासिल किया है, फिर भी सुपरवाइज्ड लर्निंग की तुलना में उनकी लर्निंग डायनेमिक्स की सैद्धांतिक समझ सीमित है। सुपरवाइज्ड लर्निंग में एक प्रमुख घटना सिम्प्लिसिटी बायस (simplicity bias) है, जहाँ न्यूरल नेटवर्क जटिल फीचर्स (जैसे उच्च-क्रम सहसंबंध/higher-order correlations) से पहले सरल फीचर्स (जैसे युग्म सहसंबंध/pairwise correlations) सीखते हैं।

यह शोध पत्र इस खुले प्रश्न को संबोधित करता है: क्या डिफ्यूजन मॉडल में इसी तरह का "वितरणात्मक सिम्प्लिसिटी बायस" (distributional simplicity bias) होता है? विशेष रूप से, क्या वे उच्च-क्रम के सांख्यिकी (cumulants) से पहले निम्न-क्रम की सांख्यिकी (mean, covariance) सीखते हैं, और इन विभिन्न सांख्यिकीय स्तरों को सीखने के लिए सैंपल कॉम्प्लेक्सिटी (sample complexity) की क्या आवश्यकताएं हैं?

2. कार्यप्रणाली (Methodology)

लेखक वास्तविक इमेज डेटा पर अनुभवजन्य प्रयोगों (empirical experiments) और एक हल करने योग्य गणितीय मॉडल पर कठोर सैद्धांतिक विश्लेषण को जोड़ने वाला एक दोहरा दृष्टिकोण अपनाते हैं।

A. अनुभवजन्य विश्लेषण (Empirical Analysis)

डेटासेट: CIFAR-10 और CelebA।
आर्किटेक्चर: डिनाइजिंग डिफ्यूजन प्रोबेबिलिस्टिक मॉडल्स (DDPM) के माध्यम से प्रशिक्षित मानक U-Net डिनोइज़र (denoisers)।
प्रायोगिक डिजाइन: लेखक वास्तविक डेटा के सांख्यिकी पर फिट किए गए "क्लोन" डेटासेट्स पर मॉडल के टेस्ट लॉस का मूल्यांकन करते हैं:
- Mean Clone: वास्तविक डेटा के माध्य (mean) से मेल खाता है, आइडेंटिटी कोवेरियेंस (identity covariance) के साथ।
- Mean + Cov Clone: वास्तविक डेटा के माध्य और कोवेरियेंस दोनों से मेल खाता है।
तर्क: यदि मॉडल वास्तविक डेटा और एक विशिष्ट क्लोन पर समान रूप से अच्छा प्रदर्शन करता है, तो इसका तात्पर्य है कि मॉडल ने उस क्लोन में मौजूद सांख्यिकी से परे अभी तक कुछ नहीं सीखा है।

B. सैद्धांतिक ढांचा (Theoretical Framework)

डेटा मॉडल: मिक्स्ड क्यूमलेंट मॉडल (Mixed Cumulant Model - MCM)। यह ऐसे इनपुट उत्पन्न करता है जो अधिकांश दिशाओं में आइसोट्रोपिकली गौसियन (isotropically Gaussian) होते हैं लेकिन उनमें दो "स्पाइक्स" (spikes) होते हैं:
1. कोवेरियेंस स्पाइक ( $u$ ): एक दिशा जिसमें उच्च विचरण (variance/pairwise correlation) होता है।
2. क्यूमलेंट स्पाइक ( $v$ ): एक दिशा जिसमें गैर-गौसियन वितरण (non-Gaussian distribution/higher-order correlation) होता है, जिसे पहचानने के लिए उच्च-क्रम सांख्यिकी की आवश्यकता होती है।
डिनोइज़र आर्किटेक्चर: एक स्किप कनेक्शन के साथ रैंक-1 नॉन-लीनियर ऑटोएनकोडर: $S_w(x) = -x - \sigma(w \cdot x)w$ ।
ऑप्टिमाइज़ेशन: यूनिट स्फीयर (unit sphere) पर प्रोजेक्टेड स्टोकेस्टिक ग्रेडिएंट डिसेंट (pSGD) का विश्लेषण ताकि यह सुनिश्चित किया जा सके कि वेट वेक्टर यूनिट नॉर्म बनाए रखता है, जिससे ट्रिवियल सॉल्यूशंस (trivial solutions) से बचा जा सके।
गणितीय उपकरण:
- हर्मिट डिकम्पोज़िशन (Hermite Decomposition): हर्मिट पॉलीनोमियल बेसिस में लॉस फंक्शन और डेटा लाइकलीहुड रेशियो का विस्तार।
- स्टीन का लेम्मा (Stein's Lemma): गौसियन नॉइज़ को इंटीग्रेट करके ग्रेडिएंट्स को सरल बनाने के लिए उपयोग किया गया।
- इंफॉर्मेशन एक्सपोनेंट (Information Exponent): सिंगल-इंडेक्स मॉडल्स की अवधारणाओं को डिफ्यूजन सेटिंग में अनुकूलित करना।

3. मुख्य योगदान (Key Contributions)

1. "डिफ्यूजन इंफॉर्मेशन एक्सपोनेंट" ( $k^*$ ) की पहचान

लेखक एक अदिश इनवेरिएंट (scalar invariant), डिफ्यूजन इंफॉर्मेशन एक्सपोनेंट $k^*$ को परिभाषित करते हैं, जो किसी विशिष्ट सांख्यिकीय फीचर को सीखने के लिए आवश्यक सैंपल कॉम्प्लेक्सिटी को नियंत्रित करता है।

$k^*$ वह सबसे छोटा पूर्णांक $k$ है कि डेटा लाइकलीहुड रेशियो का $k$ -वाँ हर्मिट गुणांक और प्रभावी नॉन-लिनियैरिटी का $(k-1)$ -वाँ हर्मिट गुणांक गैर-शून्य (non-zero) है।
यह इन्फरेंस टास्क की "कठिनाई" (hardness) को निर्धारित करता है।

2. वितरणात्मक सिम्प्लिसिटी बायस का प्रमाण

यह शोध पत्र कठोरता से सिद्ध करता है कि डिफ्यूजन मॉडल क्रमवार (sequentially) सांख्यिकी सीखते हैं:

युग्म सांख्यिकी (Pairwise Statistics/Covariance): इसे लीनियर सैंपल कॉम्प्लेक्सिटी ( $O(d)$ या $O(d \log d)$ ) पर सीखा जाता है।
उच्च-क्रम सांख्यिकी (Higher-Order Statistics/Cumulants): इसे क्यूबिक सैंपल कॉम्प्लेक्सिटी ( $O(d^3)$ ) पर सीखा जाता है यदि लेटेंट वेरिएबल्स असंकोर्रलेटेड (uncorrelated) हों।
यह टाइमस्केल्स के बीच एक स्पष्ट अलगाव पैदा करता है, जो सिम्प्लिसिटी बायस की पुष्टि करता है।

3. लेटेंट कोरिलेशन की भूमिका

लेखक सिद्ध करते हैं कि यदि कोवेरियेंस स्पाइक और क्यूमलेंट स्पाइक को नियंत्रित करने वाले लेटेंट वेरिएबल्स सहसंबंधित (correlated) हैं, तो उच्च-क्रम स्पाइक को सीखने के लिए सैंपल कॉम्प्लेक्सिटी काफी कम (क्यूबिक से बदलकर लगभग लीनियर) हो जाती है। यह समझाता है कि क्यों वास्तविक दुनिया का डेटा (जहाँ फीचर्स अक्सर सहसंबंधित होते हैं) खराबतम सैद्धांतिक सीमाओं की तुलना में तेजी से सीखा जा सकता है।

4. गोलाकार बाधाओं का महत्वपूर्ण महत्व (Critical Importance of Spherical Constraints)

एक प्रमुख तकनीकी योगदान अनकन्स्ट्रेंड SGD (unconstrained SGD) बनाम प्रोजेक्टेड SGD (pSGD) का विश्लेषण है:

प्रोजेक्टेड SGD: वेट वेक्टर को यूनिट स्फीयर पर रखकर स्पाइक्स को सफलतापूर्वक सीखता है।
अनकन्स्ट्रेंड SGD: कई सामान्य एक्टिवेशन फंक्शन्स (जैसे ReLU, tanh, sigmoid) और इष्टतम डिनोइज़र्स के लिए, अनकन्स्ट्रेंड SGD एक ट्रिवियल सॉल्यूशन ( $w=0$ ) में फंस जाता है।
तंत्र (Mechanism): गोलाकार बाधा को हटाने से ग्रेडिएंट में एक रेडियल टर्म (radial term) आ जाता है। विशिष्ट नॉन-लिनियैरिटी के लिए, यह टर्म एक मजबूत वेट डिके (weight decay) के रूप में कार्य करता है जो सिग्नल टर्म को ओवरवेल्म कर देता है, जिससे वेट शून्य की ओर ढह जाते हैं।
निवारण (Mitigation): ओवर-पैरामीटराइजेशन (चौड़े नेटवर्क) और डेप्थ बिना गोलाकार बाधाओं के भी इस ट्रिवियल सॉल्यूशन से बाहर निकलने में मदद कर सकते हैं।

4. परिणाम (Results)

अनुभवजन्य परिणाम (Empirical Results)

क्रमवार लर्निंग (Sequential Learning): CIFAR-10 पर, मॉडल पहले $\approx 10^3$ ट्रेनिंग स्टेप्स के लिए वास्तविक इमेज और "Mean + Cov" क्लोन पर समान टेस्ट लॉस प्राप्त करता है।
विशेषज्ञता (Specialization): केवल $\approx 10^3$ स्टेप्स के बाद, वास्तविक इमेज पर लॉस, गौसियन क्लोन के लॉस से नीचे गिरता है, जो दर्शाता है कि मॉडल ने उच्च-क्रम सहसंबंधों का लाभ उठाना शुरू कर दिया है।
जेनरेटिव क्वालिटी: विजुअल सैंपल्स (चित्र 1) दिखाते हैं कि शुरुआती चरण के मॉडल धुंधली, गौसियन जैसी इमेज उत्पन्न करते हैं, जबकि बाद के चरण के मॉडल शार्प, रियलिस्टिक इमेज बनाते हैं।

सैद्धांतिक परिणाम (Theoretical Results)

सैंपल कॉम्प्लेक्सिटी थ्रेसहोल्ड्स:
- क्यूमलेंट स्पाइक के लिए जिसमें इंफॉर्मेशन एक्सपोनेंट $k^*=4$ है (जो कि 4-वें क्रम के क्यूमलेंट्स के लिए सामान्य है), मॉडल को दिशा $v$ को रिकवर करने के लिए $\Omega(d^3)$ सैंपल की आवश्यकता होती है।
- कोवेरियेंस स्पाइक ( $k^*=2$ ) के लिए, मॉडल को $\Omega(d \log d)$ सैंपल की आवश्यकता होती है।
अभिसरण विफलता (Convergence Failure): प्रस्ताव 4.7 सिद्ध करता है कि कुछ नॉन-लिनियैरिटी के साथ अनकन्स्ट्रेंड SGD के लिए, सीखे गए वेट और वास्तविक स्पाइक के बीच का ओवरलैप 0 की ओर अभिसरित होता है, जिसका अर्थ है कि मॉडल सीखने में विफल रहता है।
ओवर-पैरामीटराइजेशन: प्रयोग (चित्र 3) दिखाते हैं कि चौड़े टू-लेयर ऑटोएनकोर्स उच्च-क्रम स्पाइक को सीख सकते हैं, भले ही उनमें ऐसी नॉन-लिनियैरिटी हो जो सिंगल-न्यूरॉन मॉडल्स में विफलता का कारण बनती है, जो यह सुझाव देता है कि न्यूरॉन्स के बीच रिपल्सिव इंटरैक्शन (repulsive interactions) $w=0$ ट्रैप से बाहर निकलने में मदद करते हैं।

5. महत्व (Significance)

सैद्धांतिक आधार: यह कार्य डिफ्यूजन मॉडल्स में देखे जाने वाले "ईजी-टू-हार्ड" (easy-to-hard) लर्निंग ट्राजेक्टरी की पहली कठोर सैद्धांतिक व्याख्या प्रदान करता है, जो इसे डेटा के विभिन्न क्रम के क्यूमलेंट्स से जोड़ता है।
ऑप्टिमाइज़ेशन अंतर्दृष्टि: यह डिफ्यूजन ट्रेनिंग के एक महत्वपूर्ण, अक्सर अनदेखे विवरण को उजागर करता है: ट्रिवियल सॉल्यूशंस से बचने के लिए गोलाकार बाधाओं (या ओवर-पैरामीटराइजेशन जैसे तंत्रों) की आवश्यकता। इसके व्यावहारिक ऑप्टिमाइज़ेशन के लिए सीधे निहितार्थ हैं।
सैंपल कॉम्प्लेक्सिटी: यह स्थापित करता है कि विभिन्न स्तरों की जटिलता को सीखने के लिए कितने डेटा की आवश्यकता होती है, यह समझाते हुए कि क्यों डिफ्यूजन मॉडल्स को मोटे स्ट्रक्चर की तुलना में बारीक विवरणों (उच्च-क्रम सहसंबंधों) को कैप्चर करने के लिए विशाल डेटासेट्स की आवश्यकता हो सकती है।
सामान्यीकरण (Generalization): यह फ्रेमवर्क "इंफॉर्मेशन एक्सपोनेंट्स" की अवधारणा को सुपरवाइज्ड लर्निंग से स्कोर-बेस्ड मॉडल्स की जेनेरेटिव डिफ्यूजन सेटिंग में विस्तारित करता है, जो लर्निंग डायनेमिक्स का विश्लेषण करने के लिए एक नया दृष्टिकोण प्रदान करता है।

संक्षेप में, यह शोध पत्र प्रदर्शित करता है कि डिफ्यूजन मॉडल डेटा वितरण के "कंकाल" (माध्य और कोवेरियेंस) में महारत हासिल करने के बाद ही उसके "मांस" (उच्च-क्रम सहसंबंधों) को भरने के माध्यम से सीखते हैं, एक प्रक्रिया जो डिफ्यूजन इंफॉर्मेशन एक्सपोनेंट द्वारा नियंत्रित होती है और ऑप्टिमाइज़ेशन बाधाओं एवं नेटवर्क आर्किटेक्चर से अत्यधिक प्रभावित होती है।