📊 statistics

An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models

यह शोध पत्र एक विश्लेषणात्मक ढांचा स्थापित करता है जो यह प्रकट करता है कि डिफ्यूजन मॉडल एक सार्वभौमिक इन्वर्स-वेरिएंस स्पेक्ट्रल बायस (inverse-variance spectral bias) प्रदर्शित करते हैं जहाँ उच्च-विचलन वाली संरचनाएं सूक्ष्म विवरणों की तुलना में काफी तेजी से सीखी जाती हैं, जबकि यह भी प्रदर्शित करता है कि U-Nets में स्थानीय अभिसरण (local convolution) इस गतिशीलता को गुणात्मक रूप से बदलकर कई मोड के लगभग समवर्ती उद्भव को सक्षम बनाता है।

मूल लेखक: Binxu Wang, Cengiz Pehlevan

प्रकाशित 2026-04-07

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Binxu Wang, Cengiz Pehlevan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को बिल्ली का चित्र बनाना सिखा रहे हैं। आप उसे कोई साफ फोटो नहीं दिखाते; इसके बजाय, आप एक टीवी स्क्रीन से शुरुआत करते हैं जो स्टैटिक शोर (static noise) से भरी है और फिर धीरे-धीरे उससे इसे "साफ करने" के लिए कहते हैं जब तक कि एक बिल्ली दिखाई न देने लगे। डिफ्यूजन मॉडल (Diffusion Models) इसी तरह काम करते हैं। वे DALL-E और Midjourney जैसे AI आर्ट जनरेटर्स के पीछे के इंजन हैं।

लेकिन यहाँ एक रहस्य है: रोबोट वास्तव में कैसे सीखता है? क्या वह पहले बिल्ली के कान सीखता है, या उसकी मूंछें? क्या वह शरीर के बड़े आकार को बारीक विवरणों से पहले सीखता है?

यह शोध पत्र, जिसे बिंक्सु वांग (Binxu Wang) और सेन्गीज़ पेलेवन (Cengiz Pehlevan) ने लिखा है, रोबोट के मस्तिष्क के लिए एक एक्स-रे मशीन की तरह काम करता है। उन्होंने सटीक रूप से पता लगाया कि रोबोट क्या सीखता है और किस क्रम में सीखता है, जिसका उपयोग करने के लिए उन्होंने कुछ चतुर गणितीय तरीकों का इस्तेमाल किया जिससे एक जटिल न्यूरल नेटवर्क एक सरल, हल होने वाली पहेली में बदल गया।

यहाँ उनकी खोज का रोजमर्रा के उदाहरणों (analogies) का उपयोग करके विवरण दिया गया है:

1. "बड़ी तस्वीर" बनाम "बारीक विवरण" (स्पेक्ट्रल बायस - Spectral Bias)

लेखकों ने एक सार्वभौमिक नियम खोजा जिसे वे "इनवर्स-वैरिएंस स्पेक्ट्रल लॉ" (Inverse-Variance Spectral Law) कहते हैं।

उपमा (Analogy): कल्पना कीजिए कि आप एक सिम्फनी ऑर्केस्ट्रा सुन रहे हैं। कम स्वर (low notes) (बास और सेलो) तेज, गहरे होते हैं और मुख्य धुन को ले जाते हैं। उच्च स्वर (high notes) (वायलिन और बांसुरी) शांत, तीखे होते हैं और सूक्ष्म चमक जोड़ते हैं।
निष्कर्ष: AI पहले तेज, कम स्वरों को सीखता है। इमेज के संदर्भ में, इसका अर्थ है कि यह बड़ी, मोटी संरचनाओं (चेहरे की रूपरेखा, कार का सामान्य आकार) को बहुत जल्दी सीख लेता है।
पेंच (Catch): शांत, उच्च स्वर (त्वचा की बनावट, व्यक्तिगत बाल, या मुस्कान का सटीक घुमाव जैसे बारीक विवरण) सीखने में बहुत, बहुत अधिक समय लेते हैं।
गणित: यदि कोई विशेषता (feature) किसी बड़ी विशेषता की तुलना में 10 गुना "शांत" (कम वैरिएंस वाली) है, तो AI को उसे मास्टर करने में लगभग 10 गुना अधिक समय लगेगा।

यह क्यों मायने रखता है?
यदि आप AI को प्रशिक्षण के दौरान बहुत जल्दी रोक देते हैं (जैसे शो खत्म होने से पहले टीवी बंद कर देना), तो रोबोट बिल्ली के शरीर के आकार को तो पूरी तरह से सीख चुका होगा, लेकिन कान और मूंछें अभी भी धुंधले स्टैटिक की तरह दिखेंगी। यह समझाता है कि शुरुआती AI चित्र अक्सर "धुंधले" या "गलत विवरणों" वाले क्यों होते हैं।

2. "वेट शेयरिंग" का शॉर्टकट (कन्वोल्यूशन - Convolution)

इस पेपर ने यह भी देखा कि रोबोट का मस्तिष्क कैसे बना है। अधिकांश आधुनिक AI कन्वोल्यूशनल न्यूरल नेटवर्क (CNNs) का उपयोग करते हैं, जो एक स्टैम्प (stamp) की तरह है जो पूरी तस्वीर पर फिसलता है, और चित्र के हर हिस्से पर एक ही नियम लागू करता है।

उपमा: कल्पना कीजिए कि एक शिक्षक 1,000 छात्रों को पढ़ाने की कोशिश कर रहा है।
- फुल्ली कनेक्टेड (MLP): शिक्षक को प्रत्येक छात्र को व्यक्तिगत रूप से समझाने के लिए उनके पास जाना पड़ता है। यह धीमा है।
- कन्वोल्यूशनल (CNN): शिक्षक एक विशाल व्हाइटबोर्ड पर पाठ लिखता है जिसे सभी एक साथ देख सकते हैं। वे पूरी क्लास को एक साथ पढ़ाते हैं।
निष्कर्ष: इस "व्हाइटबोर्ड" पद्धति (वेट शेयरिंग) का उपयोग करने से AI बहुत तेजी से (कई गुना तेजी से) सीखता है। हालांकि, यह सीखने के क्रम को नहीं बदलता है। AI अभी भी छोटे विवरणों से पहले बड़े आकार सीखता है; यह बस उन्हें तेजी से सीखता है।

3. "पैच" का आश्चर्य (लोकल बनाम ग्लोबल)

यहाँ चीजें वास्तव में दिलचस्प हो जाती हैं। लेखकों ने परीक्षण किया कि क्या होता है जब AI छोटे, स्थानीय फिल्टर (local filters) का उपयोग करता है (एक समय में केवल एक छोटे 3x3 पिक्सेल पैच को देखना) बनाम पूरी इमेज को देखना।

उपमा:
- ग्लोबल व्यू (Global View): हेलीकॉप्टर से जंगल को देखना। आप तुरंत पेड़ों का पूरा आकार देखते हैं।
- लोकल व्यू (Local View): एक छोटी स्ट्रॉ (नली) के माध्यम से जंगल को देखना। आप एक बार में केवल कुछ पत्तियां ही देख पाते हैं।
निष्कर्ष: जब AI छोटे, स्थानीय फिल्टर का उपयोग करता है (जैसा कि वास्तविक दुनिया के इमेज जनरेटर्स करते हैं), तो कुछ जादुई होता है। "स्पेक्ट्रल बायस" (पहले बड़ी चीजों को सीखना) गायब हो जाता है।
- बड़ी आकृति को पहले सीखने के बजाय, AI एक साथ कई अलग-अलग हिस्सों को सीखता है। यह ऐसा है जैसे AI पूरी तस्वीर को एक साथ भरना शुरू कर देता है, बजाय इसके कि पहले रूपरेखा बनाए और फिर उसे भरे।
- यही कारण है कि आधुनिक AI आर्ट इतना अच्छा और विस्तृत दिखता है। फिल्टर की "स्थानीय" प्रकृति AI को सब कुछ समानांतर (parallel) में सीखने के लिए मजबूर करती है, जिससे बारीक विवरणों पर होने वाला सामान्य धीमापन टूट जाता है।

4. "गौसियन" का रहस्य

इसे हल करने के लिए, लेखकों ने एक शानदार सरलीकरण किया। उन्होंने महसूस किया कि भले ही डेटा (बिल्लियों की तस्वीरें) जटिल है, लेकिन किसी भी क्षण में AI का "सबसे अच्छा अनुमान" गणितीय रूप से एक गौसियन डिस्ट्रीब्यूशन (Gaussian distribution) (बेल कर्व) की तरह व्यवहार करता है।

उपमा: कल्पना कीजिए कि आप एक अराजक भीड़ का वर्णन करने की कोशिश कर रहे हैं। यह कठिन है। लेकिन यदि आप केवल औसत ऊंचाई और लोगों की ऊंचाई में कितना अंतर है, इसका वर्णन करते हैं, तो आपको भीड़ की संरचना का एक आश्चर्यजनक रूप से अच्छा चित्र मिल जाता है।
परिणाम: AI के सीखने की प्रक्रिया को एक साधारण बेल कर्व के रूप में मानकर, वे सटीक सूत्र (formulas) लिख सके कि कैसे AI का "मस्तिष्क" समय के साथ बदलता है। इसने उन्हें यह अनुमान लगाने की अनुमति दी कि AI "कानों" को कब सीखेगा बनाम "शरीर" को।

सारांश: भविष्य के लिए इसका क्या अर्थ है?

अर्ली स्टॉपिंग (Early Stopping) खतरनाक है: यदि आप AI को प्रशिक्षण के बहुत जल्दी रोक देते हैं, तो उसके पास छवि का "कंकाल" तो होगा लेकिन "मांस" (विवरण) गायब होगा।
आर्किटेक्चर मायने रखता है: हम AI को कैसे बनाते हैं (लोकल फिल्टर बनाम ग्लोबल फिल्टर का उपयोग करना), यह पूरी तरह से बदल देता है कि यह कैसे सीखता है। लोकल फिल्टर विवरणों के अधिक संतुलित और समानांतर सीखने की अनुमति देते हैं।
डेटा ही सर्वोपरि है: AI किस क्रम में सीखता है, यह डेटा द्वारा ही निर्धारित होता है। यदि आपके डेटा में बहुत विशिष्ट, दुर्लभ विवरण हैं, तो AI सामान्य, बड़े पैटर्न में महारत हासिल करने तक उन्हें सीखने के लिए संघर्ष करेगा।

संक्षेप में, लेखकों ने हमें सीखने की यात्रा का एक नक्शा दिया है। उन्होंने दिखाया कि AI इंसानों की तरह नहीं सीखता (जो शायद पहले एक विवरण को देखता है); यह एक मूर्तिकार की तरह सीखता है जो पहले पत्थर के बड़े टुकड़ों को तराशता है, और अंत में बहुत सूक्ष्म विवरणों तक पहुँचता है। और जो उपकरण (आर्किटेक्चर) वे उपयोग करते हैं, उसके आधार पर, वे पूरे स्टैच्यू को एक साथ तराशने वाली विधि में भी बदल सकते हैं!

यहाँ बिनक्सु वांग और सेन्गीज़ पेलेवन के शोध पत्र "An Analytical Theory of Spectral Bias in the Learning Dynamics of Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

डिफ्यूजन मॉडल्स ने जनरेटिव कार्यों में अत्याधुनिक परिणाम प्राप्त किए हैं, फिर भी उनके प्रशिक्षण गतिकी (training dynamics) के संबंध में दो मौलिक प्रश्न अनसुलझे हैं:

सीखने का क्रम (Learning Order): डेटा वितरण के कौन से हिस्से (जैसे, मोटे ढांचे बनाम सूक्ष्म विवरण) पहले सीखे जाते हैं, और कौन से कम प्रशिक्षित रह जाते हैं (जिससे प्रशिक्षण जल्दी रोकने पर आर्टिफैक्ट्स उत्पन्न होते हैं)?
वास्तुकला का प्रभाव (Architectural Influence): विशिष्ट आर्किटेक्चरल इंडक्टिव बायस (जैसे, फुली कनेक्टेड बनाम कन्वोल्यूशनल) इस सीखने के प्रक्षेपवक्र (trajectory) को कैसे आकार देते हैं?

मौजूदा सिद्धांत अक्सर प्रशिक्षण के बाद की सैंपलिंग प्रक्रिया पर ध्यान केंद्रित करते हैं या इष्टतम स्कोर (optimal scores) मान लेते हैं। यह शोध पत्र प्रशिक्षण प्रक्रिया के दौरान जनरेटेड डिस्ट्रीब्यूशन के विकास को ट्रैक करने के लिए एक विश्लेषणात्मक ढांचा विकसित करने का लक्ष्य रखता है, जो सीधे नेटवर्क पैरामीटर्स और डेटा सांख्यिकी से संबंधित है।

2. कार्यप्रणाली (Methodology)

लेखक निम्नलिखित मुख्य धारणाओं और तकनीकों पर आधारित एक क्लोज्ड-फॉर्म एनालिटिकल फ्रेमवर्क विकसित करते हैं:

गॉसियन इक्विवेलेंस प्रिंसिपल (Gaussian Equivalence Principle): वे इस निष्कर्ष का लाभ उठाते हैं कि अधिकांश डिफ्यूजन समय के लिए, सीखा गया न्यूरल स्कोर, डेटा के माध्य (mean) और कोवेरिएंस (covariance) से मेल खाने वाले एक गॉसियन वितरण के लीनियर स्कोर द्वारा अच्छी तरह से अनुमानित होता है। यह उन्हें किसी भी डेटासेट को मेल खाते मोमेंट्स ( $\mu, \Sigma$ ) वाले गॉसियन के रूप में मानने की अनुमति देता है।
लीनियर डिनोइज़र धारणा (Linear Denoiser Assumption): विश्लेषण यह मानता है कि डिनोइज़र $D_\theta(x, \sigma)$ , इनपुट $x$ के सापेक्ष लीनियर (या अफ़ाइन) है। यह जटिल गैर-रेखीय प्रशिक्षण गतिकी को एक सुलभ प्रणाली में बदल देता है।
फुल-बैच ग्रेडिएंट फ्लो (Full-Batch Gradient Flow): स्टोकेस्टिक ग्रेडिएंट डिसेंट के बजाय, लेखक फुल-बैच डीनॉइजिंग स्कोर मैचिंग (DSM) लॉस पर निरंतर-समय सीमा (continuous-time limit) के ग्रेडिएंट फ्लो का विश्लेषण करते हैं। इससे वेट इवोल्यूशन के लिए नियतात्मक ऑर्डिनरी डिफरेंशियल इक्वेशंस (ODEs) प्राप्त होते हैं।
नेस्टेड डायनेमिक्स (Nested Dynamics): फ्रेमवर्क दो युग्मित प्रक्रियाओं को हल करता है:
1. वेट लर्निंग डायनेमिक्स: प्रशिक्षण समय $\tau$ के साथ डिनोइज़र वेट्स $W_\sigma$ कैसे विकसित होते हैं।
2. सैंपलिंग डायनेमिक्स: वर्तमान (समय-निर्भर) वेट्स का उपयोग करके शोर (noise) से डेटा की ओर प्रोबेबिलिटी फ्लो (PF) ODE को पीछे की ओर इंटीग्रेट करके जनरेटेड डिस्ट्रीब्यूशन का विकास कैसे होता है।
आर्किटेक्चरल विविधताएं (Architectural Variations): सिद्धांत को निम्न के लिए विस्तारित किया गया है:
- डीप लीनियर नेटवर्क (सिमेट्रिक और जनरल)।
- लीनियर कन्वोल्यूशनल नेटवर्क (दोनों फुल-विड्थ/सर्कुलेंट और लोकल पैच कन्वोल्यूशन)।

3. मुख्य योगदान (Key Contributions)

A. क्लोज्ड-फॉर्म डिस्ट्रीब्यूशन डायनेमिक्स

शोध पत्र एक-परत, दो-परत और कन्वोल्यूशनल डिनोइज़र के लिए वेट्स और जनरेटेड कोवेरिएंस मैट्रिक्स के प्रक्षेपवक्रों के लिए सटीक विश्लेषणात्मक अभिव्यक्तियों को व्युत्पन्न करता है। यह इस बात की सटीक, मोड-दर-मोड समझ प्रदान करता है कि मॉडल डेटा स्पेक्ट्रम को कैसे सीखता है।

B. इनवर्स-वेरिएंस स्पेक्ट्रल लॉ (The Inverse-Variance Spectral Law)

केंद्रीय सैद्धांतिक निष्कर्ष एक सार्वभौमिक इनवर्स-वेरिएंस स्पेक्ट्रल लॉ है:

एक आइगेनमोड (या फूरियर मोड) $k$ के लिए आवश्यक समय $\tau_k^*$ जिसे उसके टारगेट वेरिएंस से मेल खाना चाहिए, उसके वेरिएंस $\lambda_k$ के व्युत्क्रमानुपाती (inversely) स्केल होता है:
$\tau_k^* \propto \lambda_k^{-\alpha} \quad (\text{जहाँ } \alpha \approx 1)$
निहितार्थ: उच्च-वेरिएंस वाले मोड (मोटे, ग्लोबल स्ट्रक्चर) लो-वेरिएंस वाले मोड (सूक्ष्म विवरण) की तुलना में कई गुना तेजी से मास्टर किए जाते हैं। यह समझाता है कि क्यों अर्ली स्टॉपिंग से "गलत विवरण" वाले आर्टिफैक्ट्स (धुंधले टेक्सचर, गायब सूक्ष्म विशेषताएं) उत्पन्न होते हैं जबकि वैश्विक आकार सही रहते हैं।

C. बायस पर आर्किटेक्चर का प्रभाव

फुली कनेक्टेड (MLP) और डीप लीनियर नेटवर्क: स्पेक्ट्रल बायस बना रहता है। डीप सिमेट्रिक नेटवर्क में, बायस एक सिग्मॉइडल कन्वर्जेंस कर्व का पालन करता है, लेकिन इनवर्स-वेरिएंस स्केलिंग लॉ मजबूत रहता है।
फुल-विड्थ कन्वेल्यूशन (सर्कुलेंट): फुल-विड्थ कन्वेल्यूशन में वेट शेयरिंग एक लर्निंग रेट मल्टीप्लायर के रूप में कार्य करती है (जो सिग्नल डायमेंशन $N$ के कारक से अभिसरण को तेज करती है) लेकिन यह स्पेक्ट्रल बायस को समाप्त नहीं करती है। बायस केवल डेटा आइगेनबेसिस से फूरियर बेसिस में स्थानांतरित हो जाता है।
लोकल कन्वेल्यूशन (पैच-आधारित): यह एक गुणात्मक रूप से भिन्न बायस पेश करता है। लोकल फिल्टर्स पड़ोसी पिक्सेल को जोड़ते हैं, जिससे कई फूरियर मोड एक एकल लर्निंग यूनिट में बंध जाते हैं। यह कपलिंग कई मोड के लगभग एक साथ उभरने की अनुमति देती है, जो प्रभावी रूप से लर्निंग डायनेमिक्स को पुनर्गठित (reshape) करती है और फुली कनेक्टेड नेटवर्क में देखे गए स्पेक्ट्रल बायस को कम करती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने सिंथेटिक और प्राकृतिक इमेज डेटासेट दोनों पर अपने सिद्धांत को मान्य किया:

सिंथेटिक गॉसियन डेटा: उच्च-आयामी गॉसियनों पर प्रयोगों ने उच्च सटीकता ( $R^2 > 0.9$ ) के साथ इनवर्स-वेरिएंस पावर लॉ ( $\tau^* \propto \lambda^{-1}$ ) की पुष्टि की, यहाँ तक कि जब नॉन-लीनियर एक्टिवेशन वाले डीप MLPs का उपयोग किया गया (जो लीनियर धारणा का उल्लंघन करता है)।
नेचुरल इमेजेस (MLP-UNet): FFHQ और MNIST जैसे डेटासेट्स पर, MLP-आधारित डिफ्यूजन मॉडल्स ने अनुमानित स्पेक्ट्रल ऑर्डरिंग प्रदर्शित की: चेहरे के मोटे कंटूर (उच्च-वेरिएंस आइगेनमोड्स) जल्दी उभरे, जबकि सूक्ष्म विवरण (लो-वेरिएंस मोड) बहुत बाद में दिखाई दिए। पावर-लॉ स्केलिंग बनी रही, हालांकि लीनियर थ्योरी की तुलना में थोड़ी कम तीव्र थी।
नेचुरल इमेजेस (CNN-UNet): कन्वोल्यूशनल U-Nets ने एक अलग व्यवहार दिखाया। क्रमिक उद्भव (sequential emergence) के बजाय, कई मोड लगभग एक साथ उभरे।
- एब्लेशन स्टडी: लेखकों ने पाया कि मानक CNNs में स्पेक्ट्रल बायस की "अनुपस्थिति" नेटवर्क विड्थ (network width) के कारण है। संकीर्ण नेटवर्क (कम चैनल्स) मजबूत स्पेक्ट्रल बायस प्रदर्शित करते हैं (पैच थ्योरी के समान), जबकि चौड़े नेटवर्क (अधिक चैनल्स, जैसे 128+) मोड को लगभग तुरंत सीख लेते हैं। यह सुझाव देता है कि नेटवर्क चैनल्स और इनपुट चैनल्स का अनुपात सैद्धांतिक भविष्यवाणियों से विचलन को नियंत्रित करता है।

5. महत्व और निहितार्थ (Significance and Implications)

मैकेनिस्टिक स्पष्टीकरण: यह पेपर डिफ्यूजन मॉडल्स में "आउटलाइन-फर्स्ट, डिटेल्स-लेटर" घटना के लिए पहला विश्लेषणात्मक स्पष्टीकरण प्रदान करता है, जो इसे सीधे डेटा कोवेरिएंस स्पेक्ट्रम और इनवर्स-वेरिएंस लर्निंग स्पीड से जोड़ता है।
अर्ली स्टॉपिंग के जोखिम: यह अर्ली स्टॉपिंग के जोखिम को मात्रात्मक रूप से निर्धारित करता है: मॉडल वैश्विक संरचना को कैप्चर कर सकते हैं लेकिन सूक्ष्म टेक्सचर या विशिष्ट सिमेंटिक विवरणों (जैसे, उंगलियों के जोड़, टेक्स्ट स्ट्रोक) को पुनर्गठित करने में विफल हो सकते हैं क्योंकि उन लो-वेरिएंस मोड को अभी तक कन्वर्ज नहीं हुआ है।
आर्किटेक्चरल डिज़ाइन: निष्कर्ष इस बात पर प्रकाश डालते हैं कि लोकल कन्वेल्यूशन एक शक्तिशाली इंडक्टिव बायस है जो स्पेक्ट्रल बायस को कम कर सकता है, लेकिन इसकी प्रभावशीलता नेटवर्क विड्थ पर अत्यधिक निर्भर है। यह इस धारणा को चुनौती देता है कि मानक CNNs फ्रीक्वेंसी डोमेन में सरल लीनियर फिल्टर की तरह व्यवहार करते हैं।
भविष्य की दिशाएं: यह कार्य लोकल कन्वेल्यूशन के अद्वितीय इंडक्टिव बायस की गहरी जांच की मांग करता है और सुझाव देता है कि हाई-चैनल आर्किटेक्चर (जो आधुनिक लेटेंट डिफ्यूजन मॉडल्स में सामान्य हैं) यहाँ विश्लेषित लो-चैनल सैद्धांतिक सीमाओं से भिन्न व्यवहार कर सकते हैं।

संक्षेप में, यह पेपर यह समझने के लिए एक कठोर विश्लेषणात्मक आधार स्थापित करता है कि डिफ्यूजन मॉडल्स कैसे सीखते हैं, यह प्रकट करते हुए कि डेटा कोवेरिएंस सीखने के क्रम को निर्धारित करता है और आर्किटेक्चरल विकल्प (विशेष रूप से लोकैलिटी और विड्थ) इस स्पेक्ट्रल बायस को मौलिक रूप से बदल सकते हैं।