तकनीकी सारांश: पुनरावर्ती रूप से प्रशिक्षित डिफ्यूजन मॉडल (Recursively Trained Diffusion Models)

समस्या विवरण (Problem Statement)

यह शोध पत्र जेनरेटिव मॉडल्स में होने वाली मॉडल कोलैप्स (model collapse) की घटना को संबोधित करता है, विशेष रूप से डिफ्यूजन मॉडल्स में, जब उन्हें उनके अपने सिंथेटिक आउटपुट्स पर पुनरावर्ती (recursively) रूप से प्रशिक्षित किया जाता है। जबकि मौजूदा साहित्य ने परिमित-चरण त्रुटि संचय (finite-round error accumulation) को मात्रात्मक रूप से समझाया है, ऐसे पुनरावृत्तियों के एसिम्प्टोटिक व्यवहार (asymptotic behavior) के संबंध में दो मौलिक प्रश्न खुले रहे हैं: (1) पुनरावृत्ति किस विशिष्ट वितरण (distribution) की ओर अभिसरित (converge) होती है, और (2) यह अभिसरण किस दर से होता है?

लेखक तर्क देते हैं कि मॉडल कोलैप्स केवल अपूर्ण स्कोर अनुमान (score estimation) या परिमित-नमूना प्रभावों (finite-sample effects) द्वारा संचालित नहीं होता है। इसके बजाय, वे ट्रंकेशन (truncation) को—संख्यात्मक स्थिरता सुनिश्चित करने के लिए रिवर्स डिफ्यूजन प्रक्रिया को एक समय $t_0 > 0$ पर रोकने की आवश्यकता को—एक प्राथमिक कारक के रूप में अलग करते हैं, जो एक आदर्श सेटिंग में भी, जिसमें सटीक स्कोर अनुमान और सटीक सैंपलिंग मौजूद है, वास्तविक डेटा वितरण $p_{\text{data}}$ से प्रगतिशील विचलन (progressive drift) का कारण बनता है।

कार्यप्रणाली और ढांचा (Methodology and Framework)

पुनरावर्ती सेटिंग (Recursive Setting)

लेखक एक पुनरावर्ती प्रशिक्षण प्रक्रिया को परिभाषित करते हैं जहाँ, प्रत्येक पीढ़ी $i$ में, प्रशिक्षण वितरण $q_i$ ताज़ा डेटा $p_{\text{data}}$ (अनुपात $\alpha$) और पिछले पीढ़ी के मॉडल $\hat{p}_i$ (अनुपात $1-\alpha$) का मिश्रण है:
$$q_i := \alpha p_{\text{data}} + (1-\alpha)\hat{p}_i$$
एक स्कोर नेटवर्क को $q_i$ पर प्रशिक्षित किया जाता है, और परिणामी डिफ्यूजन मॉडल अगली पीढ़ी का वितरण $\hat{p}_{i+1}$ उत्पन्न करता है।

त्रुटि के स्रोत और आदर्श स्थिति (Error Sources and Idealization)

विश्लेषण तीन प्रकार की त्रुटियों को अलग करता है:

1. ट्रंकेशन (Truncation): रिवर्स SDE को केवल $[t_0, T]$ पर एकीकृत किया जाता है जहाँ $t_0 > 0$ है।
2. स्कोर अनुमान त्रुटि (Score Estimation Error): जो परिमित डेटा और फंक्शन एप्रोक्सिमेशन से उत्पन्न होती है।
3. विविक्तता त्रुटि (Discretization Error): जो SDE के संख्यात्मक समाधान से उत्पन्न होती है।

पेपर पहले एक आदर्श त्रुटि-मुक्त शासन (error-free regime) का विश्लेषण करता है जहाँ केवल ट्रंकेशन मौजूद है। इस शासन में, पीढ़ी $i$ से $i+1$ के संक्रमण को ऑर्नस्टीन-उहलेनबेक (Ornstein-Uhlenbeck - OU) सैंपलिंग ऑपरेटर $U_{t_0}$ से जुड़े एक फिक्स्ड-पॉइंट समस्या के रूप में मॉडल किया जाता है:
$$\mu \mapsto U_{t_0}(\alpha p_{\text{data}} + (1-\alpha)\mu)$$

स्पेक्ट्रल विश्लेषण (Spectral Analysis)

एक सीमित वितरण को चित्रित करने के लिए, लेखक हर्मिट स्पेक्ट्रल डीकंपोजिशन (Hermite spectral decomposition) का उपयोग करते हैं। वे मानक गॉसियन माप $\gamma = \mathcal{N}(0, I_d)$ के सापेक्ष डेंसिटी रेश्यो पर OU ऑपरेटर के प्रभाव का विश्लेषण करते हैं। OU ऑपरेटर हर्मिट बहुपद आधार $\{H_n\}$ में विकर्ण रूप से कार्य करता है, जो डिग्री $|n|$ के मोड को $e^{-|n|t/2}$ के कारक से कम (attenuate) करता है।

मुख्य योगदान और परिणाम (Key Contributions and Results)

1. कोलैप्स वितरण का स्पष्ट लक्षण वर्णन (Explicit Characterization of the Collapse Distribution)

त्रुटि-मुक्त शासन में, लेखक सिद्ध करते हैं कि पुनरावृत्ति ज्यामितीय रूप से (geometrically) एक अद्वितीय सीमित वितरण $p^\star_\infty$ की ओर अभिसरित होती है। यह वितरण स्पष्ट रूप से वास्तविक डेटा के क्रमिक रूप से गॉसियन-स्मूथ किए गए संस्करणों के एक अनंत मिश्रण के रूप में वर्णित है:
$$p^\star_\infty = \alpha \sum_{k=0}^{\infty} (1-\alpha)^k U_{(k+1)t_0}(p_{\text{data}})$$
अभिसरण दर $\kappa = \sqrt{1-\alpha} e^{-t_0/2}$ के साथ ज्यामितीय है। जब $\alpha < 1$ और $t_0 > 0$ हो, तो सीमित वितरण $p_{\text{data}}$ से भिन्न होता है, जो पुष्टि करता है कि केवल ट्रंकेशन ही एक गैर-तुच्छ (non-trivial) कोलैप्स उत्पन्न करता है।

2. स्पेक्ट्रल संरचना: एक लो-पास फिल्टर (Spectral Structure: A Low-Pass Filter)

स्पेक्ट्रल डीकंपोजिशन के माध्यम से, पेपर यह प्रदर्शित करता है कि पुनरावर्ती प्रशिक्षण डेटा वितरण पर एक लो-पास फिल्टर (low-pass filter) के रूप में कार्य करता है।

• कोलैप्स वितरण $p^\star_\infty$ को $p_{\text{data}}$ के हर्मिट गुणांकों को कम करके प्राप्त किया जाता है।
• क्षीणन कारक (Attenuation factor) $m_n(\alpha, t_0)$ मोड डिग्री $|n|$ में घटता जाता है।
• निहितार्थ: उच्च-क्रम के मोड (high-order modes), जो सूक्ष्म गैर-गॉसियन संरचनाओं (tails, oscillations, multimodality) को एनकोड करते हैं, उन्हें निम्न-क्रम के मोड (mean, covariance) की तुलना में बहुत अधिक दबा दिया जाता है। यह मॉडल कोलैप्स में देखे गए विविधता के नुकसान और टेल डिग्रेडेशन (tail degradation) के लिए एक सैद्धांतिक स्पष्टीकरण प्रदान करता है।

3. एनेल्ड ट्रंकेशन शेड्यूल्स (Annealed Truncation Schedules)

लेखक एनेल्ड ट्रंकेशन शेड्यूल्स (annealed truncation schedules) का प्रस्ताव करते हैं, जहाँ ट्रंकेशन समय $t_0^{(N)}$ पीढ़ियों के माध्यम से घटता जाता है।

• प्रमेय (Theorem): यदि अनुक्रम (sequence) का ट्रंकेशन समय शून्य की ओर अभिसरित होता है ($t_0^{(N)} \to 0$), तो पुनरावर्ती संचयी प्रभाव (compounding effect) एसिम्प्टोटिक रूप से समाप्त हो जाता है, और वितरण $p_{\text{data}}$ को पुनः प्राप्त कर लेता है।
• यदि अनुक्रम एक सकारात्मक सीमा की ओर अभिसरित होता है, तो कोलैप्स बना रहता है लेकिन कम बायस (bias) के साथ।
• $t_0^{(N)} = t_0 / (1+N)^\beta$ जैसे शेड्यूल्स को KL डाइवर्जेंस को शून्य की ओर ले जाने वाला दिखाया गया है, जिसमें बड़े $\beta$ के लिए तेज़ अभिसरण होता है।

4. अपूर्ण प्रशिक्षण के प्रति मजबूती (Robustness to Imperfect Training)

विश्लेषण को स्कोर अनुमान और विविक्तता त्रुटियों को शामिल करने के लिए विस्तारित किया गया है।

• सीखा गया वितरण $p^\star_\infty$ के आसपास $\delta/(1-\kappa)$ त्रिज्या वाले वेसरस्टीन-2 (Wasserstein-2) बॉल के भीतर रहता है, जहाँ $\delta$ एक-चरणीय त्रुटि को बांधता है।
• मोड-निर्भर त्रुटि प्रसार (Mode-Dependent Error Propagation): उच्च-आवृत्ति वाले मोड में त्रुटियां निम्न-आवृत्ति वाले मोड की तुलना में तेजी से सिकुड़ती हैं। प्रभावी त्रुटि बॉल एक दीर्घवृत्त (ellipsoid) है जो उच्च-क्रम मोड के लिए तेजी से सिकुड़ता है, जिससे पता चलता है कि जबकि सूक्ष्म विवरण खो सकते हैं, मोटा ढांचा (coarse structure) स्थिर रहता है।

प्रयोगात्मक सत्यापन (Experimental Validation)

सैद्धांतिक निष्कर्षों को निम्नलिखित पर सत्यापित किया गया है:

1. सिंथेटिक 2D गॉसियन मिश्रण: $\alpha \to 1$, $\alpha \to 0$, और $t_0 \to 0$ के रूप में $p^\star_\infty$ के क्लोज्ड-फॉर्म सीमाओं की पुष्टि करना।
2. CIFAR-10:
   • अभिसरण (Convergence): प्रयोगात्मक FID मेट्रिक्स सैद्धांतिक अभिसरण दर $\kappa$ के अनुरूप एक स्थिर फ्लोर (floor) की ओर ज्यामितीय अभिसरण दिखाते हैं।
   • स्पेक्ट्रल सिग्नेचर: उच्च-आवृत्ति ऊर्जा (फूरियर पावर के माध्यम से मापी गई) पीढ़ियों और कम $\alpha$ के साथ निरंतर घटती है, जो लो-पास फिल्टर परिकल्पना को मान्य करती है।
   • ट्रंकेशन: $t_0$ बढ़ाने से कोलैप्स बढ़ता है (उच्च FID), जबकि एनेल्ड शेड्यूल्स सफलतापूर्वक डेटा वितरण को पुनः प्राप्त करते हैं।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह डिफ्यूजन मॉडल्स में मॉडल कोलैप्स के पहले एसिम्प्टोटिक लक्षण वर्णन को प्रदान करता है, जिसमें ट्रंकेशन को लर्निंग कमियों से अलग एक मौलिक चालक के रूप में पहचाना गया है।

• सैद्धांतिक अंतर्दृष्टि: यह स्थापित करता है कि भले ही लर्निंग पूर्ण हो, रिवर्स डिफिफिकेशन में अर्ली स्टॉपिंग (early stopping) का मानक अभ्यास अनिवार्य रूप से एक कोलैप्स्ड रिजीम की ओर ले जाता है, जो उच्च-आवृत्ति डेटा विशेषताओं के नुकसान द्वारा चिह्नित है।
• शमन रणनीति (Mitigation Strategy): यह प्रस्तावित करता है कि केवल ताज़ा डेटा के अनुपात ($\alpha$) को बढ़ाना कोलैप्स को रोकने के लिए पर्याप्त नहीं है यदि ट्रंकेशन समय स्थिर है। इसके बजाय, एनेल्ड ट्रंकेशन शेड्यूल्स को एसिम्प्टोटिक कंपाउंडिंग को समाप्त करने के लिए एक आवश्यक पूरक हस्तक्षेप के रूप में प्रस्तुत किया गया है।
• मजबूती: परिणाम बताते हैं कि कोलैप्स रिजीम एक स्थिर अट्रैक्टर (stable attractor) है; व्यावहारिक त्रुटियों के साथ भी, सिस्टम आदर्श सीमा के करीब एक वितरण की ओर अभिसरित होता है, जिससे स्पेक्ट्रल लक्षण वर्णन वास्तविक दुनिया के प्रशिक्षण परिदृश्यों के लिए प्रासंगिक हो जाता है।

लेखक बनाए रखते हैं कि उनका विश्लेषण वेरिएंस-प्रिजर्विंग (variance-preserving) OU डिफ्यूजन और संबंधित हर्मिट आधार के लिए विशिष्ट है, और नोट करते हैं कि अन्य डिफ्यूजन पैरामीटराइजेशन तक इन स्पेक्ट्रल तंत्रों को विस्तारित करना एक खुला विषय है।