तकनीकी सारांश: डिफ्यूजन मॉडल्स में त्रुटि प्रसार (Error Propagation) और मॉडल कोलैप्स का परिमाणीकरण

समस्या विवरण

जैसे-जैसे जनरेटिव एआई मॉडल्स प्रशिक्षण या फाइन-ट्यूनिंग के लिए सिंथेटिक डेटा का उपयोग करना बढ़ाते हैं, एक घटना देखी गई है जिसे मॉडल कोलैप्स (model collapse) कहा जाता है। यह तब होता है जब एक मॉडल को पुनरावर्ती रूप से (recursively) अपने ही आउटपुट पर प्रशिक्षित किया जाता है, जिससे लक्षित डेटा वितरण (target data distribution) से क्रमिक विचलन, विविधता की हानि और प्रदर्शन में गिरावट आती है। जबकि रिग्रेशन मॉडल्स और मैक्सिमम-लाइक्लीहुड एस्टिमेटर्स में इस प्रभाव को अनुभवजन्य (empirical) अध्ययनों में प्रलेखित किया गया है, और कुछ अनुभवजन्य कार्यों ने डिफ्यूजन और फ्लो मॉडल्स में इसकी खोज की है, स्कोर-आधारित डिफ्यूजन मॉडल्स (score-based diffusion models) के लिए एक कठोर सैद्धांतिक लक्षण वर्णन की कमी है। विशेष रूप से, रिकर्सिव ट्रेनिंग में त्रुटि संचय पर मौजूदा सैद्धांतिक सीमाएँ अक्सर आर्किटेक्चर-विशिष्ट (जैसे, दो-परत वाले नेटवर्क तक सीमित) होती हैं या सीखे गए और लक्षित वितरणों के बीच विचलन (divergence) पर लोअर बाउंड (lower bounds) की कमी रखती हैं।

यह कार्य इस प्रश्न को संबोधित करता है: एक पुनरावर्ती प्रशिक्षण पाइपलाइन में जहाँ प्रत्येक दौर ताजे वास्तविक डेटा को वर्तमान मॉडल से सिंथेटिक डेटा के साथ मिश्रित करता है, त्रुटियाँ कितनी संचित होती हैं, और उत्पन्न वितरण और वास्तविक डेटा वितरण के बीच विचलन कैसे विकसित होता है?

कार्यप्रणाली और सेटिंग

लेखक एक पुनरावर्ती प्रशिक्षण पाइपलाइन का विश्लेषण करते हैं जिसे निम्नानुसार परिभाषित किया गया है:

1. डेटा मिश्रण (Data Mixture): प्रत्येक पीढ़ी $i$ में, प्रशिक्षण डेटा $q_i$ वास्तविक वितरण $p_{data}$ से नमूनों का एक अनुपात $\alpha$ और वर्तमान मॉडल वितरण $\hat{p}_i$ से सिंथेटिक नमूनों का एक अनुपात $(1-\alpha)$ का मिश्रण है।
2. प्रशिक्षण लक्ष्य (Training Target): एक स्कोर नेटवर्क को $q_i$ पर प्रशिक्षित किया जाता है। महत्वपूर्ण रूप से, नेटवर्क मिश्रण $q_i$ के स्कोर को सीखता है, न कि $p_{data}$ के स्कोर को। यह एक मौलिक बेमेल (mismatch) पैदा करता है।
3. जेनरेशन (Generation): प्रशिक्षित स्कोर नेटवर्क का उपयोग एक रिवर्स-टाइम स्टोकेस्टिक डिफरेंशियल इक्वेशन (SDE) के माध्यम से अगली पीढ़ी $\hat{p}_{i+1}$ उत्पन्न करने के लिए किया जाता है।
4. मेट्रिक्स: विश्लेषण $\chi^2$-डाइवर्जेंस के आधार पर दो मात्राओं को ट्रैक करता है:
   • संचित विचलन (Accumulated Divergence - $D_i$): पीढ़ी $i$ पर मॉडल और वास्तविक डेटा के बीच विचलन ($\chi^2(\hat{p}_i \| p_{data})$)।
   • इंट्रा-जेनरेशन विचलन (Intra-generation Divergence - $I_i$): एक एकल प्रशिक्षण दौर में उत्पन्न त्रुटि ($\chi^2(\hat{p}_{i+1} \| q_i)$)।

सैद्धांतिक विश्लेषण आदर्श रिवर्स प्रक्रिया (जो वास्तविक स्कोर द्वारा संचालित होती है) और अनुमानित रिवर्स प्रक्रिया (जो अनुमानित स्कोर द्वारा संचालित होती है) के पाथ-स्पेस मेजर्स को जोड़ने के लिए गिरासनोव प्रमेय (Girsanov's theorem) पर निर्भर करता है। लेखक स्कोर एरर एनर्जीज़ ($\varepsilon^2_{\star, i}$) को परिभाषित करते हैं, जो वास्तविक और अनुमानित स्कोर के बीच के अंतर के पाथ-वाइज $L^2$ नॉर्म को दर्शाता है।

मुख्य योगदान

1. डिफ्यूजन मॉडल्स के लिए विचलन का पहला लोअर बाउंड

यह शोध पत्र स्कोर अनुमान त्रुटि ऊर्जा के संदर्भ में इंट्रा-जेनरेशन विचलन $I_i$ पर एक लोअर बाउंड स्थापित करता है।

• परिणाम: $\chi^2(\hat{p}_{i+1} \| q_i) \gtrsim \eta_i \cdot \varepsilon^2_{\star, i}$।
• ऑब्जर्वेबिलिटी कोएफिशिएंट ($\eta_i$): एक नवीन पद जिसे टर्मिनल स्टेट के दिए गए एरर मार्टिंगेल के कंडीशनल एक्सपेक्टेशन के वेरिएंस के रूप में परिभाषित किया गया है। यह डिफ्यूजन प्रक्रिया के एंडपॉइंट पर पाथ-वाइज त्रुटियों की "अवलोकनीयता" (observability) को मापता है।
• महत्व: लेखकों की जानकारी के अनुसार, यह डिफ्यूजन मॉडल्स के लिए सीखे गए और लक्षित वितरणों के बीच विसंगति पर पहला लोअर बाउंड है, यहाँ तक कि गैर-पुनरावर्ती सेटिंग्स में भी। यह प्रदर्शित करता है कि गैर-शून्य पाथ-वाइज त्रुटियाँ आम तौर पर गैर-शून्य वितरण संबंधी विचलन (distributional drift) उत्पन्न करती हैं, बशर्ते कि त्रुटियाँ टर्मिनल ऑब्जर्वेबल्स के ऑर्थोगोनल न हों (अर्थात, $\eta_i > 0$)।

2. विचलन और स्कोर एरर की टू-साइडेड इक्विवेलेंस

नए लोअर बाउंड को डेटा प्रोसेसिंग असमानता और गिरासनोव प्रमेय के माध्यम से प्राप्त मानक अपर बाउंड्स के साथ जोड़कर, लेखक दिखाते हैं कि पर्टर्बेटिव रिजीम (छोटे स्कोर एरर) में, इंट्रा-जेनरेशन विचलन स्कोर एरर ऊर्जा के समतुल्य है:
$$\chi^2(\hat{p}_{i+1} \| q_i) \asymp \varepsilon^2_{\star, i}$$
यह इक्विवेलेंस स्थिरांकों और ऑब्जर्वेबिलिटी फैक्टर्स तक सीमित है, जो सीखे गए वितरण की गुणवत्ता को सीधे स्कोर अनुमान की सटीकता से जोड़ती है।

3. लॉन्ग-होरिज़न एरर संचय का लक्षण वर्णन

पेपर $N$ पीढ़ियों में त्रुटियों के प्रसार का विश्लेषण करता है, जो स्कोर एरर्स की समेबिलिटी (summability) के आधार पर दो अलग-अलग रिजीम की पहचान करता है:

• पर्सिस्टेंट एरर्स (Persistent Errors): यदि स्कोर एरर्स समेबल नहीं हैं (उदाहरण के लिए, एक सकारात्मक स्थिरांक से नीचे सीमित नहीं हैं), तो संचित विचलन $D_N$ अनंत की ओर बढ़ता है। मॉडल निरंतर त्रुटियों से उबर नहीं सकता।
• समेबल एरर्स (Summable Errors): यदि स्कोर एरर्स समेबल हैं ($\sum \varepsilon^2_{\star, k} < \infty$), तो संचित विचलन समान रूप से सीमित रहता है।
• डिस्काउंटेड एक्यूमुलेशन लॉ (Discounted Accumulation Law): समेबल रिजीम में, संचित विचलन एक व्याख्यात्मक अपघटन (decomposition) स्वीकार करता है:
  $$D_N \approx \sum_{k=0}^{N-1} (1-\alpha)^{2(N-1-k)} \varepsilon^2_{\star, k}$$
  यह सूत्र प्रकट करता है कि $m$ पीढ़ियों पहले की त्रुटियों को $(1-\alpha)^{2m}$ के कारक द्वारा दबा दिया जाता है। यह "फॉरगेटिंग" (भूलने) तंत्र को क्वांटिफाई करता है: ताजे डेटा का उच्च अनुपात ($\alpha$) पिछले त्रुटियों के क्षय को तेज करता है, जिससे मॉडल कोलैप्स को कम करने में मदद मिलती है।

अनुभवजन्य परिणाम (Empirical Results)

लेखक अपने सैद्धांतिक बाउंड्स को निम्नलिखित पर सत्यापित करते हैं:

1. 10-डायमेंशनल गॉसियन मिक्सचर: एक नियंत्रित सेटिंग जो स्कोर और विचलन की विश्लेषणात्मक गणना की अनुमति देती है। परिणाम अपर और लोअर बाउंड की टाइटनेस और ऑब्जर्वेबिलिटी कोएफिशिएंट $\eta_i$ की वैधता की पुष्टि करते हैं।
2. इमेज डेटासेट्स (Fashion-MNIST, CIFAR-10): न्यूरल नेटवर्क स्कोर एस्टिमेटर्स का उपयोग करते हुए उच्च-आयामी सेटिंग्स।
   • मेमोरी स्ट्रक्चर: एरर योगदान के हीटमैप्स सिद्धांत द्वारा अनुमानित ज्यामितीय क्षय (geometric decay) की पुष्टि करते हैं। कम $\alpha$ (जैसे, 0.1) लंबे मेमोरी की ओर ले जाता है जहाँ शुरुआती त्रुटियाँ बनी रहती हैं, जबकि उच्च $\alpha$ (जैसे, 0.9) छोटी मेमोरी की ओर ले जाता है जहाँ केवल हालिया त्रुटियाँ मायने रखती हैं।
   • ऑब्जर्वेबिलिटी: कोएफिशिएंट $\eta_i$ पीढ़ियों के दौरान सकारात्मक और स्थिर रहता है, जो पुष्टि करता है कि वास्तविक सेटिंग्स में स्कोर एरर्स ऑब्जर्वेबल हैं और वितरण संबंधी विचलन में योगदान देते हैं।
   • विजुअल कोलैप्स: विज़ुअलाइज़ेशन दिखाते हैं कि कम $\alpha$ प्रगतिशील फैलाव और संरचना की हानि की ओर ले जाता है, जबकि उच्च $\alpha$ वितरण निष्ठा (distributional fidelity) बनाए रखता है।

महत्व और दावे

यह पेपर दावा करता है कि यह स्कोर-आधारित डिफ्यूजन मॉडल्स में मॉडल कोलैप्स के तंत्र को क्वांटिफाई करने वाला पहला सैद्धांतिक ढांचा प्रदान करता है। मुख्य दावे शामिल हैं:

• लोअर बाउंड: डिफ्यूजन मॉडल्स के लिए वितरण संबंधी विचलन पर पहला लोअर बाउंड प्राप्त करना, यह स्थापित करना कि स्कोर त्रुटियाँ हल्के ऑब्जर्वेबिलिटी शर्तों के तहत अनिवार्य रूप से वितरण संबंधी विचलन में बदल जाती हैं।
• शमन का तंत्र (Mechanism of Mitigation): यह सैद्धांतिक प्रमाण कि प्रत्येक प्रशिक्षण दौर में ताजा डेटा को शामिल करना पिछले त्रुटियों पर एक ज्यामितीय डिस्काउंट फैक्टर के रूप में कार्य करता है। यह इस अनुभवजन्य अवलोकन को एक कठोर औचित्य प्रदान करता है कि डेटा को मिलाने से कोलैप्स को रोका जा सकता है।
• रिजीम लक्षण वर्णन: उन रिजीम के बीच एक द्वैत (dichotomy) की पहचान करना जहाँ त्रुटियाँ अनिश्चित काल तक जमा होती हैं बनाम वे जहाँ वे सीमित रहती हैं, जो स्कोर अनुमान त्रुटियों की समेबिलिटी पर निर्भर करती हैं।

लेखक नोट करते हैं कि उनके परिणाम उस रिजीम में सबसे अधिक प्रासंगिक हैं जहाँ स्कोर अनुमान त्रुटियां कम (उच्च सटीकता) हैं। वे स्वीकार करते हैं कि बड़े एरर रिजीम में बाउंड प्राप्त करना या डिस्क्रीटाइजेशन एरर्स को ध्यान में रखना भविष्य के शोध के विषय हैं। यह पेपर कोई नया एल्गोरिदम प्रस्तावित नहीं करता है बल्कि मौजूदा पुनरावर्ती प्रशिक्षण पाइपलाइनों के व्यवहार को समझने और भविष्यवाणी करने के लिए एक सैद्धांतिक लेंस प्रदान करता है।