🤖 machine learning

Elucidating Representation Degradation Problem in Diffusion Model Training

यह शोध पत्र "रिप्रेजेंटेशन डिग्रेडेशन" (प्रतिनिधित्व क्षरण) को डिफ्यूजन मॉडल्स में एक प्रमुख प्रशिक्षण बाधा के रूप में पहचानता है जो बेमेल लक्ष्य रिकवरेबिलिटी (पुनर्प्राप्ति क्षमता) के कारण होता है और एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करता है, जो एक प्लग-एंड-प्ले फ्रेमवर्क है जो सीखने को स्थिर करने और अभिसरण (कन्वर्जेंस) को तेज करने के लिए अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।

मूल लेखक: Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu

प्रकाशित 2026-05-12

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhipeng Yao, Dazhou Li, Zitong Zhang, Durude Mahee, Fan Zhu, Wenbin Zhang, Xinwei He, Yeying Jin, Rui Yu

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

मुख्य विचार: "शोर भरा क्लासरूम" (Noisy Classroom) की समस्या

कल्पना कीजिए कि आप एक छात्र (AI मॉडल) को एक बिल्ली की एकदम सटीक तस्वीर बनाना सिखाने की कोशिश कर रहे हैं। आप उसे केवल बिल्ली नहीं दिखाते; बल्कि आप एक खाली पन्ने से शुरुआत करते हैं और धीरे-धीरे उसमें और अधिक 'स्टैटिक नॉइज़' (static noise) जोड़ते जाते हैं, जब तक कि वह पन्ना सफेद और ग्रे रंग के धुंधलेपन में न बदल जाए।

छात्र का काम इस शोर भरे पन्ने को देखना और यह अनुमान लगाना है कि मूल बिल्ली कैसी दिखती थी। वे ऐसा हजारों अलग-अलग "नॉइज़ स्तरों" (noise levels) पर अभ्यास करके करते हैं—थोड़े से स्टैटिक से लेकर बहुत अधिक स्टैटिक तक।

समस्या: लेखकों ने पाया कि जबकि छात्र "थोड़े से स्टैटिक" (कम शोर) को ठीक करने में बहुत माहिर हो जाता है, लेकिन जब उसे "भारी स्टैटिक" (अधिक शोर) को ठीक करने की कोशिश करनी पड़ती है, तो वह पूरी तरह से विफल हो जाता है। वास्तव में, जब शोर बहुत अधिक होता है, तो छात्र भ्रमित होकर कुछ भी अजीब या बेमतलब (gibberish) बनाने लगता है। इससे पूरी ट्रेनिंग प्रक्रिया अस्थिर और अक्षम हो जाती है।

लेखक इसे "रिप्रेजेंटेशन डिग्रेडेशन" (Representation Degradation) कहते हैं। यह ऐसा है जैसे छात्र का दिमाग "पिघलने" लगता है या अपना आकार खोने लगता है जब काम बहुत ज्यादा उलझ जाता है।

ऐसा क्यों होता है? ("टूटे हुए कंपास" की उपमा)

यह समझने के लिए कि छात्र क्यों विफल होता है, लेखकों ने न्यूरल टेंगेंट कर्नेल (NTK) नामक चीज़ का उपयोग करके सीखने की प्रक्रिया के पीछे के गणित को देखा। NTK को एक कंपास (दिशा सूचक यंत्र) के रूप में सोचें जो छात्र को यह बताता है कि सही उत्तर के करीब पहुँचने के लिए उसे किस दिशा में आगे बढ़ना चाहिए।

सिग्नल बनाम शोर (The Signal vs. The Noise):
- जब शोर कम होता है, तो "सिग्नल" (वास्तविक बिल्ली) मजबूत होता है। कंपास स्पष्ट रूप से दिशा दिखाता है, और छात्र तेजी से सीखता है।
- जब शोर अधिक होता है, तो "सिग्नल" दब जाता है। कंपास कमजोर और डगमगाता हुआ हो जाता है।
मेल न खाना (The Mismatch):
- समस्या यह है कि छात्र को "भारी स्टैटिक" वाले हिस्से को ठीक करने के लिए भी उतना ही समय देने के लिए मजबूर किया जाता है जितना कि "हल्के स्टैटिक" के लिए।
- लेकिन यहाँ एक पेच है: "भारी स्टैटिक" वाले क्षेत्र में, जानकारी इतनी खराब हो चुकी होती है कि गणितीय रूप से एक आदर्श बिल्ली को वापस पाना असंभव होता है। छात्र एक ऐसी पहेली सुलझाने की कोशिश कर रहा है जिसके आधे टुकड़े गायब हैं।
- क्योंकि छात्र इन असंभव क्षेत्रों में भी जबरदस्ती उत्तर देने की कोशिश करता रहता है, वह भ्रमित हो जाता है। उसका "कंपास" (गणित) अब वास्तविक छवि के बजाय शुद्ध शोर (pure noise) के प्रभाव में आकर बेतरतीब दिशाओं में संकेत देने लगता है।
संदूषण (The Contamination):
- चूंकि छात्र सभी शोर स्तरों के लिए एक ही मस्तिष्क (पैरामीटर्स) का उपयोग करता है, इसलिए "भारी स्टैटिक" वाले क्षेत्र का भ्रम "हल्के स्टैटिक" वाले क्षेत्र में भी लीक हो जाता है।
- यह ऐसा है जैसे यदि कोई छात्र उस गणित के सवाल से परेशान और भ्रमित हो जाए जिसे वह हल नहीं कर पा रहा है, और वह हताशा उसे उन आसान सवालों को भी भूलने पर मजबूर कर दे जिन्हें वह पहले से जानता था। पूरी सीखने की प्रक्रिया इस शोर से "दूषित" हो जाती है।

समाधान: "एलुसिडेटेड रिप्रेजेंटेशन डिफ्यूजन" (ERD)

लेखक एक नई प्रशिक्षण विधि प्रस्तावित करते हैं जिसे ERD कहा जाता है। इसे छात्र के लिए एक "स्मार्ट स्टडी शेड्यूल" के रूप में समझें।

हर प्रकार के शोर पर समान समय बिताने के बजाय, ERD यह देखता है कि शोर में "बिल्ली" का कितना हिस्सा वास्तव में दिखाई दे रहा है।

पुराना तरीका: "हल्के शोर पर 1 घंटा, मध्यम शोर पर 1 घंटा, भारी शोर पर 1 घंटा बिताएं।" (यह उस भारी शोर पर समय बर्बाद करता है जहाँ छात्र वास्तव में कुछ उपयोगी नहीं सीख सकता)।
ERD का तरीका: "हल्के शोर पर 1 घंटा, मध्यम शोर पर 1 घंटा, लेकिन भारी शोर पर केवल 10 मिनट दें।"

ERD प्रशिक्षण के "भार" (weight) को गतिशील रूप से समायोजित करता है। यह मॉडल को बताता है:

"हे, इस भारी शोर वाले क्षेत्र में, सिग्नल बहुत कमजोर है जिससे प्रभावी ढंग से सीखना संभव नहीं है। चलिए यहाँ ऊर्जा बर्बाद करना बंद करते हैं।"
"अपनी ऊर्जा वहां केंद्रित करें जहां सिग्नल वास्तव में रिकवर करने योग्य है।"

जुनून या अंधेरे में अनुमान लगाने वाले क्षेत्रों को अनदेखा करके, मॉडल तेजी से सीखता है, अधिक स्थिर रहता है और बेहतर चित्र बनाता है।

उन्होंने क्या सिद्ध किया?

यह पेपर केवल अनुमान नहीं लगाता; उन्होंने गणित और प्रयोगों के माध्यम से इसे सिद्ध किया है:

दृश्य प्रमाण (Visual Proof): उन्होंने दिखाया कि जैसे-जैसे शोर बढ़ता है, दुनिया का मॉडल का आंतरिक "मानचित्र" (internal map) ढह जाता है। यह एक बिल्ली की 3D मूर्ति की तरह है जो धीरे-धीरे एक 2D धब्बे में बदल जाती है और फिर गायब हो जाती है।
गणितीय प्रमाण (Math Proof): उन्होंने दिखाया कि उच्च-शोर वाले क्षेत्रों में "कंपास" (NTK) अपनी शक्ति खो देता है, जिससे मॉडल के लिए सही दिशा सीखना असंभव हो जाता है।
वास्तविक परिणाम (Real Results): उन्होंने प्रसिद्ध AI मॉडलों (जैसे DiT और U-ViT) पर ImageNet (तस्वीरों का एक विशाल डेटाबेस) का उपयोग करके परीक्षण किया।
- परिणाम: उनके तरीके (ERD) ने मानक तरीकों की तुलना में मॉडलों को तेजी से प्रशिक्षित किया और बिना किसी अतिरिक्त हार्डवेयर या जटिल बदलाव के उच्च-गुणवत्ता वाली छवियां (कम FID स्कोर) बनाईं।

सारांश

समस्या: डिफ्यूजन मॉडल भारी मात्रा में शोर को हटाने की कोशिश करते समय भ्रमित और "बिखर" जाते हैं, जिससे उनकी आसान हिस्सों से सीखने की क्षमता भी खराब हो जाती है।
कारण: मॉडल को ऐसी जानकारी से सीखने के लिए मजबूर किया जाता है जो बहुत अधिक दूषित है, जिससे "शोर संदूषण" (noise contamination) होता है।
समाधान: एक नया प्रशिक्षण नियम (ERD) जो मॉडल को उन शोर स्तरों पर ध्यान केंद्रित करने के लिए कहता है जहाँ सीखना वास्तव में संभव है और उन स्तरों को अनदेखा करता है जहाँ वह केवल अंधेरे में अनुमान लगा रहा है।
परिणाम: तेज़ प्रशिक्षण, अधिक स्थिर मॉडल और बेहतर चित्र।

तकनीकी सारांश: डिफ्यूजन मॉडल प्रशिक्षण में रिप्रजेंटेशन डिग्रेडेशन (प्रतिनिधित्व क्षरण) की समस्या का स्पष्टीकरण

1. समस्या विवरण: रिप्रजेंटेशन डिग्रेडेशन (Representation Degradation)

डिफ्यूजन मॉडलों की उल्लेखनीय सफलता के बावजूद, उनका प्रशिक्षण एक गंभीर अनुकूलन बाधा (optimization bottleneck) के कारण अक्षम बना हुआ है, जिसे लेखक रिप्रजेंटेशन डिग्रेडेशन कहते हैं। अनुभवजन्य विश्लेषण (Empirical analysis) से पता चलता है कि जैसे-जैसे फॉरवर्ड डिफ्यूजन प्रक्रिया के दौरान शोर (noise) का स्तर बढ़ता है, प्रशिक्षित मॉडलों के आउटपुट में प्रगतिशील संरचनात्मक विरूपण (structural distortion) दिखाई देता है, जो अंततः सार्थक अर्थपूर्ण संरचना के पतन (collapse) की ओर ले जाता है।

लेखक पहचानते हैं कि यह अस्थिरता केवल एक आर्किटेक्चरल सीमा नहीं है, बल्कि मिसमैच्ड टारगेट रिकवरेबिलिटी (mismatched target recoverability) द्वारा संचालित एक अंतर्निहित अनुकूलन समस्या है। उच्च-शोर वाले परिदृश्यों में, दूषित इनपुट सूचनात्मक संरचना खो देते हैं, जिससे स्थानीय न्यूरल टेंगेंट कर्नेल (NTK) स्पेक्ट्रम कमजोर हो जाता है और अर्थपूर्ण दिशाओं में सीखने की क्षमता कम हो जाती है। फलस्वरूप, मानक प्रशिक्षण उन क्षेत्रों में पर्याप्त अनुकूलन प्रयास आवंटित करता है जहाँ लक्ष्य (target) केवल कमजोर रूप से रिकवरेबल होता है। यह बेमेल स्थिति मॉडल को सीखने योग्य सिग्नल के बजाय अपरिहार्य बायेस नॉइज़ (irreducible Bayes noise - "बायेस फ्लोर") के प्रभुत्व में डाल देती है, जिससे स्पेक्ट्रल क्षरण और सीखे गए रिप्रजेंटेशन में प्रभावी लो-रैंक व्यवहार होता है।

2. कार्यप्रणाली: एलुसिडेटेड रिप्रजेंटेशन डिफ्यूजन (ERD)

इस बाधा को दूर करने के लिए, लेखक एलुसिडेटेड रिप्रजेंटेशन डिफ्यूजन (ERD) का प्रस्ताव करते हैं, जो एक प्लग-एंड-प्ले प्रशिक्षण ढांचा है जो बिना किसी बाहरी पर्यवेक्षण या आर्किटेक्चरल संशोधन के, प्रभावी रिकवरेबिलिटी (effective recoverability) के आधार पर अनुकूलन प्रयास को गतिशील रूप से पुनर्वितरित करता है।

सैद्धांतिक आधार

यह विश्लेषण न्यूरल टेंगेंट कर्नेल (NTK) शासन (regime) पर आधारित है, जो डिफ्यूजन प्रशिक्षण को एक निरंतर-समय, शोर-सशर्त प्रतिगमन (regression) प्रक्रिया के रूप में मानता है। लेखक व्युत्पन्न करते हैं कि किसी भी शोर स्तर $\lambda$ पर अनुकूलन गतिकी (optimization dynamics) तीन कारकों द्वारा नियंत्रित होती है:

अनुकूलन प्रयास का आवंटन: शोर स्तरों के बीच लॉस (loss) को कैसे वेट किया जाता है।
स्थानीय कर्नेल ज्यामिति (Local kernel geometry): जो दूषित इनपुट द्वारा प्रेरित होती है।
टारगेट रिकवरेबिलिटी: इस बात की सीमा कि शोर वाले इनपुट से लक्ष्य सिग्नल को कितनी हद तक पुनः प्राप्त किया जा सकता है।

वे औपचारिक रूपते हैं कि जब अपरिहार्य बायेस नॉइज़ के सापेक्ष रिकवरेबल सिग्नल छोटा होता है, तो ग्रेडिएंट अपडेट नॉइज़ संदूषण (noise contamination) के प्रभुत्व में आ जाते हैं। यह "बायेस-नॉइज़ फोर्सिंग" अतिरिक्त त्रुटि के संकुचन को रोकता है और सीखे गए रिप्रजेंटेशन को खराब करता है।

ERD फ्रेमवर्क

ERD एक टारगेट-एडेप्टिव वेटिंग रूल पेश करता है जो प्रत्येक शोर स्तर पर रिकवरेबल सिग्नल के प्रभावी आयाम (amplitude) से व्युत्पन्न होता है।

प्रभावी टारगेट की परिभाषा: एक सामान्यीकृत लक्ष्य $y_\lambda = c_x(\lambda)x_0 + c_\epsilon(\lambda)\epsilon$ के लिए, लेखक एक प्रभावी लक्ष्य $\tilde{y}_\lambda$ को परिभाषित करते हैं जो स्रोत घटकों ( $x_0$ और $\epsilon$ ) को उनके संबंधित दूषित इनपुट ( $\alpha(\lambda)$ और $\sigma(\lambda)$ ) में आयामों द्वारा स्केल करता है।
रिकवरेबिलिटी स्कोर: रिकवरेबिलिटी स्कोर $\omega_y(\lambda)$ को इस प्रभावी लक्ष्य के अपेक्षित रूट-मीन-स्क्वायर (RMS) आयाम के रूप में परिभाषित किया गया है:
$\omega_y(\lambda) = \sqrt{(c_x(\lambda)\alpha(\lambda))^2 + (c_\epsilon(\lambda)\sigma(\lambda))^2}$
वेटिंग रणनीति: लॉस वेट $w(\lambda)$ को $\omega_y(\lambda)$ के समानुपाती रखा जाता है। यह रणनीति उन शोर स्तरों पर जोर देती है जहाँ मजबूत रिकवरेबल सिग्नल होते हैं और उन क्षेत्रों को कम महत्व देती है जहाँ लक्ष्य अपरिहार्य शोर द्वारा हावी होता है, जिससे अनुकूलन प्रयास और सीखने की क्षमता के बीच बेमेल को कम किया जाता है।

3. मुख्य योगदान

रिप्रजेंटेशन डिग्रेडेशन की पहचान: यह शोध पत्र अनुभवजन्य और सैद्धांतिक रूप से पहचानता है कि मानक डिफ्यूजन प्रशिक्षण उच्च शोर स्तरों पर संरचनात्मक विरूपण और पतन से ग्रस्त होता है, क्योंकि जब अनुकूलन प्रयास टारगेट रिकवरेबिलिटी के साथ गलत संरेखित होता है, तो मॉडल सार्थक संरचना को बनाए रखने में असमर्थ होता है।
NTK के माध्यम से अनुकूलन विश्लेषण: लेखक एक NTK-आधारित ढांचे को विकसित करते हैं जो प्रदर्शित करता है कि कैसे अनुकूलन आवंटन, स्थानीय कर्नेल ज्यामिति और टारगेट रिकवरेबिलिटी का परस्पर प्रभाव उच्च-शोर वाले परिदृश्यों में स्पेक्ट्रल क्षरण और प्रभावी लो-रैंक पतन को प्रेरित करता है। वे नॉन-एसिम्प्टोटिक बाउंड्स प्रदान करते हैं जो दिखाते हैं कि कैसे बायेस-नॉइज़ फोर्सिंग रेसिडुअल एरर को नियंत्रित करता है।
ERD फ्रेमवर्क: वे एक आर्किटेक्चर-अग्नोस्टिक (architecture-agnostic) प्रशिक्षण विधि प्रस्तावित करते है जो रिकवरेबल सिग्नल से एक टारगेट-एडेप्टिव वेटिंग नियम व्युत्पन्न करती है। यह दृष्टिकोण बाहरी प्रायर्स (जैसे प्री-ट्रेन्ड एलाइनमेंट नेटवर्क) या सहायक उद्देश्यों पर निर्भर किए बिना अनुकूलन स्थिरता में सुधार करता है और अभिसरण (convergence) को तेज करता है।

4. प्रयोगात्मक परिणाम

लेखकों ने विभिन्न प्रेडिक्शन टारगेट्स ( $\epsilon_\theta$ , $x_\theta$ , $v_\theta$ , $u_\theta$ ) के साथ DiT, U-ViT, और UNet सहित विभिन्न बैकबोन का उपयोग करके ImageNet (256×256) और CelebA (64×64) पर ERD का मूल्यांकन किया।

प्रदर्शन लाभ: ERD ने सभी मॉडल स्केल्स और आर्किटेक्चर केAcross बेसलाइन और मौजूदा वेटिंग रणनीतियों (जैसे Min-SNR और P2) को लगातार पछाड़ दिया।
- DiT-XL/2 (675M पैरामीटर) के साथ ImageNet 256×256 पर, ERD ने 15.0 का FID (बिना CFG के) प्राप्त किया, जो बेसलाइन SiT-XL/2 (17.2) और DiT-XL/2 (19.5) से बेहतर है।
- क्लासिफायर-फ्री गाइडेंस (CFG) के साथ, U-ViT-H/2 मॉडल ने 1.45 का FID प्राप्त किया, जो REPA (1.42) जैसे स्टेट-ऑफ-द-आर्ट तरीकों के साथ अंतर को काफी कम करता है और Min-SNR (1.57) से बेहतर प्रदर्शन करता है।
एब्लेशन अध्ययन: प्रयोगों ने पुष्टि की कि ERD प्रेडिक्शन टारगेट या नेटवर्क आर्किटेक्चर (UNet बनाम Transformer) की परवाह किए बिना निरंतर सुधार प्रदान करता है।
टॉय प्रयोग: 2D गॉसियन मिक्सचर मॉडल (GMM) पर नियंत्रित प्रयोगों ने "रिप्रजेंटेशन डिग्रेडेशन" घटना को विज़ुअलाइज़ किया, जिससे दिखाया गया कि ग्लोबल शेयर्ड-पैरामीटर मॉडल उच्च-शोर वाले परिदृश्यों में ग्रेडिएंट संदूषण और स्पेक्ट्रल पतन से ग्रस्त होते हैं, जिसे अनुकूलन को अलग करने या पुन: भारित (reweighted) करने पर कम किया जा सकता है।

5. महत्व और दावे

शोध पत्र का दावा है कि रिप्रजेंटेशन डिग्रेडेशन मानक डिफ्यूजन प्रशिक्षण में एक मौलिक, अंतर्निहित बाधा है, जो आर्किटेक्चरल सीमाओं से भिन्न है। ह्यूरिस्टिक नॉइज़-लेवल एलोकेशन के बजाय टारगेट रिकवरेबिलिटी पर ध्यान केंद्रित करके, ERD प्रशिक्षण अक्षमता के मूल कारण को संबोधित करता है: अपरिहार्य शोर में अनुकूलन द्रव्यमान (optimization mass) का गलत आवंटन।

इस कार्य का महत्व निम्नलिखित में निहित है:

सैद्धांतिक अंतर्दृष्टि: यह डिफ्यूजन ऑप्टिमाइज़ेशन और NTK डायनेमिक्स के बीच के अंतर को पाटता है, यह समझाता है कि क्यों अत्यधिक-शोर वाला प्रशिक्षण निम्नीभूत रिप्रजेंटेशन (स्पेक्ट्रल कमजोरी और बायेस-नॉइज़ प्रभुत्व) की ओर ले जाता है।
व्यावहारिक दक्षता: यह एक सरल, प्लग-एंड-प्ले वेटिंग नियम प्रदान करता है जो बाहरी एलाइनमेंट नेटवर्क या जटिल लेटेंट मॉडलिंग के कम्प्यूटेशनल ओवरहेड के बिना विभिन्न बैकबोन और कार्यों में अभिसरण को तेज करता है और जनरेशन की गुणवत्ता में सुधार करता है।
सार्वभौमिकता: इसे विभिन्न डिफ्यूजन पैरामीटराइजेशन (नॉइज़, डेटा, वेलोसिटी, फ्लो मैचिंग) और आर्किटेक्चर में प्रभावी दिखाया गया है, जो डिफ्यूजन प्रक्रिया में अंतर्निहित अनुकूलन अस्थिरता के समाधान के रूप में एक एकीकृत समाधान का सुझाव देता है।

लेखक अपनी सीमाओं के संबंध में विनम्र रहते हैं, यह नोट करते हुए कि उनका विश्लेषण निरंतर-समय अनुकूलन और NTK शासन धारणाओं पर निर्भर करता है, जो पूरी तरह से फाइनाइट-विड्थ, अत्यधिक गैर-रैखिक गतिकी को कैप्चर नहीं कर सकता है। इसके अतिरिक्त, ERD सटीक पोस्टीरियर रिकवरेबल सिग्नल का अनुमान लगाने के बजाय एक ट्रैक्टेबल प्रॉक्सी के रूप में प्रभावी-आयाम स्कोर का उपयोग करता है।