Implicit Regularization in Perturbed Deep Matrix Factorization: Spectral Conditions and Stability

तकनीकी सारांश: विक्षुब्ध डीप मैट्रिक्स फैक्टराइजेशन में अंतर्निहित नियमितीकरण (Implicit Regularization)

समस्या विवरण
डीप लर्निंग मॉडल, विशेष रूप से ओवरपैरामिट्राइज्ड (overparameterized) मॉडल, अक्सर गैर-उत्तल (nonconvex) प्रशिक्षण उद्देश्यों के बावजूद अच्छा सामान्यीकरण (generalize) करते हैं। एक प्रचलित स्पष्टीकरण "अंतर्निहित नियमितीकरण" (implicit regularization) है, जहाँ अनुकूलन एल्गोरिदम (जैसे ग्रेडिएंट डिसेंट) विशिष्ट समाधानों, जैसे कि लो-रैंक मैट्रिसेस (low-rank matrices) की ओर एक संरचनात्मक पूर्वाग्रह प्रेरित करता है, भले ही कोई स्पष्ट रेगुलराइज़र मौजूद न हो। जबकि शोर-रहित (noiseless) डीप मैट्रिक्स फैक्टराइजेशन में ग्रेडिएंट डिसेंट के व्यवहार का विश्लेषण किया गया है, वास्तविक स्थितियों के तहत इस घटना की स्थिरता एक खुला प्रश्न बनी हुई है। विशेष रूप से, यह शोध पत्र जांच करता है कि लक्ष्य मैट्रिक्स में योगात्मक शोर (additive noise/perturbations) कैसे डीप मैट्रिक्स फैक्टराइजेशन के अंतर्निहित नियमितीकरण गतिकी (dynamics) को प्रभावित करता है। मुख्य समस्या यह निर्धारित करना है कि क्या "लो-रैंक चरण" (low-rank phase)—एक क्षणिक अवधि जहाँ प्रभावी रैंक लक्ष्य रैंक $L$ के करीब रहती है—तब भी बना रहता है जब लक्ष्य मैट्रिक्स $\mathbf{W}$ को एक शोर मैट्रिक्स $\mathbf{E}$ द्वारा दूषित किया जाता है, जिसके परिणामस्वरूप एक विक्षुब्ध लक्ष्य $\tilde{\mathbf{W}} = \mathbf{W} + \mathbf{E}$ प्राप्त होता है।

कार्यप्रणाली
लेखक डीप मैट्रिक्स फैक्टराइजेशन समस्या पर लागू ग्रेडिएंट डिसेंट की गतिकी का विश्लेषण करते हैं:
$$\min_{\mathbf{W}_1, \dots, \mathbf{W}_N} \|\mathbf{W}_N \cdots \mathbf{W}_1 - \tilde{\mathbf{W}}\|_F^2$$
जहाँ $\tilde{\mathbf{W}}$ एक विक्षुब्ध सममित (symmetric) ग्राउंड-ट्रुथ मैट्रिक्स है। विश्लेषण तीन चरणों में आगे बढ़ता है:

1. शोर-रहित स्पेक्ट्रल विश्लेषण: शोध पत्र पहले शोर-रहित सेटिंग को पुनरावृत्त करता है ताकि एक गैर-रिक्त "लो-रैंक अंतराल" $[T_0, T_1]$ के अस्तित्व के लिए स्पष्ट पर्याप्त स्थितियाँ प्राप्त की जा सकें। इसमें $T(\lambda)$ फलन का विश्लेषण शामिल है, जो एक आइगेनवैल्यू (eigenvalue) $\lambda$ को रिकवर करने के लिए आवश्यक समय को दर्शाता है। लेखक $T(\lambda)$ को लॉगरिदमिक पदों और सीलिंग फंक्शन्स (ceiling functions) वाले घटकों में विभाजित करते हैं, और यह सिद्ध करते हैं कि विशिष्ट स्पेक्ट्रल गैप स्थितियों (आइगेनवैल्यूज के बीच बड़े अंतराल) और उपयुक्त इनिशियलाइजेशन/स्टेप-साइज़ के तहत, निचले आइगेनवैल्यूज को रिकवर करने का समय उच्च आइगेनवैल्यूज को रिकवर करने के समय से कड़ाई से अधिक होता है, जिससे एक विंडो बनती है जहाँ प्रभावी रैंक स्थिर रहती है।

2. विक्षोभ मॉडलिंग और अभिसरण (Perturbation Modeling and Convergence): अध्ययन शोर $\mathbf{E}$ को एक सममित गाऊसी (Gaussian) मैट्रिक्स के रूप में मॉडल करता है। वेइल के असमानता (Weyl's inequality) और मैट्रिक्स विक्षोभ सिद्धांत का उपयोग करते हुए, लेखक विक्षुब्ध मैट्रिक्स $\tilde{\mathbf{W}}$ और वास्तविक मैट्रिक्स $\mathbf{W}$ के आइगेनवैल्यूज के बीच विचलन को सीमित करते हैं। वे व्यक्तिगत आइगेनवैल्यूज के स्तर पर ग्रेडिएंट डिसेंट गतिकी का विश्लेषण करते हैं, और विक्षुब्ध प्रणाली के लिए अभिसरण गारंटी स्थापित करते हैं। विश्लेषण यह मात्रा निर्धारित करता है कि विक्षोभ का आकार $\|\mathbf{E}\|$ इटरेशन कॉम्प्लेक्सिटी (iteration complexity) और गैर-ऋणात्मक आइगेनवैल्यूज की रिकवरी को कैसे प्रभावित करता है।

3. अंतर्निहित नियमितीकरण की स्थिरता: इन अभिसरण परिणामों पर निर्माण करते हुए, लेखक सिद्ध करते हैं कि लो-रैंक चरण विक्षुब्ध सेटिंग में बना रहता है। वे एक विक्षुब्ध लो-रैंक अंतराल $[\tilde{T}_0, \tilde{T}_1]$ को परिभाषित करते हैं और शोर-रहित अंतराल $[T_0, T_1]$ के सापेक्ष इसके एंडपॉइंट्स के शिफ्ट पर स्पष्ट सीमाएँ (bounds) प्राप्त करते हैं। विश्लेषण इटरेशन की प्रभावी रैंक $r(\mathbf{W}(k)) = \|\mathbf{W}(k)\|_* / \|\mathbf{W}(k)\|$ को ट्रैक करने और शोर-रहित लक्ष्य के रैंक-$L$ सन्निकटन (approximation) के साथ त्रुटि को सीमित करने पर निर्भर करता है।

प्रमुख योगदान

• शोर-रहित अंतरालों के लिए स्पष्ट स्पेक्ट्रल स्थितियाँ: शोध पत्र एक गैर-रिक्त लो-रैंक अंतराल $[T_0, T_1]$ के अस्तित्व की गारंटी देने के लिए पर्याप्त स्पेक्ट्रल स्थितियों (आइगेनवैल्यू गैप्स, इनिशियलाइजेशन स्केल $\alpha$, और स्टेप साइज़ $\eta$ सहित) का एक कठोर व्युत्पत्ति प्रदान करता है। यह लो-रैंक चरण की निर्भरता को लक्ष्य स्पेक्ट्रम पर स्पष्ट करता है, जो पहले कम पारदर्शी था।
• विक्षोभ के तहत स्पेक्ट्रल स्थिरता: लेखक स्थापित करते हैं कि अंतर्निहित नियमितीकरण व्यवहार योगात्मक विक्षोभों के तहत स्थिर है। वे सिद्ध करते हैं कि विक्षुब्ध मैट्रिक्स $\tilde{\mathbf{W}}$ पर ग्रेडिएंट डिसेंट गतिकी अभी भी एक लो-रैंक चरण प्रदर्शित करती है, बशर्ते विक्षोभ का आकार सीमित हो।
• विक्षोभ प्रभावों पर मात्रात्मक सीमाएँ: कार्य निम्नलिखित के लिए स्पष्ट त्रुटि सीमाएँ प्रदान करता है:
  • लो-रैंक अंतराल के एंडपॉइंट्स का शिफ्ट ($\tilde{T}_0, \tilde{T}_1$) $\|\mathbf{E}\|$ के फलन के रूप में।
  • शोर-रहित लक्ष्य के रैंक-$L$ सन्निकटन के सापेक्ष प्रभावी रैंक का सन्निकटन त्रुटि।
  • गैर-ऋणात्मक आइगेनवैल्यूज की रिकवरी त्रुटि।
• अभिसरण गारंटी: शोध पत्र विक्षुब्ध ग्रेडिएंट डिसेंट गतिकी के अभिसरण को सिद्ध करता है और शोर की उपस्थिति में विशिष्ट सटीकता स्तर प्राप्त करने के लिए आवश्यक इटरेशन कॉम्प्लेक्सिटी को मात्रात्मक रूप से निर्धारित करता है।

परिणाम

• सैद्धांतिक निष्कर्ष: मुख्य प्रमेय (Theorems 5.1–5.3) प्रदर्शित करते हैं कि एक विक्षुब्ध लक्ष्य $\tilde{\mathbf{W}} = \mathbf{W} + \mathbf{E}$ के लिए, ग्रेडिएंट डिसेंट इटरेट्स की प्रभावी रैंक एक विक्षुब्ध समय अंतराल में शोर-रहित लक्ष्य $\mathbf{W}$ के सर्वोत्तम रैंक-$L$ सन्निकटन के करीब रहती है। त्रुटि सीमाएँ विक्षोभ के आकार $\|\mathbf{E}\|$ के रैखिक (linear) में हैं। विशेष रूप से, शोध पत्र दिखाता है कि लो-रैंक अंतराल $[\tilde{T}_0, \tilde{T}_1]$, $[T_0, T_1]$ का एक शिफ्ट किया हुआ संस्करण है, जिसका शिफ्ट परिमाण $\|\mathbf{E}\|$, स्पेक्ट्रल गैप्स और स्टेप साइज़ पर निर्भर करता है।
• संख्यात्मक सत्यापन: प्रयोग सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं। चित्र 1 दर्शाता है कि लो-रैंक प्लेटो (अवलोकन योग्य अंतर्निहित नियमितीकरण) तब दिखाई देते हैं जब स्पेक्ट्रल गैप और स्टेप साइज़ व्युत्पन्न शर्तों को संतुष्ट करते हैं, और तब गायब हो जाते हैं जब ये शर्तें उल्लंघन होती हैं (जैसे, बड़े स्टेप साइज़)। चित्र 2 प्रदर्शित करता है कि जैसे-जैसे शोर का स्तर बढ़ता है, सन्निकटन त्रुटि बढ़ती है, और लो-रैंक प्लेटो समय में शिफ्ट होते हैं, जो व्युत्पन्न सीमाओं के अनुरूप है।

महत्व
यह शोध पत्र दावा करता है कि यह योगात्मक विक्षोभों के तहत डीप मैट्रिक्स फैक्टराइजेशन में अंतर्निहित नियमितीकरण का पहला कठोर विश्लेषण प्रदान करता है। इसका महत्व आदर्श शोर-रहित सैद्धांतिक मॉडलों और व्यावहारिक परिदृश्यों के बीच के अंतर को पाटने में निहित है जहाँ डेटा शोर युक्त होता है (जैसे, माप त्रुटियों या डिफरेंशियल प्राइवेसी जैसे गोपनीयता-संरक्षण तंत्र के कारण)। यह सिद्ध करके कि लो-रैंक चरण सीमित शोर के प्रति मजबूत है और विक्षोभ के आकार के संदर्भ में गिरावट को मात्रात्मक रूप से निर्धारित करके, यह कार्य यह समझने के लिए एक सैद्धांतिक आधार प्रदान करता है कि शोर वाले वातावरण में डीप लीनियर नेटवर्क अभी भी अच्छा सामान्यीकरण क्यों कर सकते हैं। परिणाम सुझाव देते हैं कि लक्ष्य मैट्रिक्स की स्पेक्ट्रल संरचना अंतर्निहित नियमितीकरण के अस्तित्व और स्थिरता दोनों के लिए एक महत्वपूर्ण निर्धारक है।