तकनीकी सारांश: दो-चरणीय अनसुपरवाइज्ड प्रक्रिया के रूप में सुपरवाइज्ड लर्निंग

समस्या का विवरण (Problem Statement)

यह शोध पत्र मशीन लर्निंग के एक मौलिक प्रश्न को संबोधित करता है: क्या सुपरवाइज्ड मॉडल्स को प्रशिक्षित करने के लिए आउटपुट लेबल्स ($y$) अनिवार्य रूप से आवश्यक हैं, या मॉडल की संरचना को पूरी तरह से अनसुपरवाइज्ड तरीके से सीखा जा सकता है? जबकि अनसुपरवाइज्ड लर्निंग $y$ तक पहुँच के बिना कार्य करती है, सुपरवाइज्ड लर्निंग पारंपरिक रूप से पैरामीटर्स को अनुकूलित करने के लिए $y$ पर निर्भर करती है। लेखक यह जांचते हैं कि क्या सुपरवाइज्ड लर्निंग को एक दो-चरणीय प्रक्रिया में विभाजित किया जा सकता है जहाँ (1) सभी मॉडल पैरामीटर्स (विशेष रूप से "स्मूदर" या इनपुट स्पेस का प्रतिनिधित्व) को $y$ तक पहुँच के बिना चुना जाता है, और (2) भविष्यवाणियाँ उत्पन्न करने के लिए पैरामीटर्स को स्थिर करने के बाद ही आउटपुट्स $y$ को जोड़ा जाता है।

कार्यप्रणाली (Methodology)

1. स्मूदर फ्रेमवर्क (The Smoother Framework)

मुख्य सैद्धांतिक योगदान सुपरवाइज्ड मॉडल्स को लीनियर स्मूचर्स के रूप में प्रस्तुत करना है। एक मॉडल को इस प्रकार व्यक्त किया जाता है:
$$\hat{f}^* = s^{*\top} y$$
जहाँ $\hat{f}^*$ एक नए कोवेरिएट $x^*$ के लिए भविष्यवाणी है, और $s^*$ एक स्मूदर वेक्टर (या मैट्रिक्स $S$ इन-सैंपल डेटा के लिए) है जो ट्रेनिंग कोवेरेट्स $X$ और संभावित रूप से मॉडल हाइपरपैरामीटर्स पर निर्भर करता है, लेकिन $y$ पर नहीं।

• लीनियर मॉडल्स (जैसे रिज़ रिग्रेशन) के लिए, $s^*$ सीधे क्लोज्ड-फॉर्म समाधान से प्राप्त होता है।
• नॉन-लीनियर मॉडल्स (जैसे न्यूरल नेटवर्क, रैंडम फॉरेस्ट) के लिए, लेखक यह प्रदर्शित करते हैं कि उन्हें स्मूचर्स के रूप में कैसे व्यक्त किया जा सकता है। न्यूरल नेटवर्क के लिए, यह न्यूरल टेंगेंट कर्नेल (NTK) फ्रेमवर्क का उपयोग करता है, जो नेटवर्क को एक लीनियर स्मूदर के रूप में मानता है जहाँ स्मूदर मैट्रिक्स को ट्रेनिंग के दौरान पुनरावृत्ति (iteratively) से अपडेट किया जाता है, लेकिन यदि ट्रेनिंग लेबल्स को बदल दिया जाए तो यह वास्तविक $y$ से स्वतंत्र रहता है।

2. $y$ के बिना मॉडल चयन (Model Selection Without $y$ - MSV)

$y$ तक पहुँच के बिना मॉडल हाइपरपैरामीटर्स (जैसे रेगुलराइजेशन स्ट्रेंथ $\lambda$, कर्नेल बैंडविड्थ, या स्टॉपिंग टाइम) चुनने के लिए, लेखक आउट-ऑफ-सैंपल भविष्यवाणियों के वेरिएंस (variance) पर आधारित एक मानदंड प्रस्तावित करते हैं।

• आधार: एक अच्छी तरह से सामान्य होने वाले (well-generalizing) मॉडल के लिए, आउट-ऑफ-सैंपल भविष्यवाणियों $\hat{f}^*_v$ का वितरण, प्रेक्षित डेटा $y$ के वितरण के लगभग समान होना चाहिए।
• मानदंड: यह विधि वैलिडेशन कोवेरेट्स $X^*_v$ पर (जिनके साथ कोई लेबल संबद्ध नहीं है) सैंपल वेरिएंस और $y$ के सैंपल वेरिएस के बीच के अंतर को कम करती है।
• $y$-मुक्त कार्यान्वयन: ऑब्जेक्टिव फंक्शन में एक टर्म शामिल है जो $|y^\top A y|$ के रूप में होता है। इसे $y$ से स्वतंत्र बनाने के लिए, लेखक $y$ को एक रैंडम वेक्टर $y_R$ (या जीरो वेक्टर) से बदल देते हैं। $y_R$ पर एक्सपेक्टेशन (expectation) लेकर, ऑब्जेक्टिव फंक्शन मैट्रिक्स $A$ के नॉर्म (विशेष रूप से ट्रेस सेमीनॉर्म या फ्रोबेनियस नॉर्म) को मिनिमाइज करने में सरल हो जाता है, जिसे MSV-Tr (मैचिंग ऑफ सैंपल वेरिएंस - ट्रेस) कहा जाता है।
  $$\text{Minimize } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  यह केवल $X$ और जनरेट किए गए $X^*_v$ का उपयोग करके हाइपरपैरामीटर चयन की अनुमति देता है, जिससे चयन चरण के दौरान $y$ की आवश्यकता पूरी तरह समाप्त हो जाती है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र एसिम्प्टोटिक लिमिट ($n, d \to \infty$) में लीनियर रिज़ रिग्रेशन के लिए बायस-वेरिएंस डिकंपोजिशन विश्लेषण प्रदान करता है।

• प्रपोजिशन 1: यह दर्शाता है कि MSV-Tr उस मॉडल का चयन करता है जहाँ इन्फर्ड फंक्शन का वेरिएंस, मेजरमेंट नॉइज़ ($\sigma^2_\epsilon$) के वेरिएस के बराबर होता है।
• थ्योरम 1: लीनियर रिज़ रिग्रेशन के लिए, लेखक MSV-Tr द्वारा चुने गए इष्टतम रेगुलराइजेशन पैरामीटर $\lambda$ के लिए एक क्लोज्ड-फॉर्म एक्सप्रेशन निकालते हैं। वे सिद्ध करते हैं कि इस विधि का एसिम्प्टोटिक आउट-ऑफ-सैंपल रिस्क, सैद्धांतिक रूप से इष्टतम रिस्क (जिसके लिए सिग्नल-टू-नॉइज़ रेशियो का ज्ञान आवश्यक है) के सापेक्ष सीमित (bounded) है। विशेष रूप से, $[1, 80]$ के सिग्नल-टू-नॉइज़ रेशियो के लिए, रिस्क रेशियो 2.45 तक सीमित है।
• थ्योरम 2: यह प्रदर्शित करता है कि वैकल्पिक "$y$-फ्री" विधियाँ, जैसे कि जनरलाइज्ड क्रॉस-वैलिडेशन (GCV) और इन-सैंपल MSV, रिज़ रिग्रेशन के लिए विफल रहती हैं। वे या तो अनंत रेगुलराइजेशन (शून्य ट्रेनिंग) या शून्य रेगुलराइजेशन (ओवरफिटिंग) चुनते हैं, जिससे वे पैरामीटर चयन के लिए बेकार हो जाते हैं। केवल आउट-ऑफ-सैंपल MSV ही एक परिमित (finite), गैर-शून्य इष्टतम रेगुलराइजेशन प्रदान करता है।

मुख्य योगदान (Key Contributions)

1. सुपरवाइज्ड लर्निंग का अपघटन: यह शोध पत्र प्रदर्शित करता है कि मानक सुपरवाइज्ड मॉडल्स (लीनियर/कर्नेल रिज़ रिग्रेशन, स्मूथिंग स्प्लाइन्स, k-NN, रैंडम फॉरेस्ट और न्यूरल नेटवर्क) को एक दो-चरणीय प्रक्रिया में प्रशिक्षित किया जा सकता है जहाँ मॉडल संरचना को अनसुपरवाइज्ड तरीके से सीखा जाता है, और लेबल्स को केवल प्रेडिक्शन स्टेज पर ही पेश किया जाता है।
2. नया मॉडल चयन मानदंड (MSV): डेटा के वेरिएस से आउट-ऑफ-सैंपल भविष्यवाणियों के वेरिएस को मिलाने पर आधारित एक मॉडल चयन मानदंड का परिचय। इसे $y$ को रैंडम नॉइज़ से बदलकर $y$-फ्री तरीके से कंप्यूट किया जा सकता है।
3. सैद्धांतिक सीमाएँ (Theoretical Bounds): MSV-Tr द्वारा प्रशिक्षित लीनियर रिज़ रिग्रेशन के लिए एसिम्प्टोटिक रिस्क बाउंड्स की स्थापना, जो यह दिखाती है कि यह इष्टतम रिस्क के एक स्थिर कारक (constant factor) के भीतर प्रदर्शन करता है।
4. अनुभवजन्य सत्यापन (Empirical Validation): सिंथेटिक और वास्तविक दुनिया के डेटासेट्स (MNIST, CIFAR-10, Steel Production, CPU Run Time, Superconductors, Power Consumption) पर व्यापक प्रयोग, जो दिखाते हैं कि बिना $y$ के प्रशिक्षित मॉडल (पैरामीटर चयन चरण के दौरान रैंडम या जीरो लेबल्स का उपयोग करके) अपने मानक $y$-आधारित समकक्षों के समान प्रदर्शन प्राप्त करते हैं।

परिणाम (Results)

• प्रदर्शन समानता (Performance Parity): प्रयोगों में, बिना $y$ के प्रशिक्षित मॉडल्स (MSV का उपयोग करके) ने अपने मानक $y$-आधारित समकक्षों के बहुत करीब सटीकता (accuracy) और $R^2$ स्कोर प्राप्त किए। उदाहरण के लिए, MNIST पर, मानक न्यूरल नेटवर्क क्लासिफायर ने 0.82 सटीकता प्राप्त की, जबकि $y$-फ्री MSV संस्करण ने 0.75 प्राप्त किया।
• विकल्पों की विफलता: $y$-फ्री जनरलाइज्ड क्रॉस-वैलिडेशन (GCV) ने रैंडम गेसिंग (जैसे 10-क्लास समस्याओं के लिए 0.1 सटीकता) के स्तर पर प्रदर्शन किया, जो इस सैद्धांतिक निष्कर्ष की पुष्टि करता है कि इन मॉडल्स के लिए GCV को प्रभावी ढंग से $y$-फ्री नहीं बनाया जा सकता।
• रैंडम फॉरेस्ट: जबकि $y$-फ्री ट्रेनिंग अधिकांश मॉडल्स के लिए अच्छी रही, रैंडम फॉरेस्ट ने $y$-आधारित ट्रेनिंग की तुलना में बड़ा प्रदर्शन अंतर दिखाया। लेखक इसका श्रेय निर्णय वृक्ष (decision tree) के स्प्लिट्स की $y$ के वेरिएस पर निर्भरता को देते हैं, जो $y$ को रैंडम नॉइज़ से बदलने पर लुप्त हो जाता है।

महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि सुपरवाइज्ड और अनसुपरवाइज्ड लर्निंग के बीच का अंतर "उतना मौलिक नहीं है जितना कि यह प्रतीत होता है।" परिणाम बताते हुए कि प्राथमिक चुनौती इनपुट स्पेस $x$ का एक अच्छा प्रतिनिधित्व (स्मूदर $s^*$) खोजना है, जिसे लेबल्स के बिना प्राप्त किया जा सकता है। लेबल्स $y$ केवल इन पूर्व-निर्मित प्रस्तुतियों को मान (values) असाइन करने के लिए आवश्यक हैं।

दावों की विनम्रता (Modesty of Claims):
लेखक स्पष्ट रूप से कहते हैं कि वे व्यावहारिक अनुप्रयोगों में प्रशिक्षण प्रक्रिया से $y$ को बाहर करने का सुझाव नहीं दे रहे हैं। वे स्वीकार करते हैं कि:

• स्मूदर फॉर्मुलेशन डेटा के आकार के साथ खराब स्केल करता है, विशेष रूप से न्यूरल नेटवर्क के मामले में जहाँ NTK को पुनरावृत्ति से पुनर्गणना करनी पड़ती है।
• उनका तरीका मौजूदा $y$-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करने के लिए नहीं है।
• लक्ष्य केवल यह प्रदर्शित करना है कि मॉडल चयन और प्रतिनिधित्व सीखना (representation learning), लेबल जानकारी से स्वतंत्र रूप से संभव है, न कि इसे औद्योगिक तैनाती के लिए एक नया मानक बनाना।

यह कार्य एक सैद्धांतिक और अनुभवजन्य प्रदर्शन के रूप में कार्य करता है कि मॉडल चयन और प्रतिनिधित्व लर्निंग को लेबल जानकारी से अलग किया जा सकता है, जो पारंपरिक रूप से पूरे ट्रेनिंग पाइपलाइन के लिए लेबल की आवश्यकता को चुनौती देता है।