Prediction-Only Distillation in Linear and Logistic Regression

तकनीकी सारांश: रैखिक और लॉजिस्टिक रिग्रेशन में प्रेडिक्शन-ओनली डिस्टिलेशन (केवल भविष्यवाणी-आधारित आसवन)

समस्या विवरण
मानक सेल्फ-डिस्टिलेशन (SD) में आमतौर पर एक स्टूडेंट मॉडल को टीचर के मूल लेबल वाले प्रशिक्षण डेटा पर पुन: प्रशिक्षित किया जाता है। हालाँकि, कई व्यावहारिक परिनियोजन (deployment) परिदृश्यों में, गोपनीयता, भंडारण या सुरक्षा बाधाओं के कारण मूल लेबल वाला प्रशिक्षण डेटा उपलब्ध नहीं होता है। इन "प्रेडिक्शन-ओनली" व्यवस्थाओं में, विशेषज्ञों के पास केवल एक प्रशिक्षित प्रेडिक्टर (टीचर) और ताज़ा, संभावित रूप से आउट-ऑफ-डिस्ट्रीब्यूशन (OOD) अनलेबल कोवेरियेट्स (covariates) का एक प्रवाह होता है। यहाँ केंद्रीय प्रश्न यह है कि क्या ऐसे ताज़ा, अनलेबल डेटा का उपयोग एक निश्चित प्रेडिक्टर को बेहतर बनाने के लिए किया जा सकता है, जब मूल प्रशिक्षण डेटा और टीचर के विशिष्ट रेगुलराइजेशन पैरामीटर अज्ञात हों।

कार्यप्रणाली
लेखक एक प्रेडिक्शन-मिक्सड सेल्फ-डिस्टिलेशन (PMSD) फ्रेमवर्क प्रस्तावित करते हैं। इस प्रक्रिया में तीन चरण शामिल हैं:

1. प्योर डिस्टिलेशन (PD): एक स्टूडेंट मॉडल को टीचर के प्रेडिक्शन को 'स्यूडो-लेबल्स' (pseudo-labels) के रूप में उपयोग करके ताज़ा अनलेबल कोवेरियेट्स पर प्रशिक्षित किया जाता है। इससे एक "प्योर-डिस्टिल्ड" स्टूडेंट प्राप्त होता है।
2. एफाइन मिक्सिंग (Affine Mixing): केवल PD स्टूडेंट को तैनात करने के बजाय, अंतिम प्रेडिक्टर का निर्माण टीचर के प्रेडिक्शन और PD स्टूडेंट के प्रेडिक्शन के एक एफाइन संयोजन (affine combination) के रूप में किया जाता है: $f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$। यहाँ मिक्सिंग वेट $\xi$ एक वास्तविक-मान वाला पैरामीटर है जिसे $[0, 1]$ अंतराल तक सीमित करने की आवश्यकता नहीं है।
3. कैलिब्रेशन (Calibration): चूँकि इष्टतम मिक्सिंग वेट अज्ञात जनसंख्या मात्राओं पर निर्भर करता है, लेखक इसे एक छोटे, स्वतंत्र लेबल वाले कैलिब्रेशन सेट का उपयोग करके अनुमानित करने का प्रस्ताव देते हैं। यह अनुमान मॉडलों को पुन: प्रशिक्षित किए बिना, एक एकल पोस्ट-ट्रेनिंग चरण में किया जाता है।

सैद्धांतिक विश्लेषण प्रोपोर्शनल एसिम्प्टोटिक्स ($n, p \to \infty$ जहाँ $p/n$ स्थिर है) के तहत दो सेटिंग्स के लिए किया गया है:

• रिज रिग्रेशन (Ridge Regression): इसे सामान्य एनिसोट्रोपिक (anisotropic) कोवेरियेंस संरचनाओं और डिटर्मिनिस्टिक सिग्नल्स के तहत विश्लेषित किया गया है। लेखक इष्टतम मिक्सिंग वेट और परिणामी प्रेडिक्शन रिस्क के लिए डिटर्मिनिस्टिक इक्वीवलेंट्स (deterministic equivalents) प्राप्त करते हैं।
• लॉजिस्टिक रिग्रेशन (Logistic Regression): इसे बाइनरी क्लासिफिकेशन सेटिंग में हार्ड स्यूडो-लेबल्स के साथ विश्लेषित किया गया है, जो टीचर की एरर रेट अधिक होने (50% से भी अधिक) की स्थितियों में भी विश्लेषण का विस्तार करता है।

मुख्य योगदान

1. PMSD रिस्क का सैद्धांतिक लक्षण वर्णन: यह शोध पत्र रिज रिग्रेशन के लिए इष्टतम PMSD मिक्सिंग वेट और रिस्क के सटीक ओरकल आइडेंटिटीज और डिटर्मिनिस्टिक इक्वीवलेंट्स प्राप्त करता है। ये परिणाम सामान्य एनिसोट्रोपिक कोवेरियंसेस के लिए मान्य हैं जहाँ ताज़ा कोवेरियेट्स, टीचर के प्रशिक्षण डेटा की तुलना में अलग वितरण (लेकिन कम्यूटिंग कोवेरियेंस मैट्रिसेस) वाले हो सकते हैं।
2. कठोर सुधार गारंटी (Strict Improvement Guarantees): लेखक सिद्ध करते हैं कि लगभग हर टीचर और स्टूडेंट रेगुलराइजेशन लेवल के लिए, इष्टतम रूप से मिश्रित PMSD स्टूडेंट, टीचर से बेहतर प्रदर्शन करता है। यह तब भी प्रभावी है जब:
   • ताज़ा कोवेरियेट्स आउट-ऑफ-डिस्ट्रीब्यूशन (जैसे, आइसोट्रोपिक गॉसियन वितरण से नमूने) हों।
   • टीचर का रेगुलराइजेशन लेवल अज्ञात या उप-इष्टतम (suboptimal) हो।
   • स्टूडेंट का रेगुलराइजेशन इष्टतम रूप से ट्यून नहीं किया गया हो।
     अपवाद केवल विशिष्ट, परिमित "डीजेनरेसी" बिंदुओं पर होते हैं जहाँ रिस्क समान होते हैं।
3. अनलेबल डेटा की नॉन-मोनोटोनिसिटी (Non-Monotonicity): सहज ज्ञान के विपरीत, यह शोध पत्र प्रदर्शित करता है कि ताज़ा अनलेबल डेटा की मात्रा बढ़ाने से प्रदर्शन में निरंतर सुधार नहीं होता है। सेम-$\lambda$ आइसोट्रोपिक सेटिंग में, इष्टतम PMSD रिस्क अनलेबल सैंपल साइज के संबंध में यूनिमोडल (unimodal) है; एक निश्चित बिंदु से अधिक डेटा जोड़ने से प्रदर्शन घट सकता है।
4. पुनः प्रशिक्षण के बिना सुसंगत कैलिब्रेशन: लेखक दिखाते हैं कि इष्टतम मिक्सिंग वेट को केवल अनलेबल डेटा से पहचाना नहीं जा सकता (एक सूचना-सैद्धांतिक सीमा)। हालाँकि, वे सिद्ध करते हैं कि एक छोटा स्वतंत्र लेबल वाला कैलिब्रेशन सेट एकल पोस्ट-हॉक चरण में इष्टतम वेट का सुसंगत अनुमान लगाने की अनुमति देता है, जिसमें किसी अतिरिक्त मॉडल फिटिंग की आवश्यकता नहीं होती है।
5. लॉजिस्टिक्स रिग्रेशन लाभ: स्क्वेयर्ड लॉस से आगे बढ़ते हुए, यह शोध पत्र दिखाता है कि प्रेडिक्शन मिक्सिंग लॉजिस्टिक रिग्रेशन में टीचर और प्योर-डिस्टिल्ड स्टूडेंट दोनों से बेहतर प्रदर्शन कर सकती है। विशेष रूप से, भले ही टीचर और PD स्टूडेंट दोनों वास्तविक लेबल को रिकवर करने में विफल रहें (उच्च-शोर वाले शासन में 0% सटीकता प्राप्त करते हुए), PMSD स्टूडेंट मिक्सिंग वेट के माध्यम से एक्सट्रपलेशन (extrapolate) करके 100% जनसंख्या सटीकता प्राप्त कर सकता है।

परिणाम

• अनुभवजन्य सत्यापन (Empirical Validation): वास्तविक दुनिया के डेटासेट्स (UCI Blog Feedback, Communities and Crime, Airfoil) और सिंथेटिक डेटा पर प्रयोग सैद्धांतिक भविष्यवाणियों की पुष्टि करते हैं। PMSD स्टूडेंट विभिन्न रेगुलराइजेशन स्तरों और कोवेरियेंस संरचनाओं (आइसोट्रोपिक और AR1 सहित) में टीचर और PD स्टूडेंट दोनों की तुलना में लगातार कम स्क्वेयर्ड प्रेडिक्शन रिस्क प्राप्त करता है।
• OOD के प्रति मजबूती: यह विधि तब भी प्रभावी रहती है जब ताज़ा कोवेरियेट्स को टीचर के प्रशिक्षण वितरण से भिन्न आइसोट्रोपिक वितरण से लिया जाता है।
• वर्गीकरण प्रदर्शन: करप्टेड लेबल्स के साथ Caltech-101, Caltech-256 और CIFAR-100 पर लीनियर प्रोबिंग प्रयोगों में, PMSD लगातार टीचर और PD स्टूडेंट की तुलना में टेस्ट एक्यूरेसी में सुधार करता है। इष्टतम मिक्सिंग वेट अक्सर $[0, 1]$ के बाहर होते हैं, जो एफाइन (affine) के बजाय कॉनवेक्स (convex) संयोजनों के उपयोग को प्रमाणित करते हैं।

महत्व और दावे
यह शोध पत्र दावा करता है कि प्रेडिक्शन-ओनली डिस्टिलेशन, डेटा-सीमित वातावरण में निश्चित प्रेडिक्टर्स को बेहतर बनाने के लिए एक सैद्धांतिक रूप से ठोस और व्यावहारिक रूप से व्यवहार्य तरीका प्रदान करता है। इसका महत्व निम्नलिखित में निहित है:

• डेटा अंतराल को पाटना: जब मूल प्रशिक्षण डेटा तक पहुँच अनुपलब्ध हो, तो मॉडलों को अनुकूलित करने के लिए एक तंत्र प्रदान करना, जो वास्तविक दुनिया के परिनियोजन में एक सामान्य बाधा है।
• जेनेरिक सुधार: यह स्थापित करना कि टीचर पर सख्त सुधार एक जेनेरिक गुण है, जो फाइन-ट्यून हाइपरपैरामीटर्स या विशिष्ट वितरण संरेखण (distributional alignments) पर निर्भर नहीं है।
• परिचालन दक्षता: यह प्रदर्शित करना कि डिस्टिलेशन के लाभ न्यूनतम कम्प्यूटेशनल ओवरहेड (वन-शॉट कैलिब्रेशन) के साथ और ताज़ा डेटा के लिए ग्राउंड-ट्रुथ लेबल्स तक पहुँच के बिना प्राप्त किए जा सकते हैं।
• सैद्धांतिक नवीनता: "सेम-X" सेल्फ-डिस्टिलेशन साहित्य की धारणा को चुनौती देना, यह प्रकट करते हुए कि ताज़ा-X सेटिंग में सैंपल साइज और रिस्क के बीच एक नॉन-मोनोटोनिक संबंध होता है।

लेखक इस कार्य को मौजूदा "सेम-X" सेल्फ-डिस्टिलेशन साहित्य के पूरक के रूप में देखते हैं, यह रेखांकित करते हुए कि जबकि सेम-X विधियाँ मूल डेटा दिए जाने पर इष्टतम प्रदर्शन प्राप्त कर सकती हैं, PMSD केवल टीचर के प्रेडिक्शन और ताज़ा कोवेरियेट्स के आधार पर सर्वोत्तम संभव सुधार प्रदान करता है।