Radial Basis Function Networks as Projection Heads in Self-Supervised Learning

तकनीकी सारांश: स्व-पर्यवेक्षित शिक्षण (Self-Supervised Learning) में प्रोजेक्शन हेड्स के रूप में रेडियल बेसिस फंक्शन नेटवर्क (Radial Basis Function Networks)

समस्या विवरण
मानक स्व-पर्यवेक्षित शिक्षण (SSL) पाइपलाइनों में, एक बैकबोन एनकोडर (जैसे ResNet, ViT) को एक उथले मल्टीलेयर परसेप्ट्रॉन (MLP) प्रोजेक्शन हेड के साथ जोड़ा जाता है। हालांकि MLP हेड प्रशिक्षण स्थिरता और प्रतिनिधित्व की गुणवत्ता के लिए महत्वपूर्ण है, लेकिन पारंपरिक रूप से प्री-ट्रेनिंग के बाद इसे हटा दिया जाता है। लेखक तर्क देते हैं कि प्रशिक्षित प्रोजेक्टर को हटाना कम्प्यूटेशनल और सूचनात्मक रूप से व्यर्थ है। इसके अलावा, मूल्यांकन के लिए लेबल वाले डेटा पर निर्भरता एक बाधा उत्पन्न करती है, क्योंकि यह वास्तव में अनसुपरवाइज्ड या लेबल-दुर्लभ परिदृश्यों में प्रतिनिधित्व की गुणवत्ता के आकलन को रोकता है।

कार्यप्रणाली (Methodology)
यह शोध पत्र मानक MLP प्रोजेक्शन हेड के स्थान पर रेडियल बेसिस फंक्शन नेटवर्क (RBFN) हेड का उपयोग करने का प्रस्ताव करता है। यह वास्तुशिल्प परिवर्तन दो उद्देश्यों की पूर्ति करता है: प्रतिस्पर्धी प्रतिनिधित्व शिक्षण प्रदर्शन को बनाए रखना और लेबल-मुक्त गुणवत्ता मूल्यांकन को सक्षम करना।

1. RBFN प्रोजेक्शन हेड:

   • लेखक LightlySSL फ्रेमवर्क के साथ संगत MLP हेड्स के लिए एक 'ड्रॉप-इन रिप्लेसमेंट' लागू करते हैं।
   • इस आर्किटेक्चर में रैखिक परतों (linear layers) के बाद RBF परतें शामिल हैं। गैर-रैखिकता (non-linearity) ReLU के बजाय रेडियल बेसिस फंक्शन्स (विशेष रूप से Gaussian, inverse multiquadric, multiquadric, और thin-plate spline) द्वारा प्रदान की जाती है।
   • RBF परत कर्नेल केंद्रों ($c_i$) और आकार मापदंडों ($\varepsilon_i$) को सीखती है। आउटपुट इन रेडियल बेसिस फंक्शन्स का एक रैखिक संयोजन होता है।
   • लेखक इसका परीक्षण पांच कैनोनिकल SSL आर्किटेक्चरों पर करते हैं: MoCo, SimCLR, BYOL, SwAV, और SimSiam।

2. स्केल-नॉर्मलाइज्ड सेपरेशन (SNS) मेट्रिक:

   • बिना लेबल के प्रतिनिधित्व की गुणवत्ता का मूल्यांकन करने के लिए, लेखक SNS पेश करते हैं, जो पूरी तरह से सीखे गए RBFN मापदंडों ($c_i$ और $\varepsilon_i$) से प्राप्त एक मेट्रिक है।
   • SNS केंद्रों के बीच के स्केल्स के सापेक्ष उनके "सेपरेशन" (पृथक्करण) को मापता है। यह केंद्रों के जोड़ों के बीच एक गॉसियन इंटरैक्शन एनर्जी की गणना करता है, जिसे स्पेस की डाइमेंशनलिटी और उनके शेप मापदंडों के योग द्वारा सामान्यीकृत (normalize) किया जाता है।
   • जब केंद्रों के बीच की दूरी कर्नेल के स्केल्स के साथ अच्छी तरह मेल खाती है, तब यह मेट्रिक अधिकतम होता है, जो सैद्धांतिक रूप से प्रोजेक्शन स्पेस में फीचर्स के सुव्यवस्थित क्लस्टरिंग का संकेत देता है।

3. प्रायोगिक सेटअप (Experimental Setup):

   • प्रयोग चार डेटासेट्स पर किए गए: ImageNet-100 और Google के Open Images V7 के तीन उपसमूह (10, 30, और 50 क्लासेस)।
   • RBFN हाइपरपैरामीटर्स पर एक ग्रिड सर्च किया गया, जिसमें कर्नेल्स की संख्या, प्रोजेक्टर की गहराई, नॉर्मलाइजेशन, और रेडियल बेसिस फंक्शन का प्रकार शामिल था।
   • प्रदर्शन का बेंचमार्किंग मानक लीनियर प्रोबिंग (लॉजिस्टिक रिग्रेशन) मेट्रिक्स (Accuracy, Precision, Recall, F1) के विरुद्ध किया गया।
   • SNS स्कोर और मानक लीनियर प्रोबिंग मेट्रिक्स के बीच सहसंबंध विश्लेषण (Pearson और Spearman) किया गया।

मुख्य योगदान

1. ड्रॉप-इन रिप्लेसमेंट के रूप में RBFN: लेखक यह प्रदर्शित करते हैं कि RBFN प्रोजेक्शन हेड्स पांच प्रमुख SSL आर्किटेक्चर में मानक MLP प्रोजेक्टर्स के साथ प्रतिस्पर्धी हैं, जो बिना किसी महत्वपूर्ण प्रदर्शन गिरावट के एक सीधा विकल्प के रूप में कार्य करते हैं।
2. SNS मेट्रिक: वे एक नया, लेबल-मुक्त गुणवत्ता मेट्रिक (SNS) पेश करते हैं जो स्थापित वर्गीकरण प्रदर्शन के साथ मजबूती से सहसंबंधित है। यह बैकबोन की प्रतिनिधित्व गुणवत्ता के मूल्यांकन की अनुमति देता है, जिसमें केवल स्व-पर्यवेक्षित प्रशिक्षण के दौरान सीखे गए मापदंडों का उपयोग किया जाता है।
3. हाइपरपैरामीटर दिशानिर्देश: SHAP विश्लेषण के माध्यम से, यह शोध पत्र RBFN हेड्स बनाने के लिए अनुभवजन्य सिफारिशें प्रदान करता है:
   • एक्टिवेशन के लिए Gaussian रेडियल बेसिस फंक्शन का उपयोग करें।
   • मानक दो परतों के बजाय तीन परतों वाले हेड्स का निर्माण करें (linear-RBF-linear-RBF-linear)।
   • कर्नेल्स की संख्या को आउटपुट डाइमेंशन (जैसे 128) के बराबर सेट करें।
   • अधिकांश मामलों में RBFN आर्किटेक्चर के नॉर्मलाइजेशन से बचें।
4. नया डेटासेट संसाधन: लेखक पुनरुत्पादक अनुसंधान (reproducible research) की सुविधा के लिए ImageNet-1K से अलग क्लासेस वाले PyTorch-संगत Open Images V7 उपसमूहों (10, 30, 50, 70, 100 क्लासेस) का कार्यान्वयन जारी करते हैं।

परिणाम

• प्रदर्शन समानता (Performance Parity): RBFN हेड्स ने डिफॉल्ट MLP हेड्स के समान प्रदर्शन प्राप्त किया। ImageNet-100 पर, RBFN हेड्स ने SimCLR पर MLP से थोड़ा बेहतर प्रदर्शन (+4% सटीकता) किया और अन्य डेटासेट्स पर उनके बराबर रहे। Open Images उपसमूहों पर, बड़े उपसमूहों पर RBFNs में मामूली कमी (1–3%) देखी गई, लेकिन BYOL के साथ उपयोग किए जाने पर उन्होंने MLPs को 2–4% से पीछे छोड़ दिया।
• मेट्रिक सहसंबंध: SNS मेट्रिक ने स्थापित लॉजिस्टिक रिग्रेशन मेट्रिक्स (Accuracy, F1, आदि) के साथ मजबूत से बहुत मजबूत सकारात्मक सहसंबंध (Pearson $r$ की सीमा 0.79 से 0.93 तक) प्रदर्शित किया। इन सहसंबंधों के लिए p-वैल्यू अत्यंत कम थे, जो इस परिकल्पना का समर्थन करते हैं कि SNS प्रतिनिधित्व की गुणवत्ता के लिए एक विश्वसनीय प्रॉक्सी है।
• हाइपरपैरामीटर प्रभाव: RBF फंक्शन (Gaussian) और प्रोजेक्टर गहराई (3 परतें) के चुनाव का प्रदर्शन पर सबसे महत्वपूर्ण प्रभाव पड़ा। कर्नेल्स की संख्या और नॉर्मलाइजेशन का परीक्षण किए गए रेंज के भीतर नगण्य प्रभाव रहा।

महत्व और दावे
यह शोध पत्र दावा करता है कि MLP प्रोजेक्टर्स को RBFNs से बदलने से दोहरा लाभ मिलता है: यह SSL के लिए आवश्यक उच्च प्रदर्शन को बनाए रखता है और साथ ही बिना लेबल वाले डेटा के प्रतिनिधित्व की गुणवत्ता का मूल्यांकन करने की क्षमता को अनलॉक करता है। RBFN के सीखे गए केंद्रों और आकारों की व्याख्या करके, शोधकर्ता SNS मेट्रिक के माध्यम से बैकबोन के प्रतिनिधित्व की गुणवत्ता का आकलन कर सकते हैं। लेखक इसे "कम्प्यूटेशनल रूप से व्यर्थ" प्रोजेक्टरों को हटाने से एक अधिक व्याख्या योग्य और कुशल मूल्यांकन पाइपलाइन की ओर बढ़ने के रूप में देखते हैं। वे निष्कर्ष निकालते हैं कि एक प्रशिक्षित RBFN प्रोजेक्टर बैकबोन की गुणवत्ता के लिए एक विश्वसनीय प्रॉक्सी के रूप में कार्य कर सकता है, जो संभावित रूप से स्व-पर्यवेक्षित शिक्षण में मॉडल चयन के लिए लेबल वाले टेस्ट सेट्स पर निर्भरता को कम कर सकता है।