Bayesian Lottery Ticket Hypothesis

यहाँ "Bayesian Lottery Ticket Hypothesis" (कुह्न और अन्य द्वारा लिखित) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

बेयसियन न्यूरल नेटवर्क (BNNs) अनिश्चितता परिमाणीकरण (Uncertainty Quantification - UQ) के लिए सुरक्षा-महत्वपूर्ण अनुप्रयोगों में आवश्यक हैं, क्योंकि वे भार (weights) को निश्चित मानों के बजाय संभाव्यता वितरण (probability distributions) के रूप में मॉडल करते हैं। हालाँकि, BNNs अपने नियतत्ववादी (deterministic) नेटवर्कों की तुलना में भारी कम्प्यूटेशनल ओवरहेड से ग्रस्त होते हैं:

• पैरामीटर ओवरहेड: भार वितरण (जैसे माध्य $\mu$ और विचरण $\sigma$) होते हैं, जिससे पैरामीटरों की संख्या दोगुनी हो जाती है।
• कम्प्यूटेशनल लागत: प्रशिक्षण के लिए प्रत्येक फॉरवर्ड/बैकवर्ड पास में कई बार नमूने (sampling) लेने की आवश्यकता होती है, जिससे FLOPs और मेमोरी का उपयोग काफी बढ़ जाता है।
• प्रशिक्षण कठिनाई: बड़े पैमाने के BNNs को उपभोक्ता हार्डवेयर पर प्रशिक्षित करना अक्सर अव्यवहारिक होता है।

जबकि विरलता (Sparsity/Pruning) ने लॉटरी टिकट हाइपोथेसिस (LTH) के माध्यम से नियतत्ववादी नेटवर्कों में लागत को सफलतापूर्वक कम किया है—जो यह प्रस्तावित करता है कि विरल उप-नेटवर्क्स ("winning tickets") मौजूद हैं जो सघन (dense) नेटवर्क के प्रदर्शन के बराबर हो सकते हैं—यह स्पष्ट नहीं है कि क्या यह हाइपोथेसिस BNNs के लिए भी लागू होता है। विशेष रूप से, यह अज्ञात है कि:

1. क्या BNNs के भीतर ऐसे विरल उप-नेटवर्क्स मौजूद हैं जो उच्च सटीकता और अंशांकन (calibration) बनाए रखते हैं?
2. क्या इन टिकटों की पहचान करने के मानदंड नियतत्ववादी नेटवर्कों से भिन्न हैं (उदाहरण के लिए, क्या प्रूनिंग माध्य $\mu$, मानक विचलन $\sigma$, या दोनों के संयोजन पर निर्भर होनी चाहिए?)।
3. क्या इन टिकटों को खोजने की कम्प्यूटेशनल लागत को नियतत्ववादी मॉडलों से टिकटों को "ट्रांसप्लांट" (transplant) करके कम किया जा सकता है?

2. कार्यप्रणाली (Methodology)

लेखकों ने LTH के मानक इटरेटिव मैग्नीट्यूड प्रूनिंग (IMP) ढांचे को मीन-फील्ड वेरिएशनल इन्फरेंस (VI) का उपयोग करके एक बेयसियन सेटिंग में अनुवादित किया।

• मॉडल और डेटासेट: प्रयोग CIFAR-10 पर तीन आर्किटेक्चर का उपयोग करके किए गए: ResNet-18, VGG-11, और Vision Transformer (ViT-tiny)। इनके दोनों नियतत्ववादी और बेयसियन संस्करणों को प्रशिक्षित किया गया।
• BNNs के लिए प्रूनिंग रणनीतियाँ: नियतत्ववादी प्रूनिंग (जो भार के परिमाण $|w|$ का उपयोग करती है) के विपरीत, लेखकों ने BNN भार $(\mu, \sigma)$ के लिए तीन स्कोरिंग फंक्शनों का परीक्षण किया:
  1. सिग्नल-टू-नॉइज़ रेशियो (SNR): $s_{SNR} = |\mu| / \sigma$। यह उन भारों को हटाता है जो छोटे और "शोर वाले" (उच्च विचरण वाले) होते हैं।
  2. स्क्वेयर्ड-सम (Square): $s_{SS} = \sqrt{\mu^2 + \sigma^2}$। यह उन भारों को हटाता है जिनका परिमाण और विचरण दोनों कम होते हैं (जहाँ नेटवर्क "निश्चित" है कि भार शून्य के करीब है)।
  3. मीन-मैग्निट्यूड ($\mu$): $s_{\mu} = |\mu|$। यह विचरण को अनदेखा करता है और केवल माध्य पर निर्भर करता है।
• IMP चक्र: मॉडल प्रशिक्षण $\to$ प्रूनिंग $\to$ रीसेट चक्र से गुजरते हैं। प्रूनिंग के बाद, भारों को उनके मूल प्रारंभिक मान ($w_0$) पर रीसेट किया जाता है और फिर से प्रशिक्षित किया जाता है। यह 20 स्तरों की विरलता (लगभग 1.2% गैर-शून्य पैरामीटर तक) के लिए दोहराया जाता है।
• रीइनिशियलाइजेशन और शफलिंग प्रयोग: यह समझने के लिए कि "winning ticket" क्या परिभाषित करता है, लेखकों ने निम्नलिखित का परीक्षण किया:
  • वेट रीइनिशियलाइजेशन (Weight Reinitialization): मास्क को स्थिर रखते हुए, भारों को प्रायर (prior) से पुनः प्राप्त करना।
  • मास्क शफलिंग (Mask Shuffling): भारों को स्थिर रखते हुए, प्रूनिंग मास्क को बदलना (ग्लोबल, ईवन, और लेयर-वाइज शफलिंग)।
• **ट्रांसप्लांटेशन रणनीति (Transplantation Strategy):: एक विधि जो महंगे बेयसियन प्रशिक्षण लूप को बायपास करती है। लेखक एक नियतत्ववादी मॉडल (winning ticket + mask + initialization) से एक टिकट लेते हैं और उसे बेयसन मॉडल में ट्रांसप्लांट करते हैं। इसके बाद बेयसियन मॉडल को VI का उपयोग करके प्रशिक्षित किया जाता है, लेकिन पहले से पहचाने गए विरल ढांचे से शुरू करते हुए।

3. मुख्य योगदान (Key Contributions)

1. BNNs में LTH का सत्यापन: यह अध्ययन पुष्टि करता है कि लॉटरी टिकट हाइपोथेसिस बेयसियन न्यूरल नेटवर्क के लिए भी मान्य है। विरल उप-नेटवर्क्स मौजूद हैं जो अपने सघन बेयसियन समकक्षों की सटीकता के बराबर या उससे अधिक हो सकते हैं।
2. प्रूनिंग मानदंडों का विश्लेषण: लेखक पहचानते हैं कि मीन-मैग्नीट्यूड ($|\mu|$) BNNs के लिए सबसे प्रभावी प्रूनिंग मानदंड है, जो विचरण ($\sigma$) को शामिल करने वाली रणनीतियों से बेहतर या उनके बराबर प्रदर्शन करता है। यह सुझाव देता है कि पोस्टीरियर मीन (posterior mean) प्रूनिंग निर्णय में हावी रहता है।
3. आर्किटेक्चरल अंतर्दृष्टि:
   • कन्वोल्यूशनल मॉडल (ResNet/VGG): विनिंग टिकट काफी हद तक विशिष्ट लेयर-वाइज स्पर्सिटी रेशियो और प्रारंभिक भार मानों पर निर्भर करते हैं।
   • ट्रांसफॉर्मर (ViT): ये मॉडल इनिशियलाइजेशन के प्रति अत्यधिक संवेदनशील होते हैं। मास्क संरचना और प्रारंभिक भारों का विशिष्ट संयोजन महत्वपूर्ण है; इनमें से किसी भी घटक को शफल करने से प्रदर्शन नष्ट हो जाता है।
4. ट्रांसप्लांटेशन दक्षता: शोध यह प्रदर्शित करता है कि एक नियतत्ववादी लॉटरी टिकट को बेयसियन मॉडल में ट्रांसप्लांट करने से पूर्णतः प्रशिक्षित बेयसियन टिकट के समान प्रदर्शन प्राप्त होता है, और यह पूर्ण बेयसियन IMP प्रशिक्षण की तुलना में कम्प्यूटेशनल समय को ~50% कम कर देता है।

4. मुख्य परिणाम (Key Results)

• प्रदर्शन बनाम विरलता (Performance vs. Sparsity):
  • 90% विरलता तक, बेयसियन विनिंग टिकट सघन मॉडलों के समान सटीकता प्राप्त करते हैं।
  • बहुत उच्च विरलता (>98%) पर, प्रदर्शन गिर जाता है, विशेष रूप से "Square" प्रूनिंग मीट्रिक का उपयोग करने वाले VGG और ResNet मॉडल के लिए।
  • ViT-tiny ने एक अनूठा रुझान दिखाया जहाँ मध्यम विरलता (50% तक) पर बेयसियन वेरिएंट नियतत्ववादी वेरिएंट से बेहतर प्रदर्शन करते हैं, जिसके बाद गिरावट आती है।
• प्रूनिंग मीट्रिक तुलना:
  • मीन-मैग्निट्यूड ($|\mu|$) और SNR रणनीतियाँ समान और प्रभावी रहीं।
  • स्क्वेयर्ड-सम (Squared-Sum) रणनीति खराब प्रदर्शन करती है, विशेष रूप से ViT मॉडलों में, जो दर्शाता कि कम विचरण के आधार पर प्रूनिंग करना एक विश्वसनीय ह्यूरिस्टिक नहीं है।
• संरचना बनाम इनिशियलाइजेशन (Structure vs. Initialization):
  • ResNet और VGG के लिए, लेयर-वाइज शफलिंग (प्रति लेयर स्पर्सिटी रेशियो को बनाए रखते हुए मास्क को रैंडमाइज करना) और वेट रीइनिशियलाइजेशन के संयोजन ने विनिंग टिकट के करीब परिणाम दिए। इसका तात्पर्य है कि परतों में विरलता का वितरण (distribution) एक प्रमुख कारक है।
  • ViT के लिए, न तो शफलिंग और न ही रीइनिशियलाइजेशन अकेले प्रदर्शन को पुनः प्राप्त कर सके; मूल मास्क और इनिशियलाइजेशन का विशिष्ट जोड़ा आवश्यक है।
• अनिश्चितता अंशांकन (Uncertainty Calibration):
  • ResNet और ViT के लिए मीन एब्सोल्यूट कैलिब्रेशन एरर (MACE) उच्च विरलता पर आम तौर पर स्थिर रहा या उसमें सुधार हुआ, जो यह दर्शाता है कि प्रूनिंग अनिवार्य रूप से मॉडल की अनिश्चितता को मापने की क्षमता को कम नहीं करता है।
• ट्रांसप्लांटेशन दक्षता:
  • नियतत्ववादी टिकटों को BNNs में ट्रांसप्लांट करने से पूर्ण बेयसियन IMP के समान सटीकता प्राप्त हुई।
    • रनटाइम बचत: चूंकि VI प्रशिक्षण, नियतत्ववादी प्रशिक्षण की तुलना में 3–7 गुना अधिक महंगा है, और IMP प्रक्रिया के लिए 20 प्रशिक्षण चक्रों की आवश्यकता होती है, इसलिए ट्रांसप्लांटेशन विधि कुल कंप्यूट समय में लगभग 50% की बचत करती है जबकि अंशांकन लाभों को बनाए रखती है।

5. महत्व और निहितार्थ (Significance and Implications)

• बड़े पैमाने के BNNs की व्यवहार्यता: BNNs में विरल उप-नेटवर्क्स के अस्तित्व को सिद्ध करके, यह शोध सुझाव देता है कि अनिश्चितता परिमाणीकरण (uncertainty quantification) से समझौता किए बिना बड़े पैमाने के बेयसियन मॉडलों को कम्प्यूटेशनल रूप से व्यावहारिक बनाया जा सकता है।
• कुशल प्रशिक्षण प्रोटोकॉल: ट्रांसप्लांटेशन विधि एक व्यावहारिक वर्कफ़्लो प्रदान करती है: एक नियतत्ववादी नेटवर्क को "विनिंग टिकट" खोजने के लिए प्रशिक्षित करें, फिर उसे अंतिम VI अनुकूलन के लिए बेयसियन मॉडल में ट्रांसप्लांट करें। यह सीमित हार्डवेयर पर मजबूत, अनिश्चितता-जागरूक मॉडल प्रशिक्षित करने के लिए बाधाओं को काफी कम कर देता है।
• BNN डायनेमिक्स की समझ: निष्कर्षों से पता चलता है कि जबकि BNNs नियतत्ववादी नेटवर्कों के साथ LTH घटना साझा करते हैं, उनके अंतर्निहित तंत्र (जैसे, प्रूनिंग में विचरण के ऊपर माध्य का प्रभुत्व, और इनिशियलाइजेशन के प्रति ट्रांसफॉर्मर की संवेदनशीलता) भिन्न हैं, जिसके लिए विशेष रूप से तैयार की गई प्रूनिंग रणनीतियों की आवश्यकता होती है।

निष्कर्षतः, यह कार्य विरल नेटवर्क की दक्षता और बेयसियन अनुमान की मजबूती के बीच के अंतर को पाटता है, जो कुशल BNNs के प्रशिक्षण के लिए सैद्धांतिक सत्यापन और व्यावहारिक एल्गोरिदम दोनों प्रदान करता है।