Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning

तकनीकी सारांश: बेयसियन फेडरेटेड लर्निंग में सूचना-ज्यामितीय प्रक्षेपण के माध्यम से लागत-मुक्त वैयक्तिकरण

समस्या विवरण
बेयसियन फेडरेटेड लर्निंग (BFL) डेटा विषमता और गोपनीयता संबंधी बाधाओं को संबोधित करने के लिए अनिश्चितता मॉडलिंग को विकेंद्रीकृत प्रशिक्षण के साथ संयोजित करने का लक्ष्य रखता है। हालाँकि, मौजूदा दृष्टिकोण अक्सर गणनात्मक रूप से महंगे मार्कोव चेन मोंटे कार्लो (MCMC) सैंपलिंग या वेरिएशनल इन्फरेंस पर निर्भर करते हैं, जिसके लिए वैयक्तिकरण प्राप्त करने हेतु फाइन-ट्यूनिंग या अतिरिक्त प्रशिक्षण की आवश्यकता होती है। इसके अलावा, मानक वैयक्तिकरण तंत्र में अक्सर वैश्विक सामान्यीकरण (global generalization) और स्थानीय विशेषज्ञता (local specialization) के बीच एक सहज, ट्यूनेबल ट्रेड-ऑफ का अभाव होता है, या वे महत्वपूर्ण गणनात्मक ओवरहेड लागू करते हैं। चुनौती एक ऐसे वैयक्तिकरण पद्धति विकसित करने की है जो पैरामेट्रिक BFL के लिए पूरी तरह से निजी, गणनात्मक रूप से लागत-मुक्त हो, और उपयोगकर्ताओं को स्थानीय या साझा वैश्विक डेटा तक पहुँच प्राप्त किए बिना अनुकूलन की डिग्री को नियंत्रित करने में सक्षम हो।

कार्यप्रणाली
लेखक पैरामेट्रिक BFL सेटिंग के भीतर वैयक्तिकरण के लिए एक सूचना-ज्यामितीय प्रक्षेपण (information-geometric projection) ढांचे का प्रस्ताव करते हैं। मुख्य कार्यप्रणाली दो चरणों में संचालित होती है:

1. वेरिएशनल लर्निंग और एकत्रीकरण: ढांचा स्थानीय प्रशिक्षण के लिए 'इम्प्रूव्ड वेरिएशनल ऑनलाइन न्यूटन' (IVON) ऑप्टिमाइज़र का उपयोग करता है, जो स्थानीय पोस्टीरियर वितरण को गाऊसी वितरण (मीन-फील्ड धारणा) के रूप में अनुमानित करता है। इन स्थानीय पोस्टीरियर्स को सर्वर पर बेरसेंट्रिक एकत्रीकरण तकनीकों का उपयोग करके एकत्रित किया जाता है, विशेष रूप से एम्पेरिकल अरिथमेटिक एकत्रीकरण (EAA), रिवर्स KL (RKL) बेरसेंटर, और वासरस्टीन-2 (W2) बेरसेंटर का अन्वेषण किया जाता है।
2. सूचना-ज्यामितीय प्रक्षेपण: वैयक्तिकरण को एक प्रक्षेपण समस्या के रूप में तैयार किया गया है। एक वैश्विक पोस्टीरियर वितरण $p_g$ और एक स्थानीय पोस्टीरियर $p_k$ को देखते हुए, विधि $p_g$ को $p_k$ पर केंद्रित एक "स्थानीय गोले" $S_k$ पर प्रोजेक्ट करती है, जिसका त्रिज्या $r_k$ है। गोला एक डाइवर्जेंस फंक्शन $D$ (जैसे, KL डाइवर्जेंस या वासरस्टीन दूरी) द्वारा परिभाषित है। त्रिज्या $r_k$ वैयक्तिकरण की वांछित डिग्री को कूटबद्ध करती है: एक छोटा त्रिज्या समाधान को स्थानीय मॉडल के करीब धकेलता है, जबकि एक बड़ा त्रिज्या वैश्विक मॉडल के अधिक प्रभाव की अनुमति देता है।

मुख्य सैद्धांतिक योगदान
इस शोध पत्र का एक केंद्रीय सैद्धांतिक परिणाम प्रोजेक्शन समस्या और भारित बेरसेंटर (weighted barycenter) की गणना के बीच समानता है। लेखक सिद्ध करते हैं कि किसी भी डाइवर्जेंस फंक्शन के लिए जो अपने पहले तर्क (first argument) में उत्तल (convex) है, वैश्विक पोस्टीरियर को स्थानीय गोले पर प्रोजेक्ट करने का समाधान वैश्विक और स्थानीय पोस्टीरियर्स के भारित बेरसेंटर की गणना करने के समान है।

• क्लोज्ड-फॉर्म समाधान: यह समानता विशिष्ट डाइवर्जेंस (जैसे, RKL और Wasserstein-2) के लिए क्लोज्ड-फॉर्म समाधानों के व्युत्पन्न की अनुमति देती है, जो गाऊसी धारणा के तहत काम करते हैं।
• लागत-मुक्त प्रकृति: क्योंकि समाधान मौजूदा पोस्टीरियर्स का एक भारित बेरसेंटर है, इसलिए वैयक्तिकरण चरण के लिए किसी अतिरिक्त प्रशिक्षण, फाइन-ट्यूनिंग या कच्चे डेटा की आवश्यकता नहीं होती है। यह मॉडल मापदंडों (मीन और कोवेरिएंस) पर एक शुद्ध पोस्ट-प्रोसेसिंग चरण है।
• सहज नियंत्रण: प्रोजेक्शन स्फीयर की त्रिज्या बेरसेंट्रिक फॉर्मूलेशन में लैग्रेंजियन मल्टीप्लायर $\lambda$ के व्युत्क्रमानुपाती है। यह उपयोगकर्ताओं को स्थानीय अनुकूलन और वैश्विक सामान्यीकरण के बीच ट्रेड-ऑफ को ट्यून करने के लिए एक सहज तंत्र प्रदान करता है।

प्रायोगिक परिणाम
प्रस्तावित विधि का मूल्यांकन तीन इमेज क्लासिफिकेशन बेंचमार्क (FashionMNIST, SVHN, CIFAR-10) पर किया गया, जहाँ डेटा वितरण को डिरिचलेट-आधारित लेबल शिफ्ट के माध्यम से गैर-i.i.d. बनाया गया।

• प्रदर्शन ट्रेड-ऑफ: प्रयोगों ने $\lambda$ द्वारा नियंत्रित एक सुसंगत ट्रेड-ऑफ प्रदर्शित किया। जैसे-जैसे $\lambda$ बढ़ता है (स्थानीय मॉडल की ओर बढ़ते हुए), स्थानीय सटीकता और कैलिब्रेशन में सुधार होता है, जबकि वैश्विक सामान्यीकरण कम हो जाता है। इसके विपरीत, निम्न $\lambda$ मान वैश्विक प्रदर्शन को प्राथमिकता देते हैं।
• स्टेट-ऑफ-द-आर्ट के साथ तुलना: प्रस्तावित विधि ($\lambda=1$ के साथ) की तुलना FedAvg, pFedBayes, FedPop, और pFedVEM सहित बेसलाइन से की गई।
  • स्थानीय प्रदर्शन: विधि ने स्थानीय क्लाइंट डेटा पर प्रतिस्पर्धी या बेहतर सटीकता, कैलिब्रेशन (एक्सपेक्टेड कैलिब्रेशन एरर - ECE), और अनिश्चितता मात्रा निर्धारण (नेगेटिव लॉग-लाइक्लीहुड - NLL) प्राप्त की।
  • वैश्विक प्रदर्शन: कई वैयक्तिकृत विधियों के विपरीत, जो क्लाइंट-विशिष्ट वितरणों के प्रति ओवरफिटिंग से ग्रस्त होती हैं, प्रस्तावित विधि ने मजबूत वैश्विक सामान्यीकरण बनाए रखा, जिसने सभी डेटासेट्स पर वैश्विक सटीकता, ECE और NLL में बेसलाइन को पीछे छोड़ दिया।
  • निष्पक्षता: विधि द्वारा निर्मित वैश्विक मॉडल ने स्टेट-ऑफ-द-आर्ट दृष्टिकोणों की तुलना में क्लाइंट्स के लिए तुलनीय औसत और सबसे खराब स्थिति (निचले 10%) की सटीकता दिखाई, जो क्लाइंट-स्तरीय निष्पक्षता में मजबूती का सुझाव देती है।

महत्व और दावे
यह शोध पत्र दावा करता है कि इसका प्राथमिक महत्व एक लागत-मुक्त और पूरी तरह से निजी वैयक्तिकरण तंत्र प्रदान करने में निहित है। सूचना ज्यामिति का लाभ उठाते हुए, यह विधि वैयक्तिकरण को प्रशिक्षण प्रक्रिया से अलग करती है, जिसके लिए केवल वैश्विक और स्थानीय पोस्टीरियर वितरणों तक पहुँच की आवश्यकता होती है। लेखक इस बात पर जोर देते हैं कि यह दृष्टिकोण:

1. अतिरिक्त प्रशिक्षण, फाइन-ट्यूनिंग या डेटा साझाकरण की आवश्यकता को समाप्त करता है।
2. प्रोजेक्शन रेडियस (या बेरसेंट्रिक वेट्स) के माध्यम से वैयक्तिकरण की डिग्री पर एक सैद्धांतिक रूप से आधारित, व्याख्या योग्य नियंत्रण प्रदान करता है।
3. मौजूदा BFL वैयक्तिकरण तकनीकों की तुलना में स्थानीय विशेषज्ञता और वैश्विक सामान्यीकरण के बीच एक बेहतर संतुलन प्राप्त करता है।
4. पैरामेट्रिक BFL से परे विस्तार करता है, जिसमें डोमेन अनुकूलन और निरंतर शिक्षण (continual learning) परिदृश्यों में संभावित अनुप्रयोगशीलता है, जहाँ मॉडलों को कैटास्ट्रोफिक फॉरगेटिंग के बिना नए डेटा के अनुकूल होना चाहिए, जैसा कि व्यापक प्रयोज्यता अनुभाग में चर्चा की गई है।

यह कार्य एक एकीकृत ढांचा प्रदान करता है जो ज्यामितीय प्रक्षेपण और बेरसेंट्रिक एकत्रीकरण को जोड़ता है, जो विषम फेडरेटेड वातावरण में व्यक्तिगत बेयसियन लर्निंग के लिए एक स्केलेबल समाधान पेश करता है।