🤖 machine learning

Fed-BAC: Federated Bandit-Guided Additive Clustering in Hierarchical Federated Learning

यह शोध पत्र Fed-BAC का प्रस्ताव करता है, जो एक पदानुक्रमित फेडेरेटेड लर्निंग फ्रेमवर्क है जो सर्वर-टू-क्लस्टर असाइनमेंट और क्लाइंट चयन को संयुक्त रूप से अनुकूलित करने के लिए एडिटिव क्लस्टर पर्सनलाइजेशन को टू-लेवल बैंडिट मैकेनिज्म के साथ एकीकृत करता है, जिससे गंभीर डेटा विषमता के तहत महत्वपूर्ण सटीकता लाभ, तेज़ अभिसरण और बेहतर निष्पक्षता प्राप्त होती है।

मूल लेखक: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

प्रकाशित 2026-05-13

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Satwat Bashir, Tasos Dagiuklas, Muddesar Iqbal

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल वैश्विक कक्षा है जहाँ हज़ारों छात्र (क्लाइंट्स) मिलकर एक विषय सीखना चाहते हैं, लेकिन वे अलग-अलग शहरों में बिखरे हुए हैं। एक पारंपरिक सेटअप में, प्रत्येक छात्र को अपना होमवर्क सीधे मुख्य शिक्षक (क्लाउड) को भेजना होगा। इससे ट्रैफिक जाम हो जाता है और शिक्षक पर काम का बोझ बढ़ जाता है।

Hierarchical Federated Learning (HFL) एक ही शहर में स्थानीय ट्यूटर्स (एज सर्वर्स) को नियुक्त करने जैसा है। स्थानीय ट्यूटर्स अपने छात्रों से होमवर्क इकट्ठा करते हैं, उसे ग्रेड देते हैं, और मुख्य शिक्षक को उसका सारांश भेजते हैं। यह ट्रैफिक को कम करता है।

हालाँकि, एक समस्या है: "एक ही नियम सबके लिए" (One-Size-Fits-All) का जाल।
वास्तविक दुनिया में, अलग-अलग शहरों के छात्र अलग-अलग तरह से सीखते हैं। कुछ गणित में बहुत अच्छे हैं लेकिन कला में कमजोर; दूसरे इसके विपरीत हैं। यदि स्थानीय ट्यूटर सभी छात्रों को बिल्कुल एक ही "औसत" पाठ्यपुस्तक से सीखने के लिए मजबूर करता है, तो गणित के जीनियस ऊब जाएंगे, और कला प्रेमी भ्रमित हो जाएंगे। इसे डेटा विषमता (Data Heterogeneity) कहा जाता है।

मौजूदा तरीके उन्हें अलग-अलग कक्षाओं (क्लस्टर्स) में बांटकर ठीक करने की कोशिश करते हैं, लेकिन वे अक्सर दो चीजें खराब तरीके से करते हैं:

वे ऐसी अलग-थलग कक्षाएं बना देते हैं जहाँ समूहों के बीच कोई ज्ञान साझा नहीं किया जाता।
वे रैंडम तरीके से छात्रों को चुनने का निर्णय लेते हैं, जिससे उन छात्रों पर समय बर्बाद होता है जो अच्छी तरह से नहीं सीख रहे हैं।

पेश है: Fed-BAC: एक स्मार्ट, अनुकूलन योग्य कक्षा

यह शोध पत्र Fed-BAC नामक एक नई प्रणाली प्रस्तावित करता है। इसे एक सुपर-स्मार्ट शैक्षिक प्रणाली के रूप में सोचें जो निर्णय लेने के लिए दो प्रकार की "जुआ खेलने की रणनीतियों" (जिन्हें बैंडिट्स कहा जाता है) का उपयोग करती है, और इसे एक अनूठे शिक्षण तरीके के साथ जोड़ती है।

1. दो-स्तरीय "जुआरी" प्रणाली (Two-Level "Gambler" System)

Fed-BAC क्लासरूम की अराजकता को हल करने के लिए दो अलग-अलग निर्णय लेने वालों का उपयोग करता है:

क्लाउड टीचर (द "कॉन्टेक्स्टुअल बैंडिट"):
कल्पना कीजिए कि मुख्य शिक्षक के पास एक जादुई क्रिस्टल बॉल है। हर कुछ हफ्तों में, मुख्य शिक्षक स्थानीय ट्यूटर्स की ओर देखता है और पूछता है: "ट्यूटर्स के कौन से समूह को मिलकर काम करना चाहिए?"
केवल अनुमान लगाने के बजाय, शिक्षक LinUCB नामक रणनीति का उपयोग करता है। यह चार संकेतों (जैसे वर्तमान समूह का प्रदर्शन, समूहों का संतुलन, आदि) को देखता है ताकि यह तय किया जा सके कि किन ट्यूटर्स को एक ही "अध्ययन समूह" में होना चाहिए। यदि कोई समूह काम नहीं कर रहा है, तो शिक्षक उन्हें एक नए समूह में पुनर्गठित कर देता है। यह सुनिश्चित करता है कि सही ट्यूटर्स मिलकर काम करें।
स्थानीय ट्यूटर (द "थॉम्पसन सैंपलिंग" पिकर):
प्रत्येक शहर के भीतर, स्थानीय ट्यूटर को अगले पाठ के लिए 10 में से 8 छात्रों को चुनने का निर्णय लेना होता है।
रैंडम तरीके से चुनने के बजाय, स्थानीय ट्यूटर थॉम्पसन सैंपलिंग (Thompson Sampling) का उपयोग करता है। इसे एक स्लॉट मशीन की तरह समझें। ट्यूटर हर छात्र के लिए एक मानसिक स्कोर रखता है। यदि किसी छात्र का होमवर्क क्लास के औसत में सुधार करता है, तो ट्यूटर उन्हें एक "जीत" देता है और अगली बार उन्हें चुनने की अधिक संभावना होती है। यदि वे संघर्ष करते हैं, तो ट्यूटर उन्हें एक "हार" देता है और किसी और को चुनता है। समय के साथ, ट्यूटर सीख जाता है कि कौन से छात्र सबसे अधिक योगदान देते हैं और उन पर ध्यान केंद्रित करता है।

2. "साझा + विशेष" पाठ्यपुस्तक (एडिटिव क्लस्टरिंग)

यह सबसे रचनात्मक हिस्सा है। अधिकांश सिस्टम या तो सभी के लिए एक बड़ी पाठ्यपुस्तक का उपयोग करते हैं या प्रत्येक समूह के लिए पूरी तरह से अलग पाठ्यपुस्तक का। Fed-BAC दोनों कार्य एक साथ करता है।

कल्पना कीजिए कि प्रत्येक छात्र को एक आधार पाठ्यपुस्तक (Base Textbook) मिलती है (द ग्लोबल नेटवर्क) जो उन सामान्य तथ्यों को कवर करती है जिनकी सभी को आवश्यकता होती है। इसके ऊपर, प्रत्येक छात्र को एक कस्टम नोटबुक (Cluster-Specific Network) मिलती है जहाँ वे अपनी स्थानीय शैली के अनुसार विशिष्ट ट्रिक्स और शॉर्टकट लिखते हैं।

यह क्यों शानदार है: "आधार पाठ्यपुस्तक" विभिन्न समूहों को सामान्य ज्ञान साझा करने की अनुमति देती है (ताकि वे पहिया दोबारा न बनाएं)। वहीं, "कस्टम नोटबुक" उन्हें उनके अद्वितीय स्थानीय अंतरों को संभालने की अनुमति देती है। यह एक सार्वभौमिक भाषा और एक स्थानीय बोली के संयोजन जैसा है।

हमें क्या पता चला? (परिणाम)

शोधकर्ताओं ने इस प्रणाली का परीक्षण तीन अलग-अलग "विषयों" (डेटासेट्स: CIFAR-10, SVFN, Fashion-MNIST) पर दो स्तरों की कठिनाई के साथ किया:

मध्यम कठिनाई: छात्र कुछ हद तक भिन्न हैं।
गंभीर कठिनाई: छात्र बहुत अधिक भिन्न हैं (कुछ पूरी तरह से विपरीत हैं)।

यहाँ क्या हुआ:

चीजें जितनी उलझेंगी, यह उतना ही बेहतर होगा: छात्र जितने अधिक अलग-अलग थे (गंभीर कठिनाई), Fed-BAC ने अन्य प्रणालियों को उतना ही बुरी तरह हराया। जहाँ अन्य सिस्टम संघर्ष कर रहे थे और उनके स्कोर गिर रहे थे, वहीं Fed-BAC के स्कोर वास्तव में ऊपर गए। इसने साबित कर दिया कि इसका "साझा + विशेष" दृष्टिकोण अव्यवस्थित, वास्तविक दुनिया के डेटा के लिए एकदम सही है।
यह एक स्पीड डेमन है: Fed-BAC अन्य तरीकों की तुलना में 1.5 से 4.8 गुना तेजी से उच्च सटीकता तक पहुँच गया। इसे सभी के पूरा होने का इंतज़ार करने की ज़रूरत नहीं पड़ी; बेहतरीन छात्रों को चुनकर (स्थानीय ट्यूटर के माध्यम से) और समूहों को कुशलतापूर्वक बदलकर (क्लाउड टीचर के माध्यम से), इसने तेज़ी से सीखा।
यह ऊर्जा बचाता है (एक तरह से): भले ही Fed-BAC ने प्रत्येक दौर में केवल 80% छात्रों को भाग लेने के लिए कहा (ऊर्जा और बैंडविड्थ बचाते हुए), फिर भी इसने उन सिस्टमों को पछाड़ दिया जिन्होंने 100% भागीदारी के लिए मजबूर किया।
निष्पक्षता: पुराने सिस्टमों में, कुछ छात्र (सर्वर) पीछे छूट जाते थे जिनके ग्रेड बहुत खराब होते थे। Fed-BAC ने यह सुनिश्चित किया कि क्लास के "सबसे खराब" छात्र का प्रदर्शन भी अन्य सिस्टमों के "औसत" छात्र से बेहतर हो।

निष्कर्ष

Fed-BAC एक ऐसी कक्षा की तरह है जो खुद को अनुकूलित करना कभी बंद नहीं करती है। यह सर्वोत्तम मिलान खोजने के लिए अध्ययन समूहों को लगातार पुनर्गठित करती है और चर्चा का नेतृत्व करने के लिए सबसे सहायक छात्रों को चुनती है। एक साझा आधार के साथ व्यक्तिगत नोट्स को जोड़कर, यह तेज़ी से सीखता है, अराजकता को बेहतर ढंग से संभालता है, और यह सुनिश्चित करता है कि कोई भी पीछे न छूटे, और यह सब पुराने तरीकों की तुलना में कम संसाधनों का उपयोग करके करता है।

तकनीकी सारांश: Fed-BAC

समस्या विवरण

Hierarchical Federated Learning (HFL) एज सर्वरों का उपयोग करके आंशिक एकत्रीकरण (partial aggregation) करता है, जिससे Multi-Access Edge Computing (MEC) परिवेश में संचार बाधाओं को कम किया जा सकता है। हालाँकि, वास्तविक दुनिया की डेटा विषमता (data heterogeneity) के मामले में मौजूदा HFL विधियाँ तीन महत्वपूर्ण सीमाओं का सामना करती हैं:

स्थिर धारणाएँ (Static Assumptions): अधिकांश विधियाँ मानती हैं कि एज सर्वरों में डेटा वितरण सजातीय (homogeneous) है, जिससे अलग-अलग लेबल वितरण वाले क्लाइंट्स के अपडेट को एकत्रित करने पर "क्लाइंट ड्रिफ्ट" और सटीकता में गिरावट (20% तक) आती है।
पृथक क्लस्टरिंग (Isolated Clustering): जबकि क्लस्टर्ड FL दृष्टिकोण (जैसे IFCA) समान क्लाइंट्स को समूहबद्ध करते हैं, वे आमतौर पर पूरी तरह से अलग मॉडल को प्रशिक्षित करते हैं, जो क्रॉस-क्लस्टर ज्ञान हस्तांतरण (knowledge transfer) को रोकता है।
अकुशल चयन (Inefficient Selection): क्लाइंट चयन अक्सर यादृच्छिक या स्थिर होता है। मौजूदा बैंडिट-आधारित दृष्टिकोण फ्लैट आर्किटेक्चर में कार्य करते हैं और तीन-स्तरीय टोपोलॉजी (क्लाउड-एज-क्लाइंट) में क्लस्टर असाइनमेंट और क्लाइंट चयन को संयुक्त रूप से अनुकूलित करने में विफल रहते हैं।

इसके अलावा, व्यक्तिगतकरण (personalization) विधियाँ जो प्रति-क्लाइंट अवशेष (residuals) बनाए रखती हैं (जैसे, Ditto, APFL), $O(N)$ पैरामीटर ओवरहेड उत्पन्न करती हैं, जो बड़े पैमाने पर अव्यवहारिक हो जाता है और तीन-स्तरीय प्रणालियों में संचार लागत को बढ़ा देता है।

कार्यप्रणाली: Fed-BAC फ्रेमवर्क

यह शोध पत्र Fed-BAC (Federated Bandit-Guided Additive Clustering) प्रस्तावित करता है, जो एक फ्रेमवर्क है जो एडिटिव क्लस्टर पर्सनलाइजेशन को दो-स्तरीय बैंडिट निर्णय लेने वाली संरचना के साथ एकीकृत करता है।

1. एडिटिव क्लस्टर पर्सनलाइजेशन (Additive Cluster Personalization)

अलग-थलग क्लस्टर मॉडल प्रशिक्षित करने के बजाय, Fed-BAC लॉगिट स्पेस में एक एडिटिव डिकंपोजिशन का उपयोग करता है। क्लस्टर $k$ में एक क्लाइंट के लिए अनुमानित लॉगिट $\hat{y}$ को इस प्रकार परिभाषित किया गया है:
$\hat{y} = h(x; \Theta_{global}) + f(x; \Theta_k)$

$\Theta_{global}$ : एक साझा ग्लोबल नेटवर्क जो सभी सर्वरों में सामान्य ज्ञान को कैप्चर करता है।
$\Theta_k$ : एक क्लस्टर-विशिष्ट नेटवर्क जो वितरण विविधताओं को कैप्चर करता है।
यह आर्किटेक्चर सभी $M$ एज सर्वरों को प्रत्येक राउंड में ग्लोबल मॉडल में योगदान करने की अनुमति देता है, जिससे क्लस्टर-विशिष्ट अवशेषों के माध्यम से विशेषज्ञता बनाए रखते हुए क्रॉस-क्लस्टर ज्ञान हस्तांतरण संभव होता है।

2. दो-स्तरीय बैंडिट फ्रेमवर्क (Two-Level Bandit Framework)

Fed-BAC तीन-स्तरीय टोपोलॉजी को संबोधित करने के लिए निर्णय लेने को दो स्तरों में विभाजित करता है:

क्लाउड स्तर (क्लस्टर असाइनमेंट): एज सर्वरों को क्लस्टर्स में गतिशील रूप से असाइन करने के लिए Contextual LinUCB का उपयोग करता है।
- कॉन्टेक्स्टुअल फीचर्स: बैंडिट चार FL-विशिष्ट फीचर्स का उपयोग करता है: लॉस रेश्यो (वर्तमान बनाम सर्वश्रेष्ठ वैकल्पिक क्लस्टर), क्लस्टर बैलेंस, असाइनमेंट स्टेबिलिटी, और ट्रेनिंग प्रोग्रेस।
- तंत्र: प्रत्येक $\tau_{re}$ राउंड में, क्लाउड प्रत्येक सर्वर की अपने वर्तमान क्लस्टर के प्रति उपयुक्तता का उसके विकल्पों के विरुद्ध मूल्यांकन करता है। यदि किसी सर्वर का लॉस रेशो कहीं और बेहतर फिट होने का संकेत देता है, तो असाइनमेंट अपडेट किया जाता है। यह "हर्ड बिहेवियर" (herd behavior) को रोकता है और सिस्टम को सक्रिय क्लस्टरों की इष्टतम संख्या ( $K \le M$ ) खोजने की अनुमति देता है।
एज स्तर (क्लाइंट चयन): प्रत्येक एज सर्वर पर भागीदारी के लिए क्लाइंट्स के एक उपसमूह ( $N_m$ में से $B$ ) को चुनने के लिए Thompson Sampling (TS) का उपयोग करता है।
- तंत्र: प्रत्येक सर्वर प्रत्येक क्लाइंट के लिए बीटा डिस्ट्रीब्यूशन प्रायर (Beta distribution prior) बनाए रखता है। सर्वर के क्लस्टर मॉडल के सिंगल-राउंड एक्यूरेसी चेंज ( $r_{TS}$ ) के आधार पर, पोस्टीरियर्स को अपडेट किया जाता है।
- लक्ष्य: उच्च योगदान देने वाले क्लाइंट्स की पहचान करना, जिससे मॉडल प्रदर्शन बनाए रखते हुए संचार ओवरहेड को कम किया जा सके।

3. प्रशिक्षण प्रोटोकॉल (Training Protocol)

सिंक्रोनस राउंड्स में सिस्टम संचालित होता है जिसमें शामिल हैं:

डिस्ट्रीब्यूशन: क्लाउड प्रत्येक एज सर्वर को $\Theta_{global}$ और विशिष्ट $\Theta_k$ भेजता है।
चयन और प्रशिक्षण: एज सर्वर TS का उपयोग करके क्लाइंट्स को चुनते हैं, जो दोनों नेटवर्क पर लोकल SGD करते हैं।
एकत्रीकरण (Aggregation):
- एज एकत्रीकरण: क्लाइंट अपडेट का वेटेड एवरेजिंग।
- क्लाउड एकत्रीकरण: दो-चरण वाला अपडेट। पहले, सभी सर्वरों से $\Theta_{global}$ का ग्लोबल एकत्रीकरण (केवल चयनित उपसमूहों के बजाय कुल सर्वर डेटा आकार का उपयोग करके)। दूसरा, प्रत्येक सक्रिय क्लस्टर के लिए $\Theta_k$ का क्लस्टर-विशिष्ट एकत्रीकरण।

मुख्य योगदान

दो-स्तरीय बैंडिट आर्किटेक्चर: एक नवीन पदानुक्रमित निर्णय प्रणाली जो क्लस्टर असाइनमेंट (क्लाउड में LinUCB) को क्लाइंट चयन (एज पर Thompson Sampling) से अलग करती है। यह प्रत्येक निर्णय के लिए उपयुक्त टाइमस्केल के अनुसार अलग-अलग अपडेट फ्रीक्वेंसी की अनुमति देता है।
एकीकृत एडिटिव पर्सनलाइजेशन: तीन-स्तरीय HFL आर्किटेक्चर के भीतर एडिटिव क्लस्टर पर्सनलाइजेशन का पहला एकीकरण। IFCA के विपरीत, जो क्लस्टरों को अलग करता है, Fed-BAC एक ग्लोबल बैकबोन साझा करता है, जिससे समूहों के बीच ज्ञान हस्तांतरण सुगम होता है।
संयुक्त अनुकूलन (Joint Optimization): फ्रेमवर्क क्लस्टर असाइनमेंट और क्लाइंट चयन को संयुक्त रूप से अनुकूलित करता है, जो उस अंतर को संबोधित करता है जहाँ मौजूदा विधियाँ इन कार्यों को अलग-अलग संभालती हैं या स्थिर कॉन्फ़िगरेशन मानती हैं।

प्रयोगात्मक परिणाम

तीन बेंचमार्क (CIFAR-10, SVHN, Fashion-MNIST) पर मध्यम ( $\alpha=0.5$ ) और गंभीर ( $\alpha=0.1$ ) डिरिचलेट नॉन-IID विभाजन के तहत प्रयोग किए गए।

सटीकता लाभ (Accuracy Gains): Fed-BAC ने HierFAVG की तुलना में +35.5 प्रतिशत अंक और IFCA की तुलना में +8.4 प्रतिशत अंक तक वितरित सटीकता लाभ प्राप्त किया।
विषमता संवेदनशीलता (Heterogeneity Sensitivity): Fed-BAC का प्रदर्शन लाभ डेटा विषमता की गंभीरता के साथ बढ़ता गया। गंभीर विषमता ( $\alpha=0.1$ ) के तहत, HierFAVG काफी गिर गया, जबकि Fed-BAC ने उच्च सटीकता बनाए रखी।
दक्षता: केवल 80% क्लाइंट भागीदारी ( $p=0.8$ ) के बावजूद, Fed-BAC डेटासेट और लक्षित सटीकता के आधार पर बेसलाइन्स की तुलना में 1.5–4.8× तेजी से अभिसरण (converge) हुआ। इस स्पीडअप के परिणामस्वरूप प्रतिनिधि सटीकता लक्ष्यों तक पहुँचने के लिए कुल संचार बाइट्स में 3.0× से 5.9× की कमी आई।
स्केलेबिलिटी: 500 क्लाइंट्स (5× स्केल) के साथ CIFAR-10 पर एक स्केलिंग अध्ययन ने पुष्टि की कि Fed-BAC, HierFAVG (+12.6pp) और IFCA (+3.3pp) पर अपना नेतृत्व बनाए रखता है, जो बड़े पैमाने पर तैनाती के लिए इसकी मजबूती को प्रमाणित करता है।
निष्पक्षता (Fairness): Fed-BAC ने बेहतर क्रॉस-सर्वर निष्पक्षता प्रदर्शित की, विशेष रूप से गंभीर विषमता के तहत, IFCA और HierFAVG की तुलना में प्रति-सर्वर सटीकता में कम विचरण (variance) दिखाया।

महत्व और दावे

शोध पत्र का दावा है कि Fed-BAC, Hierarchical Federated Learning में सांख्यिकीय विषमता और संचार दक्षता की महत्वपूर्ण चुनौतियों का समाधान करता है। एडिटिव डिकंपोजिशन (ज्ञान साझा करने में सक्षम) को बैंडिट-निर्देशित अनुकूल निर्णय (क्लस्टर संरचना और क्लाइंट भागीदारी को अनुकूलित करना) के साथ जोड़कर, यह फ्रेमवर्क मौजूदा स्टेट-ऑफ-द-आर्ट विधियों से बेहतर प्रदर्शन करता है।

लेखक इस बात पर जोर देते हैं कि एडिटिव पर्सनलाइजेशन दृष्टिकोण डेटा वितरण के अलग होने पर अधिक मूल्यवान हो जाता है, जिससे पुष्टि होती है कि एक ग्लोबल बैकबोन साझा करना और क्लस्टर-विशिष्ट अवशेषों को बनाए रखना, पूरी तरह से अलग क्लस्टरिंग की तुलना में श्रेष्ठ है। परिणाम बताते हैं कि Fed-BAC उन MEC डिप्लॉयमेंट के लिए एक स्केलेबल समाधान प्रदान करता है जहाँ डेटा विषमता गंभीर है और संचार संसाधन सीमित हैं।

शोध पत्र विनम्रतापूर्वक निष्कर्ष निकालता है, यह नोट करते हुए कि वर्तमान मूल्यांकन एकल भागीदारी दर का उपयोग करता है, और भविष्य के कार्यों को भागीदारी दरों के व्यवस्थित स्वीप, वास्तविक-दुनिया के एज हार्डवेयर टेस्टबेड, और युग्मित नॉन-स्टेशनरी बैंडिट सिस्टम के लिए औपचारिक अभिसरण गारंटी का अन्वेषण करना चाहिए।