🤖 machine learning

HeteRo-Select: Informativeness as the Participation Driver in Heterogeneous Federated Learning

HeteRo-Select एक हेटेरोजेनियस फेडरेटेड लर्निंग फ्रेमवर्क है जो क्लाइंट चयन, संपीड़न और एकत्रीकरण के लिए बैंडविड्थ के ऊपर डेटा सूचनात्मकता को प्राथमिकता देता है, जिससे विविध मॉडल स्केल्स और नॉन-IID स्थितियों में प्रभावी विषमता और संचार ओवरहेड को प्रमाणित रूप से कम करते हुए अभिसरण (convergence) को तेज करता है।

मूल लेखक: Md. Akmol Masud, Md Abrar Jahin, Mahmud Hasan

प्रकाशित 2026-06-17

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Md. Akmol Masud, Md Abrar Jahin, Mahmud Hasan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल सामूहिक प्रोजेक्ट है जहाँ 100 छात्र (क्लाइंट्स) मिलकर एक पहेली सुलझाने की कोशिश कर रहे हैं ताकि एक एकल, पूर्ण मॉडल बनाया जा सके। वे गोपनीयता नियमों के कारण अपने वास्तविक पहेली के टुकड़ों (लोकल डेटा) को साझा नहीं कर सकते क्योंकि वे केवल अपने "विचारों" या "सुधारों" (ग्रेडिएंट्स) को एक केंद्रीय शिक्षक (सर्वर) को भेज सकते हैं।

समस्या यह है कि ये छात्र बहुत अलग हैं:

कुछ का इंटरनेट धीमा है (लो बैंडविड्थ)।
कुछ के पास शक्तिशाली कंप्यूटर हैं (तेज़ प्रोसेसिंग)।
कुछ के पास बहुत ही अनोखे पहेली के टुकड़े हैं जो किसी और के पास नहीं हैं (नॉन-IID डेटा), जबकि अन्य के पास ऐसे टुकड़े हैं जो बाकी सभी के पास पहले से ही मौजूद हैं।

पुराना तरीका: "स्पीड लिमिट" दृष्टिकोण

अधिकांश पिछले सिस्टम में (जैसे कि FedCG नामक सिस्टम), शिक्षक यह तय करता था कि कौन बोलेगा और वे कितना बोल सकते हैं, लेकिन यह निर्णय केवल उनके इंटरनेट की गति के आधार पर लिया जाता था।

यदि किसी छात्र का इंटरनेट तेज़ है, तो वह एक लंबा, विस्तृत पत्र भेज सकता है।
यदि किसी छात्र का इंटरनेट धीमा है, तो उसे एक छोटा, अत्यधिक संक्षिप्त नोट भेजने के लिए मजबूर किया जाता है।

दोष: यह तब एक आपदा पैदा करता है जब सबसे अनोखे और महत्वपूर्ण पहेली के टुकड़े रखने वाला छात्र संयोग से सबसे धीमे इंटरनेट वाला होता है। सिस्टम उन्हें उनके सबसे मूल्यवान विचारों को एक छोटे से नोट में समेटने के लिए मजबूर करता है, जिससे महत्वपूर्ण जानकारी नष्ट हो जाती है। इस बीच, तेज़ इंटरनेट वाले छात्र, जिनके पास उबाऊ और दोहराव वाला डेटा है, एक बड़ा पत्र भेज पाते हैं। अंततः शिक्षक गलत लोगों से सीख रहा होता है।

नया तरीका: HeteRo-Select (एक "वैल्यू-बेस्ड" दृष्टिकोण)

लेखक HeteRo-Select प्रस्तावित करते हैं, जो एक नया सिस्टम है जो नियम पुस्तिका को बदल देता है। यह पूछने के बजाय कि "आपका इंटरनेट कितना तेज़ है?", यह पूछता है, "आपकी जानकारी कितनी मूल्यवान है?"

यह इस प्रकार काम करता है, एक सरल उपमा का उपयोग करते हुए:

1. "इन्फॉर्मेटिवनेस स्कोर" (रिपोर्ट कार्ड)

प्रोजेक्ट के हर राउंड से पहले, शिक्षक प्रत्येक छात्र को चार चीजों के आधार पर एक स्कोर देता है:

उन्हें अभी कितना सीखने की आवश्यकता है: यदि कोई छात्र पहेली के एक विशिष्ट भाग के साथ संघर्ष कर रहा है, तो उनका इनपुट बहुत मूल्यवान है।
वे कितने अलग हैं: यदि किसी छात्र के विचार समूह के वर्तमान औसत से पूरी तरह अलग हैं, तो वे एक नया दृष्टिकोण लाते हैं।
निष्पक्षता (Fairness): यदि किसी छात्र ने कुछ समय से बात नहीं की है, तो उन्हें एक बोनस मिलता है ताकि उन्हें हमेशा के लिए अनदेखा न किया जाए।
स्टेलेनेस (Staleness): यदि उन्हें बोलने में काफी समय बीत गया है, तो उन्हें "जल्द वापस आएं" का बोनस मिलता है।

2. तीन बड़े निर्णय

यह एकल स्कोर तीन महत्वपूर्ण निर्णयों को संचालित करता है:

किसे बोलने का मौका मिलेगा? उच्च स्कोर वाले छात्रों के चुने जाने की संभावना अधिक होती है।
वे कितना बोल सकते हैं? उच्च-स्काेर वाले छात्रों को अधिक विवरण भेजने के लिए एक बड़ा "बजट" मिलता है। कम-स्कोर वाले छात्र कम भेजते हैं।
शिक्षक उनकी कितनी बात सुनेगा? जब शिक्षक सभी के नोट्स को मिलाता है, तो उच्च-स्कोर वाले छात्रों के नोट्स पर अधिक ध्यान दिया जाता है।

3. "स्पीड लिमिट" सुरक्षा जाल

क्या इसका मतलब यह है कि धीमे इंटरनेट वाले छात्रों को अनदेखा कर दिया जाता है? नहीं।
यह सिस्टम अभी भी इंटरनेट की गति का सम्मान करता है, लेकिन केवल एक कठोर सीमा (Hard Ceiling) के रूप में।

उपमा: कल्पना कीजिए कि एक उच्च-मूल्य वाले छात्र के पास बताने के लिए बहुत महत्वपूर्ण समाचार है, लेकिन उनका इंटरनेट धीमा है। सिस्टम कहता है, "आप अभी सबसे महत्वपूर्ण व्यक्ति हैं, इसलिए हम आपकी जितनी संभव हो सके उतनी खबरें भेजने की कोशिश करेंगे। लेकिन यदि आपका इंटरनेट एक बार में सब कुछ भेजने के लिए बहुत धीमा है, तो हम बाकी हिस्से को एक 'वेटिंग रूम' (एरर बफ़र) में रखेंगे और कनेक्शन अनुमति मिलते ही उसे भेज देंगे।"
स्पीड लिमिट सिस्टम को क्रैश होने से रोकती है, लेकिन यह तय नहीं करती कि कौन महत्वपूर्ण है।

परिणाम: प्रयोगों में क्या हुआ?

लेखकों ने इसे कई "पहेलियों" (डेटासेट) पर परखा, जिनमें साधारण संख्या पहचान (MNIST) से लेकर जटिल छवि पहचान (CIFAR-10, TinyImageNet) तक शामिल थे।

तेजी से पूर्णता: CIFAR-10 डेटासेट पर, नए सिस्टम ने पुराने स्पीड-आधारित सिस्टम की तुलना में लक्ष्य सटीकता 1.78 गुना तेज़ी से प्राप्त की।
कम डेटा ट्रैफिक: समान परिणाम प्राप्त करने के लिए इसने 18% कम डेटा का उपयोग किया।
एक ही आकार सबके लिए उपयुक्त: एक छोटे मॉडल (7,850 पैरामीटर्स) और एक विशाल मॉडल (11 मिलियन पैरामीटर्स) दोनों के लिए एक ही सेटिंग्स बिना किसी री-ट्यूनिंग के पूरी तरह से काम कर गईं।
"वर्स्ट केस" टेस्ट: लेखकों ने जानबूझकर एक ऐसी स्थिति बनाई जहाँ सबसे महत्वपूर्ण छात्रों का इंटरनेट सबसे धीमा था। इस सबसे खराब स्थिति में भी, HeteRo-Select पुराने सिस्टम की तुलना में तेजी से और कम डेटा के साथ काम पूरा करने में सफल रहा।

"सीक्रेट सॉस" विवरण

"कर्वेचर" ट्रिक: डेटा को कंप्रेस करते समय, सिस्टम केवल सबसे बड़ी संख्याओं को नहीं चुनता है। कुछ विशिष्ट परतों (layers) पर, यह एक गणितीय ट्रिक (Hutchinson estimate) का उपयोग करता है ताकि यह पता लगाया जा सके कि कौन सी संख्याएँ परिवर्तन के प्रति सबसे अधिक संवेदनशील हैं, जिससे यह सुनिश्चित हो सके कि सबसे महत्वपूर्ण विवरण सुरक्षित रहें।
लर्निंग रेट: लेखकों ने पाया कि यदि वे उच्च-स्कोर वाले छात्रों को स्थानीय स्तर पर तेजी से सीखने के लिए भी प्रेरित करते, तो वास्तव में इससे चीजें खराब हो जातीं (वे लक्ष्य से आगे निकल जाते)। स्कोर क्या भेजना है यह तय करने के लिए सबसे अच्छा काम करता है, न कि यह कि कितनी कड़ी मेहनत से पढ़ाई करनी है।

सारांश

HeteRo-Select एक स्मार्ट शिक्षक की तरह है जो छात्रों के फोन की गति को अनदेखा करता है और इसके बजाय उनके विचारों की गुणवत्ता पर ध्यान केंद्रित करता है। यह सुनिश्चित करता है कि सबसे अनूठे और सहायक विचारों को प्राथमिकता दी जाए, भले ही उन्हें भेजने वाला छात्र धीमे कनेक्शन पर हो। ऐसा करके, समूह पहेली को तेज़ी से हल करता है, कम डेटा का उपयोग करता है, और उस जाल से बचता है जहाँ केवल धीमी नेटवर्क के कारण सबसे मूल्यवान योगदानकर्ताओं को अनदेखा कर दिया जाता है।

तकनीकी सारांश: HeteRo-Select

समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) सिस्टम पारंपरिक रूप से लिंक स्पीड (बैंडविड्थ) और डिवाइस क्षमता के आधार पर ग्रेडिएंट कंप्रेशन (gradient compression) आवंटित करते हैं। हालांकि यह तब प्रभावी होता है जब बैंडविड्थ डेटा की सूचनात्मकता (informativeness) के साथ सह-संबंधित हो, लेकिन यह धारणा नॉन-IID (non-independent and identically distributed) डेटा स्थितियों के तहत विफल हो जाती है। वास्तविक दुनिया के एज नेटवर्क्स में, जिन क्लाइंट्स के पास अत्यधिक कम प्रतिनिधित्व वाला स्थानीय डेटा (उच्च सांख्यिकीय सूचनात्मकता) होता है, वे अक्सर कम-बैंडविड्थ वाले कनेक्शनों पर संचालित होते हैं। एक क्षमता-संचालित एलोकेटर (जैसे कि अत्याधुनिक FedCG) अनजाने में इन महत्वपूर्ण क्लाइंट्स को सबसे आक्रामक कंप्रेशन असाइन कर देता है, जिससे सांख्यिकीय रूप से महत्वपूर्ण ग्रेडिएंट कोऑर्डिनेट्स को हटा दिया जाता है और संरचनात्मक सूचना हानि (structural information loss) होती है। सिस्टम बाधाओं और सांख्यिकीय उपयोगिता के बीच यह बेमेल सामंजस्य कन्वर्जेंस (convergence) और दक्षता को कम कर देता है।

कार्यप्रणाली (Methodology): HeteRo-Select

यह शोध पत्र HeteRo-Select का प्रस्ताव करता है, जो कंप्रेशन के प्राथमिक चालक के रूप में बैंडविड्थ के बजाय एक प्रति-क्लाइंट सूचनात्मकता स्कोर ( $S_k$ ) का उपयोग करता है। स्ट्रैगलर लेटेंसी (straggler latency) को रोकने के लिए बैंडविड्थ को केवल एक 'हार्ड सीलिंग' (hard ceiling) के रूप में रखा गया है। यह फ्रेमवर्क तीन संचार निर्णयों को एक एकल सामान्यीकृत स्कोर में एकीकृत करता है:

कम्पोजिट इन्फॉर्मेटिवनेस स्कोर ( $S_k$ ):
यह स्कोर चार घटकों का भारित योग (weighted sum) है, जिसे $[0, 1]$ तक मिन्-मैक्स नॉर्मलाइज किया गया है:
- लॉस इन्फॉर्मेटिवनेस ( $V'_k$ ): नॉर्मलाइज्ड लोकल लॉस, जो कन्वर्जेंस से दूरी के प्रॉक्सी के रूप में कार्य करता है।
- ग्रेडिएंट-डायरेक्शन डाइवर्सिटी ( $D_k$ ): क्लाइंट के हालिया ग्रेडिएंट और सर्वर के रनिंग एवरेज के बीच कोणीय अंतर (angular difference) को मापता है। यह एक प्राइवेसी-सेफ प्रॉक्सी के रूप में कम-प्रतिनिधित्व वाले डेटा वितरण के रूप में कार्य करता है।
- फेयरनेस ( $F'_k$ ): ओवर-सिलेक्टेड क्लाइंट्स के लिए एक योगात्मक दंड (additive penalty) और अंडर-सिलेक्टेड क्लाइंट्स के लिए एक बोनस, ताकि स्टार्वेशन (starvation) को रोका जा सके।
- स्टेलेनेस ( $St'_k$ ): हाल ही में चयनित न होने वाले क्लाइंट्स के लिए एक लॉगरिदमिक बोनस, जो सख्ती से सकारात्मक चयन संभावनाओं को सुनिश्चित करता है और सिस्टम को एक संकीर्ण उपसमूह में सिमटने से रोकता है।
एकीकृत निर्णय तंत्र (Unified Decision Mechanism):
- क्लाइंट चयन (Client Selection): संभावनाएँ $S_k$ के माध्यम से टेम्परेचर-स्केल्ड सॉफ्टमैक्स (temperature-scaled softmax) द्वारा प्राप्त की जाती हैं।
- कंप्रेशन रेशियो ( $\theta_k$ ): प्रति-क्लाइंट कंप्रेशन रेशियो को एक ग्लोबल कोसाइन-शेड्यूल बजट के भीतर $S_k$ के आनुपातिक रूप से आवंटित किया जाता है, जिसे क्लाइंट की बैंडविड्थ सीमा ( $\theta_k \leq \theta^{cap}_k$ ) द्वारा सीमित किया जाता है।
- एग्रीगेशन वेट (Aggregation Weight): सर्वर मोमेंटम लागू करने से पहले $S_k$ के आनुपातिक भारों का उपयोग करके अपडेट्स को एग्रीगेट करता है।
एडाप्टिव एरर फीडबैक और स्पारसिफिकेशन (Adaptive Error Feedback & Sparsification):
- एरर फीडबैक: बफर डिके रेट $\beta(t)$ को ग्लोबल कंप्रेशन बजट से जोड़ा गया है। जब कंप्रेशन भारी (कम $\theta_t$ ) होता है, तो अवशेषों (residuals) को लंबे समय तक संरक्षित किया जाता है ताकि बफर कोलैप्स को रोका जा सके।
- कर्वेचर-वेटेड स्पारसिफिकेशन (Curvature-Weighted Sparsification): जबकि अधिकांश लेयर्स मानक मैग्नीट्यूड-आधारित टॉप-k चयन का उपयोग करती हैं, चुनिंदा लेयर्स (मार्कोव नियम के माध्यम से सैंपल्ड) एक कर्वेचर-वेटेड मानदंड ( $v^2_{k,i} / |H_{ii}|$ ) का उपयोग करती हैं। यह उन कोऑर्डिनेट्स को डाउनवेट करता है जो हाई-कर्वेचर क्षेत्रों में होते हैं जहाँ छोटे ग्रेडिएंट्स अत्यधिक प्रभावशाली होते हैं, जिसकी गणना प्रति क्लाइंट एक सिंगल हचिनसन डायगोनल एस्टीमेट (Hutchinson diagonal estimate) के माध्यम से की जाती है।
लोकल ट्रेनिंग:
क्लाइंट्स एक ग्लोबली डिकेइंग लर्निंग रेट के साथ FedProx चलाते हैं। पेपर स्पष्ट रूप से नोट करता है कि लोकल लर्निंग रेट को इन्फॉर्मेटिवनेस स्कोर से स्केल करने से प्रदर्शन खराब होता है (ओवरशूट के कारण), जो पुष्टि करता है कि स्कोर सिग्नल लोकल ऑप्टिमाइज़र के बजाय कम्युनिकेशन लेयर पर सबसे प्रभावी है।

मुख्य योगदान (Key Contributions)

एकीकृत फ्रेमवर्क: एक एकल सामान्यीकृत स्कोर क्लाइंट सिलेक्शन, कंप्रेशन रेशियो और एग्रीगेशन वेट को संचालित करता है, जो अनुकूलन सिग्नल को सिस्टम क्षमता से बदलकर सांख्यिकीय सूचनात्मकता की ओर ले जाता है।
एडाप्टिव मैकेनिज्म: ग्लोबल कंप्रेशन बजट से जुड़े एरर-फीडबैक शेड्यूल और कर्वेचर-वेटेड स्पारसिफिकेशन के लिए मार्कोव-लेयर सैंपलिंग रणनीति का परिचय।
सैद्धांतिक गारंटी:
- यह प्रमाण कि स्कोर-प्रोपोर्शनल सैंपलिंग चयनित सबसेट की प्रभावी विषमता को कम करती है ( $E[B^2_{sel}] \leq B^2$ )।
- यह प्रमाण कि स्कोर-प्रोपोर्शनल कंप्रेशन एक निश्चित ट्रैफिक बजट के तहत यूनिफॉर्म एलोकेशन की तुलना में कम एग्रीगेट टॉप-k एरर प्राप्त करता है।
अनुभवजन्य सत्यापन (Empirical Validation): बिना हाइपरपैरामीटर रिट्यूनिंग के विभिन्न मॉडल साइज और डेटा विषमता स्तरों के तहत पद्धति की प्रभावशीलता का प्रदर्शन।

प्रयोगात्मक परिणाम (Experimental Results)

FedCG बेसलाइन (100 क्लाइंट्स, 100 राउंड में प्रति राउंड 10 चयनित) से मेल खाते प्रोटोकॉल के तहत मूल्यांकन किया गया:

CIFAR-10 (AlexNet): HeteRo-Select, FedCG की तुलना में 70% लक्ष्य सटीकता तक पहुँचने के लिए 1.78× स्पीडअप और 18.2% ट्रैफिक में कमी प्राप्त करता है।
क्रॉस-स्केल जनरलाइजेशन: समान कॉन्फ़िगरेशन (कोई रिट्यूनिंग नहीं) सफलतापूर्वक निम्नलिखित पर लक्ष्य सटीकता प्राप्त करता है:
- MNIST (लॉजिस्टिक्स रिग्रेशन, 7.8k पैरामीटर्स)।
- CIFAR-10 (AlexNet, 2.78M पैरामीटर्स)।
- TinyImageNet (ResNet-18, 11.27M पैरामीटर्स)।
- नोट: अत्यधिक विषमता के कारण CIFAR-100 लक्ष्य 100 राउंड के भीतर प्राप्त नहीं हुआ, हालांकि निचले स्तर की सटीकता पर भी दक्षता बेहतर रही।
स्ट्रेस टेस्ट (एंटी-कोरिलेशन): जब बैंडविड्थ और इन्फॉर्मेटिवनेस को जानबूझकर उल्टा (anti-correlated) किया गया (सूचनात्मक क्लाइंट्स धीमे लिंक्स पर), तब भी HeteRo-Select ने सामान्य-बैंडविड्थ रन की तुलना में कम संचयी ट्रैफिक के साथ लक्ष्य सटीकता प्राप्त की। सिस्टम ने एडाप्टिव एरर बफर के माध्यम से बैंडविड्थ घाटे को सटीकता हानि के बजाय समय की देरी में बदल दिया।
एब्लेशन स्टडीज (Ablation Studies):
- डाइवर्सिटी कंपोनेंट ( $D_k$ ) को हटाने से पीक-टू-फाइनल एक्यूरेसी गैप (1.2 pts) आया, जो लेट-राउंड ड्रिफ्ट को रोकने में इसकी भूमिका की पुष्टि करता है।
- स्कोर-एडाप्टिव लोकल लर्निंग रेट ने प्रदर्शन को खराब किया; एक ग्लोबल डिकेइंग शेड्यूल को अनुकूल पाया गया।
- वेरिएंस रिडक्शन लाभों को साकार करने के लिए मजबूत प्रॉक्सिमल रेगुलराइजेशन ( $\mu=0.1$ ) की आवश्यकता थी।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि HeteRo-Select वर्तमान FL सिस्टमों में एक मौलिक संरचनात्मक बेमेल को संबोधित करता है: बैंडविड्थ बाधाओं के कारण सबसे सूचनात्मक ग्रेडिएंट्स को सबसे अधिक कंप्रेस करने की प्रवृत्ति। कंप्रेशन के निर्णय को उसकी क्षमता (बैंडविड्थ) से अलग करके (बैंडविड्थ को केवल एक सीलिंग के रूप में उपयोग करके), यह विधि सुनिश्चित करती है कि संसाधन आवंटन को सांख्यिकीय उपयोगिता संचालित करे।

लेखक HeteRo-Select को FedCG द्वारा देखे गए जॉइंट ऑप्टिमाइजेशन दर्शन के विस्तार के रूप में देखते हैं, लेकिन एक शिफ्टेड ऑप्टिमाइजेशन सिग्नल के साथ। यह कार्य प्रदर्शित करता है कि इन्फॉर्मेटिवनेस को प्राथमिक चालक के रूप में मानने से सिस्टम उच्च कन्वर्जेंस दर और मजबूती बनाए रख सकता है, भले ही सिस्टम क्षमताएं और डेटा वितरण एंटी-कोरिलेटेड हों। पेपर अपनी सीमाओं के प्रति विनम्र रहता है, यह स्वीकार करते हुए कि अत्यधिक विषमता (जैसे 40 गायब क्लास के साथ CIFAR-100) एक निश्चित-राउंड बजट की क्षमता से अधिक हो सकती है, और हचिनसन कर्वेचर प्रोब (Hutchinson curvature probe) एक मामूली कम्प्यूटेशनल ओवरहेड जोड़ता है जो छोटे मॉडल स्केल पर हमेशा सटीकता लाभ की लागत की भरपाई नहीं करता है।