🤖 AI

FedVG: Gradient-Guided Aggregation for Enhanced Federated Learning

FedVG एक नवीन ग्रेडिएंट-निर्देशित एकत्रीकरण ढांचा (aggregation framework) है जो फेडरेटेड लर्निंग के लिए है, जो लेयरवाइज ग्रेडिएंट नॉर्म्स की गणना करने के लिए एक वैश्विक सत्यापन सेट (global validation set) का उपयोग करता है, जिससे क्लाइंट ड्रिफ्ट को कम करने और विषम डेटा परिवेश में मॉडल के सामान्यीकरण (generalization) को बढ़ाने के लिए अनुकूलित क्लाइंट वेटिंग सक्षम होती है।

मूल लेखक: Alina Devkota, Jacob Thrasher, Donald Adjeroh, Binod Bhattarai, Prashnna K. Gyawali

प्रकाशित 2026-03-02

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Alina Devkota, Jacob Thrasher, Donald Adjeroh, Binod Bhattarai, Prashnna K. Gyawali

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि दुनिया के विभिन्न हिस्सों के 100 शेफ (रसोइयों) का एक समूह एक नए व्यंजन के लिए परफेक्ट ग्लोबल रेसिपी बनाने की कोशिश कर रहा है। वे अपने गुप्त पारिवारिक सामग्रियां (अपना निजी डेटा) साझा नहीं कर सकते क्योंकि गोपनीयता कानून लागू हैं। इसके बजाय, वे में से प्रत्येक अपने स्वयं के किचन में व्यंजन का अपना संस्करण बनाता है, रेसिपी के नोट्स एक केंद्रीय "हेड शेफ" को भेजता है, और हेड शेफ उन सबको मिलाकर एक मास्टर रेसिपी बनाने की कोशिश करता है।

यह फेडरेटेड लर्निंग (Federated Learning) है।

समस्या: "नॉइजी किचन" (शोर भरा किचन) प्रभाव

एक आदर्श दुनिया में, हर शेफ के पास समान सामग्रियां होती हैं और वे एक ही तरह से खाना बनाते हैं। लेकिन वास्तविकता में, कुछ शेफों के पास केवल तीखी सामग्रियां होती हैं, दूसरों के पास केवल मीठी, और कुछ टूटे हुए ओवन का उपयोग कर रहे होते हैं। इसे डेटा हेट्रोजेनिटी (Data Heterogeneity) कहा जाता है।

जब हेड शेफ सभी रेसिपीज़ का औसत निकालने के लिए उन्हें बस मिला देता है (एक मानक विधि जिसे FedAvg कहा जाता है), तो परिणाम अक्सर आपदा होता है। तीखी रेसिपीज़ मीठी रेसिपीज़ पर हावी हो जाती हैं, या टूटे हुए ओवन बनावट को खराब कर देते हैं। अंतिम व्यंजन का स्वाद "ड्रिफ्टी" (भटका हुआ) हो जाता है—यह किसी के लिए भी सही नहीं बैठता। हेड शेफ उन शेफों के सबसे बड़े कुकबुक्स (रेसिपी किताबों) पर आँख मूंदकर भरोसा करता है, यह मानकर कि अधिक पन्ने मतलब बेहतर रेसिपी, भले ही वे पन्ने निरर्थक बातों से भरे हों।

समाधान: FedVG (एक "टेस्ट-टेस्ट" गाइड)

इस पेपर के लेखकों ने FedVG नामक एक नई विधि प्रस्तावित की है। केवल यह गिनने के बजाय कि एक शेफ की कुकबुक में कितने पन्ने हैं, FedVG एक स्मार्ट सवाल पूछता है: "आपका व्यंजन एक न्यूट्रल, पब्लिक टेस्ट (सार्वजनिक स्वाद परीक्षण) पर कितनी अच्छी तरह काम करता है?"

यहाँ बताया गया है कि FedVG कैसे काम करता है, एक सरल उदाहरण के माध्यम से:

1. न्यूट्रल टेस्ट (ग्लोबल वैलिडेशन सेट)

कल्पना कीजिए कि हेड शेफ के पास एक मानकीकृत, सार्वजनिक टेस्टिंग पैनल (एक ग्लोबल वैलिडेशन सेट) है। यह पैनल किसी विशिष्ट शेफ का नहीं है; यह एक संतुलित स्वाद वाले एक सामान्य "फूड क्रिटिक" की तरह है।

पुराना तरीका: हेड शेफ पूछता है, "आपके पास कितनी सामग्रियां हैं?" (वॉल्यूम/मात्रा)।
FedVG का तरीका: हेड शेफ पूछता है, "यदि आप हमारे सार्वजनिक पैनल के लिए अपना व्यंजन बनाते हैं, तो उसे परफेक्ट बनाने के लिए आपको अपनी रेसिपी में कितना बदलाव करने की आवश्यकता है?"

2. "ग्रेडिएंट" (Gradient) एक सुधार संकेत के रूप में

मशीन लर्निंग में, एक ग्रेडिएंट एक "करेक्शन एरो" (सुधार तीर) की तरह होता है।

यदि किसी शेफ की रेसिपी सार्वजनिक पैनल के लिए पहले से ही परफेक्ट के करीब है, तो सुधार का तीर बहुत छोटा होगा। उन्हें बदलाव की बहुत कम आवश्यकता है। इसका मतलब है कि वे स्टेबल (स्थिर) और जनरलाइजेबल (सामान्यीकरण योग्य) हैं।
यदि किसी शेफ की रेसिपी सार्वजनिक पैनल के लिए बहुत खराब है (शायद वह पैनल के लिए बहुत तीखी है), तो सुधार का तीर बहुत बड़ा होगा। उन्हें भारी बदलाव करने की आवश्यकता है। इसका मतलब है कि वे अपने अजीबोगरीब सामग्रियों के प्रति अनस्टेबल (अस्थिर) और ओवरफिटेड (अति-अनुकूलित) हैं।

3. स्मार्ट एग्रीगेशन (Smart Aggregation)

FedVG रेसिपी की हर एक लेयर (जैसे सॉस, मसाला मिश्रण, गार्निश) के लिए इन सुधार तीरों को देखता है।

छोटे सुधार तीर (फ्लैट ग्रेडिएंट्स): इन शेफों को उच्च वेट (High Weight) दिया जाता है। उनकी रेसिपी मजबूत है और सभी के लिए अच्छी रहेगी।
बड़े सुधार तीर (स्टीप ग्रेडिएंट्स): इन शेफों को कम वेट (Low Weight) दिया जाता है। उनकी रेसिपी बहुत विशिष्ट है और उनके अपने किचन के लिए है, जो वैश्विक व्यंजन को खराब कर सकती है।

यह गेम-चेंजर क्यों है?

इसे एक मुकदमे के लिए जूरी चयन की तरह समझें।

पुराना तरीका: आप जूरी का चयन इस आधार पर करते हैं कि किसने सबसे ज़ोर से चिल्लाया या किसके सबसे ज़्यादा दोस्त हैं (डेटा वॉल्यूम)।
FedVG का तरीका: आप जूरी का चयन इस आधार पर करते हैं कि तथ्यों के एक मानक सेट के विरुद्ध परीक्षण किए जाने पर वे कितने सुसंगत, शांत और तार्किक उत्तर देते हैं (वैलिडेशन ग्रेडिएंट्स)।

परिणाम

पेपर का परीक्षण बिल्लियों और कुत्तों को पहचानने (प्राकृतिक चित्र) से लेकर एक्स-रे में बीमारियों का पता लगाने (मेडिकल इमेज) तक सब कुछ पर किया गया।

"मेसी" (अव्यवस्थित) किचन में: जब शेफों के पास बहुत अलग सामग्रियां थीं (अत्यधिक नॉन-IID डेटा), तो पुराने तरीके बुरी तरह विफल रहे। ग्लोबल रेसिपी एक गड़बड़ बन गई।
FedVG के साथ: हेड शेफ ने शोर मचाने वाले और अति-आत्मविश्वासी शेफों को अनदेखा कर दिया और उन लोगों की बात सुनी जो सार्वजनिक पैनल के अनुसार अपनी रेसिपी को ढाल सकते थे। परिणाम? एक वैश्विक रेसिपी जिसका स्वाद सभी के लिए बेहतरीन था, यहाँ तक कि सबसे अव्यवस्थित किचन में भी।

सबसे अच्छी बात: यह एक "प्लग-इन" है

FedVG कोई नया किचन नहीं है; यह बस एक नया स्पाइस रैक (मसाला स्टैंड) है जिसे आप किसी भी मौजूदा कुकिंग मेथड में जोड़ सकते हैं। आप मानक FedAvg रेसिपी ले सकते हैं और बस उसमें FedVG मसाला डाल सकते हैं, और अचानक, व्यंजन का स्वाद बेहतर हो जाता है। इसके लिए शेफ को अपने स्वयं के किचन में खाना बनाने का तरीका बदलने की आवश्यकता नहीं है; यह बस हेड शेफ के सुनने के तरीके को बदल देता है।

संक्षेप में: FedVG हेड शेफ को सबसे तेज़ आवाज़ वाले लोगों पर आँख मूंदकर भरोसा करने से रोकता है और उन आवाज़ों पर भरोसा करना शुरू करता है जो यह साबित करती हैं कि वे वास्तविक दुनिया के अनुकूल हो सकते हैं। यह अराजक शेफों के समूह को एक सिंक्रोनाइज्ड टीम में बदल देता है।

यहाँ शोध पत्र "FedVG: Gradient-Guided Aggregation for Enhanced Federated Learning" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

फेडरेटेड लर्निंग (FL) कई क्लाइंट्स को निजी डेटा साझा किए बिना एक वैश्विक मॉडल (global model) को सहयोगात्मक रूप से प्रशिक्षित करने की अनुमति देता है। हालाँकि, FL में एक महत्वपूर्ण चुनौती डेटा विषमता (data heterogeneity/non-IID data) है, जहाँ क्लाइंट्स के पास अलग-अलग वितरण (distributions) वाला डेटा होता है। इससे क्लाइंट ड्रिफ्ट (client drift) होता है, जहाँ स्थानीय मॉडल वैश्विक इष्टतम (global optimum) से विचलित हो जाते हैं, जिससे अंतिम मॉडल के सामान्यीकरण प्रदर्शन (generalization performance) में गिरावट आती है।

मौजूदा एग्रीगेशन विधियाँ, जैसे कि FedAvg, डेटा आकार ( $n_k/N$ ) द्वारा क्लाइंट अपडेट को वेट (weight) देने पर बहुत अधिक निर्भर करती हैं। लेखक तर्क देते हैं कि यह एक "नाइव" (naive) धारणा है क्योंकि:

विषम सेटिंग्स में बड़े डेटासेट का आकार उच्च-गुणवत्ता या सामान्यीकरण योग्य स्थानीय मॉडलों की गारंटी नहीं देता है।
यह विशिष्ट प्रशिक्षण गतिकी (training dynamics) और वैश्विक उद्देश्य के सापेक्ष एक क्लाइंट के अपडेट की "फिटनेस" (fitness) को ध्यान में रखने में विफल रहता है।
यह अक्सर खराब प्रदर्शन करने वाले क्लाइंट्स पर अत्यधिक जोर देता है, जिससे ड्रिफ्ट और बढ़ जाता है।

2. कार्यप्रणाली: FedVG (Methodology: FedVG)

लेखक FedVG (Federated aggregation via Validation Gradients) का प्रस्ताव करते हैं, जो एक नया ढांचा है जो एग्रीगेशन प्रक्रिया को निर्देशित करने के लिए एक ग्लोबल वैलिडेशन सेट (global validation set) का उपयोग करता है। डेटा वॉल्यूम के आधार पर वेट देने के बजाय, FedVG क्लाइंट्स को उनके स्थानीय अपडेट की सामान्यीकरण क्षमता (generalization ability) के आधार पर वेट देता है, जिसे वैलिडेशन ग्रेडिएंट्स के माध्यम से मापा जाता है।

मुख्य घटक (Core Components):

ग्लोबल वैलिडेशन सेट ( $D_{val}$ ):
- सर्वर पर एक छोटा, सार्वजनिक, या साझा डेटासेट बनाए रखा जाता है। इसमें क्लाइंट का निजी डेटा शामिल नहीं होता है, लेकिन इसमें लक्षित डोमेन (जैसे, इमेजिंग मोडैलिटीज, क्लासेस) के समान विशेषताएं होती हैं।
- यह मॉडल अपडेट का मूल्यांकन करने के लिए एक तटस्थ, क्लाइंट-स्वतंत्र संदर्भ बिंदु के रूप में कार्य करता है।
ग्रेडिएंट-आधारित स्कोरिंग (Gradient-Based Scoring):
- स्थानीय प्रशिक्षण के बाद, प्रत्येक क्लाइंट के मॉडल ( $\theta_k$ ) का $D_{val}$ पर मूल्यांकन किया जाता है।
- सर्वर क्लाइंट के मॉडल के प्रत्येक लेयर (layer) के लिए वैलिडेशन लॉस ग्रेडिएंट्स ( $\nabla_{\theta_k} \mathcal{L}_{val}$ ) की गणना करता है।
- सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): लॉस लैंडस्केप के "फ्लैट" (flat) क्षेत्रों में स्थित मॉडल (जो बेहतर सामान्यीकरण से जुड़े होते हैं) कम ग्रेडिएंट नॉर्म प्रदर्शित करते हैं। इसके विपरीत, "शार्प" (sharp) क्षेत्रों (ओवरफिटिंग या खराब सामान्यीकरण) में स्थित मॉडल बड़े ग्रेडिएंट प्रदर्शित करते हैं।
- FedVG प्रत्येक क्लाइंट के लिए सभी लेयर्स में औसत वैलिडेशन ग्रेडिएंट नॉर्म ( $\bar{G}_k$ ) की गणना करता है।
वेट असाइनमेंट (Weight Assignment):
- जिन क्लाइंट्स के वैलिडेशन ग्रेडिएंट नॉर्म कम होते हैं (जो फ्लैट, अधिक स्थिर मिनिमा का संकेत देते हैं), उन्हें उच्च एग्रीगेशन वेट दिए जाते हैं।
- क्लाइंट स्कोर $s_k$ की गणना इस प्रकार की जाती है:
  $s_k = \frac{1/(\bar{G}_k + \epsilon)}{\sum_{j=1}^K 1/(\bar{G}_j + \epsilon)}$
- यह स्कोर एग्रीगेशन फॉर्मूला में मानक डेटा-साइज वेट को प्रतिस्थापित या संवर्धित करता है: $\theta_g \leftarrow \theta_g - \sum s_k \Delta \theta_k$ ।
मॉड्यूलरिटी (Modularity):
- FedVG को एक प्लग-इन मॉड्यूल के रूप में डिज़ाइन किया गया है। इसे क्लाइंट-साइड ट्रेनिंग लॉजिक को बदले बिना, केवल एग्रीगेशन वेटिंग मैकेनिज्म को बदलकर मौजूदा FL एल्गोरिदम (जैसे, FedAvg, FedProx, Scaffold) में सहजता से एकीकृत किया जा सकता है।

3. मुख्य योगदान (Key Contributions)

नया एग्रीगेशन स्ट्रैटेजी: FedVG का परिचय, जो वैलिडेशन ग्रेडिएंट्स का लाभ उठाकर एग्रीगेशन प्रतिमान (paradigm) को "डेटा वॉल्यूम" से बदलकर "सामान्यीकरण गुणवत्ता" (generalization quality) में बदल देता है।
लेयर-अवेयर विश्लेषण (Layer-Aware Analysis): विधि नेटवर्क के विभिन्न व्यवहारों (जैसे, गहरे लेयर्स अक्सर अधिक विचलित होते हैं) को कैप्चर करने के लिए ग्रेडिएंट्स की लेयर-वार गणना करती है, और उन्हें एक समग्र स्कोर में एकत्रित करती है।
सैद्धांतिक संबंध: पेपर वैलिडेशन ग्रेडिएंट नॉर्म और फिशर इंफॉर्मेशन मैट्रिक्स (FIM) के बीच एक संबंध स्थापित करता है, जो सैद्धांतिक रूप से यह न्यायसंगत बनाता है कि छोटे ग्रेडिएंट्स फ्लैट मिनिमा और बेहतर सामान्यीकरण के अनुरूप होते हैं।
व्यापक मूल्यांकन: प्राकृतिक छवियों (CIFAR-10, TinyImageNet) और मेडिकल इमेजिंग (OrganAMNIST, COVID19, DermaMNIST) के लिए CNNs (ResNet) और Transformers (ViT) दोनों का उपयोग करके व्यापक प्रयोग।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने विभिन्न स्तरों की विषमता (डायरिचलेट पैरामीटर $\alpha$ द्वारा नियंत्रित) के तहत अत्याधुनिक बेसलाइन्स (FedAvg, FedProx, Scaffold, FedDyn, Elastic) के विरुद्ध FedVG का मूल्यांकन किया।

उच्च विषमता के तहत प्रदर्शन: FedVG ने सभी बेसलाइन्स को लगातार पछाड़ दिया, विशेष रूप से अत्यधिक विषम सेटिंग्स ( $\alpha = 0.05$ ) में। उदाहरण के लिए, OrganAMNIST डेटासेट पर, FedVG ने $\alpha=0.05$ पर 87.57% सटीकता प्राप्त की, जो FedAvg (86.37%) और FedProx (83.80%) से काफी बेहतर थी।
मजबूती (Robustness): FedVG ने रन के दौरान कम स्टैंडर्ड डेविएशन बनाए रखा, जो स्थिर प्रदर्शन का संकेत देता है।
आर्किटेक्चर एगोस्टिक (Architecture Agnosticism): विधि ResNet और विजन ट्रांसफार्मर (ViT) आर्किटेक्चर दोनों पर प्रभावी साबित हुई।
एकीकरण: जब अन्य एल्गोरिदम (जैसे, FedAvg + FedVG) के साथ एकीकृत किया गया, तो प्रदर्शन में और सुधार हुआ, जो इसकी पूरक मॉड्यूल के रूप में उपयोगिता को दर्शाता है।
बाहरी सत्यापन (External Validation): प्रयोगों ने दिखाया कि वितरण बदलाव (distribution shifts) के बावजूद FedVG तब भी मजबूत रहता है जब ग्लोबल वैलिडेशन सेट एक बाहरी सार्वजनिक डेटासेट (जैसे, CIFAR-10 मॉडल को वैलिडेट करने के लिए STL-10 या CIFAR-100 का उपयोग करना) हो।
एब्लेशन स्टडीज (Ablation Studies):
- नॉर्म टाइप: $L_1$ और $L_2$ नॉर्म सबसे अच्छा प्रदर्शन करते हैं; स्पेक्ट्रल और डेल्टा नॉर्म कम प्रभावी रहे।
- ग्रैनुलैरिटी: जबकि मॉडल-वाइज एग्रीगेशन आम तौर पर मजबूत है, लेयर-वाइज या ब्लॉक-वाइज एग्रीगेशन ने विशिष्ट उच्च-विषमता परिदृश्यों में प्रतिस्पर्धी परिणाम दिखाए।

5. महत्व और निष्कर्ष (Significance and Conclusion)

FedVG फेडरेटेड लर्निंग की एक मौलिक सीमा को संबोधित करता है: गैर-IID सेटिंग्स में उच्च-गुणवत्ता और निम्न-गुणवत्ता वाले अपडेट के बीच अंतर करने में मानक एग्रीगेशन की अक्षमता। वैलिडेशन ग्रेडिएंट नॉर्म्स को मापने के लिए ग्लोबल वैलिडेशन सेट का उपयोग करके, FedVG एक सिद्धांतपूर्ण, अनुकूलन योग्य तंत्र प्रदान करता है जो उन क्लाइंट्स को प्राथमिकता देता है जो बेहतर सामान्यीकरण में योगदान देते हैं।

मुख्य निहितार्थ:

गोपनीयता संरक्षण (Privacy Preservation): इस विधि के लिए क्लाइंट का निजी डेटा साझा करने की आवश्यकता नहीं है; सर्वर पर केवल वैलिडेशन सेट (सार्वजनिक या सिंथेटिक) की आवश्यकता होती है।
सर्वर-साइड ओवरहेड: वैलिडेशन ग्रेडिएंट्स की गणना करने की कम्प्यूटेशनल लागत पूरी तरह से सर्वर द्वारा वहन की जाती है, जिससे संसाधन-बाधित क्लाइंट्स पर कोई अतिरिक्त बोझ नहीं पड़ता है।
व्यावहारिक तैनाती: इसकी मॉड्यूलर प्रकृति इसे मौजूदा FL पाइपलाइनों में तत्काल एकीकरण की अनुमति देती है, जिससे यह स्वास्थ्य सेवा जैसे संवेदनशील डोमेन के लिए एक व्यवहार्य समाधान बनाती है जहाँ डेटा विषमता एक सामान्य बात है।

संक्षेप में, FedVG अत्यधिक विषम वातावरणों में फेडरेटेड लर्निंग को अधिक मजबूत और प्रभावी बनाने की दिशा में एक महत्वपूर्ण कदम है, जो डेटा मात्रा के बजाय मॉडल स्थिरता को प्राथमिकता देता है।