⚡ electrical engineering

Non-Convex Over-the-Air Heterogeneous Federated Learning: A Bias-Variance Trade-off

यह शोध पत्र एक सांख्यिकीय CSI-आधारित पावर कंट्रोल एल्गोरिदम के माध्यम से अनुकूलित, अभिसरण (convergence) को तेज करने और सामान्यीकरण (generalization) में सुधार करने के लिए मॉडल बायस (bias) और कम वेरिएंस (variance) के बीच रणनीतिक रूप से संतुलन बनाने वाले एक नॉन-कॉन्वेक्स SGD फ्रेमवर्क का प्रस्ताव करके विषम वायरलेस वातावरण में मौजूदा ओवर-द-एयर फेडरेटेड लर्निंग की सीमाओं को संबोधित करता है।

मूल लेखक: Muhammad Faraz Ul Abrar, Nicolò Michelusi

प्रकाशित 2026-02-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Muhammad Faraz Ul Abrar, Nicolò Michelusi

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल समूह परियोजना (group project) चल रही है जहाँ 100 छात्र (डिवाइस) मिलकर एक विशाल पहेली को सुलझाने की कोशिश कर रहे हैं ताकि सबसे अच्छा समाधान मिल सके। वे अपने वास्तविक पहेली के टुकड़ों (निजी डेटा) को साझा नहीं कर सकते क्योंकि गोपनीयता के नियम हैं। इसके बजाय, उन्हें शिक्षक (बेस स्टेशन) को अपने विचारों को भेजने के लिए एक वॉकी-टॉकी नेटवर्क का उपयोग करना होगा कि पहेली को कैसे सुधारा जाए।

यह फेडरेटेड लर्निंग (Federated Learning) है।

अब, कल्पना कीजिए कि वॉकी-टॉकी नेटवर्क बहुत खराब है। कुछ छात्र शिक्षक के बिल्कुल पास खड़े हैं जहाँ सिग्नल एकदम साफ़ है, जबकि कुछ छात्र तूफान में दूर खड़े हैं जहाँ कनेक्शन कमजोर और शोर भरा है। यह वायरलेस हेटेरोजेनिटी (Wireless Heterogeneity) है।

पुराना तरीका: "पूर्ण समानता" का जाल

अतीत में, इंजीनियरों ने इसे निष्पक्ष बनाने की कोशिश की ताकि हर कोई बिल्कुल एक ही वॉल्यूम में चिल्लाए ताकि शिक्षक हर किसी को समान रूप से सुन सके।

समस्या: तूफान में खड़े छात्र को भी बगल वाले छात्र की तरह स्पष्ट रूप से सुना जा सके, इसके लिए तूफान वाले छात्र को अधिकतम वॉल्यूम पर चिल्लाना पड़ता है। लेकिन यदि वे बहुत ज़ोर से चिल्लाते हैं, तो उनकी बैटरी खत्म हो जाती है या सिग्नल विकृत (distort) हो जाता है।
परिणाम: सभी को सुरक्षित रखने के लिए, शिक्षक को सबसे कमजोर छात्र से मेल खाने के लिए सभी का वॉल्यूम कम करना पड़ा। इससे पूरी प्रक्रिया अविश्वसनीय रूप से धीमी और शोर भरी हो गई। "अच्छे" छात्र मुश्किल से सुनाई दे रहे थे, और "बुरे" छात्रों ने इतना अधिक स्टैटिक (वेरिएंस/noise) पैदा किया कि शिक्षक सही उत्तर का पता नहीं लगा सका।

नया विचार: "नियंत्रित अपूर्णता"

यह शोध पत्र एक चतुर रणनीति का प्रस्ताव देता है: पूर्णतः समान होने की कोशिश करना बंद करें। इसके बजाय, रणनीतिक रूप से पक्षपाती (strategically biased) बनें।

इसे एक गायक मंडली (choir) के कंडक्टर की तरह समझें।

पुराना दृष्टिकोण: कंडक्टर इस बात पर जोर देता है कि हर गायक बिल्कुल एक ही वॉल्यूम पर सुर लगाए। यदि एक गायक सुर से बाहर है या धीमा है, तो पूरा गाना कमजोर हो जाता है।
नया दृष्टिकोण: कंडक्टर कहता है, "ठीक है, पीछे की पंक्ति के गायक (कमजोर सिग्नल) थोड़े धीमे हैं और शायद थोड़ा सुर से भी भटक रहे हैं। यह ठीक है! हम थोड़े से 'बायस' (गीत के स्वर में एक मामूली बदलाव) को स्वीकार करेंगे क्योंकि इसका मतलब है कि सामने की पंक्ति के गायक (मजबूत सिग्नल) बहुत ज़ोर से और स्पष्ट रूप से गा सकते हैं। परिणाम एक बहुत अधिक मजबूत, स्पष्ट ध्वनि होगी, भले ही यह पूरी तरह से संतुलित न हो।"

मुख्य अवधारणा: बायस-वेरिएंस ट्रेड-ऑफ (The Bias-Variance Trade-off)

यह शोध पत्र एक गणितीय "गोल्डिलॉक्स" ज़ोन पेश करता है जिसे बायस-वेरिएंस ट्रेड-ऑफ कहा जाता है।

वेरिएंस (शोर/Noise): यदि आप हर किसी को समान बनाने की कोशिश करते हैं (शून्य बायस), तो कमजोर सिग्नल इतना स्टैटिक पैदा करते हैं कि शिक्षक भ्रमित हो जाता है। सीखना बहुत अनिश्चित और उतार-चढ़ाव भरा हो जाता है।
बायस (मामूली त्रुटि/Slight Error): यदि आप मजबूत सिग्नलों को थोड़ा हावी होने देते हैं, तो आप एक छोटा, अनुमानित एरर (बायस) पेश करते हैं।
स्वीट स्पॉट (Sweet Spot): यह शोध पत्र सिद्ध करता है कि एक छोटे, अनुमानित बायस को स्वीकार करने से अराजक शोर (chaotic noise) वास्तव में इतना कम हो जाता है कि समूह तेजी से सीखता है और समग्र रूप से बेहतर समाधान पाता है।

उन्होंने यह कैसे किया (SCA एल्गोरिदम)

लेखकों ने केवल अनुमान नहीं लगाया; उन्होंने एक स्मार्ट कैलकुलेटर बनाया (एक एल्गोरिदम जिसे सक्सेसिव कॉन्वेक्स एप्रोक्सिमेशन या SCA कहा जाता है)।

चुनौती: प्रत्येक छात्र को कितनी तेज़ आवाज़ में चिल्लाना चाहिए, यह तय करना जटिल गणित का एक दुःस्वप्न है। यह एक ऐसे भूलभुलैया को हल करने जैसा है जहाँ हर कदम लेने पर दीवारें हिल जाती हैं।
समाधान: उनका एल्गोरिदम भूलभुलैया को छोटे, सीधे रास्तों में तोड़ देता है। यह मौसम की स्थिति के अभी के सटीक पल के बजाय औसत मौसम स्थितियों (सांख्यिकीय डेटा) को देखता है।
यह क्यों महत्वपूर्ण है: अधिकांश पिछले तरीकों को हर एक छात्र के लिए अभी के सटीक मौसम को जानने की आवश्यकता होती थी ताकि वॉल्यूम को एडजस्ट किया जा सके। इसमें बहुत अधिक समय और बैटरी लगती है। यह नई विधि को केवल सामान्य मौसम के पैटर्न को जानने की आवश्यकता होती है, जिससे ऊर्जा और समय की भारी बचत होती है।

परिणाम

उन्होंने कंप्यूटर सिमुलेशन पर इसका परीक्षण किया जहाँ डिवाइस हस्तलिखित संख्याओं (जैसे अंक 0-9) को पहचानने की कोशिश कर रहे थे।

पुराने तरीके: सीखने में लंबा समय लेते थे, अक्सर अटक जाते थे, या उन्हें वापस भेजने के लिए बहुत अधिक डेटा की आवश्यकता होती थी।
नई विधि: तेजी से सीखी, उच्च सटीकता तक पहुँची, और इसे ज़रूरत नहीं थी कि शिक्षक को हर सेकंड हर छात्र की सटीक स्थिति पता हो।

संक्षेप में

यह शोध पत्र हमें सिखाता है कि एक अराजक, शोर भरी दुनिया में, पूर्णता प्रगति की दुश्मन है। एक छोटे, गणना किए गए अपूर्णता (बायस) को स्वीकार करके, हम शोर (वेरिएंस) को शांत कर सकते हैं और पूरे समूह को बहुत तेज़ी से फिनिश लाइन तक पहुँचा सकते हैं। यह "गलत होने" के एक छोटे से हिस्से के बदले "गति और स्पष्टता" के बड़े लाभ का सौदा करने के बारे में है।

यहाँ शोध पत्र "Non-Convex Over-the-Air Heterogeneous Federated Learning: A Bias–Variance Trade-off" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र ओवर-द-एयर (OTA) कंप्यूटेशन का उपयोग करके वायरलेस हेट्रोजेनियस (विषम) वातावरण में फेडरेटेड लर्निंग (FL) की चुनौतियों का समाधान करता है।

संदर्भ: मानक OTA-FL में, डिवाइस वायरलेस मल्टीपल-एक्सेस चैनल (MAC) पर अपने मॉडल अपडेट को एक साथ प्रसारित करते हैं। वेवफॉर्म्स का सुपरपोजिशन बेस स्टेशन (BS) को एक ही "शॉट" में अपडेट को एकत्रित करने की अनुमति देता है, जिससे ऑर्थोगोनल ट्रांसमिशन की तुलना में विलंबता (latency) काफी कम हो जाती है।
चुनौती: मौजूदा OTA-FL डिज़ाइन आमतौर पर अभिसरण (convergence) सुनिश्चित करने के लिए जीरो-बायस (शून्य-पूर्वाग्रह) एकत्रीकरण को लागू करते हैं। इसके लिए उपकरणों को सिग्नल स्केल को समान करने के लिए अपने चैनल गेन को उलटना (channel inversion) आवश्यक होता है।
- हेट्रोजेनियस नेटवर्क (जहाँ उपकरणों के पास बहुत अलग-अलग पाथ लॉस होते हैं) में, जीरो-बायस डिज़ाइन "सबसे कमजोर" डिवाइस (वह जिसका चैनल सबसे खराब है) द्वारा सीमित हो जाते हैं।
- कमजोर डिवाइस की आवश्यकताओं को पूरा करने के लिए, अन्य उपकरणों को बहुत कम शक्ति पर ट्रांसमिट करना पड़ता है या उन्हें शांत (silence) करना पड़ता है, जिससे एकत्रित ग्रेडिएंट अपडेट में उच्च विचलन (high variance) और धीमा अभिसरण होता है।
अंतराल (Gap): पूर्ववर्ती सैद्धांतिक विश्लेषण मुख्य रूप से कॉन्वेक्स (convex) उद्देश्यों पर केंद्रित रहे हैं। हालाँकि, आधुनिक डीप लर्निंग मॉडल नॉन-कॉन्वेक्स (non-convex) उद्देश्यों से जुड़े होते हैं। इसके अलावा, मौजूदा बायस्ड दृष्टिकोण अक्सर अनस्ट्रक्चर्ड बायस पेश करते हैं जिन्हें विश्लेषण या अनुकूलित करना कठिन होता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो विशेष रूप से स्मूथ नॉन-कॉन्वेक्स ऑब्जेक्टिव्स के लिए तैयार किया गया है, जो विचलन को कम करने के लिए एक स्ट्रक्चर्ड, टाइम-इनवेरिएंट बायस को स्पष्ट रूप से अपनाता है।

A. सिस्टम मॉडल (System Model)

सेटअप: $N$ डिवाइस जिनके पास स्थानीय डेटासेट हैं, एक फेडिंग MAC के माध्यम से एक केंद्रीय पैरामीटर सर्वर (PS) के साथ संचार करते हैं।
ट्रांसमिशन रणनीति: डिवाइस ट्रंकेटेड चैनल इनवर्जन (truncated channel inversion) का उपयोग करते हैं। एक डिवाइस तभी ट्रांसमिट करता है जब उसका इंस्टेंटेनियस चैनल गेन $|h_{m,t}|$ एक प्री-स्केलर $\gamma_m$ द्वारा निर्धारित थ्रेसहोल्ड से अधिक होता है।
बायस्ड एकत्रीकरण (Biased Aggregation): PS प्राप्त संकेतों को एक पोस्ट-स्केलर $\alpha$ का उपयोग करके एकत्रित करता है। पारंपरिक तरीकों के विपरीत, जो अपेक्षित एकत्रीकरण भार (weights) को समान ( $1/N$ ) बनाने के लिए मजबूर करते हैं, यह विधि भार ( $p_m$ ) को भिन्न होने की अनुमति देती है। इसके परिणामस्वरूप वास्तविक ग्लोबल ऑब्जेक्टिव $F(w)$ के बजाय एक बायस्ड ऑब्जेक्टिव फंक्शन $\tilde{F}(w) = \sum p_m f_m(w)$ का अनुकूलन होता है।

B. सैद्धांतिक विश्लेषण (Theoretical Analysis - Convergence Bound)

लेखक अपेक्षित स्क्वेर्ड ग्रेडिएंट नॉर्म $\frac{1}{T}\sum E[\|\nabla F(w_t)\|^2]$ के लिए एक फाइनाइट-टाइम स्टेशनैरिटी बाउंड व्युत्पन्न करते हैं।

बाउंड (Bound): अभिसरण दर तीन पदों द्वारा नियंत्रित होती है:
1. ऑप्टिमाइज़ेशन टर्म: यह $O(1/(\eta T))$ के रूप में घटता है।
2. वैरिएंस टर्म ( $\zeta$ ): इसमें ट्रांसमिशन विचरण (ट्रंकेशन के कारण), मिनी-बैच विचरण, और रिसीवर नॉइज़ शामिल है।
3. बायस टर्म: भागीदारी भार (participation weights) की एकरूपता से विचलन के वर्ग के समानुपाती है: $\sum (p_m - 1/N)^2$ ।
मुख्य अंतर्दृष्टि: यहाँ एक स्पष्ट बायस-वैरिएंस ट्रेड-ऑफ (Bias-Variance Trade-off) है।
- प्री-स्केलर $\gamma_m$ को कम करने से ट्रांसमिशन विचरण और बायस कम होता है, लेकिन यह रिसीवर नॉइज़ को बढ़ा देता है (पोस्ट-स्केलर $\alpha$ को कम करके)।
- $\gamma_m$ को बढ़ाने से रिसीवर नॉइज़ दब जाता है, लेकिन बायस बढ़ जाता है (क्योंकि $p_m$ गैर-समान हो जाता है)।

C. ऑप्टिमाइज़ेशन एल्गोरिदम (SCA)

इस ट्रेड-ऑफ को अनुकूलित करने के लिए, लेखक अभिसरण बाउंड को कम करने के लिए एक संयुक्त OTA पावर-कंट्रोल समस्या को फॉर्म्युलेट करते हैं।

समस्या की प्रकृति: यह अनुकूलन समस्या नॉन-कॉन्वेक्स है क्योंकि प्री-स्केलर्स ( $\gamma_m$ ), भागीदारी संभावनाओं ( $p_m$ ), और पोस्ट-स्केलर ( $\alpha$ ) के बीच जटिल कपलिंग है।
समाधान: वे एक कुशल सक्सेसिव कॉनवेक्स एप्रोक्सिमेशन (SCA) एल्गोरिदम विकसित करते हैं।
- एल्गोरिदम वर्तमान इटरेशन के आसपास नॉन-कॉन्वेक्स बाधाओं और उद्देश्यों को पुनरावर्ती रूप से लीनियर (linearize) करता है।
- CSI आवश्यकता: महत्वपूर्ण रूप से, इस एल्गोरिदम को बेस स्टेशन पर केवल सांख्यिकीय चैनल स्टेट इंफॉर्मेशन (Statistical CSI) (लॉन्ग-टर्म पाथ लॉस) की आवश्यकता होती है, जिससे हर राउंड में ग्लोबल इंस्टेंटेनियस CSI प्राप्त करने का भारी ओवरहेड बच जाता है। डिवाइसेस को केवल ट्रंकेशन निर्णय के लिए स्थानीय इंस्टेंटेनियस CSI की आवश्यकता होती है।

3. मुख्य योगदान (Key Contributions)

नॉन-कॉन्वेक्स विश्लेषण: लेखकों ने OTA-FL अभिसरण सिद्धांत को कॉन्वेक्स से स्मूथ नॉन-कॉन्वेक्स ऑब्जेक्टिव्स तक विस्तारित किया है, जो आधुनिक डीप लर्निंग अनुप्रयोगों के लिए महत्वपूर्ण है।
स्ट्रक्चर्ड बायस डिज़ाइन: एक ऐसा डिज़ाइन प्रस्तावित किया गया है जो वायरलेस हेट्रोजेनिटी के कारण होने वाले उच्च विचरण को कम करने के लिए जानबूझकर एक नियंत्रणीय, स्ट्रक्चर्ड बायस पेश करता है, जो कठोर जीरो-बायस बाधा से हटकर है।
बायस-वैरिएंस ट्रेड-ऑफ का लक्षण वर्णन: एक सैद्धांतिक बाउंड व्युत्पन्न किया गया है जो मॉडल बायस (गैर-समान डिवाइस भागीदारी के कारण) और ग्रेडिएंट एस्टीमेशन विचरण के बीच के ट्रेड-ऑफ को स्पष्ट रूप से मापता है।
कुशल एल्गोरिदम: एक SCA-आधारित पावर कंट्रोल एल्गोरिदम विकसित किया गया है जो केवल सांख्यिकीय CSI का उपयोग करके इस ट्रेड-ऑफ को अनुकूलित करता है, जिससे यह बड़े पैमाने पर तैनाती के लिए व्यावहारिक बन जाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखक हेट्रोजेनियस वायरलेस स्थितियों के तहत एक नॉन-कॉन्वेक्स इमेज क्लासिफिकेशन टास्क (MNIST डेटासेट के साथ एक फुली कनेक्टेड न्यूरल नेटवर्क) का उपयोग करके अपने दृष्टिकोण को सत्यापित करते हैं।

बेसलाइन्स (Baselines): इसकी तुलना आइडियल FedAvg (नोइज़लेस), वैनिला OTA-FL (जीरो-बायस, ग्लोबल इंस्टेंटेनियस CSI की आवश्यकता), ऑप्टिमाइज्ड पावर कंट्रोल (OPC, ग्लोबल इंस्टेंटेनियस CSI की आवश्यकता), और अन्य ह्यूरिस्टिक शेड्यूलर से की गई।
प्रदर्शन:
- प्रस्तावित SCA-आधारित डिज़ाइन अभिसरण गति और अंतिम सटीकता में OPC (जो महंगे ग्लोबल इंस्टेंटेनियस CSI का उपयोग करता है) के तुलनीय परिणाम प्राप्त करता है।
- यह वैनिला OTA-FL और अन्य बेसलाइन्स को काफी बेहतर प्रदर्शन करता है जो जीरो बायस को लागू करते हैं या अनस्ट्रक्चर्ड बायस का उपयोग करते हैं।
- ओवरहेड: प्रस्तावित विधि के लिए सर्वर पर केवल सांख्यिकीय CSI की आवश्यकता होती है, जबकि सबसे अच्छा प्रदर्शन करने वाला प्रतिस्पर्धी (OPC) हर राउंड में ग्लोबल इंस्टेंटेनियस CSI की मांग करता है।
निष्कर्ष: एक छोटा, अनुकूलित बायस प्रदान करने से हेट्रोजेनियस वायरलेस सेटिंग्स में अभिसरण की गति काफी बढ़ जाती है और सामान्यीकरण (generalization) में सुधार होता है।

5. महत्व (Significance)

यह शोध पत्र वायरलेस संचार की बाधाओं और आधुनिक मशीन लर्निंग की आवश्यकताओं के बीच के एक महत्वपूर्ण अंतर को पाटता है।

व्यावहारिकता: यह प्रदर्शित करता है कि नॉन-कॉन्वेक्स सेटिंग्स में अभिसरण के लिए सख्त जीरो-बायस बाधाएं आवश्यक नहीं हैं और वास्तव में हेट्रोजेनियस नेटवर्क में हानिकारक हो सकती हैं।
स्केलेबिलिटी: पावर कंट्रोल के लिए ग्लोबल इंस्टेंटेनियस CSI के बजाय सांख्यिकीय CSI पर निर्भर करके, प्रस्तावित विधि उपकरणों की बड़ी संख्या के लिए स्केलेबल है जहाँ ग्लोबल चैनल स्टेट प्राप्त करना अव्यवहारिक है।
सैद्धांतिक आधार: यह नॉन-कॉन्वेक्स सेटिंग्स में बायस्ड OTA-FL के लिए पहला कठोर अभिसरण विश्लेषण प्रदान करता है, जो मजबूत वायरलेस FL सिस्टम को डिजाइन करने के लिए एक नया प्रतिमान (paradigm) पेश करता है।