🤖 machine learning

Subspace Optimization for Efficient Federated Learning under Heterogeneous Data

यह शोधपत्र सबस्पेस ऑप्टिमाइज़ेशन फॉर फेडरेटेड लर्निंगिंग (SSF) का प्रस्ताव करता है, जो एक ऐसी विधि है जो अवशिष्ट सूचना (residual information) को बनाए रखने के लिए बैकफिल-शैली के अपडेट के साथ एक निम्न-आयामी उपस्थान (low-dimensional subspace) में अनुकूलन करके डेटा विषमता-प्रेरित ड्रिफ्ट को कम करती है, जिससे मौजूदा दृष्टिकोणों की तुलना में संचार और मेमोरी ओवरहेड को काफी कम करते हुए उच्च सटीकता प्राप्त होती है।

मूल लेखक: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

प्रकाशित 2026-04-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Shuchen Zhu, Zhengyang Huang, Yuqi Xu, Peijin Li

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि एक विशाल सामूहिक प्रोजेक्ट है जहाँ सैकड़ों छात्र (क्लाइंट्स) मिलकर एक बहुत बड़ी पहेली को हल करने की कोशिश कर रहे हैं, लेकिन गोपनीयता नियमों के कारण वे अपने वास्तविक पहेली के टुकड़ों को साझा नहीं कर सकते। इसके बजाय, वे केवल एक शिक्षक (सर्वर) को नोट्स भेजते हैं कि उनके अनुसार पहेली कैसी दिखनी चाहिए।

यह फेडरेटेड लर्निंग (Federated Learning) है। आमतौर पर, वे "FedAvg" नामक एक विधि का उपयोग करते हैं, जहाँ हर कोई बस अपना सबसे अच्छा अनुमान भेज देता है, और शिक्षक उन सबका औसत निकाल लेता है। लेकिन एक समस्या है: क्योंकि हर छात्र के पास पहेली के अलग-अलग टुकड़े हैं (विषम डेटा/heterogeneous data), उनके अनुमान एक-दूसरे से अलग होते जाते हैं। वे पूरी तरह से अलग पहेलियाँ हल करने लगते हैं, और अंतिम परिणाम गड़बड़ हो जाता है।

इसे ठीक करने के लिए, बुद्धिमान शोधकर्ताओं ने SCAFFOLD नामक एक विधि का आविष्कार किया। यह ऐसा है जैसे हर छात्र को शिक्षक से एक "सुधार नोट" (correction note) दिया जाता है ताकि वे एक ही रास्ते पर बने रहें। हालाँकि, ये सुधार नोट बहुत बड़े होते हैं—जैसे हर अपडेट के लिए 100 पन्नों का एक मैनुअल भेजना। यदि छात्र छोटे, पुराने फोन (संसाधन-सीमित डिवाइस) का उपयोग कर रहे हैं, तो वे इन भारी मैनुअल्स को नहीं उठा सकते, और इंटरनेट कनेक्शन भी जाम हो जाता है।

यहाँ नया तरीका आता है: SSF (Subspace-SCAFFOLD)।

"स्केचबुक" बनाम "पूर्ण ब्लूप्रिंट"

कल्पना कीजिए कि छात्र एक विशाल, विस्तृत शहर का नक्शा (बड़ा AI मॉडल) बनाने की कोशिश कर रहे हैं।

पुराना तरीका (SCAFFOLD): हर बार जब एक छात्र कोई बदलाव करता है, तो वह शिक्षक को पूरे शहर का एक उच्च-रिज़ॉल्यूशन वाला, 100-पन्नों का ब्लूप्रिंट भेजता है। शिक्षक उसकी जाँच करता है, एक बड़ा सुधार नोट वापस भेजता है, और छात्र अपने चित्र को अपडेट करता है। यह सटीक है, लेकिन यह उनके बैग और इंटरनेट के लिए बहुत भारी है।
"सबस्पेस" वाला तरीका (FedSub): जगह बचाने के लिए, छात्र केवल शहर की मुख्य सड़कों का एक छोटा, 5-पन्नों का स्केच भेजते हैं। यह तेज़ और हल्का है। लेकिन, यदि शिक्षक इस छोटे से स्केच के आधार पर सुधार नोट भेजने की कोशिश करता है, तो छात्र भ्रमित हो जाता है क्योंकि स्केच में पार्कों या इमारतों का विवरण नहीं होता है। यदि स्केच हर हफ्ते अपना आकार बदलता है, तो पुराने सुधार नोट बेकार हो जाते हैं, और छात्र रास्ता भटक जाता है।
SSF का तरीका: यह एक चतुर मध्य मार्ग है।
1. स्केच: छात्र केवल शिक्षक को 5-पन्नों का स्केच (लो-डायमेंशनल सबस्पेस) भेजते हैं। इससे डेटा और बैटरी की भारी बचत होती है।
2. छिपी हुई स्मृति (Hidden Memory): यहाँ असली जादू है: भले ही वे केवल स्केच भेजते हैं, छात्र उस पूरे 100-पन्नों के ब्लूप्रिंट को अपने दिमाग में (या बैकग्राउंड में एक हार्ड ड्राइव में) रखते हैं।
3. "बैकफिल" (Backfill) तकनीक: जब शिक्षक स्केच के आधार पर एक सुधार भेजता है, तो छात्र उस सुधार को स्केच पर लागू करता है और साथ ही एक विशेष "बैकफिल" तकनीक का उपयोग करके छिपे हुए पूर्ण ब्लूप्रिंट को अपडेट करता है।
4. परिणाम: छात्र सही रास्ते पर रहता है (ठीक वैसे ही जैसे भारी SCAFFOLD विधि में होता है) लेकिन उसे संचार के लिए केवल हल्का स्केच ही ढोना पड़ता है।

यह एक बड़ी बात क्यों है?

पेपर का दावा है कि SSF आधुनिक AI की "तिहरी चुनौती" (triple threat) को हल करता है:

कंप्यूटेशन (Computation): यह तेज़ है क्योंकि गणित विशाल मानचित्र के बजाय छोटे स्केच पर किया जाता है।
मेमोरी (Memory): यह डिवाइस पर कम जगह लेता है क्योंकि भारी काम बैकग्राउंड में किया जाता है, सक्रिय मेमोरी में नहीं।
कम्युनिकेशन (Communication): यह भारी फाइलों के बजाय छोटे संदेश भेजता है।

"स्थिरता" (Stability) परीक्षण

शोधकर्ताओं ने इसे दो परिदृश्यों के साथ परखा:

एक गणितीय खिलौना समस्या (Math Toy Problem): उन्होंने बहुत अलग डेटा वाले छात्रों का अनुकरण किया। उन्होंने पाया कि जबकि "केवल स्केच" वाला तरीका (FedSub) अंततः भ्रमित हो जाता है और क्रैश (diverge) हो जाता है जब स्केच बहुत बड़े हो जाते हैं या बार-बार बदलते हैं, SSF स्थिर रहा और लगभग भारी, धीमी विधि के समान बेहतर होता रहा।
वास्तविक इमेज रिकग्निशन (CIFAR-100): उन्होंने छवियों को पहचानने के वास्तविक कार्य पर इसे आजमाया। SSF दूसरा सबसे अच्छा प्रदर्शन करने वाला रहा, जिसने मानक विधि (FedAvg) और "केवल स्केच" विधि (FedSub) को पीछे छोड़ दिया, हालांकि यह भारी, धीमी विधि (Full-SCAFFOLD) से थोड़ा पीछे था।

निचोड़ (The Bottom Line)

पेपर का तर्क है कि SSF दोनों दुनियाओं का सबसे अच्छा मिश्रण है। यह छात्रों को छोटे उपकरणों पर कुशलतापूर्वक काम करने की अनुमति देता है बिना उन "सुधार नोट्स" को खोए जो उन्हें पटरी से उतरने से रोकते हैं। यह साबित करता है कि आपको तेज़/हल्का होने और सटीक/स्थिर होने के बीच चुनाव करने की आवश्यकता नहीं है; आप भारी जानकारी को बैकग्राउंड में छिपाकर और केवल हल्के संस्करण को बाहर भेजकर दोनों पा सकते हैं।

पेपर क्या दावा नहीं करता है:

यह दावा नहीं करता कि यह चिकित्सा निदान या क्लिनिकल उपयोगों के लिए काम करता है।
यह दावा नहीं करता कि यह भविष्य की सभी AI समस्याओं को हल कर देगा।
यह पूरी तरह से फेडरेटेड लर्निंग को तेज़ और हल्का बनाने के गणित और कंप्यूटर विज्ञान पर केंद्रित है।

यहाँ Zhu et al. के शोध पत्र "Subspace Optimization for Efficient Federated Learning under Heterogeneous Data" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े पैमाने के मॉडलों (करोड़ों से अरबों पैरामीटर्स) के युग में फेडरेटेड लर्निंग (FL) के सामने आने वाली "तिहरी चुनौती" (triple challenge) को संबोधित करता है:

गणना (Computation): स्थानीय प्रशिक्षण चरण (local training steps) गणनात्मक रूप से भारी होते हैं।
मेमोरी (Memory): संसाधन-सीमित एज डिवाइसेस पर पूर्ण मॉडल अवस्थाओं (full model states) और सहायक चरों (auxiliary variables) को संग्रहीत करना निषेधात्मक है।
संचार (Communication): सीमित बैंडविड्थ पर पूर्ण-आयामी अपडेट (full-dimensional updates) प्रसारित करना अक्षम है।

ये चुनौतियाँ डेटा विषमता (Data Heterogeneity/Non-IID) के कारण और भी बढ़ जाती हैं। Non-IID सेटिंग्स में, स्थानीय उद्देश्य वैश्विक उद्देश्य से विचलित हो जाते हैं, जिससे "क्लाइंट ड्रिफ्ट" (client drift) होता है।

मौजूदा समाधान और उनकी सीमाएँ:
- विषमता सुधार (जैसे, SCAFFOLD): ड्रिफ्ट को ठीक करने के लिए कंट्रोल वेरिएट्स (control variates) का उपयोग करता है, लेकिन इसके लिए पूर्ण-आयामी सहायक अवस्थाओं को संग्रहीत और संचारित करने की आवश्यकता होती है, जो बड़े मॉडलों के लिए दक्षता लाभ को समाप्त कर देता है।
- संपीड़न (जैसे, Quantization): यह प्रसारित बिट्स को कम करता है लेकिन अक्सर पूर्ण-आयामी त्रुटि बफ़र्स (error buffers) की आवश्यकता होती है, जिससे मेमोरी फुटप्रिंट कम करने में विफलता होती है।
- सबस्पेस/लो-रैंक विधियाँ (Subspace/Low-Rank Methods): दक्षता के लिए आयामीता (dimensionality) को कम करती हैं, लेकिन आमतौर पर क्लाइंट ड्रिफ्ट को ठीक करने के लिए सिद्धांतों पर आधारित तंत्र का अभाव होता है। साधारण संयोजन अक्सर तब अस्थिरता पैदा करते हैं जब सबस्पेस बदल जाता है क्योंकि वे ऐतिहासिक सुधार जानकारी को त्याग देते हैं।

अंतराल (The Gap): ऐसा कोई मौजूदा एल्गोरिदम नहीं है जो एक निम्न-आयामी सबस्पेस के भीतर नेटिव विषमता सुधार (native heterogeneity correction) कर सके और साथ ही SCAFFOLD जैसे पूर्ण-आयामी तरीकों की मजबूती को बनाए रख सके।

2. कार्यप्रणाली: सबस्पेस-SCAFFOLD (SSF)

लेखक SSF प्रस्तावित करते हैं, जो एक एल्गोरिदम है जो विषमता सुधार को सीधे एक निम्न-आयामी अनुकूलन सबस्पेस में एकीकृत करता है।

मुख्य तंत्र (Core Mechanisms)

सबस्पेस प्रोजेक्शन (Subspace Projection):
- प्रत्येक राउंड $t$ पर, एक साझा रैंडम ऑर्थोनॉर्मल प्रोजेक्शन मैट्रिक्स $P_t \in \mathbb{R}^{r \times d}$ (जहाँ $r \ll d$ ) उत्पन्न किया जाता है।
- अनुकूलन (स्थानीय अपडेट और एकत्रीकरण) सख्ती से $r$ -आयामी सबस्पेस में होता है।
- ग्रेडिएंट्स को प्रोजेक्ट किया जाता है: $g_{proj} = P_t g$ ।
प्रोजेक्टेड कंट्रोल वेरिएट्स (Projected Control Variates - विषमता सुधार):
- SSF, SCAFFOLD तंत्र की नकल करता है लेकिन यह प्रोजेक्टेड मात्राओं (projected quantities) पर कार्य करता है।
- क्लाइंट स्थानीय कंट्रोल वेरिएट्स $c_i$ बनाए रखते हैं और सर्वर ग्लोबल कंट्रोल वेरिएट $c$ बनाए रखता है।
- स्थानीय अपडेट दिशा को प्रोजेक्टेड स्थानीय और वैश्विक कंट्रोल वेरिएट्स के अंतर का उपयोग करके सुधारा जाता है: $P_t g - c_{i, proj} + c_{proj}$ ।
रेसिड्यूअल-प्रिजर्विंग बैकफिल (Residual-Preserving Backfill - मुख्य नवाचार):
- मानक सबस्पेस विधियों के विपरीत, जो सक्रिय सबस्पेस के बाहर की जानकारी को त्याग देती हैं, SSF एक पूर्ण-आयामी कंट्रोल स्टेट ( $c_i$ और $c$ ) बनाए रखता है।
- अपडेट नियम: जब सबस्पेस बदलता है, तो कंट्रोल वेरिएट्स को इस प्रकार अपडेट किया जाता है:
  $c^{t+1} = (I - P_t^\top P_t)c^t + P_t^\top P_t (\text{new gradient info})$
- इसका अर्थ है कि कंट्रोल वेरिएट का ऑर्थोगोनल कॉम्प्लीमेंट (रेसिड्यूअल/अवशेष) अपरिवर्तित रहता है, जबकि केवल सक्रिय सबस्पेस घटक को रिफ्रेश किया जाता है।
- बैकफिल (Backfill): सबस्पेस अपडेट के बाद, नए प्रोजेक्टेड निर्देशांकों को संरक्षित रेसिड्यूअल के साथ जोड़कर पूर्ण-स्पेस मॉडल को पुनर्गठित किया जाता है: $x^{t+1} = P_t^\top x^{t+1}_{proj} + x^t_{res}$ ।

एल्गोरिदम प्रवाह (Algorithm Flow)

विघटन (Decomposition): सर्वर मॉडल और कंट्रोल वेरिएट्स को प्रोजेक्टेड और रेसिड्यूअल भागों में विभाजित करता है।
स्थानीय चरण (Local Steps): क्लाइंट ब्रॉडकास्ट किए गए सबस्पेस मॉडल और सर्वर के रेसिड्यूअल का उपयोग करके पूर्ण मॉडल का पुनर्निर्माण करते हैं। वे पूर्ण स्पेस में ग्रेडिएंट्स की गणना करते हैं, उन्हें प्रोजेक्ट करते हैं, और सबस्पेस में विषमता-सुधारित अपडेट करते हैं।
एकत्रीकरण (Aggregation): सर्वर सबस्पेस में प्रोजेक्टेड एंडपॉइंट्स को एकत्रित करता है।
बैकफिल और रिफ्रेश (Backfill & Refresh): सर्वर मॉडल को वापस पूर्ण स्पेस में ले जाता है और कंट्रोल वेरिएट्स को अपडेट करता है, जिससे रेसिड्यूअल घटकों को संरक्षित किया जाता है।

3. मुख्य योगदान (Key Contributions)

एल्गोरिदम डिज़ाइन (SSF):
- यह पहला FL एल्गोरिदम है जो एक निम्न-आयामी सबस्पेस में नेटिव विषमता सुधार करता है।
- यह एक बैकफिल-शैली का अपडेट पेश करता है जो कंट्रोल वेरिएट्स के रेसिड्यूअल घटकों को बनाए रखता है, जिससे यह सुनिश्चित होता है कि जब सबस्पेस घूमता है या बदलता है, तो ऐतिहासिक ड्रिफ्ट सुधार जानकारी नष्ट न हो।
सैद्धांतिक विश्लेषण (Theoretical Analysis):
- यह सिद्ध करता है कि मानक स्मूथनेस और बाउंडेड-वेरिएंस धारणाओं के तहत, SSF एक नॉन-एसिम्प्टोटिक कन्वर्जेंस रेट $\tilde{O}(1/T + 1/\sqrt{NKT})$ प्राप्त करता है।
- यह दर फुल-डायमेंशनल SCAFFOLD की लीनियर स्पीडअप से मेल खाती है, जो यह दर्शाती है कि सबस्पेस बाधाएं क्लाइंट ड्रिफ्ट के संबंध में एसिम्प्टोटिक कन्वर्जेंस व्यवहार को खराब नहीं करती हैं।
- विश्लेषण बिना यह माने मान्य है कि रैंडम प्रोजेक्टर और स्टोकेस्टिक ग्रेडिएंट्स के बीच स्वतंत्रता (independence) है।
अनुभवजन्य सत्यापन (Empirical Validation):
- एक नियंत्रित मैट्रिक्स रिग्रेशन टॉय प्रॉब्लम और एक डीप लर्निंग बेंचमार्क (CIFAR-100 के साथ ResNet-110) दोनों पर प्रदर्शित किया गया।
- दिखाया गया कि SSF मेमोरी, संचार और गणना लागत को काफी कम करता है, जबकि पूर्ण-आयामी SCAFFOLD के समान सटीकता बनाए रखता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

टॉय प्रॉब्लम (मैट्रिक्स रिग्रेशन)

मजबूती (Robustness): विभिन्न विषमता स्तरों (कम, मध्यम, उच्च) के तहत, SSF ने लगातार FedSub (बिना रेसिड्यूअल प्रिजर्वेशन वाला एक बेसलाइन सबस्पेस मेथड) और FedAvg को पछाड़ दिया।
स्थिरता (Stability): उच्च सबस्पेस आयामों ( $r=50$ ) पर, ऑर्थोगोनल जानकारी के नुकसान के कारण FedSub ने संख्यात्मक अस्थिरता और विचलन (NaN एरर) प्रदर्शित किया। SSF सभी आयामों में स्थिर रहा।
सटीकता (Accuracy): $r/d = 0.2$ के सबस्पेस अनुपात के साथ, SSF ने Full-SCAFFOLD के बहुत करीब सापेक्ष त्रुटि (relative error) प्राप्त की, जो Full-FedAvg से काफी बेहतर थी।

डीप लर्निंग (CIFAR-100 / ResNet-110)

रैंकिंग (Ranking): Full-SCAFFOLD > SSF > FedAvg > FedSub।
प्रदर्शन (Performance): SSF ने 45.43% की अंतिम टेस्ट सटीकता प्राप्त की, जो FedAvg (34.35%) और FedSub (23.17%) से काफी अधिक है।
दक्षता (Efficiency): SSF ने डेटा विषमता के खिलाफ SCAFFOLD की मजबूती को बनाए रखते हुए संचार और मेमोरी ओवरहेड को सफलतापूर्वक कम किया।

5. महत्व और प्रभाव (Significance and Impact)

अंतराल को भरना (Bridging the Gap): SSF मजबूती (Non-IID डेटा को संभालना) और दक्षता (बड़े मॉडलों को संभालना) के बीच के मौलिक तनाव को हल करता है। यह सिद्ध करता है कि क्लाइंट ड्रिफ्ट को प्रभावी ढंग से ठीक करने के लिए पूर्ण-आयामी सहायक अवस्थाओं की आवश्यकता नहीं है।
स्केलेबिलिटी (Scalability): पूर्ण-आयामी कंट्रोल वेरिएट्स के लिए $O(d)$ से $O(r)$ (जहाँ $r \ll d$ ) तक संचार और मेमोरी फुटप्रिंट को कम करके, SSF बड़े-मॉडल फेडरेटेड लर्निंग को संसाधन-सीमित एज डिवाइसेस के लिए व्यवहार्य बनाता है।
सैद्धांतिक अंतर्दृष्टि (Theoretical Insight): "रेसिड्यूअल-प्रिजर्विंग" तंत्र सबस्पेस अनुकूलन के लिए एक नया प्रतिमान (paradigm) प्रदान करता है, जो यह दिखाता है कि कंट्रोल वेरिएट्स के लिए पूर्ण-आयामी मेमोरी बनाए रखना (भले ही केवल आंशिक रूप से एक्सेस किया जाए) गतिशील सबस्पेस वातावरण में स्थिरता के लिए महत्वपूर्ण है।

निष्कर्षतः, SSF बड़े पैमाने के, विषम फेडरेटेड लर्निंग को तैनात करने के लिए एक व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ समाधान प्रदान करता है, जो "दोनों दुनियाओं का सर्वश्रेष्ठ" प्राप्त करता है: सबस्पेस विधियों की दक्षता और कंट्रोल-वेरिएट सुधार की मजबूती।