Class-Grouped Normalized Momentum and Faster Hyperparameter Exploration to Tackle Class Imbalance in Federated Learning
यह शोध पत्र FedCGNM प्रस्तुत करता है, जो एक नवीन क्लाइंट-साइड ऑप्टिमाइज़र है जो फेडरेटेड लर्निंग में ग्रेडिएंट असंतुलन को संबोधित करने के लिए क्लास-ग्रुपड नॉर्मलाइज्ड मोमेंटम का उपयोग करता है, साथ ही FedHOO, जो रिसैंपलिंग दरों को अनुकूलित करने के लिए एक कुशल X-आर्म्ड-बैंडिट एल्गोरिदम है, ये दोनों ही मौजूदा बेसलाइनों की तुलना में लॉन्ग-टेल्ड डेटासेट्स पर बेहतर प्रदर्शन प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप छात्रों (जिन्हें "क्लाइंट्स" कहा जाता है) को विभिन्न प्रकार की वस्तुओं को पहचानना सिखाने की कोशिश कर रहे हैं, लेकिन एक बड़ी समस्या है: कुछ वस्तुएं बहुत आम हैं (जैसे "कुत्ते"), जबकि कुछ अत्यंत दुर्लभ हैं (जैसे "तीन पैरों वाले चिहुआहुआ")। मशीन लर्निंग की दुनिया में, इसे क्लास इम्बैलेंस (class imbalance) कहा जाता है।
एक सामान्य कक्षा में, शिक्षक एक साथ सभी छात्रों के काम को देख सकता है और पाठ योजना को समायोजित कर सकता है। लेकिन फेडरेटेड लर्निंग (Federated Learning) में, छात्र अलग-अलग कमरों में होते हैं, और शिक्षक ("सर्वर") उनके निजी डेटा या उनकी विशिष्ट गलतियों को नहीं देख सकता। उसे केवल इस बात का सारांश मिलता है कि प्रत्येक छात्र ने क्या सीखा है। क्योंकि दुर्लभ वस्तुएं प्रत्येक छात्र के कमरे में बहुत कम बार दिखाई देती हैं, इसलिए शिक्षक उन्हें अनदेखा कर देता है, और छात्र उन्हें पहचानने में बहुत खराब प्रदर्शन करते हैं।
यह शोध पत्र इसे ठीक करने के लिए दो नए उपकरण प्रस्तावित करता है: FedCGNM (छात्रों के सीखने का एक स्मार्ट तरीका) और FedHOO (शिक्षक के लिए होमवर्क असाइन करने का एक स्मार्ट तरीका)।
1. वर्तमान विधियों के साथ समस्या
आमतौर पर, जब कोई छात्र एक दुर्लभ वस्तु देखता है, तो उसे अपनी गलती को सुधारने के लिए एक बहुत ही कमजोर, शोर भरा संकेत (noisy signal) मिलता है। यदि शिक्षक इसे केवल चिल्लाकर "दुर्लभ चीजों पर ध्यान दें!" (एक तकनीक जिसे रीवेटिंग/reweighting कहा जाता है) कहकर ठीक करने की कोशिश करता है, तो यह अक्सर उल्टा पड़ जाता है। संकेत इतना शोर भरा होता है कि छात्र भ्रमित हो जाता है और गलत अनुमान लगाने लगता है।
एक अन्य विधि हर एकल वस्तु प्रकार को समान रूप से मानने की कोशिश करती है, जिसमें प्रत्येक वस्तु के "पाठ योजना" को समान वॉल्यूम दिया जाता है। लेकिन यदि आपके पास 100 प्रकार की वस्तुएं हैं, और आप 100 अलग-अलग पाठों को एक ही वॉल्यूम पर चिल्लाते हैं, तो शोर बढ़ जाता है, और छात्र अभी भी अभिभूत हो जाता है।
2. समाधान: FedCGNM (द "ग्रुप कैप्टन" स्ट्रैटेजी)
लेखक छात्रों के लिए उनके पाठों को प्रोसेस करने का एक नया तरीका प्रस्तावित करते हैं, जिसे FedCGNM कहा जाता है।
- क्लासेज को ग्रुप करना: प्रत्येक एकल वस्तु प्रकार को एक अलग पाठ मानने के बजाय, छात्र समान वस्तुओं को एक साथ समूहबद्ध करते हैं। कल्पना कीजिए कि 100 प्रकार के जानवरों को केवल दो समूहों में बांटना: "सामान्य जानवर" (कुत्ते, बिल्लियाँ) और "दुर्लभ जानवर" (तीन पैरों वाले चिहुआहुआ, एल्बिनो बाघ)।
- "मोमेंटम" कैप्टन: प्रत्येक समूह के लिए, छात्र एक "मोमेंटम" कैप्टन रखता है। मोमेंटम को एक भारी शॉपिंग कार्ट की तरह समझें। यदि आप इसे थोड़ा धक्का देते हैं, तो यह लुढ़कता रहता है। यदि छात्र एक दुर्लभ जानवर देखता है, तो "दुर्लभ जानवर कैप्टन" केवल उस एक घटना पर प्रतिक्रिया नहीं देता; वह अब तक देखे गए सभी दुर्लभ जानवरों के रुझान (trend) को याद रखता है। यह शोर को सुचारू (smooth) बनाता है।
- वॉल्यूम को समान बनाना: सिस्टम "कॉमन कैप्टन" और "रेयर कैप्टन" दोनों को बिल्कुल एक ही वॉल्यूम (यूनिट लेंथ) में बोलने के लिए मजबूर करता है। यह सुनिश्चित करता है कि दुर्लभ जानवरों को सामान्य जानवरों की तरह ही समान ध्यान मिले, बिना दुर्लभ वस्तुओं के शोर के सिग्नल को दबाए।
- परिणाम: छात्र शोर से भ्रमित हुए बिना दुर्लभ वस्तुओं को पहचानना बेहतर तरीके से सीख जाता है।
3. समाधान: FedHOO (द "स्मार्ट होमवर्क" फाइंडर)
एक बेहतर सीखने के तरीके के साथ भी, शिक्षक को यह जानने की आवश्यकता है कि छात्रों को कितने अतिरिक्त अभ्यास की आवश्यकता है। क्या छात्रों को दुर्लभ जानवरों को 10% समय देखना चाहिए, या 50%? सही संख्या ढूँढना घास के ढेर में सुई खोजने जैसा है, खासकर जब आपके पास अलग-अलग जरूरतों वाले कई छात्र हों।
आमतौरतः, शिक्षकों को होमवर्क असाइनमेंट के हर संभव संयोजन को आज़माना होगा, जिसमें बहुत समय लगता है।
FedHOO एक चतुर शॉर्टकट है:
- पैरेलल ट्रिक: शिक्षक प्रत्येक छात्र को एक ही समय में दो अलग-अलग होमवर्क असाइनमेंट करने के लिए कहता है (एक कम अभ्यास दर के साथ, और एक उच्च अभ्यास दर के साथ)।
- मैजिक मिक्स: क्योंकि छात्र समानांतर (parallel) में काम कर रहे हैं, शिक्षक इन दो असाइनमेंट के परिणामों को गणितीय रूप से "मिक्स एंड मैच" करके यह पता लगा सकता है कि होमवर्क दरों के प्रत्येक संभावित संयोजन ने कैसे काम किया होता।
- लाभ: होमवर्क दर का सही पता लगाने के लिए 100 राउंड के परीक्षण के बजाय, शिक्षक इसे कुछ ही राउंड में खोज सकता है। यह विशेष रूप से तब सहायक होता है जब कम छात्र हों (एक "स्केल-छोटे" फेडरेशन), जैसे कि किसी विशिष्ट कारखाने या छोटी कंपनी में।
4. क्या यह काम करता है?
लेखकों ने चार सार्वजनिक डेटासेट्स (जैसे कारों और कपड़ों की छवियां) और एक वास्तविक औद्योगिक डेटासेट (कंप्यूटर चिप्स पर दोषों का पता लगाना) पर इसका परीक्षण किया।
- चिप डिफेक्ट टेस्ट: एक वास्तविक कारखाने में, केवल 1.7% चिप्स में दोष होते हैं। मानक विधियां इन दोषों को खोजने में संघर्ष करती हैं। नया तरीका (FedCGM) उन्हें बेहतर ढंग से ढूंढता है। जब उन्होंने इसमें स्मार्ट होमवर्क फाइंडर (FedHOO) जोड़ा, तो परिणाम और भी बेहतर हो गए।
- बेंचमार्क्स: मानक परीक्षणों पर, उनकी विधि लगातार अन्य शीर्ष विधियों को पछाड़ती है, कभी-कभी सटीकता में लगभग 30% तक सुधार करती है।
सारांश
इस शोध पत्र को एक ऐसी नई कक्षा के रूप में समझें जहाँ कुछ विषय बहुत दुर्लभ हैं।
- FedCGNM छात्रों को बताता है कि वे हर एक दुर्लभ तथ्य के बारे में अलग से चिंता करना बंद करें और इसके बजाय उन्हें "दुर्लभ" और "सामान्य" टीमों में समूहित करें, जिससे वे उनसे सीखने के लिए एक स्थिर, सुचारू स्मृति का उपयोग कर सकें।
- FedHOO शिक्षक को यह जल्दी से पता लगाने में मदद करता है कि उन दुर्लभ तथ्यों के लिए छात्रों को कितने अतिरिक्त अभ्यास की आवश्यकता है, बिना समय बर्बाद किए।
साथ मिलकर, वे सीखने की प्रक्रिया को तेज़, अधिक स्थिर और उन दुर्लभ चीजों को पहचानने में बहुत बेहतर बनाते हैं जिन्हें आमतौर पर अनदेखा कर दिया जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।