Differentiated Aggregation to Improve Generalization in Federated Learning
यह शोध पत्र FedALS का प्रस्ताव करता है, जो एक नवीन फेडरेटेड लर्निंग एल्गोरिदम है जो सैद्धांतिक सामान्यीकरण सीमाओं (theoretical generalization bounds) और प्रतिनिधित्व शिक्षण विश्लेषण (representation learning analysis) के आधार पर रिप्रजेंटेशन एक्सट्रैक्टर और मॉडल हेड पर विभेदित एकत्रीकरण आवृत्तियों को लागू करके गैर-iid परिदृश्यों में संचार लागत को कम करता है और मॉडल के सामान्यीकरण में सुधार करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल परिदृश्य में, एक शांत क्रांति इस बात को नया रूप दे रही है कि आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता) कैसे सीखता है। पारंपरिक रूप से, एक स्मार्ट कंप्यूटर प्रोग्राम को प्रशिक्षित करने के लिए व्यक्तिगत डेटा—जैसे फोटो, संदेश, मेडिकल रिकॉर्ड—को एक ही विशाल केंद्रीय गोदाम में एकत्र करने की आवश्यकता होती है। यह दृष्टिकोण, हालांकि प्रभावी है, गोपनीयता और सुरक्षा के बारे में गंभीर चिंताएं पैदा करता है। फेडरेटेड लर्निंग (Federated Learning) एक अलग मार्ग प्रदान करता है। डेटा को केंद्रीय कंप्यूटर तक ले जाने के बजाय, कंप्यूटर मॉडल डेटा के पास जाता है। कल्पना कीजिए कि एक शिक्षक कई अलग-अलग कक्षाओं में जाता है, छात्रों की स्थानीय नोटबुक से सीखता है, और फिर अपनी शिक्षण विधियों को अपडेट करने के लिए एक केंद्रीय कार्यालय में वापस आता है। इस प्रणाली में, कच्चा डेटा कभी भी व्यक्तिगत डिवाइस से बाहर नहीं जाता है, चाहे वह स्मार्टफोन हो या अस्पताल का सर्वर। डिवाइस स्थानीय स्तर पर सीखने का भारी काम करते हैं, और केवल प्राप्त अंतर्दृष्टि (insights) को ही वापस भेजा जाता है, न कि स्वयं निजी जानकारी को।
हालाँकि, यह सहयोगात्मक पद्धति एक बड़ी बाधा का सामना करती है: संचार की लागत। हजारों उपकरणों और एक केंद्रीय सर्वर के बीच एक बड़े, जटिल मॉडल को बार-बार भेजने में अत्यधिक बैंडविडिड्थ और समय खर्च होता है, जो बिल्कुल वैसा ही है जैसे हर बार एक पन्ने के सुधार के लिए किताबों के पुस्तकालय को बार-बार डाक से भेजना। यह बाधा विशेष रूप से तब तीव्र हो जाती है जब प्रत्येक डिवाइस द्वारा रखा गया डेटा अद्वितीय और दूसरों से भिन्न होता है, जिसे शोधकर्ता 'नॉन-यूनिफॉर्म डिस्ट्रीब्यूशन' (गैर-समान वितरण) कहते हैं। ऐसे मामलों में, उपकरण अक्सर एक एकल, प्रभावी मॉडल पर सहमत होने के लिए संघर्ष करते हैं, जिससे निरंतर, महंगे अपडेट का एक चक्र बन जाता है जो शायद बेहतर परिणाम न दे पाए। वैज्ञानिकों के सामने सवाल यह है कि अंतिम बुद्धिमत्ता की गुणवत्ता से समझौता किए बिना इस सहयोगात्मक शिक्षण प्रक्रिया को तेज़ और अधिक कुशल कैसे बनाया जाए।
इलिनोइस विश्वविद्यालय शिकागो की शोधकर्ताओं की एक टीम ने एक अभिनव समाधान प्रस्तावित किया है जो इस सहयोग की लय को बदल देता है। उनका कार्य, जो 'ट्रांजेक्शन ऑन मशीन लर्निंग रिसर्च' में प्रकाशित हुआ है, सुझाव देता है कि सीखने के मॉडल के सभी हिस्सों को एक ही गति से अपडेट करने की आवश्यकता नहीं है। उनकी खोज को समझने के लिए, पहले एक विशिष्ट आर्टिफिशियल इंटेलिजेंस मॉडल को देखना होगा जिसका उपयोग छवियों जैसी चीजों को पहचानने के लिए किया जाता है। ये मॉडल दो अलग-अलग खंडों वाली एक पाइपलाइन की तरह बने होते हैं। पहला खंड, जिसमें अक्सर शुरुआती परतें (layers) शामिल होती हैं, एक सामान्य 'फीचर एक्सट्रैक्टर' के रूप में कार्य करता है। यह सार्वभौमिक पैटर्न की पहचान करना सीखता है, जैसे कि आँख का आकार, कान का घुमाव, या फर की बनावट, चाहे विषय कुत्ता हो, बिल्ली हो या पक्षी। दूसरा खंड, जिसे 'हेड' (head) कहा जाता है, पाइपलाइन के अंत में स्थित होता है और अंतिम कार्य में विशेषज्ञता रखता है, जैसे कि यह तय करना कि छवि विशेष रूप से एक कुत्ता है या बिल्ली।
शोधकर्ताओं ने देखा कि मॉडल की प्रारंभिक, सामान्य परतें विभिन्न उपकरणों में बहुत समान दिखने की प्रवृत्ति रखती हैं, भले ही उन उपकरणों के पास पूरी तरह से अलग प्रकार का डेटा हो। क्योंकि ये परतें साझा, सार्वभौमिक विशेषताओं को सीख रही हैं, उन्हें लगातार सिंक्रोनाइज़ करने की आवश्यकता नहीं है। इसके विपरीत, अंतिम परतें, जो विशिष्ट स्थानीय डेटा के लिए अनुकूलित होती हैं, अधिक तेज़ी से भिन्न होती हैं और उन्हें समूह को सही ट्रैक पर रखने के लिए अधिक बार समन्वय की आवश्यकता होती है। इस अंतर्दृष्टि के आधार पर, टीम ने FedALS नामक एक नया एल्गोरिदम विकसित किया, जिसका अर्थ है 'फेडरेटेड लर्निंग विद एडेप्टिव लोकल स्टेप्स'। यह विधि मॉडल के सामान्य फीचर-एक्सट्रैक्टिंग हिस्सों को केंद्रीय सर्वर पर समूह अपडेट के लिए भेजे जाने से पहले कई अधिक स्थानीय शिक्षण चरण करने की अनुमति देती है। इस बीच, विशेष अंतिम परतों को बहुत अधिक बार अपडेट और साझा किया जाता है।
यह दृष्टिकोण इन मॉडलों के सामान्यीकरण (generalization), या नए, अनदेखे डेटा पर उनके प्रदर्शन के बारेв कठोर गणितीय विश्लेषण पर आधारित है। शोधकर्ताओं ने सीखने की प्रक्रिया की त्रुटि दर की भविष्यवाणी करने के लिए एक नया सूत्र निकाला, जिससे पता चला कि ऐसी स्थितियों में जहाँ डेटा असमान रूप से वितरित होता है, सामान्य परतों को अधिक स्थानीय रूप से सीखने देने से विविध डेटा को संभालने की मॉडल की क्षमता वास्तव में बेहतर होती है। मॉडल के उन हिस्सों के लिए अपडेट की आवृत्ति को कम करके जो पहले से ही सहमति में हैं, यह प्रणाली उस डेटा की मात्रा को काफी कम कर देती है जिसे प्रसारित करने की आवश्यकता होती है। शोधकर्ताओं ने इस विचार का परीक्षण CIFAR-10 और CIFAR-100 जैसे मानक इमेज डेटासेट और OPT-125M नामक एक बड़े लैंग्वेज मॉडल का उपयोग करके किया। अपने प्रयोगों में, उन्होंने पांच उपकरणों के एक नेटवर्क का अनुकरण किया जो मिलकर काम कर रहे थे।
परिणाम स्पष्ट थे। उन परिदृश्यों में जहाँ डेटा असमान रूप से वितरित था, नई विधि ने उन मॉडलों की तुलना में अधिक सटीक मॉडल बनाए जिन्हें पारंपरिक, समान अपडेट शेड्यूल के साथ प्रशिक्षित किया गया था। उदाहरण के लिए, जब SVHN डेटासेट पर छवियों को पहचानने के लिए एक मॉडल को प्रशिक्षित किया गया, तो नए दृष्टिकोण ने लगभग 81 प्रतिशत की सटीकता प्राप्त की, जबकि मानक पद्धति के लिए यह लगभग 70 प्रतिशत थी। महत्वपूर्ण रूप से, यह सुधार संचार लागत में उल्लेखनीय कमी के साथ आया। विभिन्न हिस्सों को कितनी बार साझा किया जाना चाहिए, इसे समायोजित करके, शोधकर्ताओं ने कुछ कॉन्फ़िगरेशन में ट्रांसमिट किए जाने वाले मापदंडों (parameters) की संख्या को दस गुना तक कम कर दिया, बिना प्रदर्शन खोए। उन्होंने पाया कि इस समायोजन के लिए एक 'स्वीट स्पॉट' (सही संतुलन बिंदु) होता है; स्थानीय शिक्षण चरणों को बहुत अधिक बढ़ाने से अंततः मॉडल की अंतिम कार्य पर सहमति बनाने की क्षमता को नुकसान पहुँचता है, लेकिन सही संतुलन खोजने से एक ऐसी प्रणाली मिलती है जो कुशल भी है और स्मार्ट भी।
अध्ययन ने यह भी पता लगाया कि यह नई विधि असमान डेटा को संभालने के लिए डिज़ाइन की गई अन्य मौजूदा तकनीकों के साथ कैसे परस्पर क्रिया करती है। उन्होंने पाया कि उनका दृष्टिकोण अन्य उन्नत एल्गोरिदम के पूरक के रूप में कार्य करता है, जिसका अर्थ है कि परिणामों को और बेहतर बनाने के लिए उनका एक साथ उपयोग किया जा सकता है। हालाँकि, शोधकर्ताओं ने नोट किया कि यह विशिष्ट लाभ तब सबसे अधिक स्पष्ट होता है जब उपकरणों के बीच डेटा भिन्न होता है। जब डेटा सभी उपकरणों में समान और एक जैसा होता है, तो इस अनुकूलन योग्य दृष्टिकोण के लाभ न्यूनतम होते हैं, क्योंकि मानक पद्धति पहले से ही उन स्थितियों में अच्छा प्रदर्शन करती है। यह कार्य फेडरेटेड लर्निंग को वास्तविक दुनिया के अनुप्रयोगों के लिए अधिक व्यवहार्य बनाने के लिए एक स्पष्ट, व्यावहारिक मार्ग प्रदान करता है जहाँ बैंडविडिड्थ सीमित है और डेटा विविध है। यह पहचानकर कि सीखने वाले मस्तिष्क के विभिन्न हिस्सों को सहयोग की अलग-अलग लय की आवश्यकता होती है, शोधकर्ताओं ने एक ऐसा तरीका दिखाया है जिससे कम संचार करते हुए भी स्मार्ट सिस्टम बनाए जा सकते हैं जो गोपनीयता का सम्मान करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।