ASWA: An Adaptive Similarity-Weighted Aggregation Algorithm for Communication-Efficient Federated Learning under Non-IID Data

आधुनिक आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक स्मार्ट सिस्टम बनाने की इच्छा और निजी जानकारी को सुरक्षित रखने की आवश्यकता के बीच एक मौलिक तनाव मौजूद है। पारंपरिक रूप से, एक शक्तिशाली कंप्यूटर मॉडल को प्रशिक्षित करने के लिए लाखों उपयोगकर्ताओं के विशाल डेटा को एक ही केंद्रीय स्थान पर एकत्र करने की आवश्यकता होती है। हालाँकि, यह दृष्टिकोण गंभीर गोपनीयता संबंधी चिंताएं पैदा करता है और कानूनी बाधाओं का सामना करता है, क्योंकि कई संगठन अपने संवेदनशील रिकॉर्ड को आसानी से नहीं सौंप सकते। इस समस्या को हल करने के लिए, शोधकर्ताओं ने 'फेडरेटेड लर्निंग' नामक एक विधि विकसित की। डेटा को कंप्यूटर तक ले जाने के बजाय, कंप्यूटर को डेटा तक ले जाया जाता है। कल्पना कीजिए कि एक शिक्षक बीस अलग-अलग कक्षाओं में एक पाठ योजना भेजता है। प्रत्येक छात्र अपनी स्थानीय पुस्तकों से सीखता है और अपने नोट्स लिखता है। फिर शिक्षक केवल उन नोट्स को एकत्र करता है, न कि किताबों को, और अगले दिन के लिए एक बेहतर पाठ योजना बनाने के लिए उन्हें जोड़ता है। यह एक साझा मॉडल को बिना किसी भी प्रतिभागी के कच्चे, निजी डेटा को देखे बिना बेहतर बनाने की अनुमति देता है।

इन नोट्स को संयोजित करने का मानक तरीका एक सरल औसत है, जहाँ प्रत्येक कक्षा के योगदान को उसमें मौजूद छात्रों की संख्या के आधार पर भार दिया जाता है। यह तब अच्छी तरह काम करता है जब प्रत्येक कक्षा में विषयों का मिश्रण समान होता है। लेकिन वास्तविक दुनिया में, डेटा शायद ही कभी इतना एकसंगी होता है। एक ग्रामीण क्लिनिक में ज्यादातर बुजुर्ग मरीज विशिष्ट बीमारियों के साथ हो सकते हैं, जबकि एक शहरी अस्पताल में अलग तरह के युवा, विविध मामले हो सकते हैं। जब विभिन्न स्थानों पर डेटा असमान रूप से वितरित होता है, तो सरल औसत विधि संघर्ष करने लगती है। अलग-अलग कक्षाओं के नोट्स पाठ योजना को परस्पर विरोधी दिशाओं में खींचने लगते हैं, जिससे सिस्टम धीरे सीखता है, संचार के कई अधिक दौरों की आवश्यकता होती है, और अक्सर उच्च स्तर की सटीकता प्राप्त करने में विफल रहता है। असमान डेटा की यह समस्या इस तकनीक को अस्पतालों, बैंकों और अन्य संस्थानों में व्यापक रूप से उपयोग किए जाने के मार्ग में प्राथमिक बाधा है।

एक नया अध्ययन इस विशिष्ट समस्या के समाधान के रूप में एक विधि प्रस्तावित करता है, जिसे 'एडेप्टिव सिमिलैरिटी-वेटेड एग्रीगेशन' (ASWA) कहा जाता है। डिला यूनिवर्सिटी, इथियोपिया के शोधकर्ताओं ने एक ऐसा सिस्टम डिजाइन किया है जो फेडरेटेड लर्निंग प्रक्रिया के लिए एक अधिक स्मार्ट शिक्षक के रूप में कार्य करता है। उनका दृष्टिकोण यह नहीं मांगता कि केंद्रीय सर्वर और स्थानीय उपकरणों के बीच कोई नई जानकारी भेजी जाए, और न ही यह उपकरणों से सामान्य से अधिक डेटा भेजने के लिए कहता है। इसके बजाय, यह केंद्रीय सर्वर के इस निर्णय को बदल देता है कि किन नोट्स पर भरोसा करना है और किन कक्षाओं को कितनी बारीकी से सुनना है। यह विधि दो सरल सिद्धांतों पर कार्य करती है। पहला, यह प्रत्येक क्लाइंट से आने वाले लर्निंग अपडेट की दिशा को देखता है। यदि किसी क्लाइंट के नोट्स समूह की सामान्य दिशा के साथ मेल खाते हैं, तो उन्हें अधिक भार दिया जाता है। यदि किसी क्लाइंट के नोट्स एक अजीब या परस्पर विरोधी दिशा में भटकते हुए प्रतीत होते हैं, तो सिस्टम उनके प्रभाव को पूरी तरह से हटाने के बजाय कम कर देता है। यह वैश्विक मॉडल को आउटलेयर्स (विचलनों) द्वारा पटरी से उतरने से रोकता है। दूसरा, यह प्रणाली तय करती है कि प्रत्येक दौर में कौन भाग लेगा। कक्षाओं को यादृच्छिक रूप से चुनने के बजाय, यह अपना ध्यान उन क्लाइंट्स पर केंद्रित करती है जिन्हें वर्तमान मॉडल सबसे अधिक समझाने में संघर्ष कर रहा है। संचार के सीमित बजट को उन क्षेत्रों पर केंद्रित करके जहाँ मॉडल सबसे कमजोर है, यह प्रणाली तेजी से और अधिक कुशलता से सीखती है।

शोधकर्ताओं ने विषम स्थितियों वाले विभिन्न सिम्युलेटेड परिदृश्यों का उपयोग करके मानक दृष्टिकोण के विरुद्ध इस नई विधि का परीक्षण किया, जो वास्तविक दुनिया के संस्थानों में पाई जाने वाली असमान स्थितियों की नकल करते हैं। उन्होंने इन परीक्षणों को डेटा की छह अलग-अलग असमानता स्तरों और क्लाइंट भागीदारी की पांच अलग-अलग दरों के माध्यम से चलाया। परिणामों ने दिखाया कि असमान डेटा की गंभीर स्थितियों के तहत, नए तरीके ने मानक दृष्टिकोण की तुलना में मॉडल की अंतिम सटीकता में 6.6 से 8.8 प्रतिशत अंकों का सुधार किया। इससे भी महत्वपूर्ण बात यह है कि इसने संचार के 26.2 प्रतिशत कम दौरों और 26.5 प्रतिशत कम कुल डेटा ट्रांसमिशन का उपयोग करके लक्ष्य सटीकता स्तर प्राप्त किया। संचार में यह कमी महत्वपूर्ण है, क्योंकि डेटा को इधर-उधर भेजना अक्सर इस प्रक्रिया का सबसे महंगा और समय लेने वाला हिस्सा होता है। अध्ययन में यह भी पाया गया कि नया तरीका बहुत अधिक सुसंगत था, जो एक रन से दूसरे रन के बीच प्रदर्शन में बहुत कम भिन्नता दिखाता है, जो यह सुझाव देता है कि यह अप्रत्याशित वातावरण में अधिक विश्वसनीय है।

अध्ययन ने आगे पुष्टि की कि ये सुधार संतुलित डेटा होने पर प्रदर्शन की कीमत पर नहीं आए। उन स्थितियों में जहाँ डेटा लगभग एकसमान था, नया तरीका मानक दृष्टिकोण के समान ही अच्छा प्रदर्शन करता है, जो यह सिद्ध करता है कि यह अनावश्यक जटिलता पेश नहीं करता है। शोधकर्ताओं ने यह भी परीक्षण किया कि यह प्रणाली उस विशिष्ट सेटिंग के प्रति कितनी संवेदनशील है जो डेटासेट के आकार और अपडेट की दिशा पर विश्वास के बीच संतुलन को नियंत्रित करती है। उन्होंने पाया कि एक संतुलित सेटिंग सबसे अच्छी थी, जो पुष्टि करती है कि चुना गया विन्यास मजबूत है। हालांकि प्रारंभिक परीक्षण एक छोटे पैमाने पर हस्तलिखित अंकों के सरल डेटासेट का उपयोग करके किए गए थे, लेखकों ने इन परीक्षणों को बहुत बड़े और अधिक जटिल डेटासेट, जैसे कि त्वचा के घावों और चेस्ट एक्स-रे की मेडिकल इमेज पर चलाने के लिए एक पूर्ण, तैयार-उपयोग गाइड प्रदान की है। यह सुझाव देता है कि यह विधि केवल एक सैद्धांतिक विचार नहीं है, बल्कि एक व्यावहारिक उपकरण है जिसे वास्तविक दुनिया की समस्याओं पर लागू किया जा सकता है जहाँ डेटा गोपनीयता और असमान वितरण प्रमुख चिंताएं हैं। यह कार्य इंगित करता है कि सूचना को संयोजित करने के तरीके और योगदान देने के लिए किसे पूछा जाए, इसमें छोटे, बुद्धिमान समायोजन करके, संचार के बोझ को बढ़ाए बिना सहयोगात्मक शिक्षण प्रणालियों की गति और सटीकता में महत्वपूर्ण सुधार किया जा सकता है।