How Much Regularization Survives Averaging? Update Masking in Federated Learning

आर्टिफिशियल इंटेलिजेंस की दुनिया में, एक निरंतर चुनौती है जिसे "फेडरेटेड" (federated) समस्या के रूप में जाना जाता है। कल्पना कीजिए कि लोगों का एक समूह है, जिनमें से प्रत्येक के पास एक पहेली का एक अनूठा हिस्सा है, जो बिना एक-दूसरे को अपना व्यक्तिगत हिस्सा दिखाए, मिलकर एक एकल, पूर्ण चित्र बनाना चाहते हैं। आधुनिक मशीन लर्निंग अक्सर इसी तरह काम करती है: एक केंद्रीय कंप्यूटर कई अलग-अलग उपकरणों, जैसे कि फोन या सेंसर, को एक साझा कौशल सीखने के लिए समन्वित करता है। पेच यह है कि प्रत्येक उपकरण पर मौजूद डेटा शायद एक जैसा नहीं होता; एक फोन में ज्यादातर बिल्लियों की तस्वीरें हो सकती हैं, जबकि दूसरे में केवल कारों की तस्वीरें हो सकती हैं। जब केंद्रीय कंप्यूटर यह सीखने की कोशिश करता है कि सभी ने क्या सीखा है, तो परिणामी मॉडल पूरे चित्र को समझने में संघर्ष करता है, और नई स्थितियों में सामान्य होने में विफल रहता है। इसे ठीक करने के लिए, शोधकर्ता लंबे समय से सीखने के गणितीय परिदृश्य में "फ्लैट" (flat) समाधान खोजने का प्रयास कर रहे हैं। एक तीखे शिखर बनाम एक चौड़े, सपाट पठार के बारे में सोचें। एक मॉडल जो एक तीखे शिखर पर उतरता है, वह उस विशिष्ट डेटा के लिए तो एकदम सही काम कर सकता है जो उसने देखा था, लेकिन यदि डेटा थोड़ा भी बदल जाता है, तो वह तुरंत लड़खड़ा जाएगा। एक मॉडल जो एक चौड़े, सपाट पठार पर बसता है, अधिक मजबूत होता है; यह डेटा के छोटे बदलावों को बिना बिखरे संभाल सकता है।

वर्षों से, वैज्ञानिकों ने इन मॉडलों को उन सपाट पठारों को खोजने के लिए मजबूर करने की कोशिश की है, जिसके लिए सीखने की प्रक्रिया के दौरान शोर (noise) जोड़ना या जानबूझकर छोटी गलतियाँ करना शामिल है। यह शोर एक हल्के शेकर (shaker) की तरह कार्य करता है, जो मॉडल को एक संकीर्ण, नाजुक स्थान में फंसने से रोकता है। हाल ही में, "अपडेट मास्किंग" (update masking) नामक एक विशिष्ट तकनीक केंद्रीकृत प्रशिक्षण (centralized training) में लोकप्रिय हुई, जहाँ एक अकेला कंप्यूटर सारा काम करता है। यह विधि सीखने के निर्देशों के हिस्सों को यादृच्छिक रूप से हटा देती है और बाकी को पुनर्गठित (rescale) करती है, जो प्रभावी रूप से एक सहायक प्रकार का शोर जोड़ती है जो मॉडल को उन स्थिर, सपाट क्षेत्रों की ओर धकेलती है। हालाँकि, जब शोधकर्ताओं ने इस तकनीक को फेडरेटेड सेटिंग में लाने की कोशिश की, जहाँ कई अलग-अलग उपकरण अलग-अलग सीखते हैं और फिर अपने परिणामों को जोड़ते हैं, तो ऐसा लगा कि यह गायब हो गई। सोफिया यूनिवर्सिटी और शेंडियन एनर्जी कंपनी के शोधकर्ताओं की टीम जिस प्रश्न का उत्तर देने के लिए आगे बढ़ी, वह सरल था: वह सहायक शोर कहाँ गया, और क्या इसे वापस पाया जा सकता है?

शोधकर्ताओं ने पाया कि शोर गायब नहीं हुआ था; यह केवल परिणामों को मिलाने की प्रक्रिया से पतला (diluted) हो गया था। उनके सेटअप में, उनके पास एक सौ अलग-अलग उपकरण, या "क्लाइंट्स" थे, जिनमें से प्रत्येक अपने डेटा के एक हिस्से पर सीख रहा था। एक मानक दृष्टिकोण में, प्रत्येक उपकरण अपने सीखने के निर्देशों के किन हिस्सों को रखना है और किन्हें छोड़ना है, यह तय करने के लिए अपने स्वयं के अनूठे चयन पैटर्न का उपयोग करेगा। जब केंद्रीय सर्वर इन अपडेट को एकत्र करता है और उन्हें औसत निकालता है, तो उपकरणों के यादृच्छिक विकल्प एक-दूसरे को रद्द कर देते हैं। यह वैसा ही था जैसे दस लोग एक भारी वस्तु को थोड़ा अलग-अलग यादृच्छिक दिशाओं में धकेलने की कोशिश कर रहे हों; शुद्ध परिणाम यह था कि वस्तु मुश्किल से हिली। वह गणितीय दंड जो आमतौर पर एक मॉडल को मजबूत बनाने के लिए मजबूर करता है, वह समूह में उपकरणों की संख्या के बराबर कारक से कमजोर हो गया। दस उपकरणों के साथ, सहायक प्रभाव अपनी मूल शक्ति के दसवें हिस्से तक कम हो गया, जिससे मॉडल के पास ओवरफिटिंग (overfitting) के खिलाफ लगभग कोई सुरक्षा नहीं बची।

टीम ने एक अलग रणनीति का परीक्षण किया: क्या होगा यदि प्रत्येक उपकरण विकल्पों का बिल्कुल एक ही पैटर्न उपयोग करे? यदि सभी दस लोग एक ही यादृच्छिक दिशा में वस्तु को धकेलते हैं, तो प्रभाव सुरक्षित रहेगा। शोधकर्ताओं ने पाया कि इन विकल्पों को सिंक्रोनाइज़ (synchronize) करने से वास्तव में सुरक्षात्मक शोर बहाल हो गया, लेकिन एक बड़ी शर्त के साथ। बहाल किए गए शोर की ताकत पूरी तरह से इस बात पर निर्भर थी कि उपकरण एक-दूसरे के साथ कितने सहमत हैं। यदि उपकरण बहुत अलग डेटा से सीख रहे थे और उनके अपडेट परस्पर विरोधी दिशाओं में इशारा कर रहे थे, तो सिंक्रोनाइज़ किया गया शोर अप्रभावी या हानिकारक हो गया। इस सहमति के माप को "ग्रेडिएंट डाइवर्सिटी" (gradient diversity) कहा जाता है, जो अनिवार्य रूप से यह गिनता है कि उपकरणों के व्यक्तिगत प्रयास कितने ओवरलैप होते हैं। जब उपकरण सामंजस्य में होते हैं, तो शोर पूरी शक्ति के साथ वापस आता है। जब वे संघर्ष में होते हैं, तो शोर कम हो जाता है या पूरी तरह से लुप्त हो जाता है।

यह समझने के लिए कि व्यवहार में यह क्यों हुआ, शोधकर्ताओं ने एक मानक इमेज डेटासेट जिसका नाम CIFAR-10 है, का उपयोग करके व्यापक प्रयोग चलाए, जिसे एक सौ सिम्युलेटेड क्लाइंट्स के बीच विभाजित किया गया था। उन्होंने सटीक रूप से मापा कि विभिन्न स्थितियों के तहत औसत प्रक्रिया के तहत कितना सुरक्षात्मक शोर जीवित रहा। उन्होंने पाया कि सबसे सामान्य सेटअप में, जहाँ उपकरण डेटा के छोटे बैचों में सीखते हैं, जीवित रहने की दर चौंकाने वाली रूप से कम थी। दस की संभावित अधिकतम शक्ति में से, जो शोर वास्तव में अंतिम मॉडल तक पहुँचा, वह केवल लगभग 1.19 था। इस मामूली अंश का अर्थ था कि मॉडल बिना किसी शोर के जोड़े गए मॉडल की तुलना में बहुत अधिक मजबूत नहीं था। शोधकर्ताओं ने इस विफलता का पता डेटा के रैंडम सैंपलिंग (random sampling) से लगाया जो मानक लर्निंग के हर चरण में होता है। छोटे बैचों की छवियों को चुनने से उत्पन्न यादृच्छिक शोर ने मास्किंग तकनीक द्वारा उत्पन्न विशिष्ट, सहायक शोर को दबा दिया।

टीम ने यह भी जांचा कि क्या डेटा के अंतर—यह तथ्य कि कुछ उपकरणों के पास अधिक बिल्लियाँ थीं और दूसरों के पास अधिक कारें थीं—ही असली दोषी था। उन्होंने डेटा वितरण को अत्यंत असमान बनाने के लिए इसमें बदलाव किया, जिसमें कुछ उपकरणों के पास अन्य की तुलना में सौ गुना अधिक डेटा था। आश्चर्यजनक रूप से, इस अत्यधिक अंतर का शोर की जीवित रहने की दर पर बहुत कम प्रभाव पड़ा। चाहे डेटा लगभग समान हो या बहुत अलग, शोर की जीवित रहने की दर 1.17 और 1.50 के बीच अटकी रही। वास्तविक बाधा डेटा की विविधता नहीं थी, बल्कि सीखने की विधि थी। जब शोधकर्ताओं ने छोटे-बैच सैंपलिंग को बंद कर दिया और प्रत्येक डिवाइस को एक बार में अपने पूरे संग्रह से सीखने दिया, तो जीवित रहने की दर नाटकीय रूप से बढ़कर 8.96 हो गई। इसने सिद्ध किया कि छोटे बैचों का यादृच्छिक शोर ही वह प्राथमिक कारण था जिससे फेडरेटेड सेटिंग में यह तकनीक विफल हुई।

हालाँकि, अध्ययन एक गंभीर वास्तविकता जाँच के साथ समाप्त हुआ। जबकि बड़े, पूर्ण-डेटा बैचों और सिंक्रोनाइज़ किए गए विकल्पों का उपयोग करके सुरक्षात्मक शोर की पूरी शक्ति को वापस पाना गणितीय रूप से संभव है, ऐसा करने से मॉडल के वास्तविक प्रदर्शन पर भारी कीमत चुकानी पड़ती है। वे कॉन्फ़िगरेशन जो शोर को जीवित रहने की अनुमति देते थे, वे वही थे जिन्होंने सबसे खराब सीखने के परिणाम दिए, जिसमें टेस्ट एक्यूरेसी (test accuracy) काफी गिर गई। प्रयोगों में, सबसे अच्छा प्रदर्शन करने वाले मॉडल, जिन्होंने छोटे बैचों का उपयोग किया था, उनमें लगभग कोई सुरक्षात्मक शोर नहीं बचा था, जबकि जिन मॉडलों में सबसे अधिक शोर था, वे उपयोगी होने के लिए बहुत ही कम सटीक थे। शोधकर्ताओं को ऐसा कोई मध्य मार्ग नहीं मिला जहाँ मॉडल की सीखने की क्षमता का बलिदान किए बिना शोर को संरक्षित किया जा सके।

अंततः, यह शोध पत्र प्रकट करता है कि फेडरेटेड लर्निंग में अपडेट मास्किंग की विफलता कोई चूक या बग नहीं है, बल्कि यह इस बात का मौलिक परिणाम है कि सिस्टम कैसे काम करता है। वही तंत्र जो कई उपकरणों को एक साथ सीखने की अनुमति देता है—उनके अपडेट का औसत निकालना—उसी प्रकार के शोर को धो देता है जिस पर अपडेट मास्किंग निर्भर करती है। शोधकर्ताओं ने दिखाया कि हालांकि सिंक्रोनाइज़ेशन के माध्यम से शोर को मजबूर करके जीवित रखना संभव है, लेकिन इसके लिए आवश्यक स्थितियाँ एक उपयोगी मॉडल को प्रशिक्षित करने की व्यावहारिक आवश्यकताओं के साथ असंगत हैं। वह सुरक्षात्मक प्रभाव जो एक एकल कंप्यूटर में इतना अच्छा काम करता है, वह कई उपकरणों के नेटवर्क में अनुवादित नहीं होता है, जब तक कि आप एक ऐसे मॉडल को स्वीकार करने के लिए तैयार न हों जो बहुत खराब तरीके से सीखता है। यह अध्ययन इस तकनीक की सीमाओं के बारे में एक स्पष्ट समझ के साथ क्षेत्र को छोड़ देता है, जो यह सुझाव देता है कि भविष्य के समाधानों को फेडरेटेड मॉडलों को उन स्थिर, सपाट पठारों को खोजने के लिए अन्य तरीकों की तलाश करनी चाहिए।