Learning to Unlearn: Machine Unlearning via Learning the Unlearning Behaviors
यह शोध पत्र लर्निंग-टू-अनलर्न (L2UL) को प्रस्तुत करता है, जो एक नवीन मॉडल-अज्ञेय दृष्टिकोण है जो जटिल, मैन्युअल रूप से डिज़ाइन किए गए अनलर्निंग कार्यों को एक सरल, कुशल तंत्र से बदलने के लिए वितरण परिप्रेक्ष्य से अनलर्निंग व्यवहारों को सीखता है, जो विशेष रूप से बड़े पैमाने के डेटासेट और मॉडलों के लिए काफी कम कम्प्यूटेशनल लागत के साथ रिट्रेनिंग-स्तर की सटीकता प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, हमारा जीवन विशाल डेटा संग्रहों में तेजी से प्रलेखित होता जा रहा है। हर क्लिक, खरीदारी और खोज एक विशाल डिजिटल पदचिह्न (डिजिटल फुटप्रिंट) में जुड़ती है जिसका उपयोग मशीन लर्निंग सिस्टम भविष्यवाणियां करने और निर्णय लेने के लिए करते हैं। हालाँकि, व्यक्तिगत जानकारी पर इस निर्भरता ने तकनीकी प्रगति और व्यक्तिगत गोपनीयता के बीच एक तनाव पैदा कर दिया है। यूरोप में जनरल डेटा प्रोटेक्शन रेगुलेशन और संयुक्त राज्य अमेरिका में कैलिफोर्निया कंज्यूमर प्राइवेसी एक्ट जैसे कानूनों ने लोगों के लिए एक मौलिक अधिकार स्थापित किया है: अपने डेटा को हटाने के लिए पूछने की क्षमता। इस कानूनी आवश्यकता ने 'मशीन अनलर्निंग' (machine unlearning) नामक एक तकनीकी चुनौती को जन्म दिया है। इसका लक्ष्य पूरे सिस्टम को शून्य से फिर से बनाए बिना, एक प्रशिक्षित कंप्यूटर मॉडल से विशिष्ट डेटा बिंदुओं के प्रभाव को हटाना है।
वर्षों से, इस समस्या का मानक समाधान बस मॉडल को फिर से प्रशिक्षित (retrain) करना रहा है। कल्पना कीजिए कि एक छात्र ने एक विशाल पाठ्यपुस्तक पढ़ी है और फिर उससे एक अध्याय भूल जाने के लिए कहा जाता है। यह सुनिश्चित करने का सबसे गहन तरीका कि उसने वास्तव में उसे भुला दिया है, यह है कि उसे पूरी किताब फिर से पढ़ने के लिए कहा जाए, केवल उस एक अध्याय को छोड़कर। हालाँकि यह सटीकता की गारंटी देता है, लेकिन जब "पाठ्यपुस्तक" में लाखों पन्ने हों और छात्र एक जटिल कंप्यूटर प्रोग्राम हो, तो यह अविश्वसनीय रूप से धीमा और महंगा होता है। मौजूदा तरीकों ने इस प्रक्रिया को तेज करने के लिए जटिल गणितीय शॉर्टकट डिजाइन करने की कोशिश की है, लेकिन ये शॉर्टकट खुद भी बाधा बन जाते हैं, खासकर बड़े डेटासेट के मामले में। वे एक गांठ को सुलझाने के लिए हर एक धागे को खींचने की तरह हैं; यह सटीक है, लेकिन इसमें बहुत समय लगता है।
नानजिंग यूनिवर्सिटी और डीकिन यूनिवर्सिटी के शोधकर्ताओं की एक टीम ने एक अलग दृष्टिकोण प्रस्तावित किया है, जो एक जटिल मैनुअल प्रक्रिया को डिजाइन करने के बजाय, कंप्यूटर को भूलना सिखाने पर ध्यान केंद्रित करता है। वे अपने तरीके को 'लर्निंग-टू-अनलर्न' (Learning-to-Unlearn) कहते हैं। डेटा को हटाने के लिए नियमों का एक कठोर सेट इंजीनियर करने के बजाय, उन्होंने एक अलग, हल्के न्यूरल नेटवर्क को अनलर्निंग के व्यवहार को सीखने के लिए प्रशिक्षित किया। यह नया सिस्टम एक डेटासेट, हटाए जाने वाले विशिष्ट डेटा और परिणामी मॉडल के बीच के संबंध को देखता है, और फिर सीधे सही परिणाम का अनुमान लगाना सीख जाता है। यह एक छात्र को केवल घटाव के नियम सिखाने के समान नहीं है, बल्कि उसे इस अंतर्ज्ञान को सिखाने जैसा है कि जब किसी संख्या को निकाल लिया जाता है तो वह कैसे बदलती है, जिससे वह पूरे योग की पुनर्गणना किए बिना तुरंत ऑपरेशन करने में सक्षम हो जाता है।
शोधकर्ताओं ने चिकित्सा रिकॉर्ड से लेकर जटिल इमेज संग्रहों तक, विभिन्न प्रकार के डेटासेट्स पर सरल लीनियर मॉडल और अधिक जटिल न्यूरल नेटवर्क दोनों का उपयोग करके इस विचार का परीक्षण किया। उन्होंने पाया कि उनका सीखा हुआ तरीका एक ऐसा मॉडल तैयार कर सकता है जो पूरी तरह से शून्य से पुन: प्रशिक्षित मॉडल के लगभग समान प्रदर्शन करता है, लेकिन समय में भारी कमी लाता है। कुछ मामलों में, नया तरीका पारंपरिक पुन: प्रशिक्षण दृष्टिकोण की तुलना में लाखों गुना तेज था। उदाहरण के लिए, लाखों प्रविष्टियों वाले विशाल डेटासेट पर, नए सिस्टम ने अनलर्निंग कार्य को एक सेकंड के अंश में पूरा किया, जबकि पारंपरिक तरीके को घंटों या दिनों लग जाते। यह गति इसलिए प्राप्त होती है क्योंकि सीखा हुआ सिस्टम हर बार डेटा हटाने का अनुरोध आने पर पूरे डेटासेट की पुन: जांच करने की आवश्यकता महसूस नहीं करता है; यह बस उस पैटर्न को लागू करता है जिसे इसने पहले ही सीख लिया है।
महत्वपूर्ण रूप से, शोधकर्ताओं ने सत्यापित किया कि इस गति के कारण गोपनीयता से समझौता नहीं हुआ। उन्होंने यह जांचने के लिए परीक्षण किया कि क्या पद्धति ने वास्तव में हटाए गए डेटा के प्रभाव को हटा दिया है कि क्या मॉडल अभी भी यह अनुमान लगा सकता था कि डेटा उसके प्रशिक्षण का हिस्सा था। परिणामों ने दिखाया कि सीखा हुआ तरीका विशिष्ट डेटा बिंदुओं की स्मृति को सफलतापूर्वक मिटा देता है, और इस संबंध में धीमे, पुन: प्रशिक्षित मॉडलों के समान प्रदर्शन करता है। उन्होंने यह भी प्रदर्शित किया कि यह पद्धति खराब डेटा से दूषित मॉडलों को साफ कर सकती है, जिससे उनकी सटीकता को लगभग पूर्ण स्तर तक बहाल किया जा सकता है। यह दृष्टिकोण विभिन्न प्रकार के डेटा और मॉडल आकारों पर मजबूत साबित हुआ, जिसमें बड़े पैमाने पर इमेज रिकग्निशन मॉडल शामिल थे, जो यह सुझाव देता है कि यह लर्निंग-आधारित रणनीति आधुनिक आर्टिफिशियल इंटेलिजेंस में सामान्य बड़े पैमाने के डेटासेट्स को संभालने के लिए स्केल (scale) हो सकती है।
यह अध्ययन सुझाव देता है कि गोपनीयता-संरक्षित मशीन लर्निंग का भविष्य सूचना को मैन्युअल रूप से हटाने के लिए अधिक जटिल गणितीय उपकरण बनाने में नहीं, बल्कि भूलने की प्रकृति को समझने के लिए सिस्टम को प्रशिक्षित करने में निहित है। अनलर्निंग को एक निश्चित सूत्र के साथ हल की जाने वाली समस्या के बजाय एक कौशल के रूप में मानकर, शोधकर्ताओं ने कुशल, स्केलेबल और प्रभावी डेटा निष्कासन की ओर एक मार्ग खोल दिया है। यह कार्य यह दावा नहीं करता है कि यह हर गोपनीयता चुनौती को हल कर देगा, विशेष रूप से वर्तमान में उपयोग किए जाने वाले सबसे विशाल और जटिल मॉडलों के लिए, लेकिन यह उन परिदृश्यों के लिए एक शक्तिशाली नया उपकरण प्रदान करता है जहाँ डेटा प्रचुर मात्रा में है और तीव्र, सटीक विलोपन की आवश्यकता महत्वपूर्ण है। निष्कर्ष संकेत देते हैं कि सही दृष्टिकोण के साथ, मशीनें वास्तव में छोड़ना सीख सकती हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।