CoUn: Empowering Machine Unlearning via Contrastive Learning
यह शोध पत्र CoUn को पेश करता है, जो एक नवीन मशीन अनलर्निंग फ्रेमवर्क है जो भूल जाने वाले नमूनों (forget samples) के प्रभाव को उनके सिमेंटिक रिप्रजेंटेशन को समायोजित करके प्रभावी ढंग से हटाने के लिए रिटेन डेटा पर कंट्रास्टिव लर्निंग और सुपरवाइज्ड लर्निंग का लाभ उठाता है, जिससे यह मौजूदा अत्याधुनिक तरीकों से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने विशेषज्ञ बनने के लिए किताबों के एक विशाल पुस्तकालय का अध्ययन किया है। एक दिन, छात्र से किताबों के एक विशिष्ट सेट को "अनलर्न" (unlearn) करने के लिए कहा जाता है—शायद इसलिए क्योंकि वे किताबें किसी और द्वारा ली गई हैं और उन्हें वापस करने की आवश्यकता है, या इसलिए क्योंकि वह जानकारी अब निजी मानी जाती है।
मशीन अनलर्निंग (Machine Unlearning) का लक्ष्य छात्र को उन विशिष्ट किताबों को भूलने के लिए प्रशिक्षित करना है जिन्हें उसे भूलना है, बिना उसके द्वारा सीखी गई बाकी सभी चीजों को भूले।
समस्या: "हार्ड रिसेट" बनाम "क्विक फिक्स"
इसे करने का सबसे उत्तम तरीका यह है कि छात्र को वापस स्कूल भेज दिया जाए, उसे केवल वही किताबें दी जाएं जिन्हें उसे रखने की अनुमति है, और उसे सब कुछ फिर से शुरू से सीखने के लिए कहा जाए। इसे एक्जैक्ट अनलर्निंंग (Exact Unlearning) कहा जाता है। यह पूरी तरह से काम करता है, लेकिन यह एक छात्र को गणित की एक किताब का एक अध्याय भूलने के लिए केवल किंडरगार्टन वापस भेजने जैसा है—इसमें बहुत अधिक समय और ऊर्जा लगती है।
मौजूदा "क्विक फिक्स" (त्वरित समाधान) विधियाँ तेज़ होने की कोशिश करती हैं। कुछ विधियाँ छात्र को उन किताबों के लिए गलत उत्तर बताकर उसे धोखा देने की कोशिश करती हैं जिन्हें उसे भूलना है (लेबल मैनिपुलेशन/Label Manipulation)। अन्य विधियाँ छात्र के मस्तिष्क को थोड़ा "हिलाने" की कोशिश करती हैं ताकि यादों को बिखेरा जा सके (वेट परटर्बेशन/Weight Perturbation)।
- दोष: ये त्वरित समाधान अक्सर छात्र को उन किताबों के बारे में भ्रमित कर देते हैं जिन्हें उसे याद रखना चाहिए, या वे उन बुरी किताबों को भुलाने में प्रभावी नहीं होते हैं।
समाधान: CoUn (कॉन्ट्रास्टिव अनलर्निंग)
इस शोध पत्र के लेखकों ने, जो हुआवेई (Huawei) की नोआ आर्क लैब (Noah's Ark Lab) से हैं, CoUn नामक एक नई विधि प्रस्तावित की है।
CoUn को समझने के लिए, पहले हमें यह समझने की आवश्यकता है कि "परफेक्ट" छात्र (वह जो शुरू से सब कुछ फिर से सीखता है) उन किताबों के साथ कैसा व्यवहार करता है जिन्हें उसे भूलने के लिए कहा गया था।
- अवलोकन: जब परफेक्ट छात्र एक "वर्जित" (forbidden) किताब (जैसे, एक ट्रक की तस्वीर) को देखता है, तो वह केवल एक खाली स्थान नहीं देखता। क्योंकि उसने केवल "रिटेन" (Retain) किताबों (जैसे कार, हवाई जहाज और जहाज) का अध्ययन किया है, वह ट्रक को देखता है और सोचता है, "हम्म, यह सबसे ज्यादा एक कार जैसा दिखता है।" वह ट्रक को उस आधार पर वर्गीकृत करता है जिससे वह मिलता-जुलता है।
CoUn इसी स्वाभाविक व्यवहार की नकल करता है। छात्र को ट्रक को पूरी तरह से भूलने के लिए मजबूर करने के बजाय, CoUn छात्र को यह सिखाता है कि ट्रक को देखे और कहे, "यह निश्चित रूप से ट्रक नहीं है; यह वास्तव में एक कार जैसा है।"
CoUn कैसे काम करता है: "ग्रुपिंग" गेम
CoUn इस कार्य को प्राप्त करने के लिए दो मुख्य उपकरणों का उपयोग करता है, जिसमें केवल "रिटेन" किताबों (वे किताबें जिन्हें छात्र को रखने की अनुमति है) का उपयोग किया जाता है:
कॉन्ट्रास्टिव लर्निंग (समानता का खेल):
कल्पना कीजिए कि छात्र एक खेल खेल रहा है जहाँ वह एक ही "रिटेन" बुक (जैसे, एक अलग फिल्टर वाली कार) की दो थोड़ी अलग तस्वीरें देखता है और उसे बताया जाता है, "ये एक ही हैं!" उन्हें एक अलग किताब (जैसे, एक जहाज) की फोटो भी दिखाई जाती है और बताया जाता है, "ये अलग हैं!"- जादू: ऐसा करके, छात्र का मस्तिष्क उन किताबों के लिए कड़े समूह (क्लस्टर) बनाता है जिन्हें वह जानता है।
- साइड इफेक्ट: चूंकि छात्र "रिटेन" किताबों को समूह बनाने पर इतना ध्यान केंद्रित कर रहा है, इसलिए "वर्जित" किताबें (ट्रक) स्वाभाविक रूप से उन समूहों में धकेल दी जाती हैं जिनसे वे सबसे अधिक मिलती-जुलती हैं। यदि एक ट्रक कार जैसा दिखता है, तो छात्र का मस्तिष्क स्वाभाविक रूप से ट्रक की याद को "कार" क्लस्टर में धकेल देता है। यह इस प्रशिक्षण के दौरान छात्र को ट्रक दिखाए बिना, अप्रत्यक्ष रूप से होता है।
सुपरवाइज्ड लर्निंग (समूहों को अलग रखने का नियम):
एक जोखिम यह है कि यदि हम केवल समानता का खेल खेलते हैं, तो सभी समूह आपस में मिल सकते हैं (उदाहरण के लिए, कार और जहाज एक जैसे दिखने लग सकते हैं)। इसे रोकने के लिए, CoUn मानक शिक्षण का भी उपयोग करता है ताकि यह सुनिश्चित हो सके कि "रिटेन" किताबें अपने स्वयं के स्पष्ट और अलग समूह बनाए रखें। यह सुनिश्चित करता है कि छात्र उन किताबों को पहचानने की अपनी क्षमता न खो दे जिन्हें उसे याद रखना चाहिए।
परिणाम
शोध पत्र का दावा है कि CoUn वर्तमान "क्विक फिक्स" विधियों से बेहतर है क्योंकि:
- यह बेहतर तरीके से भूलता है: यह "वर्जित" डेटा को सफलतापूर्वक "रिटेन" डेटा के उन क्लस्टर्स में धकेलता है जिनसे वे सबसे अधिक मिलते हैं, ठीक वैसे ही जैसे परफेक्ट छात्र करेगा।
- यह बेहतर तरीके से याद रखता है: यह "रिटेन" डेटा को सटीक और विशिष्ट रखता है, ताकि छात्र उन किताबों के बारे में भ्रमित न हो जिन्हें उसे याद रखना चाहिए।
- इसे बुरी किताबों की आवश्यकता नहीं है: अन्य विधियों के विपरीत, CoUn को भूलने के लिए "वर्जित" किताबों को देखने की आवश्यकता नहीं है; इसे केवल "रिटेन" किताबों की आवश्यकता है।
सारांश में
CoUn को एक चतुर शिक्षक के रूप में समझें जो छात्र की किसी विशिष्ट विषय की याद मिटाने की कोशिश नहीं करता है। इसके बजाय, शिक्षक छात्र की मानसिक फाइलिंग कैबिनेट को इस तरह से व्यवस्थित करता है कि "वर्जित" फाइलें स्वाभाविक रूप से उन "अनुमत" फाइलों के फोल्डरों में फिसल जाती हैं जो उनके सबसे समान दिखते हैं। छात्र प्रभावी रूप से वर्जित विषय को "भूल" जाता है क्योंकि वह उसे कुछ और मान लेता है, जबकि वह अपने बाकी सभी ज्ञान को भी तेज और व्यवस्थित रखता है।
इस शोध पत्र का परीक्षण विभिन्न इमेज डेटासेट्स (जैसे CIFAR-10 और TinyImageNet) पर किया गया और पाया गया कि CoUn लगातार अन्य विधियों से बेहतर प्रदर्शन करता है, जो शुरू से पुन: प्रशिक्षण (retraining) की भारी लागत के बिना, "परफेक्ट" पुन: प्रशिक्षित मॉडल के करीब पहुँच जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।