Similarity-Aware Machine Unlearning
यह शोध पत्र एक समानता-जागरूक (similarity-aware) मशीन अनलर्निंग फ्रेमवर्क प्रस्तावित करता है जो समानार्थक रिटेन किए गए डेटा पर होने वाले संपार्श्विक नुकसान (collateral damage) को कम करने के लिए एक रिटेन-जागरूक लोकलाइजेशन पद्धति का उपयोग करता है और साथ ही मानक अनलर्निंग दक्षता में सुधार करता है, जिसे एक नवीन मूल्यांकन सेट और व्यापक प्रयोगों के माध्यम से सत्यापित किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक विशाल, अत्यंत बुद्धिमान डिजिटल मस्तिष्क बनाया है जिसने तस्वीरों के एक विशाल पुस्तकालय से सब कुछ सीखा है। यह मस्तिष्क अपने काम में इतना कुशल है कि यह एक बिल्ली को कुत्ते से या एक जहाज को कार से अविश्वसनीय सटीकता के साथ अलग पहचान सकता है। लेकिन इसमें एक पेच है: कभी-कभी, लोग गोपनीयता कानूनों या व्यक्तिगत पसंद के कारण उस पुस्तकालय से अपनी तस्वीरों को हटाने के लिए कहते हैं। यदि आप केवल फोटो को हटा देते हैं, तो मस्तिष्क उसे अभी भी याद रख सकता है, जैसे कि एक छात्र जिसने परीक्षा के लिए एक तथ्य रट लिया हो लेकिन परीक्षा के बाद उसे भूलना (unlearn करना) भूल गया हो। यहीं पर "मशीन अनलर्निंग" (Machine Unlearning) आता है। यह कंप्यूटर को विशिष्ट चीजों को भूलने का प्रशिक्षण देने की कला है, बिना पूरे मस्तिष्क को फेंक दिए और उसे शून्य से फिर से बनाए बिना, जिसमें बहुत समय और धन खर्च होगा।
हालाँकि, एक पेचीदा समस्या है: कंप्यूटर के मस्तिष्क में, जानकारी अलग-अलग दराजों में सलीके से संग्रहीत नहीं होती है। इसके बजाय, यह कनेक्शनों के एक विशाल जाल की तरह है जहाँ समान चीजें आपस में उलझी हुई हैं। एक गोल्डन रिट्रीवर की तस्वीर और एक गोल्डन लैब की तस्वीर क्योंकि वे दिखने में लगभग एक जैसी हैं, उसी सेट के कनेक्शनों का उपयोग कर सकती हैं। यदि आप गोल्डन रिट्रीवर को भुलाने के लिए उसके कनेक्शन काटने की कोशिश करते हैं, तो आप गलती से गोल्डन लैब के लिए भी तारों को काट सकते हैं, जिससे मस्तिष्क उन चीजों को भूल सकता है जिन्हें उसे याद रखना चाहिए था। यह शोध पत्र इसी बारे में है कि कैसे हम उस जाल को सुलझाने का तरीका खोजें ताकि हम उन चीजों को नुकसान पहुँचाए बिना सही चीजों को हटा सकें जो उनके समान हैं।
इस अध्ययन के पीछे के शोधकर्ताओं ने, प्रसिद्ध CIFAR-10 डेटासेट (60,000 छोटी रंगीन छवियों का एक संग्रह) और ResNet18 नामक एक मॉडल के डेटा के साथ काम करते हुए, पाया कि इसे करने का पुराना तरीका थोड़ा बहुत अनाड़ी था। पिछला तरीका, जिसे "फॉरगेट-ओनली लोकलाइजेशन" (forget-only localization) कहा जाता था, एक ऐसे माली की तरह था जो किसी विशिष्ट खरपतवार को निकालने की कोशिश कर रहा है लेकिन केवल उसी खरपतवार को देख रहा है। वह खरपतवार की जड़ों को पकड़ता था, लेकिन क्योंकि वह खरपतवार एक सुंदर फूल के ठीक बगल में उग रहा था जो लगभग उसके जैसा ही दिखता था, माली ने गलती से फूल को भी उखाड़ दिया। कंप्यूटर के संदर्भ में, इसके कारण "कोलेटरल डैमेज" (collateral damage) हुआ, जहाँ मॉडल उन छवियों को पहचानने में कमज़ोर हो गया जो जिन्हें उसे याद रखना था, उनके बहुत समान थीं।
इसे ठीक करने के लिए, टीम ने एक नया, "रिटेन-अवेयर" (retain-aware) तरीका प्रस्तावित किया। केवल भूलने वाली चीज़ को देखने के बजाय, उन्होंने कंप्यूटर से उन चीज़ों को भी देखने के लिए कहा जिन्हें उसे याद रखना है। उन्होंने एक विशेष "समानता मानचित्र" (similarity map) बनाया ताकि यह देखा जा सके कि रिटेन की गई छवियां, भूलाई जाने वाली छवियों के सबसे करीबी पड़ोसी कौन सी हैं। फिर, उन्होंने यह तय करने के लिए कि कंप्यूटर के मस्तिष्क के किन हिस्सों को ट्यून करना है, एक चतुर स्कोरिंग प्रणाली का उपयोग किया। उन्होंने अनिवार्य रूप से कहा, "केवल उन तारों को काटें जो उस चीज़ के लिए बहुत महत्वपूर्ण हैं जिसे हम भूलना चाहते हैं, लेकिन उन तारों को अकेला छोड़ दें यदि वे उन समान चीजों के लिए भी बहुत महत्वपूर्ण हैं जिन्हें हमें रखना है।"
उन्होंने स्कोर की गणना करने के तीन अलग-अलग तरीकों का परीक्षण किया: एक सरल घटाव विधि, एक भारित (weighted) विधि (जहाँ वे इस बात पर कितना ध्यान देना चाहते हैं उस पर आवाज़ बढ़ा सकते थे), और एक अनुपात (ratio) विधि। ग्यारह अलग-अलग प्रयोग चलाने के बाद, उन्होंने पाया कि उनका नया दृष्टिकोण पुराने "फॉरगेट-ओनली" तरीके की तुलना में बहुत बेहतर काम करता है। विशेष रूप से, "सबसैम्पल्ड डिफरेंस मेथड" (घटाव का एक विशिष्ट तरीका) मुख्य आकर्षण रहा। इसने मॉडल को लक्षित छवियों को सफलतापूर्वक भुला दिया जबकि समान, रिटेन की गई छवियों पर इसकी सटीकता लगभग पूर्ण रखी।
यह पत्र दिखाता है कि समानता के प्रति जागरूक रहकर, वे "कोलेटरल डैमेज" को काफी कम कर सकते हैं। उदाहरण के लिए, जब उन्होंने देखा कि मॉडल उन छवियों पर कैसा प्रदर्शन करता है जो भूलाई जाने वाली छवियों के दृश्य रूप से बहुत करीब थीं, तो उनके नए तरीके ने प्रदर्शन में लगभग कोई गिरावट नहीं आने दी, जबकि पुराने तरीके ने एक उल्लेखनीय गिरावट पैदा की। उन्होंने यह भी जांचा कि क्या मॉडल केवल अनुमान लगा रहा है या अजीब व्यवहार कर रहा है; उन्होंने एक "मेंबरशिप इन्फरेंस अटैक" (membership inference attack) परीक्षण (यह देखने का एक तरीका कि क्या मॉडल अभी भी गुप्त रूप से हटाए गए डेटा को याद रख रहा है) का उपयोग किया और पाया कि उनका नया तरीका वास्तव में स्मृति को मिटाने में बहुत बेहतर था।
संक्षेप में, लेखक सुझाव देते हैं कि हम भूलने को केवल एक साधारण विलोपन कार्य के रूप में नहीं मान सकते। क्योंकि कंप्यूटर के मस्तिष्क पैटर्न और समानताएं खोजकर सीखते हैं, इसलिए आपको उन पैटर्न को तोड़ने में सावधान रहना होगा जिन्हें आप रखना चाहते हैं। उनका नया तरीका एक सटीक सर्जन की तरह कार्य करता है, न कि एक हथौड़े की तरह, जो किसी भूले हुए फोटो की विशिष्ट स्मृति को हटा देता है बिना उसके दिखने वाले दोस्तों की स्मृति को नुकसान पहुँचाए। हालांकि उन्होंने इसका परीक्षण छवियों के एक विशिष्ट सेट और एक विशिष्ट प्रकार के मॉडल पर किया, उनके परिणाम बताते हैं कि यह "रिटेन-अवेयर" दृष्टिकोण उन एआई गोपनीयता उपकरणों को प्रभावी और सुरक्षित बनाने की दिशा में एक आशाजनक कदम है जिन्हें हम रखना चाहते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।