Spectral Saliency for Machine Unlearning
यह शोध पत्र स्पेक्ट्रल सैलिएंसी अनलर्निंग (SSU) प्रस्तुत करता है, जो म्यूऑन (Muon) से प्रेरित एक मशीन अनलर्निंग विधि है जो विभिन्न आर्किटेक्चर में मॉडल उपयोगिता को बनाए रखते हुए विशिष्ट प्रशिक्षण डेटा के प्रभाव को प्रभावी ढंग से हटाने के लिए आत्मविश्वासी अनलर्निंग संकेतों के आधार पर कमजोर स्पेक्ट्रल दिशाओं को चुनिंदा रूप से अपडेट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक डिजिटल दुनिया में, आर्टिफिशियल इंटेलिजेंस सिस्टम को चेहरे पहचानने, चित्र बनाने या टेक्स्ट लिखने के तरीके सीखने के लिए डेटा के विशाल महासागरों पर प्रशिक्षित किया जाता है। एक बार जब कोई मॉडल इस डेटा से सीख लेता है, तो उसका मन बदलना कठिन हो जाता है। यदि कोई व्यक्ति अपने निजी डेटा को डेटासेट से हटाने का अनुरोध करता है, जैसा कि जनरल डेटा प्रोटेक्शन रेगुलेशन जैसे कानूनों के तहत आवश्यक है, तो मानक समाधान उस डेटा को हटाना और पूरे सिस्टम को शुरू से फिर से प्रशिक्षित करना रहा है। यह प्रक्रिया अविश्वसनीय रूप से महंगी और समय लेने वाली है, जिसमें अक्सर उसी विशाल कंप्यूटिंग शक्ति की आवश्यकता होती है जिसका उपयोग मूल प्रशिक्षण के लिए किया गया था। इसे हल करने के लिए, शोधकर्ताओं ने 'मशीन अनलर्निंग' (machine unlearning) नामक एक क्षेत्र विकसित किया है, जिसका लक्ष्य पूरे सिस्टम को फिर से बनाए बिना, प्रशिक्षित मॉडल से विशिष्ट डेटा बिंदुओं के प्रभाव को सर्जिकल सटीकता के साथ हटाना है। इसका लक्ष्य मॉडल को अवांछित जानकारी को भूलने में सक्षम बनाना है, जबकि अन्य सभी चीजों पर इसके प्रदर्शन करने की क्षमता को बनाए रखना है।
हालाँकि, केवल सीखने की प्रक्रिया को उलटने की कोशिश करना पेचीदा है। जब एक कंप्यूटर किसी विशिष्ट छवि या तथ्य को "अनलर्न" (भूलने) की कोशिश करता है, तो इसकी आंतरिक सेटिंग्स में किए गए समायोजन अनजाने में इसके अन्य, असंबंधित ज्ञान को नुकसान पहुँचा सकते हैं। यह एक जटिल टेपेस्ट्री (बुनत) से एक एकल दाग को हटाने की तरह है; यदि आप गलत धागे को बहुत ज़ोर से खींचते हैं, तो आप पूरे पैटर्न को उधेड़ सकते हैं। हालिया तरीकों ने सीखने के संकेत के कुछ हिस्सों को चुनिकी रूप से अनदेखा करके इसे ठीक करने का प्रयास किया है, लेकिन वे अक्सर परीक्षण और त्रुटि (trial and error) पर निर्भर करते हैं। पर्ड्यू यूनिवर्सिटी के शोधकर्ताओं द्वारा किया गया एक नया अध्ययन 'स्पेक्ट्रल सैलिएंसी अनलर्निंग' (Spectral Saliency Unlearning) नामक एक अधिक सटीक दृष्टिकोण पेश करता है। यह अनुमान लगाने के बजाय कि मॉडल के किन हिस्सों को समायोजित किया जाना चाहिए, यह विधि सीखने की प्रक्रिया की गणितीय संरचना का विश्लेषण करती है ताकि यह पहचाना जा सके कि कौन सी दिशाएं बदलने के लिए सुरक्षित हैं और कौन सी बहुत जोखिम भरी हैं।
शोधकर्ताओं ने अपने तरीके को उन्नत गणित के एक सिद्धांत पर बनाया है जिसे 'स्पेक्ट्रल विश्लेषण' (spectral analysis) कहा जाता है, जो जटिल डेटा को उसके मौलिक घटकों में विभाजित करता है, ठीक वैसे ही जैसे एक संगीत स्वर (chord) को व्यक्तिगत सुरों में अलग करना। आर्टिफिशियल इंटेलिजेंस के प्रशिक्षण के संदर्भ में, सिस्टम सुधार करने के संकेतों द्वारा निर्देशित होकर संभावनाओं के एक विशाल परिदृश्य के माध्यम से आगे बढ़ता है। नया अध्ययन बताता है कि ये सभी संकेत समान रूप से विश्वसनीय नहीं होते हैं। कुछ संकेत मजबूत और स्पष्ट होते हैं, जो सीधे उस जानकारी की ओर इशारा करते हैं जिसे भुलाया जाना है। अन्य कमजोर और धुंधले होते हैं, जो अक्सर भुलाई जाने वाली जानकारी और रखी जाने वाली जानकारी के एक उलझे हुए मिश्रण का प्रतिनिधित्व करते हैं। शोधकर्ताओं ने पाया कि जब एक मॉडल इन कमजोर, मिश्रित संकेतों का उपयोग करके डेटा को अनलर्न करने की कोशिश करता है, तो यह अक्सर उस डेटा पर अपने स्वयं के प्रदर्शन को नुकसान पहुँचाता है जिसे उसे याद रखना था।
इसे संबोधित करने के लिए, टीम ने इन लर्निंग सिग्नल्स के लिए एक फ़िल्टर के रूप में कार्य करने वाली तकनीक प्रस्तावित की। उन्होंने यह मापने का एक तरीका विकसित किया कि मॉडल किस दिशा में बदल सकता है, उसकी ताकत क्या है। यदि कोई दिशा भूलने के लिए एक मजबूत, आत्मविश्वासी संकेत द्वारा समर्थित है, तो मॉडल उसका अनुसरण करता है। लेकिन यदि संकेत कमजोर या अस्पष्ट है, तो विधि उसे दबा देती है, प्रभावी रूप से मॉडल को उस विशेष पथ को अनदेखा करने के लिए कहती है। यह मॉडल को उन भ्रामक समायोजनों को करने से रोकता है जो उसके रिटेंड (रखे गए) ज्ञान को मिटाए जाने वाले डेटा के साथ भ्रमित कर देते हैं। शोधकर्ताओं ने इस विचार का परीक्षण तीन बहुत अलग प्रकार के आर्टिफिशियल इंटेलिजेंस में किया: छवियों को वर्गीकृत करने वाले सिस्टम, नई तस्वीरें बनाने वाले सिस्टम, और टेक्स्ट लिखने वाले लार्ज लैंग्वेज मॉडल्स। हर मामले में, नए तरीके ने मॉडल्स को शेष दुनिया को संभालने की अपनी क्षमता को संरक्षित करते हुए लक्षित डेटा को अधिक प्रभावी ढंग से भूलने की अनुमति दी।
इन प्रयोगों के परिणाम आश्चर्यजनक थे। जब CIFAR-10 डेटासेट पर प्रशिक्षित इमेज क्लासिफायर पर लागू किया गया, तो नए तरीके ने अनलर्न्ड मॉडल और एक पूरी तरह से पुन: प्रशिक्षित मॉडल के बीच के अंतर को तीस प्रतिशत से अधिक कम कर दिया। इमेज जनरेशन के क्षेत्र में, जहाँ लक्ष्य विशिष्ट वस्तुओं की तस्वीरें बनाना है, इस पद्धति ने शेष छवियों की गुणवत्ता में लगभग चौबीस प्रतिशत सुधार करते हुए, अवांछित श्रेणियों को पूरी तरह से भुलाने की उपलब्धि हासिल की। लार्ज लैंग्वेज मॉडल्स के लिए, जिनका उपयोग अक्सर कहानियाँ लिखने या प्रश्नों के उत्तर देने के लिए किया जाता है, इस दृष्टिकोण ने विशिष्ट तथ्यों को भूलने और सामान्य लेखन क्षमता को बनाए रखने के बीच के संतुलन को लगातार सुधारा। शोधकर्ताओं ने उल्लेख किया कि यह तकनीक केवल परिवर्तन की सबसे प्रमुख और विश्वसनीय दिशाओं पर ध्यान केंद्रित करके काम करती है, न कि मॉडल के हर हिस्से को एक साथ समायोजित करने की कोशिश करके।
इस कार्य का सबसे महत्वपूर्ण पहलू यह है कि यह एक सैद्धांतिक स्पष्टीकरण प्रदान करता है कि क्यों पिछले तरीके, जो सरल नियमों (rules of thumb) पर आधारित थे, सफल रहे थे। सीखने के संकेतों के गणितीय गुणों का विश्लेषण करके, शोधकर्ताओं ने दिखाया कि कमजोर, शोर वाले (noisy) दिशाएं वही स्थान हैं जहाँ भूलने और याद रखने के बीच संघर्ष होता है। इन्हें फ़िल्टर करके, मॉडल हस्तक्षेप के सबसे बुरे प्रभावों से बच जाता है। यह अंतर्दृष्टि अनलर्निंग को एक ह्यूरिस्टिक प्रक्रिया (अनुमान आधारित प्रक्रिया) से बदलकर डेटा की संरचना पर आधारित एक सिद्धांत आधारित प्रक्रिया में बदल देती है। अध्ययन प्रदर्शित करता है कि परिवर्तन की दिशाओं के बारे में अधिक चयनात्मक होकर, आर्टिफिशियल इंटेलिजेंस सिस्टम को उनकी सामान्य बुद्धिमत्ता खोए बिना विशिष्ट जानकारी को भुलाया जा सकता है, जो अनुपालन योग्य और नैतिक एआई सिस्टम की ओर एक व्यावहारिक और कुशल मार्ग प्रदान करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।