LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty
यह शोध पत्र LoTUS को प्रस्तुत करता है, जो एक नवीन और कुशल मशीन अनलर्निंग विधि है जो प्रेडिक्शन प्रोबेबिलिटीज (भविष्यवाणी की संभावनाओं) को एक सूचना-सैद्धांतिक सीमा तक सुचारू बनाकर प्री-ट्रेंड मॉडल्स से प्रशिक्षण नमूनों के प्रभाव को समाप्त करती है, जिससे यह बिना पुनरप्रशिक्षण के मानक और बड़े पैमाने के डेटासेट दोनों पर अत्याधुनिक बेसलाइनों से बेहतर प्रदर्शन करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने एक विशाल पाठ्यपुस्तक को कंठस्थ कर लिया है। वह छात्र इतना कुशल है कि वह हर एक पृष्ठ के बारे में विशिष्ट तथ्य सुना सकता है। लेकिन अब, कल्पना कीजिए कि एक ऐसी स्थिति है जहाँ उस पाठ्यपुस्तक के कुछ पृष्ठ किसी ऐसे व्यक्ति द्वारा लिखे गए हैं जो गुमनाम रहना चाहता है, या शायद उन पृष्ठों में संवेदनशील जानकारी है जिसे मिटाने की आवश्यकता है।
आप चाहते हैं कि छात्र उन विशिष्ट पृष्ठों को पूरी तरह से "भूल" जाए, जैसे कि उसने उन्हें कभी देखा ही न हो, बिना छात्र को पूरी किताब फिर से पढ़ने के लिए वापस स्कूल भेजे। यह मशीन अनलर्निंग (Machine Unlearning) की समस्या है।
यह पेपर इस समस्या को हल करने के लिए एक नई विधि पेश करता है जिसे LoTUS (लॉगिट्स टेम्परिंग अनलर्निंग स्ट्रैटेजी) कहा जाता है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:
समस्या: "अति-आत्मविश्वासी" छात्र
डीप लर्निंग मॉडल (जैसे कि छात्र) अक्सर उस डेटा के बारे में विशिष्ट विवरणों को "याद" कर लेते हैं जिस पर उन्हें प्रशिक्षित किया गया है। यदि आप उन्हें एक अनोखे निशान वाली बिल्ली की तस्वीर दिखाते हैं, तो वे केवल "बिल्ली" नहीं सीखते; वे "उस विशिष्ट निशान वाली बिल्ली" को सीखते हैं।
इस याद रखने की क्षमता के कारण, मॉडल अति-आत्मविश्वासी (over-confident) हो जाता है। वह कहता है, "मुझे 99.9% यकीन है कि यह वही विशिष्ट बिल्ली है!" यह खतरनाक है क्योंकि यह प्रकट करता है कि मॉडल ने उस विशिष्ट छवि को पहले देखा है। हैकर्स इस अति-आत्मविश्वास का उपयोग यह पता लगाने के लिए कर सकते हैं कि क्या किसी विशिष्ट व्यक्ति की फोटो उनके ट्रेनिंग डेटा में थी (एक प्राइवेसी अटैक)।
समाधान: LoTUS (एक "कूल-डाउन" रणनीति)
पूरे मॉडल को फिर से प्रशिक्षित करने के बजाय (जो कि छात्र को पूरी लाइब्रेरी फिर से पढ़ने के समान है), LoTUS उन विशिष्ट छवियों पर मॉडल के आत्मविश्वास को धीरे से "ठंडा" (cool down) करता है जिन्हें उसे भूलने की आवश्यकता है।
सोचिए कि मॉडल का आउटपुट एक गर्म, तीखी लेजर बीम की तरह है। LoTUS उस लेजर को एक नरम, विसरित (diffuse) स्पॉटलाइट में बदल देता है।
- संभावनाओं को सुचारू बनाना (Smoothing the Probabilities): यह विधि "भूलने वाले" (forget) चित्रों के लिए मॉडल के अनुमानों को कम निश्चित बनाती है। यह आत्मविश्वास को फैला देती है ताकि मॉडल उन विशिष्ट विवरणों के बारे में अब इतना निश्चित न रहे।
- "गोल्ड स्टैंडर्ड" लक्ष्य: लक्ष्य यह है कि मॉडल उन "भूलने वाले" चित्रों पर ठीक वैसे ही व्यवहार करे जैसा वह तब करता यदि उसने उन्हें कभी देखा ही न होता। यदि मॉडल ने "निशान वाली बिल्ली" को कभी नहीं देखा होता, तो वह उसके बारे में कम निश्चित होता। LoTUS मॉडल को कम निश्चित होने के लिए मजबूर करता है, जो "कभी न देखे गए" राज्य की नकल करता है।
- तापमान का नॉब (The Temperature Knob): यह विधि एक "तापमान" सेटिंग (एक थर्मोस्टेट की तरह) का उपयोग करती है।
- यदि मॉडल अभी भी बहुत आत्मविश्वासी है (बहुत गर्म है), तो सिस्टम तापमान बढ़ाकर अनुमानों को अधिक रैंडम और अनिश्चित बना देता है।
- यदि मॉडल बहुत अधिक भ्रमित (बहुत ठंडा) हो जाता है, तो यह फोकस को फिर से तेज करने के लिए तापमान को कम कर देता है।
- यह लगातार इस नॉब को तब तक एडजस्ट करता रहता है जब तक कि "भूलने वाले" चित्रों पर मॉडल का व्यवहार उस मॉडल के व्यवहार से मेल न खा जाए जिसने उन्हें कभी देखा ही नहीं था।
नया टूल: "नो-रीटेस्ट" स्कोरकार्ड
आमतौर पर, यह साबित करने के लिए कि आपने छात्र को सफलतापूर्वक कुछ भुला दिया है, आपको छात्र को वापस स्कूल भेजना होता है, उसे सब कुछ फिर से सिखाना होता है बिना उन खराब पृष्ठों के, और फिर दोनों संस्करणों की तुलना करनी होती है। यह महंगा और धीमा है।
लेखकों ने काम की जांच करने के लिए एक नया तरीका बनाया है जिसे RF-JSD (रिट्रेन-फ्री जेन्सन-शैनन डायवर्जेंस) कहा जाता है।
- उपमा: छात्र को फिर से सिखाने और दोनों संस्करणों की तुलना करने के बजाय, आप बस छात्र के वर्तमान उत्तरों को देखते हैं और उनकी तुलना "रहस्यमय बॉक्स" के नए, अनदेखे प्रश्नों से करते हैं।
- यदि "भूलने वाले" प्रश्नों के प्रति छात्र के उत्तर "नए" प्रश्नों (जहाँ उसकी कोई स्मृति नहीं है) के प्रति उसके उत्तरों के समान दिखते हैं, तो आप जानते हैं कि उसने सफलतापूर्वक भुला दिया है।
- यह आपको प्राइवेसी लीक्स की जांच करने की अनुमति देता है बिना मॉडल को फिर से प्रशिक्षित किए, जो इमेजनेट (ImageNet) जैसे विशाल डेटासेट के लिए महत्वपूर्ण है जहाँ पुन: प्रशिक्षण करना असंभव है।
उन्होंने क्या पाया
शोधकर्ताओं ने विभिन्न मॉडलों (जैसे विजन ट्रांसफॉर्मर और रेनेट) और डेटासेट्स (CIFAR जैसे छोटे से लेकर इमेजनेट जैसे विशाल डेटासेट तक) पर LoTUS का परीक्षण किया।
- बाकियों से बेहतर: LoTUS उन सभी तरीकों की तुलना में तेज़ और अधिक प्रभावी था जिनसे इसकी तुलना की गई थी।
- यह बड़े डेटा पर काम करता है: उन्होंने सफलतापूर्वक इसे इमेजनेट (1 मिलियन से अधिक छवियों) पर उपयोग किया, जो एक ऐसा परिदृश्य है जहाँ पुन: प्रशिक्षण करना व्यावहारिक रूप से असंभव है।
- यह "स्ट्रिसैंड इफेक्ट" (Streisand Effect) से बचता है: कभी-कभी, जब आप कुछ छिपाने की कोशिश करते हैं, तो आप उसे और अधिक स्पष्ट बना देते हैं; LoTUS इससे बचता है; यह केवल मॉडल को गलत अनुमान लगाने के लिए मजबूर नहीं करता (जो कि स्पष्ट होगा); बल्कि यह मॉडल को वास्तव में अनिश्चित बनाता है, जो कि न जानने की स्वाभाविक अवस्था है।
सारांश में
LoTUS एआई (AI) के लिए एक चतुर "इरेज़र" (मिटाने वाला) है। यह पूरी किताब को नहीं मिटाता; यह केवल उन विशिष्ट पृष्ठों को धीरे से धुंधला कर देता है जिन्हें भूलने की आवश्यकता है, यह सुनिश्चित करता है कि एआई उनके बारे में बहुत आत्मविश्वासी न हो, और यह सब करते हुए समय और कंप्यूटर पावर की भारी बचत करता है। उन्होंने एक नया पैमाना (RF-JSD) भी बनाया है जिससे यह मापा जा सके कि मिटाने का काम कितना अच्छा हुआ, बिना पूरे मशीन को फिर से बनाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।