← नवीनतम पेपर
🤖 machine learning

DECAF: De-Clustering for Adaptive Representational Unlearning

यह शोध पत्र DECAF का प्रस्ताव करता है, जो एक पोस्ट-हॉक मशीन अनलर्निंग विधि है जो इनपुट नॉइज़, कॉन्फिडेंस सप्रेशन और एंट्रॉपी-आधारित डाइवर्सिफिकेशन के माध्यम से विस्मृत डेटा के अवशिष्ट फीचर-स्पेस क्लस्टरिंग को प्रभावी ढंग से बाधित करता है, जिससे मौजूदा बेसलाइनों की तुलना में बेहतर अनलर्निंग प्रदर्शन और दक्षता प्राप्त होती है।

मूल लेखक: Anjie Le, Can Peng, Hongcheng Guo, J. Alison Noble

प्रकाशित 2026-07-28
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Anjie Le, Can Peng, Hongcheng Guo, J. Alison Noble

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक सुपर-स्मार्ट रोबोट है जिसने बिल्लियों से लेकर कारों तक हजारों चीजों को पहचानना सीख लिया है, और यह सब उसने तस्वीरों के एक विशाल पुस्तकालय का अध्ययन करके सीखा है। यह रोबोट एक "फाउंडेशन मॉडल" की तरह है, जो प्रकार से अत्यंत उपयोगी है लेकिन भी बहुत कठोर है। अब, एक ऐसी दुनिया की कल्पना करें जहाँ इस रोबोट को लगातार अपडेट करने की आवश्यकता हो। शायद कोई उपयोगकर्ता "भूल जाने के अधिकार" (right to be forgotten) वाले कानून के कारण रोबोट की याददाश्त से अपनी निजी तस्वीरें हटाना चाहता हो, या शायद रोबोट ने कुछ हानिकारक सीखा है जिसे तुरंत मिटाने की आवश्यकता है। यह "मशीन अनलर्निंग" (machine unlearning) की दुनिया है। यह एक छात्र को उसके पाठ्यपुस्तक के एक विशिष्ट अध्याय को भूलने के लिए कहने के समान है, जबकि उसने जो कुछ भी बाकी सीखा है उसे बरकरार रखा जाए। चुनौती कठिन है: यदि आप बस रोबot को "भूल जाओ" कहते हैं, तो वह अभी भी उस जानकारी के आकार को गुप्त रूप से याद रख सकता है, भले ही वह उसका नाम न बता सके। यदि रोबोट उस जानकारी के "आकार" को रखता है, तो एक चालाक हैकर एक साधारण ट्रिक का उपयोग करके उस गुप्त जानकारी को फिर से बनाने के लिए कर सकता है, जिससे हटाने का पूरा उद्देश्य ही विफल हो जाएगा।

यह पहेली DECAF नामक एक नई विधि द्वारा हल की गई है (जिसका अर्थ है DE-Clustering for Adaptive Forgetting - अनुकूल रूप से भूलने के लिए डी-क्लस्टरिंग)। इस कार्य के पीछे के शोधकर्ताओं ने देखा कि रोबोट को कुछ भूलने के लिए बनाने के वर्तमान तरीके ऐसे हैं जैसे किसी किताब को केवल उसका कवर उल्टा करके छिपाने की कोशिश करना; किताब अभी भी वहीं है, और कोई भी आसानी से पता लगा सकता है कि वह क्या है। उन्होंने पाया कि "अनलर्निंग" के बाद भी, रोबोट का आंतरिक मस्तिष्क (इसका फीचर स्पेस) अभी भी उन विस्मृत वस्तुओं को एक व्यवस्थित, सुव्यवस्थित समूह में रखता है, जैसे कि एक गुप्त क्लब जो अभी भी भंग नहीं हुआ हो। इसे ठीक करने के लिए, उन्होंने DECAF बनाया, एक चतुर तकनीक जो केवल रोबोट को सही उत्तर देने से रोकती ही नहीं है; बल्कि यह सक्रिय रूप से विस्मृत वस्तुओं की रोबोट की आंतरिक स्मृति को बिखेर देती है, उन गुप्त क्लबों को तोड़ देती है ताकि जानकारी वास्तव में गायब हो जाए।

समस्या: विस्मृत डेटा का "गुप्त क्लब"

लेखकों ने इस बात से शुरुआत की कि हम आमतौर पर यह कैसे परीक्षण करते हैं कि रोबोट कुछ भूल गया है। आमतौर पर, हम बस रोबोट से उन वस्तुओं को पहचानने के लिए कहते हैं जिन्हें उसे भूल जाना चाहिए था। यदि वह उन्हें गलत पहचानता है, तो हम कहते हैं, "बहुत बढ़िया, वह भूल गया!" लेकिन शोधकर्ताओं ने इस तर्क में एक दोष पाया। भले ही रोबोट गलत उत्तर दे रहा हो, उसका आंतरिक मस्तिष्क अभी भी उन विस्मृत वस्तुओं को एक तंग, पूर्ण समूह में व्यवस्थित कर सकता है।

कल्पना कीजिए कि आपके पास मिश्रित LEGO ब्रिक्स का एक बॉक्स है। आप चाहते हैं कि रोबोट लाल ब्रिक्स को भूल जाए। यदि आप केवल रोबोट को "लाल मत कहो" कहते हैं, तो वह उन्हें लाल कहना बंद कर सकता है, लेकिन उसके दिमाग के अंदर, वे सभी लाल ब्रिक्स अभी भी एक अलग ढेर में करीने से रखे हुए हैं। एक चतुर हमलावर उस ढेर को देख सकता है और महसूस कर सकता है, "आहा! ये लाल ब्रिक्स हैं!" शोधकर्ता इसे क्लस्टरिंग अटैक (clustering attack) कहते हैं। उन्होंने दिखाया कि कई मौजूदा विधियाँ विस्मृत डेटा को इन व्यवस्थित ढेरों में छोड़ देती हैं, जिसका अर्थ है कि जानकारी वास्तव में मिटाई नहीं गई है; यह केवल भ्रम की एक परत के पीछे छिपी हुई है।

समाधान: DECAF का तीन-चरणीय जादू

इसे हल करने के लिए, टीम ने DECAF प्रस्तावित किया, एक विधि जो रोबोट के मस्तिष्क के लिए एक अराजक पार्टी प्लानर (chaotic party planner) की तरह काम करती है। केवल यह बताने के बजाय कि रोबोट को याद रखना बंद कर देना चाहिए, DECAF विस्मृत डेटा के "गुप्त क्लब" को तोड़ने के लिए तीन विशिष्ट तरकीबों का उपयोग करता है। इसे केवल उस डेटा की आवश्यकता होती है जिसे भुलाया जाना है, जिससे यह बहुत कुशल बन जाता है।

  1. शोर की पार्टी (इनपुट परटर्बेशन - Input Perturbation): सबसे पहले, DECAF विस्मृत वस्तुओं की छवियों में थोड़ा सा स्टैटिक या "शोर" जोड़ता है। इसे LEGO ब्रिक्स पर ग्लिटर (चमकीले कण) छिड़कने के रूप में सोचें। यह व्यक्तिगत ब्रिक्स को थोड़ा अलग बनाता है और उन साफ पैटर्न को बिगाड़ देता है जिनका उपयोग रोबोट उन्हें पहचानने के लिए कर रहा था। यह विस्मृत वस्तुओं को एक तंग समूह में इकट्ठा होने से रोकता है।
  2. आत्मविश्वास में गिरावट (टारगेट सप्रेशन - Target Suppression): इसके बाद, विधि रोबोट को मूल लेबल के बारे में इतना आश्वस्त होने से मना करती है। यदि रोबोट 99% निश्चित था कि एक तस्वीर एक "बिल्ली" है, तो DECAF उसे अनिश्चित होने के लिए प्रेरित करता है। यह उस विशिष्ट श्रेणी के साथ रोबोट के मजबूत संबंध को कमजोर करता है, जिससे स्मृति कम कठोर हो जाती है।
  3. बिखराव का प्रभाव (एन्ट्रॉपी-आधारित आउटपुट विविधीकरण - Entropy-Based Output Diversification): अंत में, और यह सबसे महत्वपूर्ण हिस्सा है, DECAF रोबोट को अपने अनुमानों को फैलाने के लिए मजबूर करता है। यह सुनिश्चित करने के बजाय कि विस्मृत वस्तुएं एक नए, अलग समूह (जैसे कि "नीले" ब्रिक्स का ढेर) में सिमट जाएं, DECAF रोबोट को अन्य चीजों का मिश्रण बताने के लिए प्रोत्साहित करता है। यह रोबोट को यह कहने जैसा है, "यदि आप सुनिश्चित नहीं हैं कि यह एक बिल्ली है, तो शायद अनुमान लगाएं कि यह एक कुत्ता, एक पक्षी या एक कार है, लेकिन सिर्फ 'नीला' का अनुमान न लगाएं!" यह सुनिश्चित करता है कि विस्मृत डेटा पूरे मस्तिष्क में बिखर जाए, अन्य चीजों के साथ मिल जाए ताकि इसे फिर से खोजा न जा सके।

परिणाम: स्मृति को बिखेरना

शोधकर्ताओं ने CIFAR-10 नामक एक मानक डेटासेट का उपयोग करके ResNet-18 मॉडल पर DECAF का परीक्षण किया। परिणाम प्रभावशाली थे। जब उन्होंने विस्मृत डेटा के "गुप्त क्लब" को तोड़ने की कोशिश की, तो DECAF अविश्वसनीय रूप से प्रभावी रहा।

  • भूलने की शक्ति (Forgetting Power): DECAF ने विस्मृत वर्ग की सटीकता को घटाकर केवल 0.10% कर दिया। इसका मतलब है कि रोबोट ने उन वस्तुओं को पहचानना लगभग पूरी तरह से बंद कर दिया जिन्हें उसे भूल जाना चाहिए था।
  • अच्छी चीजों को बनाए रखना: महत्वपूर्ण रूप से, इसने अन्य वस्तुओं को पहचानने की रोबोट की क्षमता को खराब नहीं किया। इसने शेष डेटा पर 79.4% सटीकता बनाए रखी, जो बहुत उच्च है।
  • बड़ा स्कोर: उन्होंने उपयोगिता बनाए रखने और भूलने के बीच संतुलन को मापने के लिए AUS (एग्रीगेटेड अनलर्निंग स्कोर) नामक एक संयुक्त स्कोर का उपयोग किया। DECAF ने 0.88 स्कोर किया, जो अन्य सभी विधियों से बेहतर था जिनका उन्होंने परीक्षण किया, और यहाँ तक कि "गोल्ड स्टैंडर्ड" (रोबोट को शुरू से फिर से प्रशिक्षित करना, जिसने 0.86 स्कोर किया) से भी थोड़ा बेहतर था।

शायद सबसे रोमांचक हिस्सा गति थी। जबकि रोबोट को शुरू से फिर से प्रशिक्षित करने में 1113 सेकंड (लगभग 18 मिनट) से अधिक समय लगा, DECAF ने यह काम केवल 9.55 सेकंड में कर दिया। यह फाइन-ट्यूनिंग (जिसमें 873 सेकंड लगे) या FCS (139 सेकंड) जैसी अन्य लोकप्रिय विधियों की तुलना में भी बहुत तेज़ था।

यह क्यों महत्वपूर्ण है

यह अध्ययन सुझाव देता है कि केवल रोबोट को गलत उत्तर देने के लिए कहना पर्याप्त नहीं है ताकि गोपनीयता की रक्षा की जा सके। यदि रोबोट का आंतरिक मस्तिष्क अभी भी विस्मृत डेटा को एक साथ समूहित करता है, तो वह डेटा अभी भी असुरक्षित है। DECAF दिखाता है कि इन समूहों को सक्रिय रूप से तोड़कर और जानकारी को बिखेरकर, हम अनलर्निंग को बहुत अधिक सुरक्षित बना सकते हैं। यह एक हल्का, तेज़ और प्रभावी तरीका है यह सुनिश्चित करने के लिए कि जब एक रोबोट को भूलने के लिए कहा जाता है, तो वह वास्तव में छोड़ देता है, पीछे कोई गुप्त क्लब नहीं छोड़ता जिसे हैकर्स ढूंढ सकें। शोधकर्ताओं ने पाया कि यह दृष्टिकोण बिना मूल प्रशिक्षण डेटा तक पहुंच के अच्छी तरह से काम करता है, जो इसे वास्तविक दुनिया की स्थितियों के लिए एक व्यावहारिक उपकरण बनाता है जहाँ डेटा गोपनीयता सर्वोपरि है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →