🤖 machine learning

Representation Unlearning: Forgetting through Information Compression

यह शोध पत्र 'रिप्रेजेंटेशन अनलर्निंग' (Representation Unlearning) प्रस्तुत करता है, जो एक ऐसा ढांचा है जो प्रतिनिधित्व स्थान (representation space) में एक रूपांतरण सीखकर कुशल और विश्वसनीय मशीन अनलर्निंग प्राप्त करता है ताकि रिटेंड डेटा (retained data) के लिए उपयोगिता को संरक्षित करते हुए फॉरगॉटन डेटा (forgotten data) के बारे में जानकारी को संकुचित किया जा सके, जो पारंपरिक पैरामीटर संशोधन विधियों की तुलना में एक अधिक स्थिर और गणनात्मक रूप से कुशल विकल्प प्रदान करता है।

मूल लेखक: Antonio Almudévar, Alfonso Ortega

प्रकाशित 2026-05-29

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Antonio Almudévar, Alfonso Ortega

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने विशेषज्ञ बनने के लिए किताबों के एक विशाल पुस्तकालय का अध्ययन किया है। एक दिन, छात्र को किताबों के एक विशिष्ट सेट को "अनलर्न" (unlearn - भूलने) करने के लिए कहा जाता है—शायद इसलिए क्योंकि उन किताबों में संवेदनशील रहस्य थे, वे किसी ऐसे व्यक्ति द्वारा लिखी गई थीं जिसने अनुमति वापस ले ली थी, या वे केवल त्रुटियों से भरी थीं।

पारंपरिक तरीका यह है कि आप छात्र को सब कुछ भुला देते हैं, उनकी वर्तमान सभी नोट्स फेंक देते हैं, और उन्हें फिर से पूरे पुस्तकालय का अध्ययन करने के लिए मजबूर करते हैं, केवल उन खराब किताबों को छोड़कर। यह सटीक है, लेकिन इसमें बहुत समय लगता है और यह अविश्वसनीय रूप से थकाऊ है।

अन्य तरीके चतुर होने की कोशिश करते हैं: वे छात्र को कहते हैं, "जाओ और अपनी नोटबुक के उन विशिष्ट पृष्ठों को मिटा दो जहाँ तुमने खराब किताबों के बारे में लिखा था।" लेकिन यह लेख तर्क देता है कि यह जोखिम भरा है। छात्र का मस्तिष्क (मॉडल के पैरामीटर्स) इतना जटिल है कि केवल उन विशिष्ट पृष्ठों को सर्जिकल तरीके से हटाने की कोशिश करने से छात्र वह सब कुछ भी भूल सकता है जो वह अच्छी चीजें जानता था, या वह सर्जरी इतनी महंगी हो सकती है कि यह सब कुछ फिर से पढ़ने के समान ही कठिन हो जाती है।

पेपर का समाधान: "रिप्रेजेंटेशन अनलर्निंग" (Representation Unlearning)

यह पेपर एक अलग दृष्टिकोण प्रस्तावित करता है जिसे रिप्रेजेंटेशन अनलर्निंग कहा जाता है। छात्र के पूरे मस्तिष्क या नोटबुक को फिर से लिखने के बजाय, वे यह बदलते हैं कि छात्र सवाल का जवाब देने से ठीक पहले जानकारी को कैसे देखता है।

यह इस प्रकार काम करता है:

1. "अनुवादक" (The Translator) की उपमा

कल्पना कीजिए कि छात्र के मस्तिष्क और उसके मुँह के बीच एक विशेष अनुवादक बैठा है।

पुराना तरीका: आप छात्र के मस्तिष्क को सीधे संपादित करने की कोशिश करते हैं।
नया तरीका: आप छात्र के मस्तिष्क को बिल्कुल वैसा ही रखते हैं जैसा वह है। इसके बजाय, आप अनुवादक को एक विशिष्ट कार्य करने के लिए प्रशिक्षित करते हैं।

जब छात्र एक "अच्छी" किताब (वह डेटा जिसे आप रखना चाहते हैं) के बारे में सोचता है, तो अनुवादक कहता है, "ठीक है, मैं उस जानकारी को स्पष्ट रूप से गुजरने दूँगा।"
लेकिन जब वह एक "खराब" किताब (वह डेटा जिसे आप भूलना चाहते हैं) के बारे में सोचता है, तो अनुवादक एक धुंध बनाने वाली मशीन (fog machine) की तरह कार्य करता है। यह उस विशिष्ट विचार को इतना धुंधला कर देता है कि वह पूरे पुस्तकालय के शोर के बीच अविभाज्य हो जाता है। छात्र अब उस "खराब" किताब को एक विशिष्ट चीज़ के रूप में पहचान नहीं पाता; यह केवल "सामान्य पुस्तकालय शोर" जैसा दिखता है।

2. "सूचना अवरोध" (The Information Bottleneck)

पेपर इसे इन्फॉर्मेशन बॉटलनेक के रूप में वर्णित करता है।
सोचिए कि छात्र का मस्तिष्क सूचना की एक चौड़ी नदी है। अनुवादक एक संकीर्ण पाइप है।

अच्छे डेटा के लिए: पाइप इतना चौड़ा है कि स्पष्ट, उपयोगी पानी बह सके।
बुरे डेटा के लिए: पाइप उस पानी को इतना दबा देता है कि वह अपना आकार और पहचान खो देता है। वह अभी भी पानी है, लेकिन आप यह नहीं बता सकते कि कौन सी विशिष्ट बूंद "खराब" बाल्टी से आई थी।

3. दो परिदृश्य (Two Scenarios)

पेपर दो स्थितियों में इसका परीक्षण करता है:

परिदृश्य A: "फुल एक्सेस" मोड
अनुवादक को "अच्छी" किताबों और "खराब" किताबों दोनों को देखते हुए प्रशिक्षित किया जाता है। यह सीख जाता है कि अच्छी चीजों को स्पष्ट कैसे रखा जाए और बुरी चीजों को कैसे धुंधला किया जाए।
- परिणाम: यह अविश्वसनीय रूप से अच्छा काम करता है, अच्छे विषयों पर छात्र को स्मार्ट बनाए रखता है जबकि उसे बुरी चीजों को "भूलने" में मदद करता है।
परिदृश्य B: "ज़ीरो-शॉट" मोड (जादुई ट्रिक)
यह सबसे प्रभावशाली हिस्सा है। कल्पना कीजिए कि छात्र को एक किताब भूलने के लिए कहा गया है, लेकिन आप उसे अब "अच्छी" किताबें नहीं दिखा सकते (शायद गोपनीयता कारणों से वे लॉक कर दी गई हैं)। आपके पास केवल "खराब" किताब है।
- यह कैसे काम करता है: पेपर न्यूरल कोलैप्स (Neural Collapse) नामक एक ट्रिक का उपयोग करता है। यह मानता है कि एक अच्छी तरह से प्रशिक्षित छात्र में, एक निश्चित प्रकार (जैसे, बिल्लियों के बारे में सभी किताबें) की सभी "अच्छी" किताबें मस्तिष्क में एक जैसी दिखती हैं। अनुवादक उस "खराब" किताब के विचारों को पूरे पुस्तकालय के औसत "केंद्र" की ओर धकेलना सीखता है, जिससे वह विशिष्ट "खराब" स्मृति सामान्य शोर में डूब जाती है।
- परिणाम: बिना अच्छी किताबों को देखे भी, अनुवादक अन्य चीजों के बारे में बात करने की छात्र की क्षमता को खराब किए बिना, सफलतापूर्वक "खराब" किताब की पहचान को छिपा देता है।

यह बेहतर क्यों है?

पेपर का दावा है कि यह विधि तीन मुख्य कारणों से विजेता है:

यह तेज़ है: अनुवादक को संपादित करना चश्मा बदलने जैसा है। इसमें सेकंड लगते हैं। छात्र के मस्तिष्क को फिर से लिखना (रीट्रेनिंग) दिनों का काम है। पेपर दिखाता है कि उनका तरीका पुराने तरीकों की तुलना में सैकड़ों गुना तेज़ है।
यह सुरक्षित है: क्योंकि वे सीधे छात्र के मस्तिष्क के साथ छेड़छाड़ नहीं कर रहे हैं, वे गलती से गणित करने या पढ़ने की उसकी क्षमता को नहीं बिगाड़ते। "अच्छी" जानकारी बरकरार रहती है।
यह मेमोरी बचाता है: पुराने तरीकों के लिए भारी कंप्यूटर पावर (जैसे सुपरकंप्यूटर) की आवश्यकता होती है। यह तरीका एक मानक लैपटॉप पर चल सकता है क्योंकि यह केवल छोटे अनुवादक को ट्यून करता है, पूरे मस्तिष्क को नहीं।

कमी (सीमाएँ)

पेपर एक सीमा के बारे में ईमानदार है: यह "अनुवादक" एक परत है जिसे मस्तिष्क के बाद जोड़ा गया है। यदि किसी हैकर के पास छात्र के कच्चे मस्तिष्क (आंतरिक वेट्स) तक सीधी पहुंच है, तो वे अभी भी "खराब" जानकारी पा सकते हैं। अनुवादक केवल तब सुरक्षा प्रदान करता है जब जानकारी मस्तिष्क से बाहर निकलती है और बोले जाने वाली होती है। हालांकि, अधिकांश वास्तविक दुनिया के उपयोगों के लिए, जहाँ हम केवल मॉडल के आउटपुट को देखते हैं, यह सुरक्षा पर्याप्त है।

सारांश में:
मस्तिष्क का खतरनाक और महंगा ऑपरेशन करने के बजाय, यह पेपर सुझाव देता है कि "स्मार्ट चश्मा" (एक ट्रांसफॉर्मेशन लेयर) पहन लें जो उन विशिष्ट यादों को धुंधला कर दे जिन्हें आप हटाना चाहते हैं, जबकि बाकी सब कुछ एकदम स्पष्ट रखे। यह तेज़ है, सस्ता है, और मॉडल को पिछले तरीकों की तुलना में अधिक स्मार्ट बनाए रखता है।

तकनीकी सारांश: प्रतिनिधित्व विस्मरण (Representation Unlearning): सूचना संपीड़न के माध्यम से विस्मरण

समस्या की परिभाषा

आधुनिक मशीन लर्निंग सिस्टमों को विशिष्ट प्रशिक्षण डेटा (जिसे "विस्मरण सेट" या "forget set", $D_f$ कहा जाता है) के प्रभाव को हटाने के लिए बढ़ते नियामक और नैतिक दबावों का सामना करना पड़ रहा है, जो GDPR और CCPA जैसे ढांचों में निहित एक आवश्यकता है। केवल कच्चे डेटा (raw data) को हटाना पर्याप्त नहीं है क्योंकि डीप नेटवर्क अक्सर प्रशिक्षण उदाहरणों को याद कर लेते हैं, जिससे उनके मापदंडों (parameters) में सांख्यिकीय निशान शेष रह जाते हैं।

मौजूदा मशीन अनलर्निंग दृष्टिकोण आमतौर पर एक पैरामीटर-केंद्रित (parameter-centric) परिप्रेक्ष्य अपनाते हैं, जो मॉडल के भार ( $\theta$ ) को संशोधित करने का प्रयास करते हैं ताकि केवल "रिटेन सेट" ( $D_r$ ) पर पुन: प्रशिक्षित मॉडल के करीब पहुँचा जा सके। हालाँकि, इन विधियों को महत्वपूर्ण सीमाओं का सामना करना पड़ता है:

स्केलेबिलिटी (Scalability): वे बड़े पैमाने के आर्किटेक्चर और जटिल डेटासेट पर मॉडल की उपयोगिता बनाए रखने में संघर्ष करते हैं।
कंप्यूटेशनल लागत (Computational Cost): कई विधियों के लिए महंगे सेकंड-ऑर्डर सूचना या कई बैकवर्ड पास की आवश्यकता होती है, जो उन्हें सहज पुन: प्रशिक्षण (naive retraining) के मुकाबले कुशल बनाने के मामले में पीछे छोड़ देती है।
अस्थिरता (Instability): पूरे पैरामीटर स्पेस को संशोधित करने से भारी GPU उपयोग और अस्थिर अपडेट हो सकते हैं।
डेटा एक्सेस बाधाएं (Data Access Constraints): कई विधियाँ अप्रत्यक्ष रूप से $D_r$ और $D_f$ दोनों तक पहुँच मानती हैं, जबकि वास्तविक दुनिया के परिदृश्य गोपनीयता या भंडारण सीमाओं के कारण $D_r$ तक पहुँच को प्रतिबंधित करते हैं (इसे "जीरो-शॉट" सेटिंग कहा जाता है)।

कार्यप्रणाली: प्रतिनिधित्व विस्मरण (Representation Unlearning)

लेखक प्रतिनिधित्व विस्मरण (Representation Unlearning) का प्रस्ताव करते हैं, एक ऐसा ढांचा जो अनलर्निंग ऑपरेशन को उच्च-आयामी पैरामीटर स्पेस से निम्न-आयामी प्रतिनिधित्व स्पेस ( $Z$ ) में स्थानांतरित करता है। नेटवर्क के भार को फिर से अनुकूलित करने के बजाय, यह विधि एक हल्का रूपांतरण $f_\phi$ सीखती है जो मूल प्रतिनिधित्व $Z$ को नए प्रतिनिधित्व $Z'$ में मैप करती है।

मुख्य उद्देश्य: सूचना अवरोध (Information Bottleneck)

रूपांतरण $f_\phi$ को एक सूचना अवरोध लागू करने के लिए प्रशिक्षित किया जाता है जिसमें दो प्रतिस्पर्धी लक्ष्य होते हैं:

प्रतिधारण (Retention): रूपांतरित प्रतिनिधित्व $Z'$ और रिटेन डेटा $X_r$ के बीच पारस्परिक सूचना (mutual information) को अधिकतम करना (अर्थात, $I(Z'; Z | X_r) \approx 0$ , जिसका अर्थ है कि $D_r$ से संबंधित कोई भी जानकारी छोड़ी नहीं गई है)।
विस्मरण (Forgetting): रूपांतरित प्रतिनिधित्व $Z'$ और विस्मरण डेटा $X_f$ के बीच पारस्परिक सूचना को दबाना (अर्थात, $I(Z'; X_f) \approx 0$ , जिसका अर्थ है कि $Z'$ , $D_f$ से सांख्यिकीय रूप से स्वतंत्र है)।

वेरिएशनल सरोगेट्स (Variational Surrogates)

चूंकि पारस्परिक सूचना (mutual information) की गणना सीधे करना कठिन है, इसलिए लेखक अनुकूलन योग्य लॉस फंक्शन बनाने के लिए वेरिएशनल अपर बाउंड्स (variational upper bounds) प्राप्त करते हैं। वे दो अलग-अलग डेटा-एक्सेस व्यवस्थाओं को संबोधित करते हैं:

1. मानक सेटिंग (जब $D_r$ और $D_f$ तक पहुँच हो)

रिटेंशन लॉस ( $L_r$ ): रिटेन नमूनों के लिए रूपांतरित वितरण और मूल एनकोडर वितरण के बीच KL डाइवर्जेंस को कम करता है। गॉसियन धारणाओं के तहत, यह मूल और रूपांतरित प्रतिनिधित्व के बीच मीन स्क्वेर्ड एरर (MSE) में सरल हो जाता है: $\|z_r - f_\phi(z_r)\|_2^2$ ।
फॉरगेट लॉस ( $L_f$ ): रूपांतरित विस्मरण वितरण और संपूर्ण डेटासेट के मार्जिनल वितरण के बीच KL डाइवर्जेंस को कम करता है। यह विस्मरण प्रतिनिधित्वों को समग्र जनसंख्या के सांख्यिकी के अनुरूप होने के लिए मजबूर करता है, जिससे वे सामान्य आबादी से अविभेद्य हो जाते हैं।

2. जीरो-शॉट सेटिंग (जब केवल $D_f$ तक पहुँच हो)

उन परिदृश्यों में जहाँ $D_r$ उपलब्ध नहीं है, ढांचा न्यूरल कोलैप्स (Neural Collapse) और मेटाडेटा (क्लास काउंट) पर निर्भर करता है ताकि प्रॉक्सी का निर्माण किया जा सके:

रिटेंशन प्रॉक्सी: $D_r$ को सैंपल करने के बजाय, विधि क्लास सेंट्रोइड्स (जो क्लासिफायर वेट $w_c$ से प्राप्त होते हैं) का उपयोग क्लास मीन के प्रॉक्सी के रूप में करती है। रिटेंशन लॉस रूपांतरित क्लास प्रोटोटाइप के मूल स्थितियों से विचलन को दंडित करता है।
फॉरगेट प्रॉक्सी: फॉरगेट लॉस रूपांतरित विस्मरण नमूनों की सभी क्लास प्रोटोटाइप्स के साथ भारित दूरी को कम करता है, जो प्रभावी रूप से विशिष्ट इंस्टेंस सूचना को वैश्विक लेबल स्पेस वितरण में "डुबो" देता है।

आर्किटेक्चर

रूपांतरण $f_\phi$ को एक हल्के लीनियर मैप या एक उथले मल्टी-लेयर पर्सेप्ट्रॉन (MLP) तक सीमित रखा गया है, जो "लीनियर रिप्रेजेंटेशन हाइपोथेसिस" का लाभ उठाता है, जो सुझाव देता है कि डीप लेयर्स में सिमेंटिक सूचना लीनियरली सेपरेबल होती है।

मुख्य योगदान

प्रतिमान परिवर्तन (Paradigm Shift): एक प्रतिनिधित्व-केंद्रित अनलर्निंग ढांचे को पेश करता है जो पैरामीटर-स्तर के अपडेट की अस्थिरता और कंप्यूटेशनल बाधाओं से बचता है।
जीरो-शॉट क्षमता: रिटेन डेटा तक पहुँच के बिना अनलर्निंग के लिए एक अभिनव दृष्टिकोण प्रदर्शित करता है, जो सिमेंटिक मैनिफोल्ड को एंकर करने के लिए न्यूरल कोलैप्स हाइपोथीसिस का उपयोग करता है।
सैद्धांतिक सूत्रीकरण: एक रेगुलराइजेशन पैरामीटर $\beta$ के माध्यम से रिटेंशन और फॉरगेटिंग को संतुलित करने के लिए सुलभ वेरिएशनल सरोगेट्स को व्युत्पन्न करता है।
दक्षता (Efficiency): यह पूर्ण मॉडल पुन: प्रशिक्षण या जटिल ग्रेडिएंट हेरफेर के बजाय एक हल्के रूपांतरण परत के माध्यम से अनलर्निंग प्राप्त करता है।

प्रयोगात्मक परिणाम

इस ढांचे का मूल्यांकन CIFAR-10, CIFAR-100 और Tiny ImageNet पर SISA, SCRUB, Bad Teacher और विभिन्न जीरो-शॉट विधियों (Boundary Shrinking, EMMN, GKT) सहित बेसलाइन्स के विरुद्ध किया गया।

उपयोगिता और विस्मरण (Utility and Forgetting): रिप्रेजेंटेशन अनलर्निंग $D_r$ पर उच्च उपयोगिता बनाए रखते हुए लगभग पूर्ण विस्मरण ( $D_f$ पर कम सटीकता) प्राप्त करता है। जीरो-शॉट सेटिंग में, यह बेसलाइन्स से काफी बेहतर प्रदर्शन करता है, जो अक्सर विनाशकारी विस्मरण (catastrophic forgetting) का शिकार होते हैं या पूरी तरह से भूलने में विफल रहते हैं।
कंप्यूटेशनल दक्षता: यह विधि पूर्ण पुन: प्रशिक्षण की तुलना में भारी गति वृद्धि प्रदान करती है। Tiny ImageNet पर, जीरो-शॉट वेरिएंट पुन: प्रशिक्षण की तुलना में 757 $\times$ की गति वृद्धि प्राप्त करता है। यह निष्पादन समय में लगातार सभी प्रतिस्पर्धी बेसलाइन्स से बेहतर प्रदर्शन करता है।
संसाधन दक्षता: यह दृष्टिकोण पुन: प्रशिक्षण की तुलना में काफी कम पीक GPU मेमोरी की आवश्यकता रखता है (उदाहरण के लिए, Tiny ImageNet पर पुन: प्रशिक्षण के लिए ~8.3 GB के मुकाबले ~1.9 GB), जो इसे संसाधन-बाधित वातावरण के लिए उपयुक्त बनाता है।
मजबूती (Robustness): विधि विभिन्न डेटासेट जटिलताओं और अनलर्निंग परिदृश्यों (क्लास बनाम रैंडम अनलर्निंग) में स्थिर रहती है।

महत्व और सीमाएं

यह शोध पत्र 'रिप्रेजेंटेशन अनलर्निंग' को बड़े पैमाने पर अनलर्निंग डिप्लॉयमेंट के लिए एक व्यावहारिक, स्केलेबल समाधान के रूप में प्रस्तुत करता है। उच्च हार्डवेयर मांगों और पैरामीटर अस्थिरता से अनलर्निंग प्रभावकारिता को अलग करके, यह एक बेहतर स्थिरता-प्लास्टिसिटी ट्रेड-ऑफ प्रदान करता है।

मामूली दावे और सीमाएं:

ब्लैक-बॉक्स थ्रेट मॉडल: यह विधि एक डाउनस्ट्रीम ट्रांसफॉर्मेशन के रूप में कार्य करती है। मूल एनकोडर पैरामीटर अपरिवर्तित रहते हैं, जिसका अर्थ है कि मूल प्रतिनिधित्व $Z$ अभी भी विस्मरण सेट को एनकोड करता है। यदि मूल एनकोडर सुलभ है, तो सिस्टम व्हाइट-बॉक्स रिकवरी हमलों के प्रति संवेदनशील है; यह आंतरिक भार को नहीं, बल्कि आउटपुट $Z'$ को सुरक्षित करता है।
इन्फरेंस ओवरहेड: रूपांतरण परत $f_\phi$ का परिचय इन्फरेंस-टाइम पर एक स्थायी, हालांकि माइक्रोसेकंड-स्केल का ओवरहेड जोड़ता है।
न्यूरल कोलैप्स पर निर्भरता: जीरो-शॉट वेरिएंट न्यूरल कोलैप्स हाइपोथीसिस पर निर्भर करता है। यदि प्री-ट्रेन मॉडल में मजबूत कोलैप्स नहीं दिखता है (अर्थात, क्लासिफायर वेट क्लास सेंटर्स के खराब प्रॉक्सी हैं), तो जीरो-शॉट अनलर्निंग की गुणवत्ता घट जाती है, हालांकि यह विधि पूरी तरह विफल होने के बजाय रिटेन उपयोगिता के साथ समझौता करती है।

लेखक सुझाव देते हैं कि भविष्य के कार्य पूरे एनकोडर को फाइन-ट्यून करने (व्हाइट-बॉक्स भेद्यता को हल करने के लिए) या जटिल व्यवहारों को अनलर्न करने के लिए LLM के विस्तार के लिए इन लॉस फंक्शन्स को लागू कर सकते हैं।