🤖 machine learning

Multi-Objective Reference-Aligned Machine Unlearning

यह शोध पत्र रेफरेंस-अलाइन्ड अनलर्निंग (RAUL) का प्रस्ताव करता है, जो एक बहु-उद्देश्यीय ढांचा है जो अनबाउंडेड लॉस मैक्सिमाइजेशन को एक रेफरेंस डिस्ट्रीब्यूशन के प्रति बाउंडेड KL अलाइनमेंट से बदलकर और पूर्ण रिट्रेनिंग के तुलनीय प्रदर्शन प्राप्त करने के लिए परिणामी ऑप्टिमाइजेशन को जैकोबियन डिसेंट के माध्यम से हल करके मशीन अनलर्निंग में कैटास्ट्रोफिक फॉरगेटिंग को कम करता है।

मूल लेखक: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

प्रकाशित 2026-06-02

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rasa Khosrowshahli, Stephen Asobiela, Beatrice Ombuki-Berman, Shahryar Rahnamayan

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान छात्र है जिसने एक विशाल पाठ्यपुस्तक का अध्ययन किया है। वह छात्र अपने काम में इतना कुशल है कि वह उस पुस्तक के लगभग किसी भी विषय पर प्रश्नों के उत्तर दे सकता है। लेकिन अब, पुस्तक के कुछ पन्नों को कानूनी रूप से हटाना आवश्यक है (शायद इसलिए क्योंकि उनमें निजी जानकारी है)। आपको उस छात्र को उन विशिष्ट पन्नों को "भूलने" (unlearn) के लिए प्रशिक्षित करना होगा बिना बाकी पढ़ी हुई चीज़ों को भूले।

यही मशीन अनलर्निंग (Machine Unlearning) की समस्या है।

पुराना तरीका: "ओवर-करेक्शन" की समस्या

परंपरागत रूप से, किसी विशिष्ट पृष्ठ को भुलाने के लिए, शिक्षक एक कठोर विधि का उपयोग करते थे: वे छात्र को उस पृष्ठ पर जो लिखा था, उसके ठीक विपरीत चीज़ों को याद करने के लिए मजबूर करते थे।

रूपक (Metaphor): कल्पना कीजिए कि छात्र "सेब लाल होते हैं" को भूलने की कोशिश कर रहा है। शिक्षक चिल्लाकर कहते हैं, "नहीं! सेब नीले हैं! सेब हरे हैं! सेब टेढ़े-मेढ़े हैं!"
परिणाम: छात्र गलत उत्तर देने की कोशिश में इतना भ्रमित हो जाता है कि वह अन्य चीज़ें भी भूलने लगता है। वह यह सोचने लगता है कि "संतरे भी नीले हैं" या वह गिनती करना भी भूल जाता है। शोध पत्र में, इसे कैटास्ट्रोफिक फॉरगेटिंग (Catastrophic Forgetting) कहा गया है। छात्र अस्थिर हो जाता है, और उसका समग्र प्रदर्शन गिर जाता है क्योंकि "भूलने" की प्रक्रिया "याद रखने" की प्रक्रिया के विरुद्ध लड़ रही होती है।

नया समाधान: RAUL (रेफरेंस-अलाइन्ड अनलर्निंग)

इस शोध पत्र के लेखक एक स्मार्ट और सौम्य दृष्टिकोण प्रस्तावित करते हैं जिसे RAUL कहा जाता है। इसके बजाय कि उन्हें विपरीत चीज़ें चिल्लाकर सिखाई जाएं, वे छात्र को कहते हैं: "इन विशिष्ट पन्नों के लिए, बस ऐसा व्यवहार करो जैसे तुमने इन्हें पहले कभी नहीं देखा हो।"

यह कैसे काम करता है, इसे सरल चरणों में नीचे दिया गया है:

1. दो लक्ष्य (संतुलन बनाना)

छात्र को एक ही समय में दो काम करने होते हैं:

कार्य A (रिटेंशन/बनाए रखना): किताब के बाकी हिस्सों के बारे में प्रश्नों के उत्तर पूरी सटीकता के साथ देते रहें।
कार्य B (भूलना): हटाए गए पन्नों के बारे में ऐसे उत्तर दें जैसे वे बिल्कुल नई, अज्ञात अवधारणाएं हों।

पुराने तरीके कार्य B को कार्य A से लड़कर करने की कोशिश करते थे। RAUL इन दोनों को बिना एक-दूसरे को बाधित किए करने का प्रयास करता है।

2. "रेफरेंस" (संदर्भ) वाली तरकीब

आप किसी को यह कैसे सिखा सकते हैं कि ऐसी चीज़ के साथ व्यवहार करें जैसे उसने उसे पहले कभी नहीं देखा हो? आप उन्हें एक रेफरेंस (संदर्भ) देते हैं।

रूपक: कल्पना कीजिए कि छात्र एक "विस्मृत पृष्ठ" (Forgotten Page) की तस्वीर देख रहा है। उन्हें "यह एक कुत्ता है" कहने के लिए मजबूर करने के बजाय (जब वह वास्तव में एक बिल्ली है), शिक्षक कहते हैं, "किसी ऐसी यादृच्छिक वस्तु की तस्वीर देखो जिसे तुमने पहले कभी नहीं देखा है। तुम उसका वर्णन कैसे करोगे? तुम निश्चित नहीं हो, सही कहा न? तुम कहोगे, 'मुझे नहीं पता, यह कुछ भी हो सकता है।'"
शोध पत्र की विधि: शोध पत्र दो प्रकार के "रेफरेंस" गाइडों का उपयोग करता है:
- यूनिफॉर्म डिस्ट्रीब्यूशन (पूरी तरह से अनुमान लगाना): शिक्षक छात्र को बताते हैं, "इन पन्जों के लिए, बस रैंडम अनुमान लगाओ। हर उत्तर को समान रूप से संभावित मानो।" यह कहने जैसा है, "मुझे इस बारे में शून्य ज्ञान है।"
- हेल्ड-आउट डिस्ट्रीब्यूशन (एक वास्तविक अजनबी): शिक्षक छात्र को एक पूरी तरह से नई वस्तु (एक अलग पुस्तक से जिसे उन्होंने पढ़ा नहीं है) की तस्वीर दिखाते हैं और कहते हैं, "भूल दिए गए पन्नों के साथ बिल्कुल वैसा ही व्यवहार करो जैसा तुम इस नई वस्तु के साथ करोगे।" यह छात्र को शांत रहने में मदद करता है और उसकी शेष पुस्तक की स्मृति को स्थिर रखता।

3. "ट्रैफिक पुलिस" (जैकोबियन डिसेंट)

एक अच्छे प्लान के बावजूद, दो कार्य (याद रखना बनाम भूलना) अभी भी छात्र को विपरीत दिशाओं में खींच सकते हैं।

रूपक: कल्पना कीजिए कि छात्र को दो रस्सियों द्वारा खींचा जा रहा है। एक रस्सी उसे किताब याद रखने के लिए खींचती है; दूसरी रस्सी उसे पन्ने भूलने के लिए खींचती है। यदि आप रस्सियों को बस आपस में बांध देते हैं, तो वे टूट जाती हैं या छात्र फंस जाता है।
समाधान: शोध पत्र एक विशेष "ट्रैफिक पुलिस" (जिसे Jacobian Descent के साथ UPGrad कहा जाता है) का उपयोग करता है। यह पुलिस दोनों रस्सियों को देखती है और एक बीच का रास्ता खोजती है। यह केवल बलों को जोड़ती नहीं है; यह एक ऐसा दिशात्मक मार्ग निकालती है जहाँ छात्र उलझ बिना आगे बढ़ सके। यह वह सटीक स्थान ढूंढता है जहाँ छात्र याद रखने में पर्याप्त अच्छा है और भूलने में भी पर्याप्त अच्छा है, बिना किसी बड़ी गिरावट के।

प्रयोगों में क्या हुआ?

शोधकर्ताओं ने इस डिजिटल "छात्र" (एक कंप्यूटर मॉडल) का जानवरों की तस्वीरों (CIFAR-10) का उपयोग करके परीक्षण किया।

पुराने छात्र (पुरानी विधियाँ): जब उन्हें 50% डेटा भूलने के लिए कहा गया, तो पुरानी विधियाँ भ्रमित हो गईं। शेष 50% के प्रति उनकी स्मृति ढह गई, और उनका प्रदर्शन बहुत खराब हो गया।
RAUL छात्र: जब उन्हें समान मात्रा में भूलने के लिए कहा गया, तो RAUL छात्र शांत रहा।
- उन्होंने शेष डेटा के प्रति अपनी स्मृति लगभग उतनी ही सटीक रखी जितनी कि उन्हें भूलने के लिए कहे बिना होती।
- उन्होंने हटाए गए डेटा को सफलतापूर्वक "भूल" दिया, और एक बिल्कुल नई तस्वीर के बारे में अनिश्चित होने की तरह ही अनिश्चित व्यवहार किया।
- वे बहुत अधिक स्थिर थे और उनके प्रदर्शन में कोई बड़े उतार-चढ़ाव नहीं आए।

मुख्य निष्कर्ष (Bottom Line)

शोध पत्र का दावा है कि लक्ष्य को "मॉडल को गलत होने के लिए मजबूर करने" से बदलकर "मॉडल को यह दिखाने के लिए संरेखित करने कि उसने कुछ नया देखा है" में बदलकर, हम मॉडल की बुद्धिमत्ता को नुकसान पहुँचाए बिना विशिष्ट डेटा को हटा सकते हैं। यह एक छात्र को एक विशिष्ट अध्याय को भूलने के लिए यह बताने जैसा है कि वह उसे एक खाली पन्ने की तरह माने, बजाय इसके कि आप पूरी किताब को गलतियों के साथ फिर से लिखने की कोशिश करें।

परिणामस्वरूप, यह एक ऐसी प्रणाली है जो मॉडल के मस्तिष्क को नुकसान पहुँचाए बिना विशिष्ट डेटा को हटाने (गोपनीयता का सम्मान करने) और उसकी बुद्धिमत्ता को बनाए रखने में बहुत बेहतर है।

तकनीकी सारांश: मल्टी-ऑब्जेक्टिव रेफरेंस-अलाइन्ड मशीन अनलर्निंग (RAUL)

समस्या विवरण
मशीन अनलर्निंग (MU) का लक्ष्य एक तैनात मॉडल से विशिष्ट प्रशिक्षण नमूनों (जिसे "फॉरगेट सेट", $F$ कहा जाता है) के प्रभाव को हटाना है, जबकि शेष डेटा (जिसे "रिटेन सेट", $R$ कहा जाता है) पर प्रदर्शन को बनाए रखना है। मौजूदा अनुमानित विधियाँ आमतौर पर सिंगल-ऑब्जेक्टिव ऑप्टिमाइज़ेशन पर निर्भर करती हैं, जैसे कि ग्रेडिएंट एसेंट (फॉरगेट सेट पर लॉस को अधिकतम करना) या रैंडम रीलेबलिंग। लेखक तर्क देते हैं कि ये दृष्टिकोण कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मृति) उत्पन्न करते हैं क्योंकि "भूलने" (सही भविष्यवाणियों को प्रतिकर्षित करना) की ऑप्टिमाइज़ेशन डायनेमिक्स और "रिटेंशन" (रिटेन सेट पर सही भविष्यवाणियों को बनाए रखना) के बीच संघर्ष होता है। यह संघर्ष मॉडल को उसके पूर्व-प्रशिक्षित ज्ञान से दूर ले जाता है, जिसके परिणामस्वरूप रिटेन सेट पर महत्वपूर्ण उपयोगिता हानि होती है।

कार्यप्रणाली: रेफरेंस-अलाइन्ड अनलर्निंग (RAUL)
यह शोध पत्र RAUL प्रस्तावित करता है, जो एक मल्टी-ऑब्जेक्टिव ऑप्टिमाइज़ेशन (MOO) फ्रेमवर्क है जो अनलर्निंग को एक एकल एडवरसेरियल कार्य के बजाय भूलने (forgetting) और बनाए रखने (retention) के संयुक्त ऑप्टिमाइज़ेशन के रूप में पुनर्गठित करता है।

ऑब्जेक्टिव फॉर्मुलेशन:
- रिटेंशन ऑब्जेक्टिव ( $L_{retain}$ ): मॉडल की उपयोगिता बनाए रखने के लिए रिटेन सेट $R$ पर मानक क्रॉस-एन्ट्रॉपी मिनिमाइजेशन।
- रेफरेंस-बेस्ड फॉरगेटिंग ऑब्जेक्टिव ( $L_{forget}$ ): $F$ पर लॉस को मैक्सिमाइज करने के बजाय, RAUL एक रेफरेंस डिस्ट्रीब्यूशन ( $p_{ref}$ ) के साथ क्लाइब-लेब्लर (KL) डाइवर्जेंस को कम करता है, जो "अनसीन" (अनदेखे) डेटा का प्रतिनिधित्व करता है। यह भूले हुए नमूनों पर मॉडल के कॉन्फिडेंस को उस व्यवहार के साथ संरेखित करता है जैसा कि वह उस डेटा पर होता जिसे उसने कभी नहीं देखा है।
  $\min_{\theta} L_{forget}(f_\theta, F) = \mathbb{E}_{x_u \sim F} [KL (p_\theta(y | x_u) \parallel p_{ref}(y))]$
रेफरेंस डिस्ट्रीब्यूशन रणनीतियाँ:
लेखक $p_{ref}$ को स्थापित करने के लिए दो रणनीतियाँ पेश करते हैं:
- यूनिफॉर्म डिस्ट्रीब्यूशन (UniDist): यह $p_{ref}(y) = 1/C$ (जहाँ $C$ क्लास की संख्या है) निर्धारित करता है। यह एक सिद्धांत आधारित बेसलाइन के रूप में कार्य करता है जिसमें किसी अतिरिक्त डेटा की आवश्यकता नहीं होती, जो अधिकतम अनिश्चितता (uncertainty) को प्रोत्साहित करता है। यूनिफॉर्म डिस्ट्रीब्यूशन के प्रति KL को मिनिमाइज करना प्रेडिक्शन एंट्रॉपी को मैक्सिमाइज करने के समान है।
- हेल्ड-आउट डिस्ट्रीब्यूशन (HeldDist): यह एक अलग, अनदेखे डेटासेट ( $D_{ref}$ ) से एक एम्पिरिकल रेफरेंस डिस्ट्रीब्यूशन की गणना करता है जो मूल प्रशिक्षण, सत्यापन या परीक्षण सेट का हिस्सा नहीं था। यह एक स्थिर एंकर प्रदान करता है जो वास्तव में अनदेखे डेटा के व्यवहार की नकल करता है, जिससे बेहतर रिटेंशन स्थिरता मिल सकती है।
Jacobian Descent के माध्यम से ऑप्टिमाइज़ेशन:
इस समस्या को एक बायोब्जेक्टिव ऑप्टिमाइज़ेशन के रूप में माना जाता है: $\theta_u = \arg \min_{\theta} (L_{retain}, L_{forget})$ । बिना मैन्युअल वेटिंग के इस समस्या को हल करने के लिए (जो संघर्षित ग्रेडिएंट्स का कारण बन सकती है), लेखक UPGrad (Unconflicting Projection of Gradients) एग्रीगेटर का उपयोग करके Jacobian descent का उपयोग करते हैं।
- दोनों ऑब्जेक्टिव्स के ग्रेडिएंट्स ( $g_R$ और $g_F$ ) को एक जैकोबियन मैट्रिक्स में स्टैक किया जाता है।
- UPGrad प्रत्येक ग्रेडिएंट को सभी ऑब्जेक्ट ग्रेडिएंट्स के ड्यूल कोन (dual cone) पर प्रोजेक्ट करता है और उन्हें औसत करता है।
- यह एग्रीगेशन एक Pareto-stationary बिंदु पाता है जहाँ अपडेट की दिशा एक ऑब्जेक्ट को बढ़ाते हुए दूसरे को घटाती नहीं है, जो प्रभावी रूप से ग्रेडिएंट संघर्ष को हल करता है।

प्रमुख योगदान

अनलर्निंग का पुनर्गठन: यह अनलर्निंग को एडवरसेरियल लॉस मैक्सिमाइजेशन से बदलकर रेफरेंस-अलाइन्ड प्रेडिक्शन में बदल देता है, जो मॉडल ड्रिफ्ट को रोकने के लिए फॉरगेटिंग ऑब्जेक्टिव को सीमित करता है।
मल्टी-ऑब्जेक्टिव फ्रेमवर्क: यह रिटेंशन और फॉरगेटिंग के बीच के तनाव को एक बायोब्जेक्टिव समस्या के रूप में स्पष्ट रूप से मॉडल करता है, जिसे लीनियर स्केलेराइजेशन के बजाय Pareto-stationary ऑप्टिमाइज़ेशन के माध्यम से हल किया जाता है।
रेफरेंस रणनीतियाँ: यह दो अलग-अलग रेफरेंस डिस्ट्रीब्यूशन (Uniform और Held-out) प्रस्तावित करता है जो फॉरगेटिंग व्यवहार को नियंत्रित करते हैं, जिससे डेटा-फ्री कार्यान्वयन और रिटेंशन स्थिरता के बीच ट्रेड-ऑफ मिलता है।
स्थिर ऑप्टिमाइज़ेशन: यह प्रदर्शित करता है कि अनबाउंडेड लॉस मैक्सिमाइजेशन को बाउंडेड KL अलाइनमेंट से बदलने से ग्रेडिएंट संघर्ष कम होता है, जिससे अधिक स्थिर अपडेट प्राप्त होते हैं।

प्रायोगिक परिणाम
लेखकों ने इमेज क्लासिफिकेशन टास्क (ResNet-18 के साथ CIFAR-10) पर 10% और 50% रैंडम फॉरगेटिंग रेश्यो के तहत RAUL का मूल्यांकन किया, और इसकी तुलना GA (Gradient Ascent), RL (Random Relabeling), IU (Influence Functions), और SalUn जैसे बेसलाइन्स से की।

परफॉरमेंस गैप: RAUL वेरिएंट्स ने फुल रिट्रेनिंग की तुलना में सबसे छोटा औसत परफॉरमेंस गैप हासिल किया।
- 10% फॉरगेटिंग पर, HeldDist-RAUL with UPGrad ने 2.23 का सर्वश्रेष्ठ औसत गैप प्राप्त किया, जो सबसे मजबूत बेसलाइन (IU 6.06 पर) से बेहतर था और GA (16.90) से काफी बेहतर था।
- 50% फॉरगेटिंग पर, जहाँ GA जैसे बेसलाइन्स ढह गए (गैप 49.19), UniDist-RAUL with UPGrad ने 6.75 का सर्वश्रेष्ठ गैप प्राप्त किया, जबकि HeldDist-RAUL वेरिएंट्स ने ~9.22 का गैप बनाए रखा।
रिटेंशन बनाम फॉरगेटिंग ट्रेड-ऑफ:
- HeldDist-RAUL ने रिटेंशन को प्राथमिकता दी, जिससे उच्च रिटेन एक्यूरेसी (RA ~98.89%) और टेस्ट एक्यूरेसी (TA ~92.12%) के साथ कंजर्वेटिव फॉरगेटिंग प्राप्त हुई।
- UniDist-RAHL ने अधिक आक्रामक फॉरगेटिंग प्रोफाइल (उच्च अनलर्निंग एक्यूरेसी) प्रदान की, जबकि फिर भी सबसे कम समग्र गैप बनाए रखा।
प्राइवेसी मेट्रिक्स: RAUL मेथड्स ने रिट्रेनिंग बेसलाइन के करीब (जैसे, रिट्रेनिंग के 13.13 के मुकाबले ~15.31) MIA स्कोर बनाए रखा, जबकि GA लगभग रैंडम स्तर (1.93) तक गिर गया, जो दर्शाता है कि RAUL एडवरसेरियल हमलों की अस्थिरता के बिना प्रभाव को हटा देता है।
स्थिरता: RAUL वेरिएंट्स ने GA और $\ell_1$ -स्पार्स विधियों की तुलना में काफी कम स्टैंडर्ड डेविएशन दिखाया, जो रेफरेंस-अलाइन्ड अपडेट की स्थिरता की पुष्टि करता है।

महत्व और दावे
पेपर का दावा है कि RAUL अनलर्निंग में फॉरगेटिंग और रिटेंशन के बीच के मौलिक संघर्ष को संबोधित करता है। एक रेफरेंस डिस्ट्रीब्यूशन के साथ बाउंडेड KL अलाइनमेंट का उपयोग करके, यह विधि:

ग्रेडिएंट संघर्ष को कम करता है: UPGrad एग्रीगेशन के साथ MOO फॉर्मुलेशन यह सुनिश्चित करता है कि अपडेट रिटेन सेट को खराब किए बिना टारगेट सेट को भुला देता है।
कैटास्ट्रोफिक फॉरगेटिंग को रोकता है: फॉरगेटिंग ऑब्जेक्टिव की बाउंडेड प्रकृति मॉडल को उसके पूर्व-प्रशिक्षित ज्ञान से बहुत दूर जाने से रोकती है।
लचीलापन प्रदान करता है: यह फ्रेमवर्क डेटा-फ्री दृष्टिकोण (UniDist) और डेटा-डिपेंडेंट, उच्च-स्थिरता दृष्टिकोण (HeldDist) के बीच चयन करने का विकल्प देता है।

लेखक निष्कर्ष निकालते हैं कि जबकि UniDist-RAUL एक मजबूत विकल्प है जिसमें अतिरिक्त डेटा की आवश्यकता नहीं होती, HeldDist-RAUL की उपलब्धता बेहतर रिटेंशन प्राप्त करने की अनुमति देती है। उन्होंने उल्लेख किया कि भविष्य के कार्य जेनेरेटिव मॉडल्स, LLMs तक विस्तार करने और अधिक विविध Pareto-ऑप्टिमल समाधानों के लिए मल्टी-ऑब्जेक्टिव इवोल्यूशनरी एल्गोरिदम (MOEAs) का उपयोग करने की खोज करेंगे।