🤖 machine learning

Distinguishable Deletion: Unifying Knowledge Erasure and Refusal for Large Language Model Unlearning

यह शोध पत्र डिस्टिंग्विशेबल डिलीशन ( $\mathrm{D^2}$ ) का प्रस्ताव करता है, जो एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (EUA) के माध्यम से कार्यान्वित एक एकीकृत प्रतिमान है, जो विशिष्ट टोकन को दबाने के बजाय लेटेंट स्पेस में रिस्पॉन्स डिस्ट्रीब्यूशन को मैनिपुलेट करके अवांछनीय ज्ञान को प्रभावी ढंग से मिटाता है और सुरक्षित रिफ्यूज़ल सुनिश्चित करता है, जिससे मौजूदा नॉलेज डिलीशन और डिस्टिंग्विशेबल रिफ्यूज़ल विधियों की सीमाओं को दूर किया जा सके।

मूल लेखक: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

प्रकाशित 2026-05-19

📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Puning Yang, Junchi Yu, Qizhou Wang, Philip Torr, Bo Han, Xiuying Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक लार्ज लैंग्वेज मॉडल (LLM) की कल्पना एक अति-जुनूनी लाइब्रेरियन (Librarian) के रूप में करें। इस लाइब्रेरियन ने दुनिया की हर किताब पढ़ ली है और वह लगभग हर सवाल का जवाब दे सकता है। हालाँकि, कभी-कभी इस लाइब्रेरियन ने कुछ संवेदनशील, निजी या हानिकारक जानकारी (जैसे किसी सेलिब्रिटी की गुप्त जन्मतिथि या किसी खतरनाक उपकरण को बनाने के निर्देश) याद कर ली होती है जिसे उसे साझा नहीं करना चाहिए।

इस पेपर का लक्ष्य इस लाइब्रेरियन को यह सिखाना है कि वह अन्य सभी चीजों को बताने की अपनी क्षमता को नुकसान पहुँचाए बिना, और केवल "भूलने का नाटक" किए बिना, उस विशिष्ट जानकारी को वास्तव में कैसे भूल जाए।

लेखक, पुनिंग यांग और उनके सहयोगियों का तर्क है कि AI को चीजें "अनलर्न" (unlearn) करने के वर्तमान तरीके दो विशिष्ट तरीकों से दोषपूर्ण हैं। वे एक नया समाधान प्रस्तावित करते हैं जिसे डिस्टिंगविशेबल डिलीशन (Distinguishable Deletion - D2) कहा जाता है, जो एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (Energy-based Unlearning Alignment - EUA) नामक एक विधि द्वारा संचालित है।

यहाँ सरल उपमाओं (analogies) का उपयोग करके इसका विवरण दिया गया है:

"भूलने" के दो दोषपूर्ण तरीके

वर्तमान में, शोधकर्ता AI को भूलने के लिए दो तरीकों का उपयोग करते हैं, और दोनों में बड़ी खामियां हैं:

"लाल पेन" विधि (ज्ञान विलोपन - Knowledge Deletion):
- यह कैसे काम करती है: कल्पना कीजिए कि लाइब्रेरियन को बताया गया है, "यदि कोई 'बसिल महफौज अल-कुवैती की जन्मतिथि' के बारे में पूछे, तो तुम्हें कभी भी तारीख नहीं बतानी है।" लाइब्रेरियन अपने दिमाग से "09/05/1997" जैसे विशिष्ट शब्दों को मिटाने की कोशिश करता है।
- समस्या: लाइब्रेरियन का मस्तिष्क कनेक्शन का एक उलझा हुआ जाल है। यदि आप केवल उन विशिष्ट शब्दों को हटाने की कोशिश करते हैं, तो आप गलती से पूरा पन्ना या पूरी किताब ही फाड़ सकते हैं। लाइब्रेरियन हकलाने लग सकता है, अर्थहीन बातें (nonsense) बोल सकता है, या मतिभ्रम (hallucinations/गलत तारीखें बनाना) का शिकार हो सकता है क्योंकि वह भ्रमित हो गया है। उसने वास्तव में उस अवधारणा (concept) को नहीं भुलाया है; उसने बस उसके बारे में बोलने की अपनी क्षमता को तोड़ दिया है।
- पेपर का दावा: इससे "बायस्ड डिलीशन" (पक्षपाती विलोपन) और अस्थिर, अर्थहीन आउटपुट उत्पन्न होता है।
"सुरक्षा गार्ड" विधि (डिस्टिंगविशेबल रिफ्यूज़ल - Distinguishable Refusal):
- यह कैसे काम करती है: लाइब्रेरियन अपनी सभी किताबें बिल्कुल वैसी ही रखता है (ताकि वह अन्य सवालों के जवाब देने में सक्षम रहे), बल्कि वह दरवाजे पर एक सुरक्षा गार्ड तैनात करता है। यदि गार्ड "बसिल" का नाम सुनता है, तो वह लाइब्रेरियन को जवाब देने से रोक देता है और कहता है, "मैं इस बारे में बात नहीं कर सकता।"
- समस्या: लाइब्रेरियन को वह रहस्य अभी भी पता है। यदि कोई चतुर धोखेबाज (एक एडवरसेरियल अटैक) किसी कोड वर्ड का उपयोग करता है या सवाल को अजीब तरीके से पूछता है, तो गार्ड भ्रमित हो जाता है, और लाइब्रेरियन रहस्य उगल देता है।
- पेपर का दावा: यह नाजुक (fragile) है। ज्ञान अभी भी वहीं मौजूद है, बस उसे चकमा देने की प्रतीक्षा कर रहा है।

नया समाधान: डिस्टिंगविशेबल डिलीशन (D2)

लेखक एक तीसरा तरीका प्रस्तावित करते हैं। केवल शब्दों को मिटाने या गार्ड रखने के बजाय, वे उस विशिष्ट विषय के संबंध में लाइब्रेरियन के आंतरिक "वाइब" (vibe) या आत्मविश्वास को बदलना चाहते हैं।

वे "एनर्जी इंडेक्स" (Energy Index) की अवधारणा पेश करते हैं।

उपमा: "ऊर्जा" (Energy) को एक कॉन्फिडेंस मीटर के रूप में सोचें।
- जब लाइब्रेरियन किसी तथ्य को जानता है (जैसे "पेरिस फ्रांस में है"), तो आत्मविश्वास का मीटर कम होता है (भौतिकी के संदर्भ में, कम ऊर्जा का अर्थ है एक स्थिर, आरामदायक स्थिति)। वह बहुत आश्वस्त है।
- जब लाइब्रेरियन कुछ नहीं जानता, तो आत्मविश्वास का मीटर उच्च होता है (उच्च ऊर्जा का अर्थ है एक अराजक, अस्थिर स्थिति)। वह अनिश्चित और रैंडम महसूस करता है।

लक्ष्य: लेखक चाहते हैं कि वे लाइब्रेरियन को प्रशिक्षित करें ताकि जब गुप्त जन्मतिथि के बारे में पूछा जाए, तो उसका आंतरिक "कॉन्फिडेंस मीटर" उच्च ऊर्जा (High Energy) की ओर बढ़ जाए। यह सिस्टम को संकेत देता है: "मेरे पास इस विषय के लिए कोई संरचित, आत्मविश्वासी उत्तर नहीं है।"

वे इसे कैसे करते हैं: एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (EUA)

इसे प्राप्त करने के लिए, वे दो-चरणीय प्रक्रिया का उपयोग करते हैं:

"वाइब" को प्रशिक्षित करना (लर्निंग फेज):
वे केवल मॉडल को यह नहीं बताते कि "तारीख मत बताओ।" वे मॉडल को यह सिखाते हैं कि गुप्त विषय से संबंधित सवालों को आंतरिक रूप से "असहज" या "अनिश्चित" महसूस होना चाहिए।
- वे एक सेल्फ-प्रेफरेंस मार्जिन (Self-Preference Margin) बनाते हैं। कल्पना कीजिए कि लाइब्रेरियन के पास एक प्राकृतिक "कंफर्ट ज़ोन" है जो वह जानता है। सिस्टम स्वचालित रूप से गणना करता है कि मॉडल की अपनी स्वाभाविक प्रवृत्तियों के आधार पर "कंफर्टेबल नॉलेज" और "अनकंफर्टेबल अननोन्स" के बीच की रेखा कहाँ है।
- वे मॉडल को मजबूर करते हैं कि वह "गुप्त" सवालों को "असहज" क्षेत्र में धकेल दे।
रिफ्यूज़ल मैकेनिज्म (एक्शन फेज):
एक बार जब मॉडल प्रशिक्षित हो जाता है, तो उसके पास एक स्पष्ट सीमा होती है।
- सामान्य प्रश्न: "फ्रांस की राजधानी क्या है?" -> मॉडल कम ऊर्जा (Low Energy) महसूस करता है (आरामदायक) -> वह आत्मविश्वास के साथ उत्तर देता है।
- गुप्त प्रश्न: "बसिल की जन्मतिथि क्या है?" -> मॉडल के भीतर उच्च ऊर्जा (High Energy) (अराजकता/अनिश्चितता) का स्पाइक आता है -> सिस्टम इस उछाल का पता लगाता है और विनम्रता से मना कर देता है: "मैं गोपनीयता प्रतिबंधों के कारण इसका उत्तर नहीं दे सकता।"

यह बेहतर क्यों है (परिणाम)

पेपर का दावा है कि यह नया तरीका श्रेष्ठ है क्योंकि:

यह वास्तविक विस्मरण (Real Forgetting) है: "सुरक्षा गार्ड" विधि के विपरीत, ज्ञान वास्तव में बाधित होता है। मॉडल केवल उत्तर को छिपाता नहीं है; वह उस आत्मविश्वासी आंतरिक संरचना को खो देता है जो उत्तर उत्पन्न करने में सक्षम बनाती है।
यह स्थिर (Stable) है: "लाल पेन" विधि के विपरीत, मॉडल अर्थहीन बातें करना शुरू नहीं करता है। वह जानता है कि विनम्रता और सुसंगतता के साथ "मुझे नहीं पता" कैसे कहना है।
यह मजबूत (Robust) है: भले ही कोई जेलब्रेक प्रॉम्प्ट (सवाल पूछने के अजीब तरीके) के माध्यम से मॉडल को धोखा देने की कोशिश करे, मॉडल का आंतरिक "हाई एनर्जी" अलार्म फिर भी बज उठता है, और वह उत्तर देने से इनकार कर देता है।

सारांश

यह पेपर एक तरीका पेश करता है जिससे शब्दों को हटाने या गार्ड जोड़ने के बजाय, आंतरिक आत्मविश्वास को बदलकर AI को संवेदनशील जानकारी भूलने के लिए प्रशिक्षित किया जा सकता है।

पुराना तरीका: " 'जन्मदिन' शब्द मत बोलो!" (इससे AI हकलाने लगता है और टूट जाता है)।
पुराना तरीका 2: "अगर 'जन्मदिन' सुनाई दे, तो बोलना बंद कर दो!" (AI को अभी भी रहस्य पता है और उसे चकमा दिया जा सकता है)।
नया तरीका (D2): "'जन्मदिन' के बारे में सोचते समय, अनिश्चित और अराजक महसूस करो।" (AI स्वाभाविक रूप से उत्तर देने से इनकार कर देता है क्योंकि वह महसूस करता है कि उसे नहीं पता, और वह इसे सुरक्षित और सुसंगत रूप से करता है)।

लेखकों ने विभिन्न मॉडलों (जैसे LLaMA और Qwen) पर इसका परीक्षण किया और पाया कि यह अन्य सभी चीजों के लिए AI को स्मार्ट और सहायक बनाए रखते हुए हानिकारक ज्ञान को हटाने में बहुत बेहतर काम करता है।

तकनीकी सारांश: डिस्टिंग्विशेबल डिलीशन (D2)

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) में संवेदनशील, निजी या हानिकारक जानकारी को याद रखने और उसे पुनरुत्पादित करने की प्रवृत्ति होती है, जो गोपनीयता, निष्पक्षता और सुरक्षा के संबंध में महत्वपूर्ण चिंताएं पैदा करती है। जबकि LLM अनलर्निंग (unlearning) का लक्ष्य पूर्ण पुन: प्रशिक्षण (retraining) के बिना विशिष्ट अवांछित ज्ञान को चुनिलेक्टिव रूप से हटाना है, मौजूदा दृष्टिकोण दो प्रमुख प्रतिमानों (paradigms) में मौलिक सीमाओं से ग्रस्त हैं:

नॉलेज डिलीशन (KD): ग्रेडिएंट एसेंट (GA) और इसके वेरिएंट्स (जैसे DPO, NPO, WGA) जैसी विधियाँ विशिष्ट टोकन अनुक्रमों को दबाने के लिए मॉडल पैरामीटर्स को सीधे संशोधित करके ज्ञान को मिटाने का प्रयास करती हैं। हालाँकि, क्योंकि LLMs में ज्ञान के प्रतिनिधित्व स्वाभाविक रूप से उलझे हुए (entangled) होते हैं, विशिष्ट टोकनों को दबाने से अक्सर बायस्ड डिलीशन (biased deletion) होता है। इसके परिणामस्वरूप अस्थिर व्यवहार होता है, जिसमें रिटेन किए गए ज्ञान का विनाशकारी विस्मरण (catastrophic forgetting), स्प्यूरियस अनलर्निंग (जहाँ मॉडल भूल जाता है लेकिन गलत तथ्य भ्रमित करता है/hallucinates), और निरर्थक शब्द (gibberish) उत्पन्न करना शामिल है।
डिस्टिंग्विशेबल रिफ्यूज़ल (DR): वे विधियाँ जो पैरामीटर्स को स्थिर रखती हैं और संवेदनशील इनपुट को अस्वीकार करने के लिए प्रॉम्प्ट इंजीनियरिंग या सहायक डिटेक्टरों पर निर्भर करती हैं। हालांकि ये उच्च रिटेंशन प्रदर्शन और सुसंगत प्रतिक्रियाएं बनाए रखती हैं, लेकिन ये नाजुक (fragile) हैं। चूंकि अंतर्निहित ज्ञान मॉडल के भीतर बरकरार रहता है, इसलिए इसे एडवरसैरियल हमलों या जेलब्रेकिंग प्रॉम्प्ट्स के माध्यम से पुनः प्रकट किया जा सकता है।

मुख्य चुनौती एक ऐसा प्रतिमान प्राप्त करना है जो (KD की तरह) अंतर्निहित ज्ञान के पूर्ण निष्कासन को सुनिश्चित करे और (DR की तरह) सुसंगत, सुरक्षित रिफ्यूज़ल व्यवहार बनाए रखे, बिना एडवरसैरियल कमजोरियों के शिकार हुए।

2. कार्यप्रणाली: डिस्टिंग्विशेबल डिलीशन (D2) और EUA

लेखक डिस्टिंग्विशेबल डिलीशन (D2) का प्रस्ताव करते हैं, जो एक नया प्रतिमान है जो अनलर्निंग के उद्देश्य को टोकन-स्तरीय, विशिष्ट-लेबल दमन से बदलकर ज्ञान की उपस्थिति के वितरण-स्तरीय लक्षण वर्णन (distribution-level characterization) की ओर स्थानांतरित करता है। इसे लागू करने के लिए, वे एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (EUA) फ्रेमवर्क पेश करते हैं।

2.1. एनर्जी इंडेक्स (The Energy Index)

D2 का आधार एनर्जी-बेस्ड मॉडल्स (EBM) से प्राप्त एक एनर्जी इंडेक्स है। विशिष्ट टोकन की संभावना पर ध्यान केंद्रित करने के बजाय, यह विधि मॉडल के आउटपुट डिस्ट्रीब्यूशन की फ्री एनर्जी के माध्यम से ज्ञान की "उपस्थिति" को मापती है।

सैद्धांतिक आधार: दिए गए इनपुट के लिए, कम फ्री एनर्जी वाली प्रतिक्रिया यह दर्शाती है कि मॉडल के पास एक संरचित, आत्मविश्वासी उत्तर है (ज्ञान मौजूद है)। इसके विपरीत, उच्च फ्री एनर्जी यह संकेत देती है कि मॉडल के पास उत्तर नहीं है और वह शब्दों को बेतरतीब ढंग से उत्पन्न कर रहा है।
दक्षता: सैंपलिंग-आधारित अनुमानकों (estimators) के विपरीत, एनर्जी इंडेक्स को एक सिंगल फॉरवर्ड पास और मॉडल के लॉजिट्स (logits) का उपयोग करके कुशलतापूर्वक कंप्यूट किया जाता है, जिसे $E_\theta(v | x, y_{<i}) = -z_\theta(v | x, y_{<i})$ के रूप में परिभाषित किया गया है।
अवलोकन: अनुभवजन्य विश्लेषण (Empirical analysis) दिखाता है कि मौजूदा KD-आधारित विधियाँ अक्सर अनलर्न्ड और रिटेन्ड कंटेंट के बीच ऊर्जा स्थान (energy space) में स्पष्ट अलगाव बनाने में विफल रहती हैं, जिससे असंगत आंतरिक ज्ञान अवस्थाएँ उत्पन्न होती हैं।

2.2. एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (EUA)

EUA एक एकीकृत फ्रेमवर्क है जिसे अनलर्न्ड और रिटेन्ड कंटेंट के बीच ऊर्जा स्थान में एक स्पष्ट अलगाव लागू करने के लिए डिज़ाइन किया गया है।

लर्निंग ऑब्जेक्टिव: ट्रेनिंग ऑब्जेक्टिव रिटेंशन के लिए स्टैंडर्ड क्रॉस-एन्ट्रॉपी लॉस को एक रेगुलराइजेशन टर्म ( $L_{energy}$ $L_{e n er g y}$ ) के साथ जोड़ता है जो ऊर्जा सीमाओं को लागू करता है।
- अनलर्ड सैंपल्स के लिए, मॉडल को तब दंडित किया जाता है जब ऊर्जा एक विशिष्ट मार्जिन ( $m_u$ ) से कम होती है, जिससे ऊर्जा ऊपर की ओर बढ़ती है (जो ज्ञान की अनुपस्थिति का संकेत देती है)।
- रिटेन्ड सैंपल्स के लिए, मॉडल को तब दंडित किया जाता है जब ऊर्जा एक मार्जिन ( $m_r$ ) से अधिक होती है, जिससे ऊर्जा कम रहती है (जो ज्ञान की उपस्थिति का संकेत देती है)।
सेल्फ-प्रेफरेंस एनर्जी मार्जिन्स: मैन्युअल रूप से ट्यून किए गए हाइपरपैरामीटर्स की अस्थिरता से बचने के लिए, EUA सेल्फ-प्रेफरेंस मार्जिन्स पेश करता है। ये प्रीट्रेन्ड मॉडल के अपने लॉजिट डिस्ट्रीब्यूशन से प्राप्त होते हैं। लॉजिट्स को सॉर्ट करके और उन्हें टॉप-50% (पसंदीदा) और बॉटम-50% (अवांछित) क्षेत्रों में विभाजित करके, यह विधि ऊर्जा सीमाएँ ( $m_u, m_r$ ) बनाती है जो स्वाभाविक रूप से मॉडल के आंतरिक फीचर ज्योमेट्री के अनुरूप होती हैं। यह सुचारू अनुकूलन (optimization) सुनिश्चित करता है और अचानक ऊर्जा बदलावों को रोकता है।
इन्फरेंस-टाइम रिफ्यूज़ल मैकेनिज्म: ट्रेनिंग के बाद, मॉडल ऊर्जा वितरण में एक स्पष्ट अलगाव प्रदर्शित करता है। इन्फरेंस के दौरान, सिस्टम लेंथ इनवेरिएंस (length invariance) सुनिश्चित करने के लिए टोकन-लेवल ऊर्जा के टॉप-k एग्रीगेशन का उपयोग करके सैंपल-वाइज फ्री एनर्जी की गणना करता है। यदि ऊर्जा एक सीखे गए थ्रेशोल्ड ( $\tau_{energy}$ ) से अधिक हो जाती है, तो सिस्टम एक रिफ्यूज़ल मैकेनिज्म को ट्रिगर करता है, जो आउटपुट को एक सुसंगत, सुरक्षित विकल्प (जैसे, "मैं गोपनीयता/कॉपीराइट प्रतिबंधों के कारण इस पर चर्चा नहीं कर सकता") के साथ बदल देता है, बजाय इसके कि निरर्थक शब्द या भ्रमित तथ्य उत्पन्न किए जाएं।

3. मुख्य योगदान

डिस्टिंग्विशेबल डिलीशन (D2) प्रतिमान: यह पेपर अनलर्निंग को ज्ञान की उपस्थिति पर एक वितरण-स्तरीय बाधा के रूप में पुनर्गठित करता, न कि टोकन-स्तरीय दमन के रूप में। यह दृष्टिकोण स्वाभाविक रूप से अनलर्न्ड कंटेंट को रिटेन्ड नॉलेज से अलग करता है, जिससे विश्वसनीय रिफ्यूज़ल मैकेनिज्म सक्षम होता है।
एनर्जी इंडेक्स: लेखक लेटेंट रिप्रेजेंटेशन के आधार पर ज्ञान की उपस्थिति के लिए एक सैद्धांतिक रूप से स्थापित और अनुभवजन्य रूप से सत्यापित माप प्रस्तावित करते हैं। वे प्रदर्शित करते हैं कि ऊर्जा, रैंडम जनरेशन बनाम स्ट्रक्चर्ड रिस्पॉन्स देने की मॉडल की क्षमता को सटीक रूप से दर्शाती है।
एनर्जी-बेस्ड अनलर्निंग अलाइनमेंट (EUA): एक एकीकृत फ्रेमवर्क जो ट्रेनिंग के दौरान ऊर्जा-आधारित अलगाव को लागू करता है और इन्फरेंस के दौरान रिफ्यूज़ल के लिए ऊर्जा-आधारित थ्रेशोल्ड का उपयोग करता है। यह विधि KD की अस्थिरता और DR की नाजुकता को संबोधित करती है।

4. प्रयोगात्मक परिणाम

लेखक तीन बेंचमार्क पर EUA का मूल्यांकन करते हैं: TOFU (काल्पनिक लेखक), WMDP (बायो/साइबर सुरक्षा), और MUSE (वर्बेट और तथ्यात्मक ज्ञान)। वे विभिन्न मॉडल परिवारों (LLaMA-2/3, Qwen-2.5, Zephyr) पर विभिन्न स्टेट-ऑफ-द-आर्ट KD विधियों (GradDiff, DPO, NPO, SatImp, आदि) और DR विधियों (ICUL, Guardnail, आदि) के विरुद्ध तुलना करते हैं।

KD विधियों के विरुद्ध प्रदर्शन: EUA लगातार मौजूदा KD-आधारित विधियों से बेहतर प्रदर्शन करता है। TOFU पर, यह इरेज़िंग क्वालिटी (EQ), रिटेंशन क्वालिटी (RQ), और लिंग्विस्टिक क्वालिटी (LQ) में महत्वपूर्ण बढ़त हासिल करता है। उदाहरण के लिए, LLaMA-3.2-3B (Forget 10%) पर, EUA एक एग्रीगेट स्कोर 8.665 प्राप्त करता है, जो अगली सर्वश्रेष्ठ विधि (SatImp 6.484) से काफी अधिक है। महत्वपूर्ण रूप से, EUA उन समस्याओं को समाप्त करता है जो KD विधियों में सामान्य हैं जैसे कि निरर्थक शब्द (gibberish) और भ्रम (hallucination)।
DR विधियों के विरुद्ध प्रदर्शन: जबकि DR विधियाँ अच्छा रिटेंशन बनाए रखती हैं, वे एडवरसैरियल हमलों के तहत विफल हो जाती हैं। EUA 100% डिटेक्शन एक्यूरेसी प्रदर्शित करता है और जेलब्रेकिंग हमलों के बाद भी उच्च भाषाई गुणवत्ता बनाए रखता है, जबकि DR-आधारित विधियाँ डिटेक्शन और रिस्पॉन्स क्वालिटी दोनों में भारी गिरावट का सामना करती हैं।
मजबूती (Robustness): EUA क्रॉस-लिंगुअल, रीलर्निंग और जेलब्रेकिंग अटैक परिदृश्यों में मजबूत मजबूती दिखाता है, जहाँ अन्य विधियाँ प्रदर्शन में गिरावट आती है।
एब्लेशन स्टडीज (Ablation Studies): अध्ययन पुष्टि करता है कि सेल्फ-प्रेफरेंस एनर्जी मार्जिन महत्वपूर्ण है; मैन्युअल रूप से सेट किए गए मार्जिन अस्थिर प्रदर्शन की ओर ले जाते हैं। यह विधि ऊर्जा गणना के लिए उपयोग किए जाने वाले Top-k पैरामीटर के बदलावों के प्रति भी मजबूत है।

5. महत्व और दावे

पेपर दावा करता है कि D2 और EUA एक श्रेष्ठ अनलर्निंग प्रतिमान का प्रतिनिधित्व करते हैं क्योंकि वे ज्ञान के निष्कासन और सुरक्षित रिफ्यूज़ल के लक्ष्यों को एकीकृत करते हैं।

ट्रेड-ऑफ़ का समाधान: यह विधि लक्षित ज्ञान को अनलर्न करने और सामान्य मॉडल उपयोगिता को बनाए रखने के बीच एक अधिक अनुकूल पारेटो-ऑप्टिमल (Pareto-optimal) संतुलन प्राप्त करती है, जिससे KD में देखी जाने वाली "कैटास्ट्रोफिक फॉरगेटिंग" या "स्प्यूरियस अनलर्निंग" से बचा जा सकता है।
मजबूती: केवल मास्क करने के बजाय ज्ञान की स्थिति को मौलिक रूप से बदलकर (ऊर्जा पृथक्करण के माध्यम से), EUA एक ऐसा बचाव प्रदान करता है जो विकसित हो रही एडवरसैरियल रणनीतियों के खिलाफ मजबूत है, DR विधियों के विपरीत जो स्थिर ज्ञान पर निर्भर करती हैं जिसे पुनः निकाला जा सकता है।
सुसंगतता (Coherence): यह दृष्टिकोण सुनिश्चित करता है कि जब मॉडल उत्तर देने से मना करता है, तो वह निरर्थक शब्दों के बजाय सुसंगत, संदर्भ-जागरूक प्रतिक्रियाओं के साथ ऐसा करता है, जिससे मॉडल की उपयोगिता बनी रहती है।

लेखक निष्कर्ष निकालते हैं कि उनका दृष्टिकोण LLM अनलर्निंग के लिए एक सिद्धांतगत, स्थिर और सामान्य समाधान प्रदान करता है, जो विशिष्ट टोकन बाधाओं से आगे बढ़कर बड़े मॉडल्स में ज्ञान की उलझी हुई प्रकृति को संबोधित करता है।