💬 NLP

Learning What to Forget: Improving LLM Unlearning via Learned Token-Level Importance

यह शोध पत्र अल्टरनेटिंग टोकन-वेटेड अनलर्निंग (ATWU) प्रस्तुत करता है, जो एक हल्का ढांचा है जो भूलने (forget) और बनाए रखने (retain) के उद्देश्यों के बीच संघर्ष के माध्यम से टोकन-स्तरीय महत्व को संयुक्त रूप से सीखकर बड़े भाषा मॉडलों में मशीन अनलर्निंग में सुधार करता है, जिससे बिना किसी बाहरी पर्यवेक्षण या सहायक मॉडलों की आवश्यकता के अत्याधुनिक प्रदर्शन प्राप्त होता है।

मूल लेखक: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

प्रकाशित 2026-06-05

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Gizem Yüce, Giorgos Nikolaou, Nicolas Flammarion

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

एक बड़ी समस्या: वह "इरेज़र" जो पूरे पन्ने को धुंधला कर देता है

कल्पना कीजिए कि आपके पास एक विशाल, अविश्वसनीय रूप से बुद्धिमान पुस्तकालय (एक लार्ज लैंग्वेज मॉडल) है जिसने इंटरनेट पर मौजूद लगभग सब कुछ पढ़ लिया है। एक दिन, आपको एहसास होता है कि इसने किसी और की एक विशिष्ट गुप्त डायरी का प्रविष्टि (entry) याद कर ली है, और आपको इसे तुरंत हटाना होगा।

समस्या यह है कि पुस्तकालय इतना बड़ा है कि आप उस विशिष्ट पन्ने को नहीं फाड़ सकते जहाँ वह डायरी लिखी गई थी। यदि आप उस पूरे पुस्तकालय को बिना उस डायरी के फिर से प्रशिक्षित (retrain) करके उस विशिष्ट कहानी को "अनलर्न" (भूलने) की कोशिश करते हैं, तो आप अनजाने में अन्य उपयोगी चीजों को भी मिटा सकते हैं, जैसे कि एक विनम्र ईमेल कैसे लिखें या गणित की समस्या कैसे हल करें।

"अनलर्निंग" के वर्तमान तरीके एक विशाल, कुंद इरेज़र (blunt eraser) की तरह हैं। वे उस पूरे वाक्य या पैराग्राफ को मिटाने की कोशिश करते हैं जिसमें वह रहस्य छिपा है। लेकिन अक्सर, वे रहस्य के साथ-साथ व्याकरण (grammar), विराम चिह्न और सामान्य शब्दों (जैसे "the" या "and") को भी मिटा देते हैं। इससे पुस्तकालय की लिखने की शैली टूट जाती है और वह बेढंगी हो जाती है।

मूल विचार: एक स्मार्ट, सर्जिकल स्कैल्पल (Surgical Scalpel)

इस शोध पत्र के लेखक भूलने के तरीके के बारे में सोचने का एक नया तरीका प्रस्तावित करते हैं। उन्होंने महसूस किया कि किसी भी गुप्त वाक्य का हर शब्द समान रूप से महत्वपूर्ण नहीं होता है।

गुप्त हिस्सा (The Secret Part): वह विशिष्ट नाम, तारीख या तथ्य जिसे आप हटाना चाहते हैं (जैसे, "Hina Ameen")।
संरचनात्मक हिस्सा (The Structural Part): वे उबाऊ, आवश्यक शब्द जो वाक्य को थामे रखते हैं (जैसे, "The author is...")।

यदि आप मॉडल को "The" शब्द भूलने की कोशिश करते हैं, तो आप रहस्य को नहीं हटा रहे हैं; आप केवल व्याकरण को तोड़ रहे हैं। मॉडल को यह जानना जारी रखने की आवश्यकता है कि "The" का उपयोग कैसे किया जाए।

समाधान: ATWU (अल्टरनेटिंग टोकन-वेटेड अनलर्निंग)

यह शोध पत्र ATWU नामक एक विधि पेश करता है। इसे एक कुंद इरेज़र के बजाय पुस्तकालय को एक स्मार्ट, सर्जिकल स्कैल्पल देने के रूप में सोचें।

यह इस प्रकार काम करता है, चरण-दर-चरण:

संघर्ष परीक्षण (The Conflict Test): लेखकों ने महसूस किया कि यह पता लगाने का सबसे अच्छा तरीका कि किन शब्दों को मिटाना है, यह देखना है कि उन्हें भूलने से पुस्तकालय को कितना "दर्द" होता है।
- यदि पुस्तकालय "Hina" (रहस्य) शब्द को भूलने की कोशिश करता है, तो यह अच्छे वाक्य लिखने की उसकी क्षमता को नुकसान नहीं पहुँचाता है।
- यदि पुस्तकालय "The" शब्द को भूलने की कोशिश करता है, तो वह बड़बड़ाने (gibberish) लगता है।
- अंतर्दृष्टि (Insight): यदि किसी शब्द को भूलने से मॉडल के सामान्य कौशल को नुकसान नहीं पहुँचता है, तो वह शब्द हटाने के लिए एक अच्छा उम्मीदवार है। यदि इससे कौशल को नुकसान पहुँचता है, तो उसे रहने दें।
"स्कोरकीपर" (द लीनियर स्कोरर):
- हर वाक्य को पढ़ने और मिटाने के लिए शब्दों पर गोला लगाने के लिए किसी इंसान को काम पर रखने के बजाय (जो धीमा और महंगा है), लेखकों ने मॉडल के भीतर एक छोटा, सरल "स्कोरकीपर" बनाया है।
- यह स्कोरकीपर मॉडल के "मस्तिष्क" (हिडन स्टेट्स) को देखता है और हर एक शब्द को एक स्कोर देता है।
- उच्च स्कोर (High Score): "यह शब्द रहस्य है; हमें इसे मिटाना चाहिए।"
- निम्न स्कोर (Low Score): "यह शब्द केवल व्याकरण है; इसे अकेला छोड़ दें।"
नृत्य (अल्टरनेटिंग ऑप्टिमाइजेशन):
- मॉडल और स्कोरकीपर बारी-बारी से सीखते हैं।
- पहले, स्कोरकीपर तय करता है कि कौन से शब्द भूलना महत्वपूर्ण है।
- फिर, मॉडल उन विशिष्ट शब्दों को भूलने की कोशिश करता है जबकि अपने बाकी कौशलों को बरकरार रखता है।
- फिर, स्कोरकीपर देखता है कि मॉडल में क्या बदलाव आया और अपने स्कोर को और भी सटीक बनाने के लिए उन्हें अपडेट करता है।
- वे तब तक आगे-पीछे नाचते रहते हैं जब तक कि मॉडल ठीक वही नहीं सीख जाता जिसे भूलना है, बिना किसी चीज़ को तोड़े।

यह बेहतर क्यों है (परिणाम)

शोध पत्र ने दो अलग-अलग "पुस्तकालयों" (डेटासेट्स) पर इस पद्धति का परीक्षण किया और पाया कि ATWU पहले के तरीकों की तुलना में बहुत बेहतर है:

सटीकता (Precision): इसने विशिष्ट रहस्यों (जैसे "Hina Ameen" नाम) को सफलतापूर्वक हटा दिया जबकि मॉडल की सामान्य, उच्च-गुणवत्ता वाले टेक्स्ट लिखने की क्षमता को बरकरार रखा।
अतिरिक्त मदद की आवश्यकता नहीं: अन्य तरीकों के विपरीत जिन्हें यह तय करने के लिए एक दूसरे, अलग AI की आवश्यकता होती है कि क्या मिटाना है, ATWU अपने स्वयं के आंतरिक संकेतों का उपयोग करके इसे अपने आप समझ लेता है।
बेहतर संतुलन: यह एक बेहतर तालमेल (trade-off) प्राप्त करता है: यह अन्य परीक्षण किए गए किसी भी तरीके की तुलना में बुरे डेटा को अधिक प्रभावी ढंग से भूल जाता है जबकि अच्छे डेटा को बेहतर तरीके से बनाए रखता है।

रूपक का "जादू" (The Magic of the Metaphor)

कल्प dáng करें कि आप एक सफेद शर्ट से एक विशिष्ट दाग हटाने की कोशिश कर रहे हैं।

पुराने तरीके: आप पूरी शर्ट को ब्लीच से रगड़ते हैं। दाग तो चला जाता है, लेकिन शर्ट पीली और खराब हो जाती है।
ATWU: आप एक लेजर का उपयोग करते हैं जो केवल दाग के रंग को लक्षित करता है। यह दाग को पूरी तरह से जला देता है, जिससे शर्ट का सफेद कपड़ा पूरी तरह से अछूता रहता है।

दावों का सारांश

शोध पत्र का दावा है कि "भूलने" को एक संयुक्त समस्या के रूप में मानकर—जहाँ मॉडल यह सीखता है कि क्या भूलना है और कैसे भूलना है—हम एक ऐसा "मशीन अनलर्निंग" प्राप्त कर सकते हैं जो:

अनसुपरवाइज्ड (Unsupervised) है: इसे यह लेबल करने के लिए मनुष्यों की आवश्यकता नहीं है कि किन शब्दों को मिटाना है।
कुशल (Efficient) है: यह काम करने के लिए एक बहुत ही सरल, हल्का तंत्र (एक लीनियर स्कोरर) का उपयोग करता है।
प्रभावी (Effective) है: यह मॉडल के "गुप्त" जानकारी और उसके पास मौजूद "सामान्य ज्ञान" के बीच एक बहुत ही साफ अलगाव बनाता है।

लेखक निष्कर्ष निकालते हैं कि यह दृष्टिकोण यह सिद्ध करता है कि हमें मॉडल को यह सिखाने के लिए बाहरी उपकरणों या महंगे एनोटेशन की आवश्यकता नहीं है कि उसे क्या भूलना है; मॉडल का अपना आंतरिक संघर्ष—"रहस्य को याद रखने" और "अपने कौशल को बनाए रखने" के बीच—उसे वे सभी सुराग प्रदान करता है जिनकी उसे आवश्यकता है।

तकनीकी सारांश: क्या भूलना है यह सीखना: Learned Token-Level Importance के माध्यम से LLM Unlearning में सुधार

समस्या विवरण (Problem Statement)
मशीन अनलर्निंग (Machine unlearning) का लक्ष्य प्रशिक्षित लार्ज लैंग्वेज मॉडल्स (LLMs) से लक्षित ज्ञान (जैसे, व्यक्तिगत डेटा, कॉपीराइट टेक्स्ट, हानिकारक सामग्री) को बिना स्क्रैच से पुन: प्रशिक्षित किए हटाना है। ऑटोरिग्रेसिव LLMs में एक महत्वपूर्ण चुनौती यह है कि एक "फॉरगेट सैंपल" (वह डेटा जिसे हटाया जाना है) के भीतर सभी टोकन लक्षित जानकारी के लिए समान रूप से प्रासंगिक नहीं होते हैं। कई टोकन संरचनात्मक (जैसे, फंक्शन वर्ड्स, विराम चिह्न, सिंटैक्टिक पैटर्न) होते हैं जो सामान्य भाषाई क्षमताओं के लिए आवश्यक हैं। मौजूदा टोकन-वेटेड अनलर्निंग दृष्टिकोण विशिष्ट टोकन पर 'फॉरगेट लॉस' को चुनिंदा रूप से लागू करने का प्रयास करते हैं, लेकिन वे टोकन प्रासंगिकता का अनुमान लगाने के लिए बाहरी एनोटेशन, सहायक मॉडल, संभाव्यता-आधारित ह्यूरिस्टिक्स, या कार्य-विशिष्ट नियमों पर निर्भर रहते हैं। ये विधियाँ अक्सर फॉरगेट-विशिष्ट सामग्री और संरचनात्मक टोकनों के बीच प्रभावी ढंग से अंतर करने में विफल रहती हैं, जिससे या तो अपर्याप्त विस्मरण (forgetting) होता है या अनावश्यक उपयोगिता में गिरावट आती है।

कार्यप्रणाली: अल्टरनेटिंग टोकन-वेटेड अनलर्निंग (ATWU)
लेखक प्रस्तावित करते हैं कि टोकन-स्तरीय फॉरगेट-विशिष्टता को बाहरी संकेतों के बजाय स्वयं फॉरगेट और रिटेन उद्देश्यों के बीच की अंतःक्रिया द्वारा अभिलक्षित किया जाना चाहिए। वे इसे मॉडल पैरामीटर्स ( $\theta$ ) और टोकन वेट्स ( $z$ ) पर एक संयुक्त अनुकूलन समस्या के रूप में औपचारिक रूप देते हैं।

सैद्धांतिक सूत्रीकरण (Theoretical Formulation): पेपर एक "रिटेन कॉन्फ्लिक्ट" मीट्रिक, $\kappa(A)$ को परिभाषित करता है, जो रिटेन सेट पर इष्टतमता बनाए रखते हुए टोकन के एक सेट $A$ को दबाने की लागत को मापता है। एक "रिटेन-कॉन्फ्लिक्ट सेपरेशन" धारणा के तहत, लेखक सिद्ध करते हैं कि ओरैकल सेट (oracle set) को एक संयुक्त ऑब्जेक्टिव के मिनिमाइज़र के रूप में प्राप्त किया जा सकता है जो रिटेन लॉस और एक वेटेड फॉरगेट लॉस के बीच संतुलन बनाता है। यह सैद्धांतिक परिणाम बताता है कि टोकन वेट्स को बाहरी पर्यवेक्षण के बिना सीधे अनलर्निंग ऑब्जेक्टिव से सीखा जा सकता है।
एल्गोरिदम (ATWU): इसे व्यावहारिक बनाने के लिए, लेखक अल्टरनेटिंग टोकन-वेटेड अनलर्निंग (ATWU) पेश करते हैं।
- स्कोरर (Scorer): प्रत्येक टोकन के लिए स्वतंत्र वेट्स सीखने के बजाय, ATWU एक लाइटवेट लीनियर स्कोरर, $g_w$ का उपयोग करता है, जो मॉडल के हिडन-स्टेट स्पेस में एक वेक्टर $w$ द्वारा पैरामीटराइज्ड है। एक टोकन के लिए स्कोर $\hat{z}_{x,t} = \sigma(\langle w, h_\theta(x_t) \rangle)$ है, जहाँ $h_\theta$ हिडन रिप्रेजेंटेशन है।
- संयुक्त अनुकूलन (Joint Optimization): फ्रेमवर्क एक रिलैक्स्ड, निरंतर ऑब्जेक्टिव को ऑप्टिमाइज़ करता है जिसमें रिटेन लॉस, एक सैचुरेटेड नेगेटिव क्रॉस-एन्ट्रॉपी फॉरगेट लॉस (SATGA+), एक एंट्रॉपी रेगुलराइज़र (जो स्कोर को बाइनरी वैल्यूज की ओर धकेलता है), और चुने गए टोकनों की संख्या को नियंत्रित करने के लिए एक बजट कंस्ट्रेंट शामिल है।
- अल्टरनेटिंग अपडेट्स (Alternating Updates): मॉडल पैरामीटर्स $\theta$ और स्कोरर पैरामीटर्स $w$ को बारी-बारी से अपडेट किया जाता है। जब $\theta$ को अपडेट किया जाता है, तो स्कोर को डिटैच कर दिया जाता है; जब $w$ को अपडेट किया जाता है, तो $\theta$ को फ्रीज कर दिया जाता है। यह बदलते मॉडल ज्योमेट्री और टोकन चयन के बीच फीडबैक लूप को अलग करके प्रशिक्षण को स्थिर करता है।

प्रमुख योगदान (Key Contributions)

रिटेन-कॉन्फ्लिक्ट कैरेक्टराइजेशन: पेपर फॉरगेट-विशिष्ट टोकन की पहचान करने के लिए फॉरगेट और रिटेन उद्देश्यों के बीच तनाव के आधार पर एक सैद्धांतिक लक्षण वर्णन प्रदान करता है, यह सिद्ध करते हुए कि एक संयुक्त अनुकूलन प्राकृतिक सेपरेशन स्थितियों के तहत ओरैकल फॉरगेट-विशिष्ट सपोर्ट को रिकवर कर सकता है।
टोकन वेट्स का अनसुपरवाइज्ड लर्निंग: ATWU एक लाइटवेट फ्रेमवर्क है जो केवल मॉडल के आंतरिक रिप्रेजेंटेशन का उपयोग करके मॉडल पैरामीटर्स के साथ संयुक्त रूप से टोकन फॉरगेट-विशिष्टता को सीखता है। इसके लिए किसी बाहरी टोकन-स्तरीय पर्यवेक्षण, सहायक मॉडल, या महंगे एनोटेशन की आवश्यकता नहीं है।
अनुकूली लॉस इंटीग्रेशन (Adaptive Loss Integration): यह विधि SATGA+ पेश करती है, जो सैचुरेटेड नेगेटिव क्रॉस-एन्ट्रॉपी का एक स्कोर-मॉड्यूलेटेड वेरिएंट है जहाँ सीखा गया टोकन स्कोर सैचुरेशन एक्सपोनेंट में इंजेक्ट किया जाता है। यह अनुकूलन के शुरुआती चरणों के दौरान स्मूथ और अनिश्चितता-जागरूक अपडेट की अनुमति देता है।

परिणाम (Results)
लेखक दो बेंचमार्क पर ATWU का मूल्यांकन करते हैं: TOFU (सिंथेटिक काल्पनिक लेखक जीवनियाँ) और RWKU (वास्तविक दुनिया की सार्वजनिक हस्तियों का ज्ञान)।

प्रदर्शन: ATWU स्टेट-ऑफ-द-आर्ट अनलर्निंग क्वालिटी (UQ) प्राप्त करता है, जो फॉरगेट क्वालिटी (FQ) और रिटेन डिग्रेडेशन (RD) को संतुलित करने वाला एक मीट्रिक है। TOFU पर, यह 91.7 का UQ प्राप्त करता है (दूसरे स्थान वाले से 5.8 pp अधिक), और RWKU पर, 58.7 (दूसरे स्थान वाले से 6.8 pp अधिक)।
उपयोगिता संरक्षण (Utility Preservation): आक्रामक अनलर्निंग विधियों के विपरीत जो जनरेशन क्वालिटी को ध्वस्त कर देती हैं, ATW मूल चेकपॉइंट के करीब सामान्य उपयोगिता (MMLU, रिपिटेटिवनेस और पेयरवाइज विन रेट्स द्वारा मापा गया) को संरक्षित करता है।
टोकन स्कोर क्वालिटी: सीखे गए टोकन स्कोर, संभाव्यता-आधारित ह्यूरिस्टिक्स, सहायक-मॉडल दृष्टिकोण और अन्य टोकन-वेटिंग बेसलाइन्स की तुलना में ग्राउंड-ट्रुथ फॉरगेट-विशिष्ट स्पैन के साथ काफी बेहतर संरेखित (AUROC द्वारा मापा गया) होते हैं।
बहुमुखी प्रतिभा (Versatility): यह फ्रेमवर्क लॉस-अज्ञेय (loss-agnostic) है; जब अन्य फॉरगेट लॉस (DPO, NPO, SIMNPO) के साथ जोड़ा जाता है, तो ATW लगातार उनके अनवेटेड समकक्षों की तुलना में फॉरगेट-रिटेन ट्रेड-ऑफ में सुधार करता है।

महत्व और दावे (Significance and Claims)
पेपर दावा करता है कि "रिटेन कॉन्फ्लिक्ट" एक प्रभावी, आंतरिक मानदंड प्रदान करता है कि भाषा मॉडलों को क्या भूलना चाहिए। टोकन-वेटेड अनलर्निंग को बाहरी ह्यूरिस्टिक्स के पाइपलाइन से बदलकर एक एंड-टू-एंड संयुक्त अनुकूलन समस्या में बदलकर, ATW प्रदर्शित करता है कि:

अनलर्निंग ऑब्जेक्टिव में बाहरी पर्यवेक्षण के बिना फॉरगेट-विशिष्ट टोकन को रिकवर करने के लिए पर्याप्त लेटेंट सिग्नल मौजूद है।
चयनात्मक अनलर्निंग (selective unlearning) में बाधा केवल सही टोकन खोजने में नहीं है, बल्कि स्कोरिंग मैकेनिज्म और फॉरगेट ऑब्जेक्टिव के सिद्धांतपूर्ण सह-डिज़ाइन (co-design) में है।
स्केलेबल, गोपनीयता-संरक्षित और अत्यधिक लक्षित अनलर्निंग, बाहरी एनोटेशन पर निर्भर किए बिना प्राप्त की जा सकती है, जो अक्सर गोपनीयता जोखिम और स्केलेबिलिटी मुद्दे पैदा करते हैं।

लेखक सीमाओं को नोट करते हैं, जिनमें टोकन-चयन बजट के लिए एक हाइपरपैरामीटर पर निर्भरता, और फॉरगेट-विशिष्ट और संरचनात्मक टोकनों के बीच एक सख्त सेपरेशन की धारणा शामिल है, जो प्राकृतिक भाषा में केवल लगभग ही लागू हो सकती है। इसके अतिरिक्त, कंप्यूटेशनल लागत के कारण मूल्यांकन वर्तमान में विशिष्ट बेंचमार्क और सिंगल रन तक सीमित है।