🤖 machine learning

SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion

SHRED एक नवीन, रिटेन-सेट-मुक्त (retain-set-free) मशीन अनलर्निंग विधि है जो बड़े भाषा मॉडलों के लिए, सेल्फ-डिस्टिलेशन के माध्यम से उच्च-सूचना वाले टोकनों की पहचान और उन्हें डिमोट करके याद किए गए कंटेंट को चुनिलेक्टिव रूप से हटाती है, जिससे बिना किसी क्यूरेटेड रिटेन सेट की आवश्यकता के, भूलने की प्रभावकारिता और मॉडल उपयोगिता के बीच श्रेष्ठ संतुलन प्राप्त किया जाता है।

मूल लेखक: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

प्रकाशित 2026-05-11

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zizhao Hu, Ameya Godbole, Johnny Tian-Zheng Wei, Mohammad Rostami, Jesse Thomason, Robin Jia

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ SHRED पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

बड़ी समस्या: "अनलर्निंग" (Unlearning) की दुविधा

एक बड़े लैंग्वेज मॉडल (LLM) की कल्पना एक ऐसे सुपर-फोटोग्राफिक छात्र के रूप में करें जिसने पूरे इंटरनेट को पढ़ रखा है। कभी-कभी, यह छात्र ऐसी चीजें याद कर लेता है जो उसे नहीं याद रखनी चाहिए थीं, जैसे किसी सेलिब्रिटी का निजी पता, कोई कॉपीराइट वाली किताब, या बम बनाने के खतरनाक निर्देश।

इसे ठीक करने के लिए, हमें आमतौर पर उस विशिष्ट जानकारी को "अनलर्न" (भूलना) करने की आवश्यकता होती है। हालाँकि, इसमें एक पेंच है:

पुराना तरीका: छात्र को बुरी जानकारी भूलने के लिए (बिना यह भुलाए कि वह अंग्रेजी बोलना या गणित करना कैसे जानता है) हमें उसे कुछ "अच्छे उदाहरणों" का एक "स्टडी गाइड" देना पड़ता है ताकि वह अभ्यास कर सके।
समस्या: वास्तविक दुनिया में, हमारे पास अक्सर वह सटीक "स्टडी गाइड" नहीं होता। इसे बनाना कठिन, महंगा है और यह अनजाने में छात्र के ज्ञान को पक्षपाती (bias) बना सकता है। इसके बिना, छात्र को भुलाने की कोशिश करने से उसका "दिमाग टूट सकता है", जिससे वह ठीक से बोलना भूल जाता है या हानिरहित सवालों के जवाब देने से भी मना कर देता है।

समाधान: SHRED

लेखकों ने SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) नामक एक नई विधि प्रस्तावित की है। यह नाम काफी कठिन है, तो चलिए एक उपमा के माध्यम से इसे समझते।

मुख्य अंतर्दृष्टि: सभी शब्द समान नहीं होते

कल्पना करें कि छात्र उस विशिष्ट घटना के बारे में एक कहानी सुना रहा है जिसे उसने याद किया है:

"जुलाई 4 को, जॉन स्मिथ ने लाल फेरारी के साथ ग्रैंड कैन्यन की यात्रा की।"

पेपर ने इस बारे में एक दिलचस्प खोज की कि मॉडल इस वाक्य के बारे में कैसे "सोचता" है:

"बोरिंग" शब्द: "On", "the", "to", और "a" जैसे शब्द बहुत आम हैं। मॉडल इनके बारे में बहुत आश्वस्त (confident) है। वे एक इमारत के मचान (scaffolding) की तरह हैं।
"याद किए गए" शब्द: "July 4th", "John Smith", "red Ferrari", और "Grand Canyon" जैसे शब्द विशिष्ट तथ्य हैं। इन विशिष्ट विवरणों के बारे में मॉडल वास्तव में "बोरिंग" शब्दों की तुलना में कम आश्वस्त है, क्योंकि वे उस विशेष कहानी के लिए अद्वितीय हैं।

SHRED का बड़ा विचार: आपको पूरा वाक्य मिटाने की ज़रूरत नहीं है। आपको बस विशिष्ट, उच्च-मूल्य वाले तथ्यों (मचान/scaffolding) को लक्षित करने की आवश्यकता है और सामान्य भाषा की संरचना को वैसे ही छोड़ने की आवश्यकता है।

SHRED कैसे काम करता है (2-चरणीय प्रक्रिया)

SHRED एक "रिटेन-सेट-फ्री" (retain-set-free) विधि है, जिसका अर्थ है कि इसे किसी बाहरी स्टडी गाइड की आवश्यकता नहीं है। यह मॉडल के अपने मस्तिष्क का उपयोग एक शिक्षक के रूप में करता है।

चरण 1: जासूसी कार्य (चयन - Selection)
मॉडल उस वाक्य को पढ़ता है जिसे उसे भूलना है। वह हर शब्द को देखता है और पूछता है: "इस शब्द से मुझे कितनी हैरानी (surprise) हो रही है?"

यदि मॉडल हैरान नहीं है (उच्च संभावना/high probability), तो यह एक सामान्य शब्द है (जैसे "the")। SHRED इन्हें अनदेखा कर देता है।
यदि मॉडल हैरान है (कम संभावना/low probability), तो यह एक विशिष्ट तथ्य है (जैसे "John Smith")। SHRED इन्हें भूलने के लक्ष्यों के रूप में चिह्नित करता है।

चरण 2: सर्जरी (डेमोशन - Demotion)
इसके बाद मॉडल को एक साथ दो चीजें करने के लिए प्रशिक्षित किया जाता है:

लक्ष्यों को भूलना: इसे विशिष्ट तथ्यों (जैसे "John Smith") पर अपना विश्वास कम करने के लिए मजबूर किया जाता है।
मचान (Scaffolding) को बनाए रखना: इसे सामान्य शब्दों (जैसे "On", "the") पर अपना विश्वास उच्च रखने के लिए कहा जाता है।

ऐसा करके, मॉडल अंग्रेजी बोलने की अपनी क्षमता खोए बिना विशिष्ट रहस्य को "भूलना" सीख जाता है। यह एक कमरे से विशिष्ट फर्नीचर को हटाने जैसा है बिना दीवारों को गिराए।

यह दूसरों से बेहतर क्यों है

पेपर ने चार बेंचमार्क (जैसे "फाइनल एग्जाम") पर कई अन्य विधियों के विरुद्ध SHRED का परीक्षण किया। उन्होंने यह पाया:

पारेटो फ्रंटियर (The Pareto Frontier): एक ग्राफ की कल्पना करें जहाँ शीर्ष-बाएँ कोने में "परफेक्ट स्कोर" (कुल विस्मरण + कुल उपयोगिता) है। अधिकांश विधियाँ बीच में या नीचे-दाएँ कोने में फंसी हुई हैं। SHRED एकमात्र विधि है जो बिना किसी स्टडी गाइड (रिटेन सेट) के शीर्ष-बाएँ कोने तक पहुँचती है।
"ब्रेन डैमेज" नहीं: अन्य विधियाँ अक्सर मॉडल को सवाल पूछने से मना करने या बड़बड़ाने (gibberish) के लिए मजबूर कर देती हैं। SHRED मॉडल की सामान्य बुद्धिमत्ता को बरकरार रखता है।
Hallucination (भ्रम) का समाधान: एक आश्चर्यजनक मोड़ में, SHRED ने वास्तव में मॉडल को वास्तविक दुनिया के बारे में गलत तथ्य बनाने से कम कर दिया। "नकली" याद किए गए कहानियों को हटाकर, मॉडल का प्राकृतिक ज्ञान अधिक स्पष्ट रूप से उभर कर आया।
मजबूती (Robustness):
- पुनः सीखना (Relearning): यदि आप मॉडल को कुछ उदाहरण दिखाकर गुप्त जानकारी को फिर से याद करने के लिए छलने की कोशिश करते हैं, तो SHRED वाला मॉडल दूसरों की तुलना में बहुत कठिन होता है।
- गोपनीयता (Privacy): हैकर्स के लिए यह बताना बहुत कठिन है कि क्या मॉडल अभी भी उस गुप्त डेटा को "याद" कर रहा है।
- स्थिरता (Stability): आप इसे टूटने के डर के बिना लंबे समय तक प्रशिक्षित कर सकते हैं।

"नॉब्स" (Knobs) और सेटिंग्स

लेखकों ने पाया कि SHRED को ट्यून करने के दो मुख्य तरीके हैं:

"कितना" वाला नॉब (P): आप केवल सबसे विशिष्ट शब्दों के शीर्ष 50% को भूलने या 100% को भूलने का चुनाव कर सकते हैं। भूलने और मॉडल को स्मार्ट बनाए रखने के बीच संतुलन बनाने के लिए 50% सबसे अच्छा है।
"बैच साइज" का आश्चर्य: आमतौर पर, AI प्रशिक्षण में, डेटा के बड़े समूहों का उपयोग करना बेहतर होता है। SHRED बहुत छोटे बैचों (यहाँ तक कि एक समय में केवल एक उदाहरण) के साथ सबसे अच्छा काम करता है। यह एक नया कौशल सीखने जैसा है—पूरे वर्कआउट के बजाय एक बार में एक विशिष्ट चाल का अभ्यास करना; यह मॉडल को अधिक सर्जिकल तरीके से "अनलर्न" करने में मदद करता है।

सारांश

SHRED एक चतुर तरीका है जिससे AI को बिना किसी मैन्युअल गाइड के विशिष्ट रहस्यों को भूलने के लिए बनाया जा सकता है। यह उन विशिष्ट, अद्वितीय शब्दों की पहचान करके और उनके महत्व को धीरे से कम करके काम करता है जो रहस्य को थामे हुए हैं, जबकि सामान्य भाषा की संरचना को अछूता छोड़ देता है। परिणाम एक ऐसा मॉडल है जिसने सफलतापूर्वक बुरे डेटा को भुला दिया है लेकिन वह अभी भी स्मार्ट, सहायक और सुरक्षित है।

तकनीकी सारांश: SHRED – सेल्फ-डिस्टिलेशन के माध्यम से लॉजिट डिमोशन के साथ रिटेन-सेट-मुक्त अनलर्निंग

1. समस्या विवरण

लार्ज लैंग्वेज मॉडल्स (LLMs) ट्रेनिंग डेटा को याद कर लेते हैं, जिससे गोपनीयता लीक, कॉपीराइट उल्लंघन और खतरनाक ज्ञान के प्रसार से संबंधित जोखिम उत्पन्न होते हैं। मशीन अनलर्निंग (Machine unlearning) का उद्देश्य पूर्ण रिट्रेनिंग की अत्यधिक लागत के बिना इस विशिष्ट ज्ञान को चुनिकी रूप से हटाना है।

मानक अनलर्निंग प्रतिमान (paradigm) के लिए एक रिटेन सेट (forget set के समान डोमेन से क्यूरेट किए गए उदाहरणों) की आवश्यकता होती है ताकि मॉडल की सामान्य उपयोगिता में विनाशकारी गिरावट को रोका जा सके। हालांकि, व्यवहार में, एक आदर्श रिटेन सेट का निर्माण करना अक्सर डेटा की कमी या अवांछित डोमेन पूर्वाग्रहों के कारण अव्यवहारिक होता है। मौजूदा विधियाँ जो रिटेन सेट की निर्भरता को दरकिनार करने का प्रयास करती हैं, वे अक्सर महत्वपूर्ण उपयोगिता पतन (utility collapse) से ग्रस्त होती हैं, जिससे भाषाई संरचनाएं या अत्यधिक इनकार दर (refusal rates) प्रभावित होती हैं। मुख्य चुनौती विशिष्ट रूप से याद किए गए कंटेंट के प्रभावी विस्मरण (forgetting) को प्राप्त करना है, जबकि बिना किसी बाहरी रिटेन डेटा के सामान्य मॉडल क्षमताओं को संरक्षित करना है।

2. कार्यप्रणाली: SHRED

लेखक SHRED (सेल्फ-डिस्टिलेशन वाया हाई-सरप्राइज़ल-ओनली रिटेन-फ्री एंट्रॉपी डिमोशन) प्रस्तावित करते हैं, जो मॉडल के अपने आउटपुट डिस्ट्रीब्यूशन को एक टीचर के रूप में उपयोग करके रिटेन सेट की आवश्यकता को समाप्त करता है। यह दृष्टिकोण इस अंतर्दृष्टि पर आधारित है कि एक "forget-set" इंस्टेंस के भीतर सभी टोकन समान रूप से याद किए गए सूचनात्मक भार (information content) नहीं रखते हैं।

मुख्य अंतर्दृष्टि: टोकन-स्तरीय सूचना घनत्व (Token-Level Information Density)

एक मॉडल में जिसने एक विशिष्ट दस्तावेज़ को याद किया है, उच्च-सूचना वाले टोकन (जैसे, विशिष्ट नाम, तिथियां, अद्वितीय संबंध) को सामान्य भाषा स्कैफोल्डिंग (जैसे, विराम चिह्न, सामान्य वाक्यांश, स्टॉप वर्ड्स) की तुलना में कम ऑटोरेग्रेसिव संभावनाओं के साथ असाइन किया जाता है। पिछला हिस्सा व्यापक प्रीट्रेनिंग सांख्यिकी द्वारा समर्थित है, जबकि पहला हिस्सा विशिष्ट रूप से याद किए गए इंस्टेंस के लिए विशिष्ट है।

SHRED प्रक्रिया

SHRED एक एकल फॉर्गेट सेट ( $D_f$ ) का उपयोग करके चार चरणों में संचालित होता है:

टीचर फॉरवर्ड पास: अनलर्न किया जाने वाला मॉडल (पैरामीटर्स $\theta$ ) एक फ्रोजन, ऑफ-पॉलिसी टीचर के रूप में कार्य करता है। यह $D_f$ के अनुक्रमों को प्रोसेस करता है ताकि प्रति-टोकन ऑटोरेग्रेसिव संभावनाएँ $p_\theta(x_t | x_{<t})$ उत्पन्न की जा सकें।
फॉर्गेट पोजीशंस का चयन:
- बेसिक लैंग्वेज मॉडलिंग को नुकसान पहुँचाने से बचने के लिए सिस्टम प्रारंभिक कॉन्टेक्स्ट विंडो (जैसे, QA में प्रश्न या डॉक्यूमेंट प्रीफिक्स) को बाहर रखता है।
- यह शेष टोकन्स को बढ़ती क्रम में संभावना (probability) के आधार पर सॉर्ट करता है।
- निचला- $P$ अंश (सबसे कम संभावना, उच्चतम शैनन सूचना) को फॉर्गेट सेट ( $F$ ) के रूप में चुना जाता है। इन पोजीशंस में दस्तावेज़-विशिष्ट, उच्च-सूचना वाले टोकन होते हैं।
- शेष पोज़ीशंस ( $R = T \setminus F$ ) एक इंप्लिसिट रिटेन सेट के रूप में कार्य करती हैं, जो मॉडल की सामान्य भाषाई क्षमता को संरक्षित करती हैं।
KL टारगेट्स का निर्माण:
- फॉर्गेट पोजीशंस ( $t \in F$ ): टारगेट डिस्ट्रीब्यूशन को याद किए गए टोकन को "डिमोट" (demote) करने के लिए संशोधित किया जाता है।
  - वेरिएंट A (रिट्रीवल अनलर्निंग): केवल विशिष्ट याद किया गया टोकन $x_t$ डिमोट किया जाता है (लॉगिट्स को $-\infty$ पर सेट किया जाता है)।
  - वेरिएंट B (नॉलेज अनलर्निंग): पैराफ्रेसिंग को रोकने के लिए याद किया गया टोकन और संभावना वितरण का टॉप- $\pi$ न्यूक्लियस (nucleus) दोनों को डिमोट किया जाता है।
- रिटेन पोशंस ( $t \in R$ ): टारगेट डिस्ट्रीब्यूशन टीचर के मूल डिस्ट्रीब्यूशन के समान रहता है, जो उपयोगिता को बनाए रखने के लिए एक एंकर के रूप में कार्य करता है।
टॉप-K KL सेल्फ-डिस्टिलेशन: स्टूडेंट मॉडल ( $\theta'$ ) को टॉप- $K$ वोकैबुलरी सबसेट पर टीचर के प्रेडिक्शन और निर्मित टारगेट डिस्ट्रीब्यूशन $q_t$ के बीच KL-डाइवर्जेंस को कम करने के लिए प्रशिक्षित किया जाता है। यह एकल ऑब्जेक्टिव एक साथ मॉडल को उच्च-सूचना वाले याद किए गए कंटेंट से दूर ले जाता है और उसे सामान्य भाषा पैटर्न से जोड़ता है।

3. मुख्य योगदान

रिटेन-सेट-फ्री अनलर्निंग: SHRED पहला ऐसा तरीका है जो यह प्रदर्शित करता है कि प्रभावी अनलर्निंग बिना किसी बाहरी रिटेन डेटा के प्राप्त की जा सकती है, जो फॉर्गेट सेट की आंतरिक संरचना पर निर्भर करती है।
चयनात्मक लॉजिट डिमोशन (Selective Logit Demotion): केवल उच्च-सरप्राइज़ल (उच्च-सूचना) टोकन की पहचान करके और उन्हें डिमोट करके, SHRED यूनिफॉर्म अनलर्निंग दृष्टिकोणों से जुड़े उपयोगिता पतन से बचता है।
एकीकृत ऑब्जेक्टिव: विधि एक एकल सेल्फ-डिस्टिलेशन ऑब्जेक्टिव का उपयोग करती है जो स्वाभाविक रूप से फॉर्गेट और रिटेन लॉस टर्म्स के बीच जटिल हाइपरपैरामीटर संतुलन की आवश्यकता को समाप्त करते हुए, विस्मरण और उपयोगिता संरक्षण को संतुलित करती है।
मजबूती (Robustness): दृष्टिकोण को मेंबरशिप इन्फरेंस अटैक (MIA), रीलर्निंग अटैक और अनुक्रमिक निरंतर अनलर्निंग परिदृश्यों के विरुद्ध मजबूत दिखाया गया है।

4. प्रयोगात्मक परिणाम

लेखकों ने चार मानक बेंचमार्क पर SHRED का मूल्यांकन किया: TOFU (काल्पनिक लेखक QA), MUSE (न्यूज/बुक्स), RWKU (रियल-वर्ल्ड एंटिटीज), और Hubble (YAGO/Gutenberg)।

पारेटो ऑप्टिमलिटी (Pareto Optimality): SHRED सभी चार बेंचमार्क पर एक नया पारेटो फ्रंट स्थापित करता है, जो फॉर्गेट प्रभावकारिता और मॉडल उपयोगिता के बीच के ट्रेड-ऑफ में रिटेन-सेट-डिपेंडेंट बेसलाइन्स (जैसे, GradDiff, NPO, और DPO) को पछाड़ता है।
फॉर्गेट प्रभावकारिता: SHRED फॉर्गेट मेट्रिक्स पर रिट्रेंड "टारगेट" मॉडल्स (ओरेकल जो बिना फॉर्गेट डेटा के प्रशिक्षित हैं) के प्रदर्शन से मेल खाता है, बिना "ओवर-फॉर्गेटिंग" के जो ग्रेडिएंट एसेंट जैसे तरीकों में देखी जाती है।
उपयोगिता संरक्षण: उन बेसलाइन्स के विपरीत जो अक्सर उपयोगिता पतन का कारण बनते हैं या उपयोगिता बनाए रखने के लिए रिटेन सेट की आवश्यकता रखते हैं, SHRED सामान्य उपयोगिता को बनाए रखता है या उसमें सुधार भी करता है। विशेष रूप से, TOFU बेंचमार्क पर, यह देखा गया कि SHRED ने उस विश्व-ज्ञान (world knowledge) को सक्रिय रूप से रिकवर किया जो शुरुआती फाइन-ट्यूनिंग प्रक्रिया द्वारा हैलुसिनेट या दबा दिया गया था, जिससे उन वास्तविक दुनिया के प्रश्नों पर हैलुसिनेशन कम हो गया जहाँ "टारगेट" मॉडल विफल रहा था।
मजबूती:
- MIA: छोटा-बैच SHRED ट्रेनिंग, रिट्रेंड ओरेकल के करीब प्राइवेसी लीकेज स्कोर प्राप्त करता है, जो बेसलाइन्स से काफी बेहतर है।
- रीलर्निंग: SHRED मॉडल्स 'रीलर्निंग' हमलों के प्रति प्रतिरोधी हैं जहाँ मॉडल को फॉर्गेट सेट पर फिर से संक्षिप्त रूप से फाइन-ट्यून किया जाता है; वे बेसलाइन्स की तुलना में बहुत धीमी गति से ज्ञान पुनः प्राप्त करते हैं।
- निरंतर अनलर्निंग (Continual Unlearning): SHRED कई राउंड के अनलर्निंग के दौरान उपयोगिता को धीरे-धीरे कम करता है, जबकि NPO और RMU जैसे बेसलाइन्स महत्वपूर्ण उपयोगिता गिरावट का सामना करते हैं।
हाइपरपैरामीटर्स: विधि डिमोशन प्रतिशत ( $P$ ) के 50–75% और छोटे बैच साइज (BS=1 या 2) के साथ सबसे प्रभावी है, जो मॉडल को लॉस लैंडस्केप में लोकल मिनिमा से बाहर निकलने में मदद करते हैं।

5. महत्व और दावे

पेपर का दावा है कि SHRED मशीन अनलर्निंग के व्यावहारिक परिनियोजन (deployment) में एक महत्वपूर्ण कदम है। रिटेन सेट की निर्भरता को हटाकर, SHRED वास्तविक दुनिया के अनुप्रयोगों में एक बड़ी बाधा को संबोधित करता है जहाँ ऐसा डेटा उपलब्ध नहीं है या क्यूरेट करना कठिन है।

लेखक इस बात पर जोर देते हैं कि SHRED की अपनी "सौम्य" (benign) टोकन्स को एंकर के रूप में उपयोग करने की क्षमता इसे सामान्य क्षमताओं को स्वाभाविक रूप से संरक्षित करने की अनुमति देती है, जिससे अनलर्निंग कार्यों में देखे जाने वाले सामान्य उपयोगिता के "कैटास्ट्रॉफिक फॉरगेटिंग" से बचा जा सके। इसके अलावा, यह अवलोकन कि SHRED फाइन-ट्यूनिंग द्वारा पेश किए गए हैलुसिनेशन को रिवर्स कर सकता है, यह सुझाव देता है कि विधि केवल ज्ञान को दबाती नहीं है बल्कि मॉडल के डिस्ट्रीब्यूशन को सामान्य विश्व ज्ञान के साथ अधिक संरेखित करने के लिए रिफाइन करती है।

पेपर निष्कर्ष निकालता है कि SHRED विस्मरण और उपयोगिता के बीच एक पारेटो-ऑप्टिमल ट्रेड-ऑफ प्रदान करता है, विभिन्न हमलों के विरुद्ध मजबूत है, और ओवर-ट्रेनिंग तथा निरंतर अनलर्निंग परिदृश्यों के तहत स्थिर रहता है, जो इसे डेटा क्यूरेशन के ओवरहेड के बिना LLMs में गोपनीयता और सुरक्षा अनुपालन के लिए एक व्यवहार्य समाधान बनाता है।