💬 NLP

Replay What Matters: Off-Policy Replay for Efficient LLM Reinforcement Unlearning

यह शोध पत्र ReRULE को पेश करता है, जो सुदृढीकरण शिक्षण (reinforcement learning) आधारित LLM अनलर्निंग के लिए एक ऑफ-पॉलिसी रिप्ले तंत्र है, जो बाउंड्री मामलों पर अभिसरण (convergence) में सुधार करने और अतिरिक्त प्रशिक्षण समय को कम करते हुए गुणवत्ता बनाए रखने के लिए कम-इनाम वाले कठिन मामलों के रोलआउट्स को संग्रहीत और पुन: उपयोग करता है।

मूल लेखक: Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

प्रकाशित 2026-06-16

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zirui Pang, Chenlong Zhang, Haosheng Tan, Zhuoran Jin, Jiaheng Wei, Zixin Zhong

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक शानदार, विद्वान लाइब्रेरियन (AI) है जिसने लाखों किताबें याद कर रखी हैं। हालाँकि, उन किताबों में से कुछ में ऐसे रहस्य हैं जिन्हें भुला दिया जाना चाहिए—शायद वे कॉपीराइट वाली कहानियाँ या निजी जानकारी हों। लक्ष्य यह है कि लाइब्रेरियन को उन विशिष्ट रहस्यों के बारे में पूछे जाने पर "मुझे यह नहीं पता" कहना सिखाया जाए, बिना उसे बाकी सब कुछ भुलाए बिना जो वह जानता है।

यह AI अनलर्निंग (Unlearning) की समस्या है।

पुराना तरीका: "ऑन-पॉलिसी" (On-Policy) का संघर्ष

यह पेपर एक विधि के बारे में चर्चा करता है जिसे RULE कहा जाता है, जो लाइब्रेरियन को "ट्रायल-एंड-एरर" (प्रयास और त्रुटि) दृष्टिकोण (रीइन्फोर्समेंट लर्निंग) का उपयोग करके इन विशिष्ट प्रश्नों को मना करना सिखाने की कोशिश करता है।

इसे एक छात्र द्वारा अभ्यास टेस्ट देने की तरह समझें।

आसान प्रश्न: छात्र पहले से ही इनके उत्तर जानता है। वे इन्हें तुरंत सही बताते हैं।
कठिन प्रश्न: ये वे पेचीदा प्रश्न हैं जो ठीक उस सीमा पर हैं जहाँ उसे जानना चाहिए और जहाँ उसे भूल जाना चाहिए। छात्र बार-बार गलतियाँ करता है या हिचकिचाता रहता है।

पुराने तरीके (RULE) में, शिक्षक बार-बार छात्र को उन्हीं प्रश्नों का एक सेट पूछता रहता है।

समस्या: शिक्षक आसान प्रश्नों को पूछने में बहुत समय बर्बाद करता है। छात्र उन्हें हर बार पूरी तरह से सही बताता है, लेकिन इससे उसे कुछ नया सीखने में मदद नहीं मिलती। यह बास्केटबॉल के खाली घेरे में निशाना लगाने का अभ्यास करने जैसा है जिसमें गेंद पहले से ही जा चुकी है; आप बेहतर नहीं हो रहे हैं।
छूटा हुआ अवसर: इस बीच, कठिन प्रश्न (जिनके लिए छात्र संघर्ष करता है) केवल एक बार पूछे जाते हैं। यदि छात्र गलत होता है, तो उस विशिष्ट प्रयास को फेंक दिया जाता है, और शिक्षक आगे बढ़ जाता है। छात्र को अपनी उस विशिष्ट गलती को सुधारने का दूसरा मौका कभी नहीं मिलता।

नया तरीका: ReRULE (एक "रिप्ले" सिस्टम)

लेखकों ने ReRULE नामक एक नई विधि प्रस्तावित की है। उन्होंने महसूस किया कि "कठिन प्रश्न" सीखने के लिए सबसे मूल्यवान हैं, लेकिन पुराना सिस्टम उनके साथ कचरे जैसा व्यवहार कर रहा था।

यहाँ ReRULE कैसे काम करता है, एक वीडियो गेम एनालॉजी का उपयोग करते हुए:

रिप्ले बफ़र (The "Highlight Reel"):
प्रशिक्षण के शुरुआती चरणों के दौरान, ReRULE एक स्पोर्ट्स कोच की तरह काम करता है जिसके पास वीडियो कैमरा है। जब छात्र (AI) किसी प्रश्न के साथ संघर्ष करता है और कम स्कोर प्राप्त करता है, तो कोच उस प्रयास को केवल फेंक नहीं देता। इसके बजाय, वह उस विशिष्ट संघर्ष को रिकॉर्ड करता है और उसे एक "रिप्ले बफ़र" (कठिन मामलों के एक विशेष फोल्डर) में सहेज लेता है।
हाइब्रिड ट्रेनिंग (The "Drill Session"):
बाद के प्रशिक्षण के दौरान, केवल नए प्रश्न पूछने के बजाय, कोच उन सहेजे गए "संघर्ष वाले वीडियो" को रिप्ले बफ़र से निकालता है।

वे छात्र को वही कठिन प्रश्न फिर से दिखाते हैं।
क्योंकि छात्र इसे पहले देख चुका है, वह इसे फिर से हल करने का प्रयास कर सकता है, लेकिन इस बार एक थोड़ी अलग रणनीति के साथ।
यह एक कोच के कहने जैसा है, "याद है जब तुमने वह शॉट मिस किया था? चलो इसे फिर से आजमाते हैं, लेकिन इस बार अपनी कोहनी पर ध्यान केंद्रित करो।"

परिणाम:
कंप्यूटर उन आसान चीजों का अभ्यास करने में समय बर्बाद करना बंद कर देता है जिन्हें वह पहले से जानता है। इसके बजाय, यह अपनी ऊर्जा उन "कठिन मामलों" पर केंद्रित करता है जो भूलने की सीमा के पास अटके हुए हैं। यह उन कठिन उदाहरणों का पुन: उपयोग करता है जब तक कि छात्र अंततः उनमें महारत हासिल न कर ले।

यह क्यों महत्वपूर्ण है (परिणाम)

पेपर ने तीन अलग-अलग "लाइब्रेरी" (डेटासेट) पर इसका परीक्षण किया:

वास्तविक दुनिया का ज्ञान: मशहूर हस्तियों के बारे में तथ्य।
कॉपीराइट पुस्तकें: विशेष रूप से, हैरी पॉटर।
काल्पनिक लेखक: काल्पनिक जीवनियाँ।

निष्कर्ष:

बेहतर मेमोरी रिटेंशन (स्मृति प्रतिधारण): हैरी पॉटर परीक्षण में, नई विधि (ReRULE) सामान्य ज्ञान को बरकरार रखने में बहुत बेहतर थी (क्वालिटी स्कोर पर 46.3 से 56.2 तक सुधार) जबकि यह विशिष्ट पुस्तक विवरणों को सफलतापूर्वक भुलाने में भी सफल रही।
दक्षता: इसे प्रशिक्षित करने में बहुत अधिक समय नहीं लगा (केवल लगभग 5-11% अधिक समय)। इसने बस उस अतिरिक्त समय का अधिक समझदारी से उपयोग किया।
"आसान" अपवाद: एक बहुत ही सरल डेटासेट (TOFU) पर, नई विधि ने ज्यादा मदद नहीं की। यह समझ में आता है: यदि सभी प्रश्न आसान हैं, तो कोई "संघर्ष वाले वीडियो" दोबारा चलाने के लिए नहीं होते, इसलिए सिस्टम पुराने वाले की तरह ही व्यवहार करता है। यह साबित करता है कि यह विधि विशेष रूप से उन स्थितियों के लिए डिज़ाइन की गई है जहाँ कुछ प्रश्न वास्तव में कठिन होते हैं।

संक्षेप में

ReRULE एक स्मार्ट ट्यूटर की तरह है जो यह समझता है कि आसान अभ्यास को दोहराना समय की बर्बादी है। इसके बजाय, यह छात्र की सबसे कठिन गलतियों की एक लाइब्रेरी बनाता है और उसे उन विशिष्ट समस्याओं का बार-बार अभ्यास करने के लिए मजबूर करता है जब तक कि वे ठीक न हो जाएं। यह "अनलर्निंग" की प्रक्रिया को तेज़, स्मार्ट और AI की सामान्य बुद्धिमत्ता को सुरक्षित रखने में बेहतर बनाता है।

तकनीकी सारांश: Replay What Matters: Efficient LLM Reinforcement Unlearning के लिए Off-Policy Replay

समस्या विवरण (Problem Statement)

Large Language Model (LLM) अनलर्निंग का लक्ष्य प्री-ट्रेन्ड मॉडल्स से हानिकारक ज्ञान (जैसे, कॉपीराइट सामग्री, निजी जानकारी) को हटाना है, जो पूर्ण रिट्रेनिंग की अत्यधिक लागत के बिना संभव हो सके। हालिया सुदृढीकरण शिक्षण (Reinforcement Learning - RL) आधारित दृष्टिकोण, जैसे कि RULE, अनलर्निंग को एक 'रिफ्यूज़ल बिहेवियर' (refusal behavior) सीखने के रूप में पुनर्गठित करते हैं: मॉडल को "forget set" से संबंधित प्रश्नों को अस्वीकार करने के लिए सिखाना, जबकि "retain set" और "boundary set" पर प्रतिक्रियाओं को सुरक्षित रखना।

हालाँकि, लेखक RULE जैसे तरीकों में प्रयुक्त Stage 2 ऑन-पॉलिसी ऑप्टिमाइज़ेशन (विशेष रूप से GRPO का उपयोग करके) में एक महत्वपूर्ण अक्षमता की पहचान करते हैं। प्रशिक्षण के दौरान, एक स्पष्ट hard–easy disparity (कठिन-सरल असमानता) उभरती है:

Easy Cases (सरल मामले): कई प्रॉम्प्ट्स तेजी से उच्च-पुरस्कार (high-reward) अवस्थाओं की ओर अभिसरित (converge) हो जाते हैं। बाद के प्रशिक्षण चरणों में इन प्रॉम्प्ट्स को बार-बार सैंपल करना बहुत कम सूचनात्मक ग्रेडिएंट सिग्नल (advantage $\approx 0$ ) देता है, लेकिन यह महत्वपूर्ण कंप्यूटेशनल संसाधनों का उपभोग करता है।
Hard Cases (कठिन मामले): भूलने (forgetting) और बनाए रखने (retaining) के बीच के सेमेंटिक बाउंड्री के पास स्थित प्रॉम्प्ट अक्सर पूरे प्रशिक्षण के दौरान निम्न-पुरस्कार (low-reward) स्तर पर रहते हैं। मानक ऑन-पॉलिसी सेटिंग्स में, इन कठिन मामलों के लिए उत्पन्न निम्न-पुरस्कार रोलआउट्स (rollouts) को उनके एकल उपयोग के बाद हटा दिया जाता है, भले ही उनमें मॉडल की विफलता मोड (failure modes) के बारे में मूल्यवान जानकारी हो।

यह गतिशीलता उप-इष्टतम (suboptimal) प्रशिक्षण दक्षता की ओर ले जाती है, जहाँ गणना (computation) अभिसरित हो चुके आसान मामलों पर बर्बाद होती है, जबकि कठिन मामले अपर्याप्त रूप से अनुकूलित रह जाते हैं, जिससे मॉडल की सामान्य उपयोगिता (Retain Quality) को बनाए रखने की क्षमता बाधित हो सकती है।

कार्यप्रणाली: ReRULE

इस समस्या के समाधान के लिए, लेखक ReRULE (Replay-enhanced Reinforcement UnLEarning) प्रस्तावित करते हैं, जो RULE फ्रेमवर्क में एकीकृत एक ऑफ-पॉलिसी रिप्ले एन्हांसमेंट मैकेनिज्म है।

फ्रेमवर्क ओवरव्यू

ReRULE, RULE की दो-चरणीय संरचना को बनाए रखता है:

Stage 1 (Rejection Steering): रिफ्यूज़ल डेटासेट पर सुपरवाइज्ड फाइन-ट्यूनिंग (SFT), जो मॉडल की रिफ्यूज़ करने की क्षमता को वार्म-स्टार्ट करने के लिए है।
Stage 2 (Refusal Boundary Optimization): भूलने (forget) और बनाए रखने (retain) वाले प्रश्नों के बीच की सीमा को परिष्कृत करने के लिए RL-आधारित ऑप्टिमाइज़ेशन।

ReRULE पाइपलाइन

मुख्य नवाचार Stage 2 में होता है, जहाँ ReRULE एक रीप्ले बफर और हाइब्रिड ट्रेनिंग पेश करता है:

Hard-Case Identification and Storage (कठिन मामलों की पहचान और भंडारण):
प्रारंभिक GRPO प्रशिक्षण के दौरान, सिस्टम प्रत्येक प्रॉम्प्ट के लिए उत्पन्न रोलआउट समूहों के औसत पुरस्कार (mean reward) की निगरानी करता है। यदि किसी समूह का औसत पुरस्कार एक पूर्व-निर्धारित थ्रेशोल्ड $\tau$ से नीचे गिर जाता है, तो इसे "hard case" के रूप में वर्गीकृत किया जाता है और एक रीप्ले बफर $\mathcal{B}$ में संग्रहीत किया जाता है। यह बफर उन निम्न-पुरस्कार ट्राजेक्टरीज को संचित करता है जो मॉडल के वर्तमान विफलता मोड का प्रतिनिधित्व करती हैं।
Hybrid Training (हाइब्रिड ट्रेनिंग):
एक बार जब बफर में पर्याप्त संख्या में कठिन मामले ( $|\mathcal{B}| \ge B_{min}$ ) हो जाते हैं और एक वार्म-अप अवधि ( $t \ge T_{warm}$ ) पूरी हो जाती है, तो ReRULE एक हाइब्रिड ट्रेनिंग व्यवस्था को सक्रिय करता है। प्रत्येक चरण में, यह करता है:
- Standard On-Policy Update: वर्तमान पॉलिसी $\pi_\theta$ से ताज़ा सैंपल्स का उपयोग करके एक मानक GRPO अपडेट।
- Off-Policy Replay Update: रीप्ले बफर $\mathcal{B}$ से लिए गए सैंपल्स का उपयोग करके एक अतिरिक्त ग्रेडिएंट अपडेट।
Importance Sampling (इम्पॉर्टेंस सैंपलिंग):
उस पॉलिसी ( $\pi_{\theta_{old}}$ ) और वर्तमान पॉलिसी ( $\pi_\theta$ ) के बीच वितरण बदलाव (distribution shift) को ठीक करने के लिए, जो रोलआउट्स उत्पन्न किए गए थे, ReRULE इम्पॉर्टेंस सैंपलिंग का उपयोग करता है। ऑफ-पॉलिसी ग्रेडिएंट को इस प्रकार कंप्यूट किया जाता है:
$\nabla_\theta J_{off}(\theta) = \mathbb{E}_{g \sim \mathcal{B}} \left[ \mathbb{E}_{y \sim \pi_{\theta_{old}}} \left[ \tilde{\rho}(y|x) \nabla_\theta \log \pi_\theta(y|x) \hat{A}(x, y) \right] \right]$
जहाँ $\tilde{\rho}(y|x)$ एक क्लिप्ड और नॉर्मलाइज्ड इम्पॉर्टेंस वेट है। यह मॉडल को महंगी नई सैंपलिंग की आवश्यकता के बिना कठिन मामलों पर पुन: प्रशिक्षण लेने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

प्रशिक्षण अक्षमता की पहचान: पेपर अनुभवजन्य रूप से (empirically) प्रदर्शित करता है कि LLM अनलर्निंग में ऑन-पॉलिसी GRPO, आसान मामलों पर घटते रिटर्न और कठिन मामलों के कम उपयोग से ग्रस्त है, जिससे एक "hard/easy disparity" पैदा होती है जो अभिसरण (convergence) में बाधा डालती है।
ReRULE का प्रस्ताव: लेखक एक ऑफ-पॉलिसी रिप्ले मैकेनिज्म पेश करते हैं जो निम्न-पुरस्कार वाले कठिन-मामले रोलआउट्स को संग्रहीत करता है और उन्हें इम्पॉर्टेंस-सैंपल्ड अपडेट के माध्यम से पुनः उपयोग करता है। यह कंप्यूटेशनल फोकस को उन सीमावर्ती मामलों (boundary cases) की ओर पुनर्निर्देशित करता है जिन्हें और अधिक अनुकूलन की आवश्यकता है।
सैद्धांतिक विश्लेषण: लेखक एक सैद्धांतिक प्रमाण प्रदान करते हैं जो दिखाता है कि ReRULE, शुद्ध ऑन-पॉलिसी RULE की तुलना में कठिन मामलों के लिए एक कड़ा अभिसरण बाउंड (tighter convergence bound) प्रदान करता है। कठिन क्षेत्र में प्रभावी प्रशिक्षण टोकन की संख्या बढ़ाकर ( $N_{H}^{ReRULE} = N_{H}^{on} + \eta_\rho N_{H}^{off}$ ), यह विधि कठिन क्षेत्र में एक्सप्लोरेशन एरर को कम करती है।
अनुभवजन्य सत्यापन: तीन बेंचमार्क (RWKU, MUSE-Books, TOFU) पर तीन डेटासेट्स के माध्यम से ReRULE की प्रभावशीलता को प्रमाणित करने के लिए व्यापक प्रयोग किए गए।

प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने तीन डेटासेट्स पर GA, NPO, SimNPO और मूल RULE सहित बेसलाइन्स के विरुद्ध ReRULE का मूल्यांकन किया:

MUSE-Books (कॉपीराइट अनलर्निंग): यह सेटिंग, जिसमें हैरी पॉटर की सामग्री शामिल है, कठिन मामलों का एक उच्च अनुपात प्रदर्शित करती है। ReRULE ने Retain Quality को 46.3 (RULE) से बढ़ाकर 56.2 कर दिया, जबकि शीर्ष-स्तरीय Forget Quality को बनाए रखा। प्रशिक्षण का समय केवल 5–11% (6.8h से 7.1h) बढ़ा।
RWKU (रियल-वर्ल्ड नॉलेज): ReRULE ने सर्वश्रेष्ठ Forget Quality प्राप्त की और Forget Naturalness तथा Retain Quality में टॉप-2 प्रदर्शन बनाए रखा, जिसने कठिन मामलों पर दक्षता के मामले में RULE को पछाड़ दिया।
TOFU (एंटिटी अनलर्निंग): इस सेटिंग में, 'forget set' छोटा है और आम तौर पर आसान है (कम कठिन मामले)। ReRULE ने RULE की तुलना में सीमित सुधार दिखाया, जिसे लेखक इस प्रमाण के रूप में उद्धृत करते हैं कि रिप्ले मैकेनिज्म सबसे अधिक फायदेमंद तब होता है जब एक स्पष्ट hard/easy disparity मौजूद हो।
Ablation Studies (एब्लेशन अध्ययन):
- कठिन-मामला चयन को Random Storage से बदलने पर प्रदर्शन गिरकर मानक RULE के स्तर पर आ गया, जिससे पुष्टि हुई कि कठिन मामलों को लक्षित करना महत्वपूर्ण है।
- $\tau$ के परिवर्तन ने दिखाया कि इसे बहुत अधिक रखने (आसान मामलों को शामिल करने) से दक्षता कम हो जाती है, जबकि इष्टतम सेटिंग (MUSE के लिए 0.4) चयनात्मकता और बफर आकार के बीच संतुलन बनाती है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि ReRULE RL-आधारित अनलर्निंग के लिए एक लागत-प्रभावी (cost-effective) संवर्धन प्रदान करता है। कठिन मामलों के "विफल" रोलआउट्स को पुनर्चक्रित (recycle) करके, यह अनलर्न किए गए मॉडल की Retain Quality में सुधार करता है—जो अनलर्निंग कार्यों में एक महत्वपूर्ण मीट्रिक है जिसे अक्सर समझौता किया जाता है—बिना पूर्ण रिट्रेनिंग या महत्वपूर्ण अतिरिक्त कंप्यूट के।

लेखक इस बात पर जोर देते हैं कि यह विधि सशर्त (conditional) है: इसके लाभ उन परिदृश्यों में सबसे अधिक स्पष्ट होते हैं जहाँ कठिन और आसान प्रॉम्प्ट्स के बीच महत्वपूर्ण अंतर होता है (जैसे, MUSE-Books)। सरल सेटिंग्स (जैसे, TOFU) में, लाभ मामूली हैं, जो इस परिकल्पना का समर्थन करते हैं कि रिप्ले मैकेनिज्म विशेष रूप से अंडर-ऑप्टिमाइज्ड कठिन मामलों की अक्षमता को लक्षित करता है। यह कार्य ReRULE को विशेष रूप से खतरनाक ज्ञान को हटाने के साथ-साथ मॉडल की सामान्य उपयोगिता को बनाए रखने के लिए एक व्यावहारिक कदम के रूप में स्थापित करता है।