📊 statistics

Exact Unlearning in Reinforcement Learning

यह शोध पत्र सुदृढीकरण शिक्षण (रिनफोर्समेंट लर्निंग) में सटीक अनलर्निंग (अनलर्निंग) की समस्या को प्रतिपादित करता है और टैबुलर MDPs के लिए एक $\rho$ -TV-स्थिर एल्गोरिदम प्रस्तावित करता है जो लगभग मिनिमैक्स इष्टतम रिग्रेट प्राप्त करता है और शून्य से पुन: प्रशिक्षण (रिट्रेनिंग) लेने की तुलना में काफी कम कम्प्यूटेशनल लागत के साथ कुशल डेटा निष्कासन सक्षम करता है।

मूल लेखक: Thanh Nguyen-Tang, Raman Arora

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Thanh Nguyen-Tang, Raman Arora

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Exact Unlearning in Reinforcement Learning" का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ विवरण दिया गया है।

मुख्य समस्या: AI के लिए "भूल जाने का अधिकार" (The Right to Be Forgotten)

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, व्यक्तिगत शेफ (एक AI एजेंट) है जो समय के साथ आपकी पसंद और नापसंद को सीखता है। हर बार जब आप भोजन करते हैं, तो शेफ नोट करता है कि आपको क्या पसंद आया और क्या नहीं, जिससे वह आपके लिए खाना बनाने में और बेहतर होता जाता है।

अब, कल्पना कीजिए कि आप निर्णय लेते हैं कि आप अब नहीं चाहते कि यह शेफ आपके बारे में कुछ भी जाने। आप कहते हैं, "मेरा डेटा हटा दें।"

अधिकांश कंप्यूटर सिस्टम में, "डेटा डिलीट करना" कठिन होता है। यह ऐसा है जैसे उस सूप में से एक विशिष्ट सामग्री को निकालने की कोशिश करना जो घंटों से उबल रहा है। आप बस उस "नमक" को बाहर नहीं निकाल सकते जिसे आपने तीन दिन पहले डाला था; वह स्वाद पूरे बर्तन में मिल चुका है। यदि आप केवल आपके भोजन का रिकॉर्ड हटा देते हैं, तो शेफ की याददाश्त अभी भी उससे प्रभावित रहेगी। यह गोपनीयता (privacy) का जोखिम है क्योंकि हैकर्स यह अनुमान लगाने की कोशिश कर सकते हैं कि आपने क्या खाया था, इस आधार पर कि शेफ अब कैसा व्यवहार करता है।

यह शोध पत्र एक विशिष्ट प्रकार के AI के लिए इस समस्या को हल करता है जिसे Reinforcement Learning (RL) कहा जाता है। RL का उपयोग सिफारिश इंजन (जैसे Netflix, Amazon) या वर्चुअल असिस्टेंट जैसे सिस्टम में किया जाता है, जहाँ AI आपके साथ चरण-दर-चरण बातचीत करके सीखता है।

लक्ष्य: "सटीक विस्मरण" (Exact Unlearning)

लेखक "Exact Unlearning" प्राप्त करना चाहते हैं।

अनुमानित विस्मरण (Approximate Unlearning) ऐसा है जैसे कहना, "सूप का स्वाद लगभग वैसा ही है चाहे मैंने आपकी सामग्री डाली हो या नहीं।" यह करीब है, लेकिन पूर्ण नहीं।
सटीक विस्मरण (Exact Unlearning) अधिक सख्त है। इसका अर्थ है कि आपके हटने के बाद AI का व्यवहार सांख्यिकीय रूप से (statistically) वैसा ही होना चाहिए जैसा कि वह तब होता यदि आपका अस्तित्व ही कभी न होता।

चुनौती क्या है? हर बार जब कोई डिलीट करने के लिए कहता है, तो AI को शुरू से फिर से प्रशिक्षित (retrain) करना अविश्वसनीय रूप से धीमा और महंगा होता है। लेखक एक तरीका चाहते हैं जिससे आप "अनलर्न" (unlearn) कर सकें, बिना सब कुछ शुरू से किए।

समाधान: "बाइनरी ट्री" लेजर (The "Binary Tree" Ledger)

लेखक इसे संभव बनाने के लिए एक चतुर लेखांकन (accounting) तकनीक का प्रस्ताव करते हैं। केवल आपके इंटरैक्शन का कुल योग (जैसे एक साधारण जोड़) रखने के बजाय, वे आपके डेटा को एक बाइनरी ट्री (Binary Tree) में संग्रहीत करते हैं।

उपमा: लेजरों का पुस्तकालय (The Library of Ledgers)
कल्पना कीजिए कि AI के पास केवल एक नोटबुक नहीं है। उसके पास नेस्टेड लेजरों (nested ledgers) का एक पुस्तकालय है।

पत्तियाँ (The Leaves): प्रत्येक व्यक्तिगत इंटरैक्शन (आपका भोजन) को पेड़ के निचले हिस्से में रिकॉर्ड किया जाता है।
शाखाएँ (The Branches): प्रत्येक पत्ती के ऊपर, शाखाएँ इंटरैक्शन के समूहों का योग करती हैं।
शोर (The Noise): गोपनीयता की सुरक्षा और आसान संपादन के लिए, AI इन योगों में थोड़ा सा रैंडम "स्टैटिक" या शोर (noise) जोड़ देता है।

यह कैसे मदद करता है:
क्योंकि डेटा एक ट्री संरचना में व्यवस्थित है, यदि आप अपना डेटा हटाना चाहते हैं, तो AI को अपने पूरे इतिहास की पुनर्गणना करने की आवश्यकता नहीं है। उसे केवल आपकी पत्ती से लेकर पेड़ के शीर्ष तक के विशिष्ट पथ (path) को अपडेट करने की आवश्यकता है। यह एक स्प्रेडशीट में एक प्रविष्टि बदलने और फॉर्मूलों को ऑटो-अपडेट करने जैसा है, न कि पूरी किताब को फिर से लिखने जैसा।

"जादू" का जुड़ाव (The "Magic" of Coupling)

शोध पत्र एक गणितीय अवधारणा Maximal Coupling का उपयोग करता है। इसे एक "जादुई इरेज़र" के रूप में सोचें जो पुराने डेटा का यथासंभव पुन: उपयोग करने की कोशिश करता है।

जब आप डिलीट करने के लिए कहते हैं:

AI उस "शोर वाले" योग को देखता है जिसमें आप शामिल थे।
यह देखने की कोशिश करता है कि क्या यह उसी शोर वाले नंबर को रख सकता है, बस यह मानकर कि वह आपके बजाय एक "डमी" यूजर से आया था।
यदि गणित काम करता है (जो कि ज्यादातर समय करता है), तो AI पुराने नंबर को ही रखता है। फिर से ट्रेनिंग की जरूरत नहीं!
यदि गणित काम नहीं करता है (दुर्लभ मामलों में), तो इसे उस छोटे से हिस्से की पुनर्गणना करनी पड़ती है।

शोध पत्र यह सिद्ध करता है कि यह पुनर्गणना बहुत कम बार होती है। "अनलर्न" करने की लागत पूरे AI को शुरू से प्रशिक्षित करने की लागत का केवल एक छोटा सा हिस्सा है।

ट्रेड-ऑफ: स्थिरता बनाम कौशल (Stability vs. Skill)

यहाँ एक पेच है। इस "जादुई इरेज़र" को काम करने देने के लिए, AI को स्थिर (stable) होना होगा।

उपमा: एक स्थिर हाथ (The Steady Hand)
कल्पला कीजिए कि AI एक चित्रकार है। यदि AI "अस्थिर" है, तो पेंट की एक छोटी सी बिंदी (आपका डेटा) बदलने से पूरा पेंटिंग पूरी तरह से बदल सकता है। यह आपको सफाई से मिटाना कठिन बनाता है।
यदि AI "स्थिर" है, तो एक बिंदु बदलने से केवल वही छोटा क्षेत्र बदलता है।

लेखक दिखाते हैं कि AI को थोड़ा अधिक स्थिर बनाकर (उस "शोर" को जोड़कर जिसका उल्लेख पहले किया गया था), वे सटीक विस्मरण की गारंटी दे सकते हैं। हालाँकि, इस स्थिरता के साथ एक छोटी सी कीमत भी आती है: AI थोड़ा धीमा सीख सकता है या आपकी पसंद का अनुमान लगाने में थोड़ा कम सटीक हो सकता है, तुलनात्मक रूप से एक ऐसे AI के जो अनलर्निंग की परवाह नहीं करता।

परिणाम: यह लगभग पूर्ण है

शोध पत्र प्रमाण देता है कि:

यह काम करता है: यह विधि सटीक विस्मरण की गारंटी देती है।
यह कुशल है: उपयोगकर्ता को अनलर्न करने की कम्प्यूटेशनल लागत बहुत कम है (एपिसोड्स की संख्या के लॉग के वर्गमूल के समान, जो कि बहुत छोटा है)।
यह इष्टतम (Optimal) है: प्रदर्शन में होने वाला नुकसान (regret) किसी भी ऐसे एल्गोरिदम के लिए लगभग सर्वश्रेष्ठ है जो सटीक विस्मरण का समर्थन करना चाहता है। उन्होंने एक "लोअर बाउंड" (lower bound) सिद्ध किया है, जिसका अर्थ है कि कोई अन्य विधि बिना अनलर्निंग गारंटी तोड़े, इससे बेहतर प्रदर्शन नहीं कर सकती।

सारांश

संक्षेप में, यह शोध पत्र हमें ऐसे AI सिस्टम बनाने का नुस्खा देता है जो "भूल जाने के अधिकार" का सम्मान करते हैं। डेटा को एक विशिष्ट ट्री संरचना में व्यवस्थित करके और थोड़ा नियंत्रित शोर जोड़कर, AI बिना अपनी पूरी सीखने की प्रक्रिया को फिर से शुरू किए, तुरंत एक उपयोगकर्ता के प्रभाव को "भूल" सकता है, जबकि वह अपने काम में अत्यधिक प्रभावी बना रहता है।

तकनीकी सारांश: सुदृढीकरण शिक्षण (Reinforcement Learning) में सटीक अनलर्निंग (Exact Unlearning)

समस्या का निरूपण (Problem Formulation)
यह शोध पत्र सुदृढीकरण शिक्षण (RL) के संदर्भ में सटीक अनलर्निंग (Exact Unlearning) की समस्या को संबोधित करता है। जबकि मशीन अनलर्निंग का अध्ययन पर्यवेक्षित (supervised) और अपर्यवेक्षित (unsupervised) परिवेशों में किया गया है, यह इंटरैक्टिव, अनुक्रमिक प्रणालियों जैसे कि RL में काफी हद तक अनछुआ रहा है। मुख्य चुनौती एक कुशल ढांचा डिजाइन करने की है जो किसी विशिष्ट उपयोगकर्ता के डेटा (एक एपिसोड) को अनुरोध पर हटाने की अनुमति देता है, ताकि अनलर्निंग के बाद लर्नर का आउटपुट सांख्यिकीय रूप से उस आउटपुट के समान हो जो उस उपयोगकर्ता के डेटा को शामिल न करने पर उत्पन्न होता।

लेखक अनुक्रमिक शिक्षण समस्याओं के लिए सटीक अनलर्निंग (परिभाषा 2.1) को परिभाषित करते हैं: एक अनलर्निंग एल्गोरिदम $\mathcal{U}$ सटीक अनलर्निंग प्राप्त करता है यदि, किसी भी उपयोगकर्ताओं के अनुक्रम $z_{1:T}$ और हटाए जाने वाले लक्षित उपयोगकर्ता $z_t$ (जिसे एक डमी उपयोगकर्ता $z'$ द्वारा प्रतिस्थापित किया जाता है) के लिए, अनलर्न्ड मॉडल का वितरण संशोधित अनुक्रम $z_{1:t-1}, z', z_{t+1:T}$ पर प्रशिक्षित मॉडल के वितरण के समान होता है। यह अनुमानित अनलर्निंग या डिफरेंशियल प्राइवेसी (differential privacy) की तुलना में एक सख्त आवश्यकता है, क्योंकि यह सांख्यिकीय समानता के बजाय समान वितरण की मांग करती है।

कार्यप्रणाली (Methodology)
लेखक बैच लर्निंग (Ullah & Arora, 2023) से टोटल वेरिएशन (TV) स्थिरता के ढांचे को अनुक्रमिक RL में विस्तारित करते हैं। कार्यप्रणाली के दो मुख्य घटक हैं:

बाइनरी ट्री तंत्र के माध्यम से TV-स्थिर शिक्षण:
- लेखक RL को प्रिफिक्स सम (prefix sum) संरचनाओं वाले अनुक्रमिक शिक्षण के एक वर्ग के रूप में संक्षिप्त करते हैं।
- वे पर्याप्त सांख्यिकी के शोर-युक्त प्रिफिक्स सम (noisy prefix sums) को बनाए रखने के लिए एक बाइनरी ट्री तंत्र (डिफरेंशियल प्राइवेसी साहित्य से अनुकूलित) का उपयोग करते हैं। कच्चे काउंट (raw counts) के बजाय, एल्गोरिदम एक बाइनरी ट्री संरचना में स्वच्छ मान और शोर वाले मानों को संग्रहीत करता है। प्रत्येक नोड (node) में ट्री का एक स्वतंत्र गाऊसी शोर (Gaussian noise) नमूना होता है।
- यह संरचना सुनिश्चित करती है कि कोई भी प्रिफिक्स सम केवल $O(\log T)$ स्वतंत्र शोर नमूनों द्वारा विचलित होता है, न कि $T$ नमूनों द्वारा, जो मूल और संशोधित डेटासेट के बीच TV दूरी को नियंत्रित करने के लिए महत्वपूर्ण है।
- एक एल्गोरिदम को $\rho$ -TV-स्थिर कहा जाता है यदि एक ही तत्व से भिन्न दो डेटासेट पर उसके आउटपुट के बीच टोटल वेरिएशन दूरी $\rho$ द्वारा सीमित है।
मैक्सिमल कपलिंग (Maximal Coupling) के माध्यम से कुशल अनलर्निंग:
- जब विलोपन (deletion) का अनुरोध प्राप्त होता है, तो एल्गोरिदम मूल डेटासेट के बाइनरी ट्री को संशोधित डेटासेट के ट्री के साथ मैक्सिमली कपलिंग करके अनलर्निंग करता है।
- अनलर्निंग प्रक्रिया (एल्गोरिदम 3) हटाए गए लीफ (leaf) से रूट (root) तक के पथ का अनुसरण करती है। प्रत्येक नोड के लिए, यह रिजेक्शन सैंपलिंग (rejection sampling) के माध्यम से मौजूदा शोर वाले मान का पुन: उपयोग करने का प्रयास करता है। यदि रिजेक्शन सैंपलिंग विफल हो जाती है (जो TV दूरी के अनुपात में होने वाली संभावना के साथ होता है), तो यह एक नया वैध शोर वाला मान उत्पन्न करने के लिए एक रिफ्लेक्शन मैप लागू करता है और केवल प्रभावित सबट्री (subtree) को पुनः प्रशिक्षित करता है।
- यह दृष्टिकोण सुनिश्चित करता है कि पूर्ण पुनर्र्व huấn (retraining) दुर्लभ है, जिसकी संभावना $\rho \sqrt{\log T}$ है, जिससे अनलर्निंग की कम्प्यूटेशनल लागत शून्य से शुरू करने वाले पूर्ण पुनर्र्व huấn की तुलना में काफी कम हो जाती है।
RL एल्गोरिदम डिजाइन (UCB-VI विस्तार):
- लेखक UCB-VI (Azar et al., 2017) एल्गोरिदम का विस्तार करके टैबुलर मार्कोव निर्णय प्रक्रियाओं (MDPs) के लिए इस ढांचे को लागू करते हैं।
- वे मानक विज़िटेशन स्टैटिस्टिक्स (visitation statistics) को शोर-युक्त प्रिफिक्स सम से बदल देते हैं।
- शोर (noise) के बावजूद आशावाद (optimism - जो UCB-VI का एक प्रमुख घटक है) बनाए रखने के लिए, वे एक संशोधित बोनस फंक्शन पेश करते है जो अनुमान त्रुटि (होफडिंग-शैली) और शोर वाले काउंट्स से उत्पन्न अनुमान त्रुटि दोनों को ध्यान में रखता है।

मुख्य योगदान (Key Contributions)

निरूपण: यह शोध पत्र RL में सटीक अनलर्निंग की समस्या को सूत्रबद्ध करता है, जिसे प्रिफिक्स सम संरचनाओं वाले अनुक्रमिक शिक्षण समस्याओं के रूप में संक्षिप्त किया गया है।
एल्गोरिदम: यह पहला रिग्रेट-ऑप्टिमल (regret-optimal) RL एल्गोरिदम निर्मित करता है जो टैबुलर MDPs के लिए $\rho$ -TV-स्थिर है और कुशल सटीक अनलर्निंग का समर्थन करता है।
सैद्धांतिक गारंटी:
- रिग्रेट बाउंड: प्रस्तावित एल्गोरिदम $\tilde{O}(H^2\sqrt{SAT} + H^3S^2A + H^{2.5}S^2A/\rho)$ का रिग्रेट बाउंड प्राप्त करता है।
- अनलर्निंग लागत: अनलर्निंग की अपेक्षित कम्प्यूटेशनल लागत शून्य से शुरू करने वाले पुनर्र्व huấn की लागत का केवल $\rho \sqrt{\ln T}$ हिस्सा है।
- लोअर बाउंड (Lower Bound): लेखक किसी भी $\rho$ -TV-स्थिर RL एल्गोरिदम के लिए $\Omega(H\sqrt{SAT} + SAH/\rho)$ का मिनिमैक्स लोअर बाउंड स्थापित करते हैं, जो दिखाता है कि उनका अपर बाउंड लगभग सटीक (tight) है।

परिणाम (Results)

रिग्रेट विश्लेषण: रिग्रेट बाउंड तीन पदों से बना है: एक बर्न-इन लागत, एक मानक UCB-VI रिग्रेट टर्म (होफडिंग बोनस का उपयोग करके), और एक अतिरिक्त पद $H^{2.5}S^2A/\rho$ जो गाऊसी शोर के साथ एल्गोरिदम को स्थिर करने की लागत को दर्शाता है।
डिफरेंशियल प्राइवेसी के साथ तुलना: लेखक नोट करते हैं कि उनका ढांचा JDP (Joint Differential Privacy) RL एल्गोरिदम की तुलना में कम अतिरिक्त रिग्रेट लागत वहन करता है। विशेष रूप से, उनकी अतिरिक्त लागत $\sqrt{H}$ के कारक से कम है क्योंकि गाऊसी शोर एक टाइट सेंसिटिविटी बाउंड ( $B=\sqrt{3H}$ ) प्रदान करता है जबकि JDP में लैप्लासियन शोर ( $B=3H$ ) का उपयोग किया जाता है।
टाइटनेस (Tightness): प्राप्त लोअर बाउंड, JDP एल्गोरिदम के लोअर बाउंड के रूप से मेल खाता है लेकिन यह स्पष्ट रूप से अधिक मजबूत है क्योंकि TV-स्थिरता शुद्ध DP की तुलना में एक कमजोर स्थिति है। अपर और लोअर बाउंड के बीच का अंतर होफडिंग-प्रकार के बोनस के बजाय बर्नस्टीन-प्रकार के बोनस के उपयोग और दूसरे पद में संभावित विश्लेषण अंतराल के कारण है।

महत्व (Significance)
यह शोध पत्र दावा करता है कि यह RL में प्रमाण योग्य सटीक अनलर्निंग के लिए पहला सैद्धांतिक और एल्गोरिद्मिक ढांचा प्रदान करके साहित्य के एक महत्वपूर्ण अंतर को पाटता है। यह प्रदर्शित करता है कि यह संभव है कि मजबूत विलोपन गारंटी (deletion guarantees) को रिग्रेट-ऑप्टिमल लर्नर्स पर लगाया जाए, जबकि पुनर्र्व huấn को दुर्लभ और स्थानीयकृत रखा जाए। यह इंटरैक्टिव सिस्टम (जैसे अनुशंसा प्रणाली, व्यक्तिगत सहायक) के लिए विशेष रूप रूप से प्रासंगिक है जहाँ उपयोगकर्ता का डेटा एपिसोडिक रूप से लॉग किया जाता है और गोपनीयता, सुरक्षा और अनुपालन कारणों से विलोपन अनुरोध उत्पन्न होते हैं। यह कार्य स्थापित करता है कि TV-स्थिरता अनुक्रमिक सेटिंग्स में सटीक अनलर्निंग प्राप्त करने के लिए एक व्यवहार्य तंत्र है, जो अधिक जटिल RL वातावरण (जैसे, फंक्शन एप्रोक्सिमेशन के साथ) में अनलर्निंग के लिए भविष्य के अनुसंधान के लिए एक आधार प्रदान करता है।