🤖 machine learning

Temper-Then-Tilt: Principled Unlearning for Generative Models through Tempering and Classifier Guidance

यह शोधपत्र टेम्पर-देन-टिल्ट अनलर्निंग (T3-Unlearning) का परिचय देता है, जो एक सिद्धांतगत ढांचा है जो केंद्रित डेटा वितरणों पर मानक विधियों की विफलता को दूर करने के लिए क्लासिफायर गाइडेंस के साथ डिस्ट्रीब्यूशन टेम्परिंग को जोड़कर जनरेटिव मॉडल्स में मशीन अनलर्निंग में सुधार करता है, जिससे न्यूनतम कम्प्यूटेशनल लागत के साथ बेहतर फॉरगेट क्वालिटी और यूटिलिटी प्राप्त होती है।

मूल लेखक: Jacob L. Block, Mehryar Mohri, Aryan Mokhtari, Sanjay Shakkottai

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jacob L. Block, Mehryar Mohri, Aryan Mokhtari, Sanjay Shakkottai

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Temper-Then-Tilt" पेपर का सरल भाषा और रचनात्मक उपमाओं (analogies) के साथ स्पष्टीकरण दिया गया है।

बड़ी समस्या: "भुलक्कड़" AI

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान, विद्वान लाइब्रेरियन (एक जनरेटिव AI मॉडल) है जिसने लाखों किताबें पढ़ी हैं। आप उनसे एक सवाल पूछते हैं, और वे अपने पूरे ज्ञान के आधार पर एक बेहतरीन जवाब देते हैं।

लेकिन फिर, आपको एहसास होता है: "रुको, उन किताबों में से एक गुप्त डायरी थी जिसे अब लाइब्रेरी में नहीं होना चाहिए। इसमें निजी जानकारी या कॉपीराइट सामग्री है जिसे मालिक हटाना चाहता है।"

आपको उस लाइब्रेरियन को वह विशिष्ट किताब भूलने (unlearn) की आवश्यकता है। आप नहीं चाहते कि वे पूरी लाइब्रेरी को फिर से शुरू से पढ़ें (जिसमें बहुत समय लगता है और बहुत अधिक खर्च आता है)। आप बस चाहते हैं कि वे बाकी सब कुछ पूरी तरह से याद रखते हुए उस एक विशिष्ट किताब को भूल जाएं।

पुराना तरीका: "दोबारा न पढ़ने" की कोशिश करना

इसे ठीक करने का मानक तरीका यह है कि लाइब्रेरियन से कहा जाए, "उस डायरी के बारे में बात मत करना।" AI उस जानकारी को दबाने के लिए अपने मस्तिष्क को समायोजित करने की कोशिश करता है।

दोष: पेपर का तर्क है कि यदि "वर्जित" (forbidden) जानकारी बहुत विशिष्ट और केंद्रित है (जैसे कि एक डायरी जिसमें बहुत ही अनूठी, तीखी कहानी हो), तो AI भ्रमित हो जाता है। यह ऐसा है जैसे सफेद दीवार पर एक गहरे लाल बिंदु को केवल हल्के सफेद रंग से पेंट करके मिटाने की कोशिश करना। वह लाल बिंदु (याददाश्त) इतना तीखा और तीव्र है कि AI उसे फिर भी अनजाने में लीक कर देता है। वह कह सकता है, "मुझे उस डायरी के बारे में याद नहीं है," लेकिन फिर वह गलती से उससे एक वाक्य उद्धृत कर देता है क्योंकि उसकी याददाश्त उसके दिमाग में बहुत "तेज़" (loud) है।

नया समाधान: T3-Unlearning (Temper-Then-Tilt)

लेखक एक चतुर दो-चरणीय तकनीक प्रस्तावित करते हैं जिसे T3-Unlearning कहा जाता है। याददाश्त को सर्जिकल तरीके से हटाने के बजाय, वे यह बदलते हैं कि लाइब्रेरियन पूरी लाइब्रेरी के बारे में कैसे "सोचता" है।

लाइब्रेरी के ज्ञान को ऊंचाइयों और घाटियों वाले एक परिदृश्य (landscape) के रूप में सोचें।

ऊंची पहाड़ियाँ (High hills) = वे चीजें जिनके बारे में AI बहुत आश्वस्त है (जैसे कि वह गुप्त डायरी)।
नीची घाटियाँ (Low valleys) = वे चीजें जिनके बारे में AI कम निश्चित है।

चरण 1: Temper (द "फ्लैटनिंग" स्टेप - समतल करने वाला चरण)

सबसे पहले, वे परिदृश्य पर एक "तापमान" (temperature) लागू करते हैं। कल्पना कीजिए कि एक विशाल, गर्म लोहे से लाइब्रेरी की सबसे ऊंची चोटियों को धीरे से दबाया जा रहा है।

यह क्या करता है: यह तीखी, उच्च-विश्वास वाली चोटियों को समतल कर देता है। गुप्त डायरी अब एक ऊंचे पर्वत की तरह नहीं रही; वह बस एक छोटी पहाड़ी बन गई है।
यह क्यों मदद करता है: तीखी चोटी को समतल करके, AI उस विशिष्ट जानकारी के प्रति जुनूनी होना बंद कर देता है। यह "वर्जित" डेटा को कम तीव्र और प्रबंधनीय बनाता है।

चरण 2: Tilt (द "गाइडिंग" स्टेप - मार्गदर्शन करने वाला चरण)

अब जब परिदृश्य समतल हो गया है, तो वे एक छोटा, हल्का गाइड (एक सरल क्लासिफायर) लाते हैं। यह गाइड जानता है कि कौन सी किताबें "रखने" (Keep) वाली ढेरी में हैं और कौन सी "भूलने" (Forget) वाली ढेरी में।

यह क्या करता है: गाइड लाइब्रेरियन का ध्यान "भूलने" वाली किताबों से हटाकर "रखने" वाली किताबों की ओर धीरे से मोड़ देता है। चूंकि चरण 1 में "भूलने" वाली किताबें पहले ही समतल कर दी गई थीं, इसलिए गाइड आसानी से उन्हें नीचे धकेल सकता है बिना लाइब्रेरियन के विरोध के।
परिणाम: लाइब्रेरियन अब "रखने" वाली किताबों के आधार पर कहानियाँ बनाता है, और "भूलने" वाली किताबें प्रभावी रूप से शांत हो जाती हैं।

यह एक बड़ी बात क्यों है

पेपर गणितीय रूप से सिद्ध करता है कि यदि आप चरण 1 (Tempering) को छोड़ने की कोशिश करते हैं और सीधे चरण 2 (Tilting) करते हैं, तो आप विफल हो जाएंगे यदि वर्जित जानकारी बहुत तीखी है। "गुप्त सूचनाओं का रिसाव" (leakage) अपरिहार्य है।

लेकिन पहले Tempering करके, वे समस्या को सुचारू बनाते हैं, जिससे AI के फोकस को सफलतापूर्वक Tilt करना संभव हो जाता है।

इसके लाभ

यह तेज़ और सस्ता है: पूरी विशाल AI को फिर से प्रशिक्षित करने के बजाय (जो पूरी लाइब्रेरी को फिर से बनाने जैसा है), वे केवल एक छोटे, सरल "गाइड" (एक छोटा लीनियर हेड) को प्रशिक्षित करते हैं जो फ्रीज किए गए AI के ऊपर काम करता है। यह पूरे स्टाफ को निकालने और फिर से नियुक्त करने के बजाय एक नया लाइब्रेरियन सहायक नियुक्त करने जैसा है।
यह बेहतर काम करता है: परीक्षणों में (TOFU नामक बेंचमार्क का उपयोग करते हुए), यह विधि AI की अन्य प्रश्नों के उत्तर देने की क्षमता को खराब किए बिना, वास्तव में गुप्त डेटा को भूलने में बहुत बेहतर थी।
यह सुरक्षित है: गणित दिखाता है कि यह विधि गारंटी देती है कि AI गलती से गुप्त डेटा लीक नहीं करेगा, भले ही वह डेटा बहुत विशिष्ट और तीव्र हो।

सारांश उपमा (Summary Analogy)

कल्पना कीजिए कि आप एक तेज़, परेशान करने वाले अलार्म क्लॉक (गुप्त डेटा) को आपको जगाने से रोकने की कोशिश कर रहे हैं।

पुराना तरीका: आप अलार्म को तकिए से ढकने की कोशिश करते हैं। वह अभी भी नीचे से तेज़ बजता रहता है, और कभी-कभी वह तकिए को चीर कर बाहर निकल आता है।
T3-Unlearning: पहले, आप वॉल्यूम नॉब को कम करते हैं (Temper)। अब, अलार्म सिर्फ एक धीमी बीप बन गया है। फिर, आप अलार्म को धीरे से कमरे के दूसरी ओर ले जाते हैं (Tilt)। अब, आप शांति से सो सकते हैं, और अलार्म प्रभावी रूप से चला गया है, लेकिन आपकी अन्य इंद्रियां (AI का बाकी ज्ञान) अभी भी तेज़ और काम कर रही हैं।

पेपर दिखाता है कि आपको अलार्म को हिलाने से पहले उसका वॉल्यूम कम करना ही होगा, अन्यथा शोर हमेशा रिसता रहेगा।

तकनीकी सारांश: Temper-Then-Tilt: टेंपरिंग और क्लासिफायर गाइडेंस के माध्यम से जनरेटिव मॉडल्स के लिए सिद्धांतिक अनलर्निंग

1. समस्या विवरण (Problem Statement)

यह शोध पत्र बड़े जनरेटिव मॉडल्स में मशीन अनलर्निंग (machine unlearning) को संबोधित करता है, विशेष रूप से एक "फॉरगेट सेट" ( $D_f$ ) के प्रभाव को हटाने के कार्य को, जो एक पूर्ण डेटासेट $D = D_r \sqcup D_f$ (जहाँ $D_r$ रिटेन सेट है) पर प्रशिक्षित किया गया है, बिना स्क्रैच से पुन: प्रशिक्षण (retraining) दिए।

लेखक अनलर्निंग को एक पैरामीटर अपडेट समस्या के रूप में नहीं, बल्कि एक डिस्ट्रीब्यूशन करेक्शन टास्क (distribution correction task) के रूप में देखते हैं। वे यह मानकर चलते हैं कि मूल मॉडल $D$ पर एक ग्राउंड-ट्रुथ डिस्ट्रीब्यूशन $p$ का अनुमान लगाता है, जो कि टारगेट रिटेन डिस्ट्रीब्यूशन $p_r$ और फॉरगेट डिस्ट्रीब्यूशन $p_f$ का मिश्रण है। लक्ष्य $p$ तक पहुँच प्राप्त करने के बाद $p_r$ से सैंपलिंग करना सीखना है, जहाँ $p$ , $D_r$ और $D_f$ तक पहुँच उपलब्ध है।

पहचाना गया मुख्य संकट यह है कि मानक क्लासिफायर-गाइडेड अनलर्निंग (जो $D_r$ और $D_f$ के बीच अंतर करने के लिए एक क्लासिफायर का उपयोग करके बेस डिस्ट्रीबशन $p$ को 'टिल्ट' करता है) तब विफल हो जाता है जब फॉरगेट डिस्ट्रीब्यूशन $p_f$ अत्यधिक केंद्रित (highly concentrated) (शार्प, हाई-कॉन्फिडेंस स्पाइक्स) होता है। सीमित-सैंपल व्यवस्था (finite-sample regimes) में, ऐसी स्थितियों में क्लासिफिकेशन त्रुटियाँ भी महत्वपूर्ण सूचना रिसाव (information leakage) का कारण बन सकती हैं, क्योंकि $p_f$ के शार्प मोड्स को केवल क्लासिफायर द्वारा पर्याप्त रूप से दबाया नहीं जा पाता है।

2. कार्यप्रणाली: T3-Unlearning

लेखक Temper-Then-Tilt Unlearning (T3-Unlearning) प्रस्तावित करते हैं, जो एक दो-चरणीय इन्फरेंस प्रक्रिया है जो बेस मॉडल को फ्रीज करती है और एक लाइटवेट रीवेटिंग रणनीति लागू करती है:

टेंपरिंग (Tempering): बेस डिस्ट्रीब्यूशन $p$ को पहले $1/T$ की घात (power) से "टेंपर" किया जाता है (जहाँ $T \geq 1$ )। यह ऑपरेशन डिस्ट्रीब्यूशन में हाई-कॉन्फिडेंस स्पाइक्स को सपाट (flatten) कर देता है, जिससे अगले चरण द्वारा आवश्यक सुधार की मात्रा कम हो जाती है।
$p^{(T)}(z) \propto p(z)^{1/T}$
टिल्टिंग (Tilting): एक लाइटवेट क्लासिफायर $\hat{f}$ , जो रिटेन सैंपल्स ( $S=1$ ) को फॉरगेट सैंपल्स ( $S=0$ ) से अलग करने के लिए प्रशिक्षित है, टेंपर्ड डिस्ट्रीब्यूशन को टिल्ट करने के लिए उपयोग किया जाता है। अंतिम एस्टिमेटर है:
$\hat{p}_r^{(T)}(z) \propto p(z)^{1/T} \cdot \hat{f}(z)$

LLM कार्यान्वयन:
लार्ज लैंग्वेज मॉडल्स (LLMs) के लिए, यह विधि प्री-ट्रेन्ड मॉडल पैरामीटर्स $\theta^*$ को फ्रीज करती है। एक छोटा, लो-रैंक लीनियर हेड, फ्रीज्ड मॉडल के पूलड हिडन स्टेट्स (pooled hidden states) पर ऊपर बनाया जाता है ताकि पोस्टीरियर प्रोबेबिलिटी $P(S=1 | x, y)$ की भविष्यवाणी की जा सके।

प्रशिक्षण (Training): क्लासिफायर को रिटेन/फॉरगेट लेबल्स पर क्रॉस-एन्ट्रॉपी लॉस का उपयोग करके प्रशिक्षित किया जाता है। बेस मॉडल के माध्यम से बार-बार फॉरवर्ड पास से बचने के लिए हिडन स्टेट्स को कैश (cache) किया जाता है।
इन्फरेंस (Inference): अगला-टोकन डिस्ट्रीब्यूशन यहाँ से सैंपल किया जाता है:
$\hat{p}_r^{(T)}(y | x) = \text{softmax}\left( \frac{\ln p_{\theta^*}(y | x)}{T} + \ln \hat{f}(x, y) \right)$

3. मुख्य योगदान

सैद्धांतिक विश्लेषण (Theoretical Analysis)

शोध पत्र सरोगेट क्लासिफायर के एक्सेस रिस्क ( $\delta$ ) और अनलर्निंग एरर के बीच संबंध देते हुए परिमित-सैंपल गारंटी प्रदान करता है, जिसे दो मेट्रिक्स के माध्यम से परिभाषित किया गया है:

रिटेन एरर ( $E_r$ ): $KL(p_r \parallel \hat{p}_r)$ , जो रिटेन डिस्ट्रीब्यूशन के प्रति फिडेलिटी (fidelity) को मापता है।
फॉरगेट एरर ( $E_f$ ): $\|p_r - \hat{p}_r\|_{1, p_f}$ , जो उन क्षेत्रों में लीकेज को मापता है जिन्हें फॉरगेट डिस्ट्रीब्यूशन द्वारा उभारा गया है।

मुख्य सैद्धांतिक निष्कर्ष:

मानक टिल्टिंग की सीमाएँ: अनटेंपर्ड एस्टिमेटर्स ( $T=1$ ) के लिए, फॉरगेट एरर $O(\|p_f\|_\infty \sqrt{\delta})$ के रूप में स्केल करता है। लेखक सिद्ध करते हैं कि पीक डेंसिटी $\|p_f\|_\infty$ पर यह निर्भरता अपरिहार्य है (थ्योरम 3.5), जिसका अर्थ है कि मानक तरीके केंद्रित फॉरगेट सेट्स के लिए विफल हो जाते हैं।
टेंपरिंग के लाभ: T3-Unlearning एस्टिमेटर एक फॉरगेट एरर बाउंड प्राप्त करता है जो $O(\|p_f\|_\infty^{1/T} \cdot \delta^{1/2k})$ के रूप में स्केल करता है। $T$ को बढ़ाकर, $p_f$ की शार्पनेस पर निर्भरता सब-लीनियर (sublinear) हो जाती है, जो केंद्रित फॉरगेट डिस्ट्रीबशंस के विरुद्ध मजबूती में काफी सुधार करती है।
ट्रेड-ऑफ (Trade-off): टेंपरिंग एक बायस टर्म पेश करती है जो रिटेन एरर में तब बढ़ती है जब $p_r$ की एंट्रॉपी घटती है। यह विधि एक सिद्धांतिक ट्रेड-ऑफ स्थापित करती है: $T$ इतना बड़ा होना चाहिए कि वह $\|p_f\|_\infty$ को नियंत्रित कर सके, लेकिन इतना भी नहीं कि बेस डिस्ट्रीब्यूशन का विरूपण (distortion) लाभों को खत्म कर दे।

अनुभवजन्य परिणाम (Empirical Results)

प्रयोग Llama 3.1 8B का उपयोग करके TOFU बेंचमार्क पर किए गए, जिसमें T3-Unlearning की तुलना GradAscent, GradDiff, WGA, और विभिन्न NPO/SimNPO वेरिएंट्स जैसे बेसलाइन्स से की गई।

फॉरगेट क्वालिटी (FQ): T3-Unlearning ने सभी बेसलाइन्स को लगातार पछाड़ दिया, उच्चतम FQ स्कोर (5% फॉरगेट के लिए 0.914, 10% फॉरगेट के लिए 0.671) प्राप्त किया, जो पुन: प्रशिक्षित मॉडल से बेहतर सांख्यिकीय अविभेद्यता (statistical indistinguishability) को दर्शाता है।
जनरेटिव यूटिलिटी (MU-ROUGE): जबकि कुछ बेसलाइन्स ने उच्च समग्र मॉडल यूटिलिटी (MU) प्राप्त की, T3-Unlearning ने उच्चतम MU-ROUGE (ROUGE-L स्कोर का हार्मोनिक मीन) प्राप्त किया, जो यह दर्शाता है कि यह केवल संभावनाओं को दबाने वाले तरीकों की तुलना में जनरेशन क्वालिटी को बेहतर ढंग से संरक्षित करता है।
दक्षता (Efficiency):
- पैरामीटर्स: T3-Unlearning केवल 0.03% मॉडल पैरामीटर्स (एक लीनियर हेड $h=20$ के साथ) को प्रशिक्षित करता है, जो फुल फाइन-ट्यूनिंग या LoRA-आधारित तरीकों की तुलना में बहुत कम है।
- रनटाइम: हिडन स्टेट्स को कैश करके, T3-Unlearning के "प्रीप्रोसेस्ड" संस्करण ने रनटाइम को सेकंडों में कम कर दिया (उदाहरण के लिए, 5% स्प्लिट के लिए ~5s), जबकि फाइन-ट्यूनिंग बेसलाइन्स सैकड़ों सेकंड लेते हैं।

4. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि T3-Unlearning अनलर्निंग के लिए एक सिद्धांतिक ढांचा (principled framework) प्रदान करता है जो मौजूदा क्लासिफायर-गाइडेड दृष्टिकोणों की सांख्यिकीय सीमाओं को दूर करता है।

सैद्धांतिक आवश्यकता: लेखक तर्क देते हैं कि टेंपरिंग केवल एक ह्यूरिस्टिक (heuristic) नहीं है, बल्कि केंद्रित डिस्ट्रीबशंस को सफलतापूर्वक अनलर्न करने के लिए एक आवश्यक शर्त है। इसके बिना, फॉरगेट एरर क्लासिफायर की सटीकता के बावजूद, फॉरगेट सेट की शार्पनेस द्वारा मौलिक रूप से सीमित रहता है।
व्यावहारिक दक्षता: यह विधि अनलर्निंग को बेस मॉडल के उच्च-आयामी पैरामीटर स्पेस से अलग करती है, जिससे बिना पूर्ण पुन: प्रशिक्षण या फुल फाइन-ट्यूनिंग की कम्प्यूटेशनल लागत के "तेज़, मेमोरी-कुशल अनलर्निंग" सक्षम होता है।
मजबूती (Robustness): दृष्टिकोण प्रोवेबल (provable) परिमित-सैंपल गारंटी प्रदान करता है जो सीधे पिछले तरीकों के फेल्योर मोड्स को संबोधित करता है, विशेष रूप से उन परिदृश्यों में जहाँ फॉरगेट सेट विशिष्ट, हाई-कॉन्फिडेंस जानकारी (जैसे निजी या कॉपीराइट डेटा) से बना होता है जिसे मॉडल ने याद (memorize) कर लिया है।

लेखक इस बात पर जोर देते हैं कि उनकी विधि "अनइंटेंडेड डिग्रेडेशन" (unintended degradation) से बचती है जो अक्सर सुपरवाइज्ड फाइन-ट्यूनिंग दृष्टिकोणों में देखा जाता है और एक सिद्धांतिक रूप से आधारित विकल्प प्रदान करती है जो आधुनिक जनरेटिव मॉडल्स के लिए कठिन (intractable) पैरामीटर रिकवरी विधियों के विपरीत है।