🤖 machine learning

Not Every Time and Frequency Need to Be Forgotten in Diffusion Unlearning

यह शोध पत्र डिफ्यूजन मॉडल्स के लिए एक चयनात्मक अनलर्निंग दृष्टिकोण प्रस्तावित करता है जो उनके असमान फॉरगेटिंग डायनेमिक्स के आधार पर विशिष्ट समय और आवृत्ति घटकों को लक्षित करता है, जिससे मौजूदा यूनिफॉर्म विधियों की तुलना में उच्च अनलर्निंग सफलता दर और बेहतर जनरेशन गुणवत्ता प्राप्त होती है।

मूल लेखक: Jinseong Park, Mijung Park

प्रकाशित 2026-07-01

📖 4 मिनट में पढ़ें☕ कॉफ़ी ब्रेक में पढ़ें

CC BY 4.0

मूल लेखक: Jinseong Park, Mijung Park

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक मास्टर शेफ (AI मॉडल) है जिसने एक विशाल कुकबुक (ट्रेनिंग डेटा) के आधार पर हजारों व्यंजन बनाना सीखा है। एक दिन, एक ग्राहक शेफ से एक विशिष्ट रेसिपी को "अनलर्न" (unlearn) करने के लिए कहता है क्योंकि वह चाहता है कि शेफ उसे पूरी तरह से भूल जाए।

मशीन अनलर्निंग (Machine Unlearning) का लक्ष्य शेफ को उस विशिष्ट व्यंजन को भूलने में मदद करना है, बिना उसके बाकी सब कुछ बनाने की क्षमता को बिगाड़े, और बिना यह सुनिश्चित किए कि बाकी व्यंजन खराब स्वाद वाले हों।

समस्या: "ब्रूट फोर्स" (Brute Force) दृष्टिकोण

वर्तमान में, अधिकांश तरीके यह कोशिश करते हैं कि शेफ को उस एक खराब रेसिपी के बारे में बार-बार चिल्लाकर या जोर देकर भुला दिया जाए। पेपर इसे ग्रेडिएंट एसेंट (Gradient Ascent) कहता है।

उपमा (Analogy): कल्पना करें कि आप एक सफेद शर्ट से दाग हटाने की कोशिश कर रहे हैं, लेकिन आप ब्रश से उसे इतनी जोर से रगड़ते हैं कि कपड़े में छेद हो जाते हैं।
परिणाम: शेफ शायद रेसिपी भूल जाए, लेकिन शर्ट (AI का आउटपुट) अब छेदों से भरी हुई है। शेफ द्वारा बनाए गए अन्य व्यंजन अब बेस्वाद, शोर-शराबे वाले या ऐसे दिख सकते हैं जैसे उन्हें ब्लेंडर में पकाया गया हो। "भूलने" की यह प्रक्रिया अव्यवस्थित है और भोजन की गुणवत्ता को नष्ट कर देती है।

खोज: सभी कुकिंग स्टेप्स समान नहीं होते

इस पेपर के लेखकों ने महसूस किया कि शेफ एक रेसिपी को एक साथ नहीं सीखता। खाना बनाना चरणों में होता है, और रेसिपी में विवरण की अलग-अलग परतें होती हैं।

समय (खाना पकाने के चरण):
- प्रारंभिक चरण (Phase I): शेफ बड़ी तस्वीर तय करता है (जैसे, "यह एक चेहरा है," "यह एक परिदृश्य है")।
- मध्यम चरण (Phase II): शेफ संरचना (structure) और मुख्य विशेषताएं जोड़ता है।
- अंतिम चरण (Phase III): शेफ सूक्ष्म विवरण (त्वचा के रोम छिद्र, बनावट, लाइटिंग) जोड़ता है।
- अंतर्दृष्टि (Insight): पेपर में पाया गया कि यदि आप अंतिम चरणों (जब शेफ सूक्ष्म विवरण जोड़ रहा होता है) के दौरान दाग को रगड़ने की कोशिश करते हैं, तो आप पूरे व्यंजन की बनावट को खराब कर देते हैं। यदि आप मध्यम चरणों के दौरान रगड़ते हैं, तो आप संरचना को बिगाड़ देते हैं।
- समाधान: आपको उस खराब रेसिपी की विशिष्ट स्मृति को हटाने के लिए केवल मध्यम चरणों के दौरान ही रगड़ने की आवश्यकता है, जबकि अंतिम चरणों को अकेला छोड़ दें ताकि भोजन की सुंदर बनावट और गुणवत्ता बनी रहे।
आवृत्ति (सामग्री/Frequency):
- एक छवि को एक गाने की तरह समझें। इसमें एक बेस लाइन (कम आवृत्तियाँ/low frequencies) और उच्च-पिच वाले स्वर (उच्च आवृत्तियाँ/high frequencies) होते हैं।
- अंतर्दृष्टि: "खराब याद" (भूलने वाली विशिष्ट फोटो) ज्यादातर उच्च-पिच वाले, शोर वाले नोट्स में छिपी होती है। बाकी गाना (अच्छी छवियां) बेस लाइन और धुन पर निर्भर करता है।
- समाधान: पूरे गाने की आवाज़ कम करने के बजाय, लेखक एक फिल्टर का उपयोग करते हैं जो केवल उस खराब याद से जुड़े उच्च-आवृत्ति वाले, शोर वाले नोट्स को म्यूट (शांत) करता है। यह संगीत को दबे हुए या सपाट बनाए बिना विशिष्ट स्मृति को हटा देता है।

नई विधि: "चयनात्मक स्क्रबिंग" (Selective Scrubbing)

पेपर एक नए तरीके का प्रस्ताव देता है जो एक हथौड़े के बजाय सर्जिकल स्कैल्पल (Scalpel) की तरह है।

चयनात्मक समय (Selective Time): वे केवल खाना पकाने की प्रक्रिया के मध्य चरणों के दौरान "भूलने" का दबाव लागू करते हैं।
चयनात्मक आवृत्ति (Selective Frequency): वे एक फिल्टर का उपयोग करते हैं जो केवल उस उच्च-आवृत्ति वाले "शोर" को लक्षित करता है जहाँ खराब याद रहती है, जिससे कम-आवृत्ति वाली "संरचना" अप्रभावित रहती है।

परिणाम:

बेहतर भूलना (Better Forgetting): शेफ वास्तव में खराब रेसिपी को भूल जाता है।
बेहतर गुणवत्ता (Better Quality): अन्य व्यंजन अभी भी स्वादिष्ट और स्पष्ट दिखते हैं।
"SSCDnorm" मीट्रिक: लेखकों ने इसे मापने के लिए एक नया पैमाना भी बनाया है। पुराने पैमाने केवल यह देखते थे कि क्या खराब रेसिपी गायब हो गई है, भले ही परिणामी भोजन जल गया हो। नया पैमाना यह जांचता है: "क्या खराब रेसिपी चली गई है, और क्या भोजन अभी भी अच्छा दिख रहा है?"

सारांश

पेपर तर्क देता है कि एक चीज़ को भूलने के लिए आपको सब कुछ भूलने की ज़रूरत नहीं है। यह सावधानीपूर्वक चुनकर कि कब (कौन सा टाइम स्टेप) और क्या (कौन सी फ्रीक्वेंसी) भूलना है, आप एक AI से उसकी उच्च-गुणवत्ता वाली छवियां बनाने की क्षमता को नष्ट किए बिना विशिष्ट अवांछित डेटा को हटा सकते हैं। यह चूहे को मारने के लिए घर जलाने और सिर्फ चूहे को पकड़ने के लिए जाल लगाने के बीच का अंतर है।

तकनीकी सारांश: डिफ्यूजन अनलर्निंग में हर समय और आवृत्ति को भूलने की आवश्यकता नहीं है

समस्या विवरण
डिफ्यूजन मॉडल में डेटा अनलर्निंग का लक्ष्य एक पूर्व-प्रशिक्षित मॉडल से विशिष्ट प्रशिक्षण नमूनों (जिसे "फॉरगेट सेट" कहा जाता है) के प्रभाव को हटाना है, जबकि शेष डेटा (जिसे "रिटेन सेट" कहा जाता है) की उपयोगिता को बनाए रखना है। वर्तमान फाइन-ट्यूनिंग दृष्टिकोण, जैसे कि ग्रेडिएंट एसेंट (GA) या नेगेटिव प्रिफरेंस ऑप्टिमाइजेशन (NPO), आमतौर पर फॉरगेट सेट पर लॉस मैक्सिमाइजेशन (loss maximization) पर निर्भर करते हैं। हालाँकि, इन विधियों में अक्सर दो गंभीर समस्याएँ होती हैं:

अपूर्ण विस्मरण (Incomplete Forgetting): मॉडल विशिष्ट उदाहरण को पूरी तरह से मिटाने में विफल हो सकता है।
गुणवत्ता में गिरावट (Quality Degradation): आक्रामक अनलर्निंग अक्सर रिटेन सेट के लिए शोर युक्त, सौंदर्यहीन या विकृत जनरेशन का कारण बनती है।

मौजूदा विधियाँ आमतौर पर डिफ्यूजन प्रक्रिया के सभी टाइम स्टेप्स और फ्रीक्वेंसी कंपोनेंट्स के साथ समान व्यवहार करती हैं। यह पेपर तर्क देता है कि ऐसा समान उपचार डिफ्यूजन मॉडल की अंतर्निहित गतिशीलता (dynamics) की अनदेखी करता है, जहाँ रिवर्स प्रक्रिया के विभिन्न चरण (शोर से डेटा तक) और विभिन्न फ्रीक्वेंसी कंपोनेंट्स, सिमेंटिक पहचान, इंस्टेंस-लेवल मेमोराइजेशन और सूक्ष्म विवरणों में असमान रूप से योगदान देते हैं।

कार्यप्रणाली (Methodology)
लेखक एक टाइम-एंड-फ्रीक्वेंसी-सिलेक्टिव अनलर्निंग फ्रेमवर्क प्रस्तावित करते हैं जो यूनिफॉर्म अपडेट के बजाय डिफ्यूजन प्रक्रिया के विशिष्ट क्षेत्रों को लक्षित करता है।

टाइम-सिलेक्टिव फॉरगेटिंग (Time-Selective Forgetting):
- विश्लेषण: यह पेपर डिफ्यूजन डायनेमिक्स की सैद्धांतिक समझ का लाभ उठाते हुए, दो महत्वपूर्ण ट्रांजिशन पॉइंट्स की पहचान करता है: स्पेशिएशन टाइम ( $t_S$ ) और कोलैप्स टाइम ( $t_C$ )।
  - फेज I ( $t > t_S$ ): मोटे तौर पर सिमेंटिक्स और क्लास आइडेंटिटी को कैप्चर करता है।
  - फेज II ( $t_C < t < t_S$ ): इसमें इंस्टेंस-लेवल आकर्षण और विशिष्ट विवरणों का निर्माण शामिल है।
  - फेज III ( $t < t_C$ ): सूक्ष्म विवरणों और बनावट (texture) को रिफाइन करता है।
- रणनीति:
  - अनकंडीशनल अनलर्निंग के लिए, विधि फेज II (मध्यम टाइम स्टेप्स) पर ध्यान केंद्रित करती है, जहाँ इंस्टेंस-लेवल आकर्षण सबसे मजबूत होता है, जिससे फेज III में सूक्ष्म विवरणों के क्षरण से बचा जा सके।
  - कंडीशनल अनलर्निंग (टेक्स्ट-टू-इमेज) के लिए, विधि फेज I ( $t > t_S$ ) को लक्षित करती है, जहाँ स्पेशिएशन होने से पहले कंडीशनल गाइडेंस डोमिनेट करती है।
- कार्यान्वयन: लॉस फंक्शन पर एक टाइम वेटिंग फंक्शन $P(t)$ लागू किया जाता है, जो विशिष्ट अंतराल (जैसे, $[t_C, t_S]$ या $[t_S, T]$ ) को उच्च प्रायिकता देता है और अन्य में अपडेट को दबा देता है। एक एडेप्टिव विधि भी प्रस्तावित है जो गाइडेंस मैग्नीट्यूड के आधार पर इष्टतम ट्रांजिशन पॉइंट $\tau$ (जो $t_S$ के समान है) खोजने के लिए।
फ्रीक्वेंसी-सिलेक्टिव फॉरगेटिंग (Frequency-Selective Forgetting):
- विश्लेषण: अनुभवजन्य स्पेक्ट्रल विश्लेषण से पता चलता है कि अनलर्निंग अक्सर अवांछित हाई-फ्रीक्वेंसी शोर पेश करती है, जिससे सैंपल की गुणवत्ता कम हो जाती है। रिटेन सेट के हाई-फ्रीक्वेंसी वितरण को काफी हद तक अपरिवर्तित रहना चाहिए।
- रणनीति: अनलर्निंग के दौरान लॉस रेसिडुअल (loss residual) पर एक लो-पास फिल्टर लगाया जाता है। ग्रेडिएंट सिग्नल को फॉरगेट सेट के हाई-फ्रीक्वेंसी कंपोनेंट्स को हटाने के लिए प्रोजेक्ट किया जाता है, जबकि डिनोइज़र (denoiser) के इनपुट के रूप में प्राकृतिक नॉइजी सैंपल ही रहता है।
- कार्यान्वयन: फास्ट फूरियर ट्रांसफॉर्म (FFT) का उपयोग करके, लॉस रेसिडुअल को एक कटऑफ रेडियस $r_t$ से ऊपर की फ्रीक्वेंसी को बाहर करने के लिए मास्क किया जाता है। यह सुनिश्चित करता है कि अनलर्निंग प्रक्रिया इमेज क्वालिटी के लिए आवश्यक हाई-फ्रीक्वेंसी विवरणों को बाधित न करे।
सैद्धांतिक औचित्य (Theoretical Justification):
- लेखक मूल और अनलर्न्ड पाथ मेजर्स के बीच क्लालबैक-लीब्लर (KL) डाइवर्जेंस के आधार पर एक फॉरगेटिंग-प्रिजर्वेशन यूटिलिटी फंक्शन $J_\beta(m)$ तैयार करते हैं।
- वे सिद्ध करते हैं कि सिलेक्टिव अनलर्निंग (केवल क्षेत्र $S$ में अपडेट करना) फुल अनलर्निंग की तुलना में एक स्ट्रिक्टली पॉजिटिव यूटिलिटी गैप प्रदान करता है, बशर्ते कि सिलेक्टिव अपडेट्स टारगेट रीजन में बदलाव को बढ़ाएं ( $\mu \ge 1$ ) और नॉन-टारगेट रीजन में बदलाव को कम करें ( $\eta \le 1$ )।
मूल्यांकन मीट्रिक (Evaluation Metric):
- यह पेपर $SSCD_{norm}$ पेश करता है, जो पर्टर्बेशन डिस्टेंस को नॉर्मलाइज करता है। स्टैंडर्ड SSCD के विपरीत, जो धुंधली या विकृत छवियों के लिए कृत्रिम रूप से कम हो सकता है, $SSCD_{norm}$ जनरेट की गई छवि की गुणवत्ता को ध्यान में रखता है, यह सुनिश्चित करता है कि कम डिसिमिलरिटी (dissimilarity) सौंदर्य संबंधी गिरावट की कीमत पर प्राप्त न की गई हो।

प्रमुख परिणाम
प्रस्तावित विधि का मूल्यांकन विभिन्न बेसलाइन्स (GA, SISS, DPO, KTO) के विरुद्ध CelebA-HQ (अनकंडीशनल) और Stable Diffusion v1.4 (कंडीशनल टेक्स्ट-टू-इमेज) पर किया गया।

अनकंडीशनल अनलर्निंग: टाइम सिलेक्शन (फेज $[250, 750]$ पर ध्यान केंद्रित करना) और फ्रीक्वेंसी सिलेक्शन (लो-पास फिल्टर $r_t=0.15$ के साथ) को लागू करने से बेसलाइन्स की तुलना में $SSCD_{norm}$ और एस्थेटिक स्कोर में महत्वपूर्ण सुधार हुआ। उदाहरण के लिए, SISS के साथ, एस्थेटिक स्कोर $t=250$ पर ~34.8% और $t=500$ पर ~25.8% सुधरा, जबकि फॉरगेटिंग मेट्रिक्स को बनाए रखा या सुधारा गया।
कंडीशनल अनलर्निंग: Stable Diffusion पर, सिलेक्टिव अप्रोच ने SISS बेसलाइन की तुलना में उच्च अनलर्निंग सफलता दर और तेज़ अभिसरण (convergence) प्राप्त किया। इसने मेमोराइज्ड प्रॉम्प्ट्स को सफलतापूर्वक हटाया और उच्च CLIP-IQA क्वालिटी स्कोर बनाए रखा।
मेंबरशिप इन्फरेंस अटैक्स (MIA): मौजूदा विधियों ने MIA के प्रति अत्यधिक संवेदनशीलता (सापेक्ष त्रुटि $\times 10^7$ तक) दिखाई, जो ओवर-फॉरगेटिंग का संकेत देती है। प्रस्तावित विधि ने इस कोलेटरल डिस्टॉर्शन को काफी हद तक कम किया (त्रुटियों को $\times 5.76$ और $\times 53.20$ तक कम करके), जो बेहतर डेटा मैनिफोल्ड प्रिजर्वेशन का सुझाव देता है।
सामान्यीकरण (Generalization): विधि ने विभिन्न बैकबोन (U-Net और डिफ्यूजन ट्रांसफार्मर) और कॉन्सेप्ट अनलर्निंग परिदृश्यों (जैसे, न्यूडिटी डिटेक्शन) में प्रभावशीलता प्रदर्शित की।

महत्व और दावे
यह पेपर यह दावा करता है कि यह डिफ्यूजन मॉडल में डेटा अनलर्निंग को समझने और सुधारने के लिए व्यावहारिक अंतर्दृष्टि प्रदान करता है, यह प्रदर्शित करते हुए कि भूलना एक समान (uniform) प्रक्रिया नहीं है। इसके प्राथमिक योगदान हैं:

व्यवस्थित अध्ययन: इस बात का विस्तृत विश्लेषण कि कैसे टाइम स्टेप्स और स्पेक्ट्रल डोमेन मेमोराइजेशन और यूटिलिटी में अलग-अलग योगदान देते हैं।
सरल फ्रेमवर्क: एक सिलेक्टिव अनलर्निंग अप्रोच जो मौजूदा उद्देश्यों (GA, SISS, DPO, KTO) के साथ संगत है और जिसमें न्यूनतम आर्किटेक्चरल बदलावों की आवश्यकता है।
गुणवत्ता संरक्षण: उच्च अनलर्निंग सफलता दर प्राप्त करने की क्षमता बिना उस गंभीर गुणवत्ता गिरावट के जो आमतौर पर ग्रेडिएंट-आधारित अनलर्निंग के साथ जुड़ी होती है।
बेहतर मूल्यांकन: $SSCD_{norm}$ का परिचय जो अनलर्निंग विधियों को इमेज डिग्रेडेशन के माध्यम से फॉरगेटिंग के प्रॉक्सी के रूप में मूल्यांकन करने से रोकता है।

लेखक विनम्रतापूर्वक नोट करते हैं कि हालांकि उनकी विधि मौजूदा सैद्धांतिक सीमाओं के आधार पर इष्टतम क्षेत्रों की प्रभावी ढंग से पहचान करती है, लेकिन यह अभी तक पूर्व ज्ञान या एडेप्टिव सर्च ओवरहेड के बिना प्रत्येक विशिष्ट डेटासेट के लिए इन इष्टतम क्षेत्रों की खोज के लिए पूरी तरह से स्वचालित विधि प्रदान नहीं करती है। फिर भी, यह कार्य इस बात पर प्रकाश डालता है कि विशिष्ट टाइम और फ्रीक्वेंसी विंडोज़ में लक्षित विस्मरण, प्राइवेसी (अनलर्निंग) और यूटिलिटी (जनरेशन क्वालिटी) के बीच संतुलन बनाने के लिए महत्वपूर्ण है।

समस्या: "ब्रूट फोर्स" (Brute Force) दृष्टिकोण

खोज: सभी कुकिंग स्टेप्स समान नहीं होते

नई विधि: "चयनात्मक स्क्रबिंग" (Selective Scrubbing)

सारांश

इसी तरह के और पेपर