🤖 machine learning

A Unified Framework for Diffusion Model Unlearning with f-Divergence

यह शोध पत्र टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स में कॉन्सेप्ट अनलर्निंग के लिए एक एकीकृत ढांचे का प्रस्ताव करता है जो मानक MSE-आधारित ऑब्जेक्टिव को मनमाने $f$ -डाइवर्जेंस (f-divergences) तक सामान्यीकृत करता है, जो हेलिंगर (Hellinger) जैसे विशिष्ट डाइवर्जेंस के लिए कुशल क्लोज्ड-फॉर्म समाधान और अनलर्निंग प्रभावकारिता एवं जनरेटिव फिडेलिटी के बीच बेहतर संतुलन बनाने के लिए अन्य के लिए एक वेरिएशनल मिन-मैक्स दृष्टिकोण प्रदान करता है।

मूल लेखक: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

प्रकाशित 2026-05-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Nicola Novello, Federico Fontana, Luigi Cinque, Deniz Gunduz, Andrea M. Tonello

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बहुत ही प्रतिभाशाली कलाकार है (एक "डिफ्यूजन मॉडल") जिसने दुनिया की सबसे प्रसिद्ध पेंटिंग्स से लेकर अश्लील सामग्री तक सब कुछ बनाना सीख लिया है, क्योंकि उसे इंटरनेट की एक विशाल, बिना किसी फिल्टर वाली लाइब्रेरी पर प्रशिक्षित किया गया था। कभी-कभी, आप चाहते हैं कि यह कलाकार कुछ विशिष्ट चीजों को "भूल" जाए—जैसे कि किसी विशेष कलाकार की शैली, R2D2 जैसा कोई विशिष्ट पात्र, या अनुचित सामग्री—बिना उसे फिर से प्रशिक्षित किए (जिसमें बहुत समय और भारी खर्च लगेगा)।

यह शोध पत्र उनके विचार का एक नया, स्मार्ट तरीका प्रस्तावित करता है जिससे कलाकार इन चीजों को भूल सके। वे अपने इस तरीके को f-DMU कहते हैं।

यहाँ उनके विचार का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:

1. पुराना तरीका: "औसत" दृष्टिकोण (The "Average" Approach)

पहले, शोधकर्ता किसी अवधारणा (concept) को भुलाने के लिए कलाकार को यह कहकर निर्देश देते थे: "जब तुम्हें [लक्ष्य अवधारणा] को चित्रित करने के लिए कहा जाए, तो कुछ ऐसा चित्रित करो जो [एंकर अवधारणा] के औसत जैसा दिखता हो।"

समस्या: उन्होंने औसत के करीब रहने के लिए "मीन स्क्वेयर्ड एरर" (MSE) नामक एक मानक गणितीय पैमाने का उपयोग किया। यह एक सख्त शिक्षक की तरह है जिसे केवल अंतिम ग्रेड की परवाह है कि वह औसत है या नहीं। यदि छात्र एक कठिन प्रश्न पर बड़ी गलती करता है, तो शिक्षक उसे भारी दंड देता है, लेकिन यदि वह कई छोटी गलतियाँ करता है, तो शायद शिक्षक उस पर ध्यान न दे। यह "दंड" (ग्रेडिएंट) बहुत कठोर या बहुत कमजोर हो सकता है, जिससे कलाकार या तो टूट जाता है (अजीब, टूटी हुई छवियां बनाने लगता है) या बहुत धीरे-धीरे भूलता है।

2. नया तरीका: "लचीला पैमाना" (The "Flexible Ruler" - f-Divergence)

लेखक कहते हैं, "क्यों केवल एक ही पैमाने का उपयोग करें? आइए विभिन्न पैमानों का एक पूरा टूलबॉक्स उपयोग करें।"

गणित में, ये पैमाने f-divergences कहलाते हैं। यह शोध पत्र दिखाता है कि विभिन्न प्रकार के f-divergences चुनकर, आप यह बदल सकते हैं कि कलाकार कैसे भूलना सीखता है। यह चुनने जैसा है कि आप दूरी मापने वाला पैमाना, समय मापने वाला पैमाना, या वजन मापने वाला पैमाना उपयोग करेंगे, इस आधार पर कि आप क्या ठीक करने की कोशिश कर रहे हैं।

उन्होंने पाया कि दो मुख्य प्रकार के "पैमाने" सबसे अच्छा काम करते हैं:

A. "कोमल हाथ" (Squared Hellinger Distance)

यह कैसे काम करता है: यह पैमाना बहुत सावधान है। यदि कलाकार बड़ी गलती करता है (लक्ष्य और एंकर के बीच बड़ा अंतर), तो यह पैमाना कहता है, "ठीक है, यह एक बड़ा अंतर है, लेकिन घबराओ मत। इसे ठीक करने के लिए एक छोटा, स्थिर कदम उठाओ।"
परिणाम: कलाकार सुचारू रूप से सीखता है। उसे बड़े अंतरों से "झटका" नहीं लगता, इसलिए वह अजीबोगरीब चित्र बनाना शुरू नहीं करता।
सर्वश्रेष्ठ: जब आप किसी अवधारणा को हटाना चाहते हैं लेकिन कलाकार की अन्य चीजों को खूबसूरती से चित्रित करने की क्षमता को बरकरार रखना चाहते हैं। यह "सुरक्षित" विकल्प है जो शेष कला की गुणवत्ता को बनाए रखता है।

B. "भारी हथौड़ा" (Chi-Squared Divergence)

यह कैसे काम करता है: यह पैमाना आक्रामक है। यदि कलाकार गलती करता है, तो यह चिल्लाता है, "इसे अभी ठीक करो!" गलती जितनी बड़ी होगी, दंड उतना ही कड़ा होगा।
परिणाम: कलाकार अवधारणा को बहुत तेज़ी से भूल जाता है।
सर्वश्रेष्ठ: जब आपको किसी चीज़ को बहुत गहराई से मिटाने की आवश्यकता होती है और आपको इससे फर्क नहीं पड़ता कि कलाकार थोड़ा "अस्थिर" हो जाता है या प्रक्रिया के दौरान कुछ बारीक विवरण खो देता है।

C. "रस्साकशी" (Variational Methods)

कुछ जटिल पैमानों के लिए जिनके पास सरल सूत्र नहीं हैं, लेखक एक खेल तैयार करते हैं। वे एक "डिस्क्रिमिनेटर" (एक आलोचक) और एक "कलाकार" (मॉडल) बनाते हैं।

आलोचक पुरानी कला और नई कला के बीच अंतर पकड़ने की कोशिश करता है।
कलाकार आलोचक को मूर्ख बनाने की कोशिश करता है।
वे रस्साकशी के खेल को तब तक खेलते हैं जब तक कि कलाकार को "भुलाई गई" संस्करण से अलग नहीं पहचाना जा सकता। यह शक्तिशाली है लेकिन इसे नियंत्रित करना कठिन है।

3. उन्होंने क्या पाया

लेखकों ने विभिन्न परिदृश्यों में इन तरीकों का परीक्षण किया:

शैलियों को मिटाना: कलाकार को "वैन गॉग" या "पिकासो" को भूलने के लिए कहना।
वस्तुओं को मिटाना: कलाकार को "R2D2" या "Wall-E" को भूलने के लिए कहना।
NSFW सामग्री को मिटाना: कलाकार को नग्नता को भूलने के लिए कहना।

मुख्य निष्कर्ष:
"कोमल हाथ" (Squared Hellinger) ने पुराने "औसत" तरीके (MSE) को लगातार मात दी।

क्यों? क्योंकि पुराने तरीके ने अक्सर प्रशिक्षण के बीच में कलाकार को पागल कर दिया, जिससे वह बदसूरत, टूटी हुई छवियां बनाने लगा था, इससे पहले कि वह अंततः स्थिर होता। नया तरीका पूरे प्रोसेस के दौरान कलाकार को स्थिर रखता है।
समझौता (Trade-off): यदि आप किसी चीज़ को पूरी तरह से हटाने के लिए बहुत आक्रामक होना चाहते हैं (भले ही कला थोड़ी खराब हो जाए), तो आप "भारी हथौड़े" या "रस्साकशी" के तरीके का उपयोग कर सकते हैं। लेकिन यदि आप एक साफ, उच्च-गुणवत्ता वाला परिणाम चाहते हैं जहाँ कलाकार बाकी सब कुछ पूरी तरह से याद रखता है, तो "कोमल हाथ" विजेता है।

सारांश

इस शोध पत्र को AI कलाकारों के लिए नए प्रशिक्षण उपकरणों के रूप में देखें। एक AI को कुछ भूलने के लिए एक एकल, कुंद उपकरण का उपयोग करने के बजाय, वे हमें एक विकल्प देते हैं:

कोमल हाथ का उपयोग करें एक सुचारू, उच्च-गुणवत्ता वाले विस्मरण (forget) के लिए जो AI के बाकी कौशल को बरकरार रखता है।
भारी हथौड़े का उपयोग करें यदि आपको किसी अवधारणा को तेजी से अस्तित्व से मिटाने की आवश्यकता है।
रस्साकशी का उपयोग करें यदि आपको किसी भी प्रकार की अवधारणा के लिए एक लचीले समाधान की आवश्यकता है।

यह डेवलपर्स को काम के लिए सटीक उपकरण चुनने की अनुमति देता है, यह सुनिश्चित करता है कि जब कोई AI कुछ "भूलता" है, तो वह अनजाने में एक अच्छा कलाकार होना भी न भूल जाए।

तकनीकी सारांश: f-Divergence के साथ डिफ्यूजन मॉडल अनलर्निंग के लिए एक एकीकृत ढांचा (f-DMU)

1. समस्या विवरण

टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल्स (DMs), जिन्हें बड़े पैमाने पर इंटरनेट-स्क्रेप्ड डेटासेट्स (जैसे LAION-5B) पर प्रशिक्षित किया गया है, उल्लेखनीय जनरेटिव क्षमताओं का प्रदर्शन करते हैं, लेकिन वे अवांछित गुणों को भी विरासत में प्राप्त करते हैं, जिनमें नॉट-सेफ-फॉर-वर्क (NSFW) सामग्री, कॉपीराइट वाली कलात्मक शैलियाँ, और व्यक्तिगत जानकारी उत्पन्न करने की क्षमता शामिल है। विशिष्ट अवधारणाओं (concepts) को मिटाने के लिए मॉडल्स को क्यूरेटेड डेटासेट्स पर पुन: प्रशिक्षित करना सैद्धांतिक समाधान है, लेकिन यह डेटा विलोपन या संसाधन बाधाओं के कारण कम्प्यूटेशनल रूप से अत्यधिक महंगा और अव्यवहारिक है।

मौजूदा अनलर्निंग एल्गोरिदम आमतौर पर एक ऐसे प्रतिमान (paradigm) पर निर्भर करते हैं जहाँ एक "लक्ष्य" अवधारणा (जिसे मिटाया जाना है) के लिए मॉडल का जनरेशन, एक "एंकर" अवधारणा (जैसे कि एक नल कॉन्सेप्ट, सुपरक्लास, या अर्थपूर्ण रूप से संबंधित अवधारणा) के साथ संरेखित (aligned) होता है। यह संरेखण लगभग विशेष रूप से लक्ष्य और एंकर के डेनॉयज़र आउटपुट्स के बीच मीन स्क्वेयर्ड एरर (MSE) को कम करके प्राप्त किया जाता है। सैद्धांतिक रूप से, यह MSE मिनिमाइजेशन संबंधित अवधारणाओं पर आधारित दो गाऊसी वितरणों (Gaussian distributions) के बीच क्लैबैक-लीब्लर (KL) डाइवर्जेंस को कम करने के अनुरूप है। हालांकि, यह दृष्टिकोण अनुकूलन परिदृश्य (optimization landscape) को केवल एक एकल डाइवर्जेंस मीट्रिक तक सीमित कर देता है, जो अनलर्निंग प्रभावकारिता और गैर-लक्ष्य अवधारणाओं के लिए जनरेटिव फिडेलिटी (generative fidelity) के बीच संतुलन बनाने में उप-इष्टतम (suboptimal) हो सकता है।

2. कार्यप्रणाली (Methodology)

लेखक f-DMU प्रस्तावित करते हैं, जो एक एकीकृत ढांचा है जो अनलर्निंग ऑब्जेक्टिव को मानक KL डाइवर्जेंस से सामान्यीकृत (generalize) करके किसी भी f-divergence तक ले जाता है। यह ढांचा इस अवलोकन पर आधारित है कि अनलर्निंग समस्या को डिफ्यूजन प्रक्रिया के विशिष्ट समय चरणों पर मूल मॉडल $\Phi$ (एंकर अवधारणा $c$ पर आधारित) और अनलर्न्ड मॉडल $\hat{\Phi}$ (लक्ष्य अवधारणा $c^*$ पर आधारित) के बीच संभाव्यता वितरणों के बीच डाइवर्जेंस को कम करने के रूप में तैयार किया जा सकता है।

मुख्य ऑब्जेक्टिव को इस प्रकार परिभाषित किया गया है:
$\min_{\hat{\Phi}} \mathbb{E}_{c^*, c, t} \left[ D_f \left( p_{\Phi}(x_{t-1}|x_t, c) \parallel p_{\hat{\Phi}}(x_{t-1}|x_t, c^*) \right) \right]$

ढांचा दो अलग-अलग दृष्टिकोण प्रदान करता है, जो चुने गए f-divergence के गुणों पर निर्भर करता है:

A. क्लोज्ड-फॉर्म लॉस (Closed-Form Losses)

उन f-divergences के एक उपसमूह के लिए जहाँ क्लोज्ड-फॉर्म एक्सप्रेशन मौजूद है (विशेष रूप से जब वेरिएंस फिक्स्ड होता है, जो DMs में एक मानक अभ्यास है), लेखक विशिष्ट लॉस फंक्शन निकालते हैं। प्रमुख उदाहरण हैं:

स्क्वेयर्ड हेलिंगर डिस्टेंस ( $H^2$ ): यह एक लॉस फंक्शन देता है जिसमें MSE का एक्सपोनेंशियल डिके (exponential decay) शामिल है: $J_{H^2} \propto -\exp(-\text{MSE})$ । इसके परिणामस्वरूप बाउंडेड ग्रेडिएंट्स (bounded gradients) मिलते हैं जो MSE बढ़ने पर कम हो जाते हैं, जिससे आउटलेर्स का प्रभाव कम होता है और अचानक होने वाले मॉडल परिवर्तनों से बचाव होता है।
पियर्सन $\chi^2$ डाइवर्जेंस: यह एक लॉस फंक्शन देता है जिसमें MSE का एक्सपोनेंशियल ग्रोथ शामिल है: $J_{\chi^2} \propto \exp(\text{MSE})$ । इसके परिणामस्वरूप अनबाउंडेड, तेजी से बढ़ते ग्रेडिएंट्स मिलते हैं, जो अधिक आक्रामक अपडेट की ओर ले जाते हैं।
जेफरीज डाइवर्जेंस (Jeffreys Divergence): विशिष्ट धारणाओं के तहत यह मानक MSE फॉर्मूलेशन में बदल जाता है।

B. वेरिएशनल लॉस (Variational Losses)

उन f-divergences के लिए जिनमें क्लोज्ड-फॉर्म एक्सप्रेशन का अभाव है (जैसे टोटल वेरिएशन, या जब अधिक सामान्य फॉर्मूलेशन वांछित हो), लेखक f-divergences के वेरिएशनल रिप्रेजेंटेशन का उपयोग करते हैं। यह समस्या को एक मिन-मैक्स ऑप्टिमाइज़ेशन गेम में बदल देता है:
$\min_{\hat{\Phi}} \max_{T} \mathbb{E} \left[ \mathbb{E}_{p_{\Phi}}[T(\Phi)] - \mathbb{E}_{p_{\hat{\Phi}}}[f^*(T(\hat{\Phi}))] \right]$
यहाँ, $T$ एक डिस्क्रिमिनेटर के रूप में कार्य करता है (एक न्यूरल नेटवर्क द्वारा पैरामीटराइज्ड), जो डाइवर्जेंस का अनुमान लगाता है, जबकि $\hat{\Phi}$ एक जनरेटर के रूप में कार्य करता है जो इसे कम करने का प्रयास करता है। यह दृष्टिकोण ढांचे को किसी भी f-divergence को अनलर्निंग कार्य पर लागू करने की अनुमति देता है।

3. सैद्धांतिक विश्लेषण (Theoretical Analysis)

पेपर प्रस्तावित ढांचे का गहन सैद्धांतिक विश्लेषण प्रदान करता है:

ग्रेडिएंट डायनेमिक्स (Gradient Dynamics): लेखक क्लोज्ड-फॉर्म लॉस के ग्रेडिएंट मैग्नीट्यूड का विश्लेषण करते हैं। वे प्रदर्शित करते हैं कि $H^2$ और $\chi^2$ मानक KL/MSE की तुलना में विपरीत व्यवहार प्रदर्शित करते हैं। $H^2$ बड़े एरर (आउटलेर्स) के लिए ग्रेडिएंट को दबा देता है, जबकि $\chi^2$ उन्हें बढ़ाता है। यह प्रति-सैंपल वेटिंग (per-sample weighting) एक इनहेरेंट प्रॉपर्टी है, जो मानक लर्निंग रेट शेड्यूलर से भिन्न है।
अभिसरण गुण (Convergence Properties): नॉन-लीनियर डायनेमिकल सिस्टम थ्योरी का उपयोग करते हुए, लेखक इक्विलिब्रियम पॉइंट्स के आसपास लोकल एक्सपोनेंशियल स्टेबिलिटी को सिद्ध करते हैं। वे जैकोबियन मैट्रिक्स के आइजनवैल्यू के आधार पर कन्वर्जेंस रेट के बाउंड्स निकालते हैं। महत्वपूर्ण रूप से, वे दिखाते हैं कि f-divergence का चुनाव कन्वर्जेंस की गति को प्रभावित करता है; विशेष रूप से, वे डाइवर्जेंस जिनकी फेंचल कंजुगेट्स (Fenchel conjugates) के इक्विलिब्रियम पर बड़े सेकंड डेरिवेटिव होते हैं (जैसे $H^2$ और जेन्सन-शैनन), सैद्धांतिक रूप से KL या $\chi^2$ जैसे अन्यों की तुलना में तेजी से अभिसरित होते हैं।
मोड-सीकिंग बनाम मोड-कवरिंग (Mode-Seeking vs. Mode-Covering): पेपर चर्चा करता है कि विभिन्न डाइवर्जेंस जनरेटेड इमेजेस के वितरण को कैसे प्रभावित करते हैं। $H^2$ और जेन्सन-शैनन "मीडियम" मोड-सीकिंग गुण प्रदर्शित करते हैं, जबकि KL और $\chi^2$ "मोड-कवरिंग" हैं, जो संभावित रूप से मोड्स के बीच के क्षेत्रों में उच्च संभाव्यता असाइन करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

ढांचे का मूल्यांकन स्टेबल डिफ्यूजन मॉडल्स (v1.4, v1.5, v2.1, XL, और 3) और FLUX पर किया गया, जिसमें वस्तुओं (जैसे R2D2), कलात्मक शैलियों (जैसे वैन गॉग, मोनेट), और नग्नता (nudity) को हटाने को लक्षित किया गया।

ग्रेडिएंट स्थिरता (Gradient Stability): प्रयोगात्मक सत्यापन पुष्टि करता है कि $H$ -DMU ( $H^2$ का उपयोग करके) पूरे प्रशिक्षण के दौरान बाउंडेड ग्रेडिएंट बनाए रखता है, जिससे मध्यवर्ती फाइन-ट्यूनिंग चरणों के दौरान देखे गए अचानक डिजेनरेट इमेज जनरेशन से बचा जा रहा है।
अनलर्निंग प्रभावकारिता बनाम संरक्षण (Unlearning Efficacy vs. Preservation):
- क्लोज्ड-फॉर्म: $H$ -DMU गैर-लक्ष्य अवधारणाओं को संरक्षित करने (KID द्वारा मापा गया) में मानक MSE से लगातार बेहतर प्रदर्शन करता है, जबकि लक्ष्य अवधारणाओं को हटाने में भी तुलनीय या बेहतर परिणाम देता है। इसके विपरीत, $\chi^2$ -DMU मजबूत इराना (erasure) प्राप्त करता है, लेकिन अक्सर जनरेटिव क्वालिटी और प्रायर प्रिजर्वेशन की कीमत पर।
- वेरिएशनल: वेरिएशनल तरीके (जैसे $H_v$ -DMU) अधिक "आक्रामक" होते हैं, जो कम इटरेशन में तीव्र इराना प्राप्त करते हैं लेकिन छोटे बैचों पर मोटे डाइवर्जेंस अनुमान के कारण अक्सर उच्च KID स्कोर (कम इमेज क्वालिटी) का सामना करते हैं।
मजबूती (Robustness): नग्नता हटाने के संदर्भ में, $H$ -DMU ने CAbl, DoCo, और SLD जैसे स्टेट-ऑफ-द-आर्ट तरीकों की तुलना में एडवर्सरियल प्रॉम्प्ट्स (जैसे Ring-A-Bell, MMA-Diffusion) के खिलाफ बेहतर मजबूती दिखाई, जिससे काफी कम NSFW इमेज जनरेट हुईं।
बहु-अवधारणा इराना (Multi-Concept Erasure): ढांचे ने 10 कलात्मक शैलियों के क्रमिक इराना को सफलतापूर्वक संभाला, जिसमें $H$ -DMU ने MSE की तुलना में इराना और संरक्षण के बीच बेहतर ट्रेड-ऑफ दिखाया।

5. महत्व और दावे (Significance and Claims)

पेपर का दावा है कि यह f-divergences पर आधारित डिफ्यूजन मॉडल अनलर्निंग के लिए पहला एकीकृत ढांचा प्रस्तुत करता है। इसके प्राथमिक योगदान हैं:

सामान्यीकरण (Generalization): निहित KL/MSE धारणा से आगे बढ़कर एक लचीले परिवार के डाइवर्जेंस तक पहुँचना, जिससे अभ्यासकर्ताओं को विशिष्ट अनुप्रयोग लक्ष्यों (जैसे आक्रामक इराना बनाम उच्च-फिडेलिटी संरक्षण) के आधार पर इष्टतम ऑब्जेक्टिव चुनने की अनुमति मिलती है।
सैद्धांतिक आधार (Theoretical Grounding): ग्रेडिएंट स्केलिंग और कन्वर्जेंस गुणों का सैद्धांतिक विश्लेषण प्रदान करना, जो डाइवर्जेंस के चुनाव को एल्गोरिथमिक स्थिरता और गति से जोड़ता है।
व्यावहारिक उपयोगिता (Practical Utility): यह प्रदर्शित करना कि विशिष्ट उदाहरण, विशेष रूप से क्लोज्ड-फॉर्म स्क्वेयर्ड हेलिंगर डिस्टेंस ( $H$ -DMU), मॉडल की जनरेटिव क्षमताओं को संरक्षित करते हुए प्रभावी अवधारणा हटाने के साथ अधिकांश अनलर्निंग कार्यों के लिए एक बेहतर डिफॉल्ट विकल्प प्रदान करते हैं।

लेखक इस बात पर जोर देते हैं कि उनका ढांचा मॉडल-अग्नोस्टिक (फ्लो-आधारित मॉडल्स के लिए भी लागू) है और इसमें शून्य से पुन: प्रशिक्षण की आवश्यकता नहीं है, जो मौजूदा कॉन्सेप्ट इरेज़र तकनीकों के लिए एक कम्प्यूटेशनल रूप से कुशल और सैद्धांतिक रूप से सुदृढ़ विकल्प प्रदान करता है।