💻 computer science

Broken Memories: Detecting and Mitigating Memorization in Diffusion Models with Degraded Generations

यह शोध पत्र एक सिद्धांतपूर्ण, ऑन-द-फ्लाई फ्रेमवर्क प्रस्तुत करता है जो "ब्रोकन" आर्टिफैक्ट्स के रूप में प्रकट होने वाली आंतरिक संख्यात्मक अस्थिरता की पहचान करके डिफ्यूजन मॉडल्स में मेमोराइजेशन (रटने की प्रवृत्ति) का पता लगाता है और उसे कम करता है, जिससे छवि की गुणवत्ता को संरक्षित करते हुए नगण्य ओवरहेड के साथ लगभग पूर्ण पता लगाने और मेमोराइजेशन के पूर्ण उन्मूलन को प्राप्त किया जा सकता है।

मूल लेखक: Yuanmin Huang, Mi Zhang, Chen Chen, Feifei Li, Geng Hong, Xiaoyu You, Min Yang

प्रकाशित 2026-05-22

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yuanmin Huang, Mi Zhang, Chen Chen, Feifei Li, Geng Hong, Xiaoyu You, Min Yang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "ब्रोकन मेमोरीज" (Broken Memories) पेपर का सरल भाषा और रचनात्मक उपमाओं के साथ विवरण दिया गया है।

समस्या: मॉडल की "खराब याददाश्त"

एक डिजिटल कलाकार (डिफ्यूजन मॉडल) की कल्पना करें जिसने पेंटिंग बनाने सीखने के लिए लाखों पेंटिंग्स का अध्ययन किया है। कभी-कभी, कुछ नया बनाने के बजाय, यह कलाकार अनजाने में उस विशिष्ट पेंटिंग की नकल कर देता है जिसे उसने अपने ट्रेनिंग लाइब्रेरी में देखा था। इसे मेमोराइजेशन (याद रखना/रटना) कहा जाता है।

यह एक समस्या है क्योंकि यह ऐसा है जैसे कलाकार किसी के काम की चोरी कर रहा हो। यदि आप "लाल कार" मांगते हैं, और मॉडल अपने डेटाबेस से किसी विशिष्ट फोटो की सटीक नकल निकाल देता है, तो यह गोपनीयता और कॉपीराइट का उल्लंघन करता है।

खोज: "टूटा हुआ" सुराग

शोधकर्ताओं ने कुछ अजीब देखा। जब मॉडल किसी विशिष्ट छवि को कॉपी करने की कोशिश करता है (मेमोराइज करता है), तो ड्राइंग की प्रक्रिया केवल थोड़ी समान ही नहीं दिखती; वह अक्सर ग्लिच वाली या "टूटी हुई" दिखाई देती है।

ड्राइंग की प्रक्रिया को एक हाइकर (पहाड़ी यात्री) की तरह समझें जो घाटी (अंतिम छवि) तक पहुँचने के लिए पहाड़ से नीचे उतर रहा है।

सामान्य हाइक: रास्ता चिकना है। हाइकर स्थिर कदम उठाता है, और दृश्य प्राकृतिक दिखता है।
मेमोराइज्ड हाइक: रास्ता अस्थिर हो जाता है। हाइकर अचानक बड़े, अनियमित कदम उठाने लगता है, पत्थरों से टकराकर लड़खड़ाने लगता है, या गोल-गोल घूमने लगता है। जब तक वे नीचे पहुँचते हैं, परिदृश्य विकृत हो जाता है—पेड़ मुड़े हुए होते हैं, या आकाश फटा हुआ दिखता है।

पेपर इसे "न्यूमेरिकल इनस्टेबिलिटी" (संख्यात्मक अस्थिरता) कहता है। कंप्यूटर के अंदर की गणित तब डगमगा जाती है जब वह किसी विशिष्ट, मेमोराइज की गई छवि को अस्तित्व में लाने के लिए ज़ोर लगाती है।

समाधान: "स्टेबिलिटी ज़ोन" (स्थिरता क्षेत्र)

टीम ने महसूस किया कि वे मॉडल को रंगे हाथों पकड़ने के लिए इस डगमगाहट का उपयोग कर सकते हैं। उन्होंने एक अवधारणा बनाई जिसे "एम्पिरिकल स्टेबिलिटी रीजन" (अनुभवजन्य स्थिरता क्षेत्र) कहा गया।

एक हाइकिंग पथ के साथ चलने वाली सेफ्टी रेल (सुरक्षा रेलिंग) की कल्पना करें।

सामान्य प्रॉम्प्ट्स: हाइकर रेलिंग के भीतर आराम से रहता है। उनके कदम अनुमानित और सुरक्षित होते हैं।
मेमोराइज्ड प्रॉम्प्ट्स: हाइकर रेलिंग के बाहर कदम रखने लगता है। वे ऐसे कदम उठाते हैं जो एक सामान्य यात्रा के लिए बहुत बड़े या बहुत जंगली होते हैं।

शोधकर्ताओं ने यह गणना की कि एक "सामान्य कदम" कैसा दिखता है, इसके लिए उन्होंने पहले 50 रैंडम, सुरक्षित छवियों को मॉडल द्वारा बनाने का अवलोकन किया। उन्होंने उन सामान्य कदमों के चारों ओर एक पीला "सेफ्टी ज़ोन" बनाया।

यह कैसे काम करता है: "रियल-टाइम ट्रैफिक पुलिस"

अधिकांश पिछले तरीके एक सुरक्षा गार्ड की तरह थे जो पेंटिंग पूरी होने का इंतज़ार करता है, यह जाँचता है कि क्या यह एक कॉपी है, और फिर कहता है, "ओह नहीं, फिर से शुरू करो!" यह धीमा और बर्बादी भरा है।

यह नया तरीका पथ पर खड़े एक ट्रैफिक पुलिसकर्मी की तरह है जो हाइकर द्वारा उठाए गए हर कदम को वास्तविक समय में देखता है।

डिटेक्शन (पहचान): जैसे-जैसे मॉडल चित्र बनाता है, पुलिसकर्मी हर कदम की जाँच करता है। "क्या यह कदम सुरक्षा रेलिंग के भीतर है?"
अलार्म: यदि मॉडल एक "विशाल छलांग" लगाने की कोशिश करता है (मेमोराइजेशन का संकेत), तो पुलिसकर्मी उसे तुरंत पकड़ लेता है।
एडेप्टिव मिटिगेशन (अनुकूली शमन): पूरी प्रक्रिया को रोकने के बजाय, पुलिसकर्मी हाइकर को धीरे से सुरक्षित पथ पर वापस धकेलता है।
- हल्की अस्थिरता: यदि हाइकर थोड़ा डगमगाता है, तो पुलिसकर्मी उसे स्थिर करने के लिए एक छोटा सा धक्का देता है।
- मजबूत अस्थिरता: यदि हाइकर बेकाबू होकर भाग रहा है, तो पुलिसकर्मी उसे रेलिंग पर बनाए रखने के लिए मजबूती से पकड़ लेता है।

यह तुरंत, स्टेप-दर-स्टेप होता है। मॉडल को कभी भी रुकने या फिर से शुरू करने की आवश्यकता नहीं होती। वह बस चलते-चलते अपना रास्ता सुधार लेता है।

परिणाम: पूर्ण सुरक्षा, कोई नुकसान नहीं

शोधकर्ताओं ने इसका परीक्षण 'स्टेबल डिफ्यूजन' नामक एक लोकप्रिय मॉडल पर किया।

डिटेक्शन: उन्होंने लगभग 100% मेमोराइज्ड प्रयासों को पकड़ लिया (AUC > 0.999)।
मिटिगेशन: उन्होंने मॉडल को छवियां कॉपी करने से पूरी तरह से रोक दिया (0.0% मेमोराइजेशन दर)।
क्वालिटी (गुणवत्ता): क्योंकि उन्होंने मॉडल को केवल तभी धक्का दिया जब वह पटरी से उतरा था, अंतिम छवियां अभी भी सुंदर दिखीं और उपयोगकर्ता के विवरण से पूरी तरह मेल खाती थीं।
स्पीड (गति): इसने प्रक्रिया में लगभग कोई अतिरिक्त समय नहीं जोड़ा (लगभग 0.01 सेकंड प्रति छवि)।

सारांश

इस पेपर ने खोजा कि जब AI मॉडल छवियों को चुराने (मेमोराइज करने) की कोशिश करते हैं, तो उनकी आंतरिक गणित "लड़खड़ाने" लगती है और टूटे हुए परिणाम देती है। लेखकों ने एक ऐसा सिस्टम बनाया है जो एक वास्तविक समय के सुरक्षा रेल की तरह काम करता है, जो इन डगमगाहटों को होते ही पकड़ लेता है और मॉडल को धीरे से एक सुरक्षित, रचनात्मक पथ पर वापस ले जाता है—बिना कभी भी रुकने या फिर से शुरू करने की आवश्यकता के।

तकनीकी सारांश: ब्रोकन मेमोरीज: डिग्रेडेड जनरेशन के साथ डिफ्यूजन मॉडल्स में मेमोराइजेशन का पता लगाना और उसे कम करना

समस्या विवरण

डिफ्यूजन मॉडल्स ने उच्च-गुणवत्ता वाली इमेज जनरेशन में उल्लेखनीय सफलता हासिल की है, लेकिन वे एक गंभीर गोपनीयता और कॉपीराइट चुनौती का सामना कर रहे हैं: मेमोराइजेशन (स्मरण)। ये मॉडल अनजाने में विशिष्ट प्रशिक्षण डेटा की नकल करते हैं या उससे अत्यधिक मिलते-जुलते चित्र उत्पन्न करते हैं, जिससे संभावित डेटा लीकेज होता है। मौजूदा शमन रणनीतियाँ (mitigation strategies) दो प्राथमिक सीमाओं से ग्रस्त हैं:

पुनः-जनरेशन (Re-generation) पर निर्भरता: अधिकांश वर्तमान विधियाँ "डिटेक्ट-देन-रिट्राई" (पता लगाओ-फिर-पुनः प्रयास करो) के आधार पर कार्य करती हैं। मेमोराइजेशन का पता चलने पर, वे वर्तमान जनरेशन को रोक देती हैं और संशोधित इनपुट (जैसे, परिवर्तित प्रॉम्प्ट या एम्बेडिंग) के साथ पुन: प्रारंभ करती हैं, जिससे लेटेंसी और कम्प्यूटेशनल लागत काफी बढ़ जाती है।
अनुमानी (Heuristic) या स्थिर हस्तक्षेप: शमन अक्सर निश्चित नियमों या स्थिर समायोजनों (जैसे, निश्चित गाइडेंस स्केल रिडक्शन) पर निर्भर करता है जो जनरेशन के गतिशील स्वभाव के अनुकूल नहीं हो पाते, जिससे अक्सर सिमेंटिक फिडेलिटी (अर्थपूर्ण सटीकता) या इमेज क्वालिटी से समझौता करना पड़ता है।

इसके अलावा, जबकि कुछ विधियाँ आंतरिक संकेतों (जैसे, अटेंशन वेट्स या गाइडेंस मैग्नीट्यूड) के माध्यम से मेमोराइजेशन का पता लगाती हैं, उनमें इन संकेतों और मेमोराइज्ड आउटपुट में देखे जाने वाले विजुअल डिग्रेडेशन (दृश्य गिरावट) के बीच आम तौर पर एक मौलिक सैद्धांतिक संबंध का अभाव होता है।

कार्यप्रणाली (Methodology)

लेखक ऑन-द-फ्लाई डिटेक्शन और एडेप्टिव मिटिगेशन (तत्काल पता लगाने और अनुकूलित शमन) के लिए एक सिद्धांत आधारित ढांचे का प्रस्ताव करते हैं, जो इस अवलोकन पर आधारित है कि मेमोराइजेशन डिफ्यूजन मॉडल्स के लेटेंट डायनेमिक्स में न्यूमेरिकल इंस्टेबिलिटी (संख्यात्मक अस्थिरता) उत्पन्न करता है।

1. सैद्धांतिक अंतर्दृष्टि: न्यूमेरिकल इंस्टेबिलिटी

यह शोध पत्र पहचानता है कि मेमोराइज्ड सैंपल्स जनरेट करते समय, डिनोइजिंग ट्रेजेक्टरी (denoising trajectory) अक्सर मॉडल के स्थिर व्यवहार से विचलित हो जाती है, जो विजुअली "ब्रोकन" आर्टिफैक्ट्स (जैसे, विकृत विवरण) के रूप में प्रकट होती है। न्यूमेरिकल एनालिसिस से प्रेरणा लेते हुए, लेखक तर्क देते हैं कि:

मेमोराइजेशन एक अस्थिरता के रूप में: मेमोराइज्ड प्रॉम्प्ट्स मॉडल को विशिष्ट डेटा पॉइंट्स पर ओवरफिट होने के लिए मजबूर करते हैं, जिसके परिणामस्वरूप क्लासिफायर-फ्री गाइडेंस (CFG) मैकेनिज्म में अत्यधिक बड़े ग्रेडिएंट्स उत्पन्न होते हैं।
लेटेंट अपडेट विसंगतियां: PNDM (जो Stable Diffusion v1 में उपयोग किया जाता है) जैसे हाई-ऑर्डर सॉल्वर में, ये बड़े ग्रेडिएंट्स लेटेंट अपडेट स्टेप ( $\delta_t = z_t - z_{t+1}$ ) को एक स्थिर मैनिफोल्ड की सीमाओं से बाहर धकेल देते हैं, जिससे ट्रेजेक्टरी में दोलन (oscillation) या विचलन (divergence) होता है।
सैंपलर एग्नोस्टिसिज्म (Sampler Agnosticism): यह अस्थिरता केवल PNDM तक सीमित नहीं है; यहाँ तक कि DDIM जैसे डिटर्मिनिस्टिक सैंपलर के साथ भी, जहाँ अंतिम चित्र दृश्य रूप से प्रशंसनीय लग सकते हैं, आंतरिक लेटेंट ट्रेजेक्टरी अभी भी स्थिरता से महत्वपूर्ण विचलन प्रदर्शित करती है।

2. एम्पिरिकल स्टेबिलिटी रीजन्स (Empirical Stability Regions)

इंट्रैक्टेबल जैकोबियन आइजनवैल्यूज़ (Jacobian eigenvalues) की गणना किए बिना इस व्यवहार को मापने के लिए, लेखक एम्पिरिकल स्टेबिलिटी रीजन्स को परिभाषित करते हैं:

लेटेंट अपडेट नॉर्म ( $\|\delta_t\|$ ): एक सांख्यिकीय क्षेत्र $R^{(t)}_\delta = [\mu_t - \gamma\sigma_t, \mu_t + \gamma\sigma_t]$ गैर-मेमोराइज्ड (सामान्य) प्रॉम्प्ट्स के लेटेंट अपडेट नॉर्म्स के माध्य ( $\mu_t$ ) और मानक विचलन ( $\sigma_t$ ) का उपयोग करके बनाया जाता है।
रिकन्स्ट्रक्टेड इनिशियल लेटेंट ( $\|\hat{z}^{(t)}_0\|$ ): इसी तरह, DDIM में रिकन्स्ट्रक्टेड इनिशियल लेटेंट के लिए एक स्टेबिलिटी रीजन को एक सिमेंटिक स्टेबिलिटी प्रॉक्सी के रूप में परिभाषित किया गया है।

3. डिटेक्शन मैकेनिज्म (Detection Mechanism)

यह सिस्टम जनरेशन ट्रेजेक्टरी की चरण-दर-चरण निगरानी करता है। प्रत्येक स्टेप $t$ पर, यह एम्पिरिकल स्टेबिलिटी रीजन से वर्तमान लेटेंट अपडेट नॉर्म के विचलन को मापने वाला एक Z-स्कोर ( $s_t$ ) कंप्यूट करता है:
$s_t = \frac{|\|\delta_t\| - \mu_t|}{\sigma_t}$
एक उच्च $s_t$ एक विसंगत (anomalous) अपडेट को दर्शाता है, जो संभावित मेमोराइजेशन का संकेत देता है। प्रारंभिक चरणों में अधिकतम Z-स्कोर डिटेक्शन मेट्रिक के रूप में कार्य करता है।

4. एडेप्टिव मिटिगेशन स्ट्रैटेजी (Adaptive Mitigation Strategy)

स्थिर विधियों के विपरीत, यह ढांचा जनरेशन को पुनरारंभ किए बिना ऑन-द-फ्लाई हस्तक्षेप करता है। यह पता लगाए गए इंस्टेबिलिटी की गंभीरता के आधार पर दो-स्तरीय अनुकूल रणनीति अपनाता है:

माइल्ड मेमोराइजेशन (हल्का मेमोराइजेशन): यदि विचलन मध्यम है, तो विधि लेटेंट-मैग्निट्यूड बाधाओं (अर्थात $\hat{z}^{(t)}_0$ को एम्पिरिकल मीन तक रीस्केल करना) को लागू करती है, जो मुख्य रूप से शुरुआती चरणों में ट्रेजेक्टरी को रेगुलराइज़ करने के लिए है।
स्ट्रॉन्ग मेमोराइजेशन (गहरा मेमोराइजेशन): यदि विचलन गंभीर है, तो अधिक सख्त संयुक्त बाधाएं पूरे ट्रेजेक्टरी में लागू की जाती हैं, जो लेटेंट नॉर्म ( $\|z_t\|$ ) और अपडेट नॉर्म ( $\|\delta_t\|$ ) दोनों को उनके संबंधित स्टेबिलिटी रीजन्स के भीतर रखने के लिए मजबूर करती हैं।

यह प्रक्रिया एक स्ट्रीमिंग फ़िल्टर के रूप में कार्य करती है, जो अस्थिरता का पता चलते ही लेटेंट स्टेट को तुरंत स्थिर मैनिफोल्ड में प्रोजेक्ट करती है, जिससे निर्बाध जनरेशन सुनिश्चित होता है।

मुख्य योगदान

व्यवस्थित विश्लेषण: डिफ्यूजन सैंपलिंग में डिग्रेडेशन मेमोराइजेशन जनरेशन को न्यूमेरिकल इंस्टेबिलिटी से जोड़ने वाला पहला व्यवस्थित कार्य, जो लेटेंट अपडेट मैग्नीट्यूड में विशिष्ट विसंगतियों को प्रकट करता है।
एम्पिरिकल स्टेबिलिटी रीजन्स: न्यूमेरिकल स्टेबिलिटी थ्योरी पर आधारित एक अवधारणा का परिचय जो विभिन्न सैंपलर्स (PNDM, DDIM) के लिए सामान्य बनाम मेमोराइज्ड जनरेशन को लक्षणित और निदान करती है।
ऑन-द-फ्लाई फ्रेमवर्क: एक निदान-संचालित ढांचा विकसित करना जो केवल अस्थिरता का पता चलने पर ही जनरेशन ट्रेजेक्टरी को अनुकूलित रूप से बाधित करता है, जो मौजूदा अनुमानी या स्थिर विधियों से बेहतर है।
प्रदर्शन: उत्कृष्ट डिटेक्शन सटीकता प्राप्त करना और इमेज क्वालिटी को बनाए रखते हुए मेमोराइज्ड जनरेशन को पूरी तरह से समाप्त करना, जिसमें नगण्य ओवरहेड लगता है।

प्रयोगात्मक परिणाम

प्रयोग Stable Diffusion 1.4 (और परिशिष्टों में 1.5 और 2.1 तक विस्तारित) पर मेमोराइज्ड प्रॉम्प्ट्स (LAION से) और गैर-मेमोराइज्ड प्रॉम्प्ट्स के डेटासेट का उपयोग करके किए गए।

डिटेक्शन प्रदर्शन: विधि विभिन्न सीड सेटिंग्स और शेड्यूलर प्रकारों (PNDM और DDIM) में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (जैसे, Ren et al., Wen et al., Jeon et al.) से बेहतर प्रदर्शन करते हुए AUC > 0.999 और 1% फॉल्स पॉजिटिव रेट पर उच्च ट्रू पॉजिटिव रेट (TPR@1%FPR) प्राप्त करती है।
मिटिगेशन प्रदर्शन:
- मेमोराइजेशन रेट: विधि प्री-ट्रेन्ड SD 1.4 मॉडल पर मेमोराइजेशन रेट को 0.0% तक कम कर देती है।
- इमेज क्वालिटी: यह उच्च सिमेंटिक फिडेलिटी (CLIP Score) और इमेज रियलिज्म (FID) को बनाए रखती है, जो उन बेसलाइन्स से बेहतर है जो अक्सर ओवर-मिटिगेशन (सिमेंटिक ड्रिफ्ट) या अंडर-मिटिगेशन (आर्टिफैक्ट्स का बने रहना) से जूझते हैं।
- दक्षता: यह दृष्टिकोण नगण्य कम्प्यूटेशनल ओवरहेड (≈0.01s प्रति इमेज) लेता है, जिससे पुनः-जनरेशन या पुनरावृत्ति अनुकूलन (iterative optimization) से जुड़ी लेटेंसी पेनल्टी से बचा जा सकता है।

महत्व और दावे

यह शोध पत्र दावा करता है कि इसका प्राथमिक महत्व मेमोराइजेशन मिटिगेशन के दृष्टिकोण को अनुमानी सिग्नल सप्रेशन से बदलकर मौलिक न्यूमेरिकल स्टेबिलिटी में स्थानांतरित करने में है। सामान्य इमेज जनरेशन डायनेमिक्स के सांख्यिकीय नियमों में अपने डिटेक्शन को स्थापित करके, विधि विसंगतियों की पहचान करने के लिए एक मजबूत, मॉडल-एग्नोस्टिक और समय-अपरिवर्तनीय मानक प्रदान करती है।

लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण एक ही ढांचे में डिटेक्शन, ऑन-द-फ्लाई मिटिगेशन और एडैप्टिविटी को अनूठे रूप से जोड़ता है। यह महंगी पुन: जनरेशन की आवश्यकता को समाप्त करता है और निर्बाध हस्तक्षेप की अनुमति देता है जो आउटपुट के सिमेंटिक इरादे और विजुअल क्वालिटी को सुरक्षित रखता है। यह कार्य सुझाव देता है कि मेमोराइजेशन को एक ट्रेजेक्टरी विचलन समस्या के रूप में देखना भरोसेमंद जेनेरेटिव मॉडल्स बनाने के लिए एक नया, मौलिक दिशा प्रदान करता है।