💻 computer science

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings

यह शोध पत्र प्रकट करता है कि स्टेबल डिफ्यूजन (Stable Diffusion) में रटंत विद्या (memorization) अप्रत्याशित रूप से पैडिंग टोकन में एंड-ऑफ-टेक्स्ट (end-of-text) एम्बेडिंग के संरचनात्मक दोहराव द्वारा संचालित होती है, जो इसके प्रभाव को बढ़ा देती है, और यह छवि की गुणवत्ता को कम किए बिना इस समस्या को कम करने के लिए सरल इन्फरेंस-टाइम (inference-time) रणनीतियों का प्रस्ताव करता है।

मूल लेखक: Bumjun Kim, Albert No

प्रकाशित 2026-05-06

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Bumjun Kim, Albert No

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ शोध पत्र "Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings" का सरल अवधारणाओं और उपमाओं के साथ विवरण दिया गया है।

बड़ी समस्या: मॉडल अपनी यादों पर "अटक" जाता है

कल्पना कीजिए कि एक प्रतिभाशाली कलाकार (Stable Diffusion) है जिसे लाखों तस्वीरों पर प्रशिक्षित किया गया है। कभी-कभी, जब आप इस कलाकार से कुछ नया बनाने के लिए कहते हैं, तो वह अनजाने में अपने प्रशिक्षण सेट की एक विशिष्ट फोटो को बिल्कुल वैसा ही, पिक्सेल-दर-पिक्सेल कॉपी कर देता है। इसे मेमोराइजेशन (याद करना/रटना) कहा जाता है। यह गोपनीयता और कॉपीराइट के लिए एक जोखिम है क्योंकि मॉडल कुछ नया नहीं बना रहा है; वह बस पुराने डेटा को दोहरा रहा है।

वैज्ञानिक यह समझने की कोशिश कर रहे हैं कि ऐसा क्यों होता है। अधिकांश सिद्धांतों ने आपके द्वारा लिखे गए शब्दों (प्रॉम्ट) या मॉडल के आंतरिक गणित पर ध्यान केंद्रित किया। हालाँकि, इस शोध पत्र ने पाया कि एक आश्चर्यजनक अपराधी निर्देशों के "पैडिंग" (खाली जगह भरने) में छिपा हुआ है।

सेटअप: कलाकार निर्देशों को कैसे पढ़ता है

इस खोज को समझने के लिए, हमें यह देखना होगा कि कलाकार आपके निर्देशों को कैसे पढ़ता है।

प्रॉम्ट (Prompt): आप "A cat on a mat" जैसा एक वाक्य टाइप करते हैं।
सीमा (Limit): कलाकार केवल एक निश्चित लंबाई तक के निर्देश पढ़ सकता है (77 "टोकन" या शब्द-हिस्से)।
फिलर (Filler): यदि आपका वाक्य छोटा है (जैसे, केवल 10 शब्द), तो कंप्यूटर को 77 की सीमा तक पहुँचने के लिए शेष 67 खाली स्थानों को भरना पड़ता है।

पुराना तरीका (Stable Diffusion v1.4):
कंप्यूटर उन खाली स्थानों को एक विशेष "End of Text" टोकन (मान लीजिए <eot>) से भर देता है।

उपमा: कल्पना कीजिए कि आप एक कहानी पढ़ रहे हैं, लेकिन अंतिम पृष्ठ खाली है। खाली छोड़ने के बजाय, प्रिंटर उस खाली जगह को भरने के लिए बार-बार "THE END" शब्द को स्टैम्प करता रहता है।
इसलिए, एक छोटे प्रॉम्ट के लिए, कलाकार देखता है: [आपके शब्द] + [THE END] + [THE END] + [THE END]... (60+ बार दोहराव)।

खोज: "इको चैंबर" (गूँज का कमरा) प्रभाव

शोधकर्ताओं ने पाया कि कलाकार इन बार-बार आने वाले "THE END" स्टैम्प्स पर बहुत अधिक निर्भर करता है, खासकर तब जब वह छवियों को याद (memorize) कर रहा होता है।

उन्होंने यहाँ घटनाओं की एक श्रृंखला देखी:

प्रशिक्षण विसंगति (Training Mismatch): शब्दों को गणित में बदलने वाला सिस्टम (जिसे CLIP कहा जाता है) को इस तरह प्रशिक्षित किया गया था कि वह पूरे वाक्य के सबसे महत्वपूर्ण सारांश के रूप में पहले "THE END" टोकन को मानता था। इसने वास्तविक शब्दों और फिलर टोकन को अनदेखा करना सीख लिया था।
ग्लिच (Glitch): क्योंकि कंप्यूटर खाली जगह को और अधिक "THE END" टोकन से भर देता है, कलाकार अचानक दर्जनों बार दोहराए गए "THE END" टोकन को देखता है।
प्रवर्धन (Amplification): कलाकार सोचता है, "वाह, यहाँ इतने सारे 'THE END' टोकन हैं! इसका मतलब है कि यह निर्देश का सबसे महत्वपूर्ण हिस्सा है!"
परिणाम: मॉडल इस दोहराए गए टोकन पर अत्यधिक ध्यान केंद्रित करने लगता है। यदि वह विशिष्ट "THE END" पैटर्न प्रशिक्षण के दौरान किसी विशिष्ट कॉपीराइट वाली छवि से जुड़ा था, तो मॉडल एक लूप में फंस जाता है और आपके वास्तविक अनुरोध को अनदेखा करते हुए ठीक उसी छवि को दोबारा बना देता है।

रूपक (Metaphor):
एक गायक मंडली (choir) की कल्पना करें जहाँ कंडक्टर (मॉडल) को एक सोलोइस्ट (आपका प्रॉम्ट) को सुनने के लिए कहा जाना चाहिए। लेकिन, गायक मंडली के सदस्य बार-बार "रुको!" (पैडिंग टोकन) चिल्ला रहे हैं। कंडक्टर चिल्लाहट से इतना अभिभूत हो जाता है कि वह सोलोइस्ट को सुनना बंद कर देता है और केवल "रुको!" के आदेशों के आधार पर गोल-गोल घूमने लगता है। यदि "रुको!" का आदेश पहले किसी विशिष्ट नृत्य की मुद्रा से जुड़ा था, तो गायक मंडली संगीत को अनदेखा कर केवल वही नृत्य दोहराती है।

आश्चर्यजनक मोड़: शब्दों का महत्व कम हो जाता है

लेखकों ने वास्तविक शब्दों को हटाकर और उन्हें "End" टोकन से बदलकर इसका परीक्षण किया।

परिणाम: मॉडल अभी भी एक पहचानने योग्य छवि बना सका।
निष्कर्ष: आपके द्वारा टाइप किए गए वास्तविक शब्द (प्रॉम्ट) मेमोराइजेशन की प्रक्रिया में बहुत कम योगदान देते हैं। "फिलर" टोकन ही इस नकल करने वाले व्यवहार का मुख्य भार उठा रहे हैं।

समाधान: दो सरल सुधार

शोध पत्र इस समस्या को रोकने के दो आसान तरीके प्रस्तावित करता है, जिससे पूरे मॉडल को फिर से प्रशिक्षित करने या धीमा करने की आवश्यकता नहीं है। दोनों "इन्फरेंस-टाइम" (inference-time) सुधार हैं, जिसका अर्थ है कि आप छवि उत्पन्न करने से ठीक पहले इन्हें लागू कर सकते हैं।

सुधार 1: फिलर टोकन बदलें

कार्रवाई: खाली स्थान को "THE END" (<eot>) से भरने के बजाय, उसे एक तटस्थ प्रतीक जैसे विस्मयादिबोधक चिह्न (!) से बदल दें।
यह क्यों काम करता है: यह इको चैंबर को तोड़ देता है। मॉडल अब "THE END" टोकन की 60 कॉपियाँ नहीं देखता। वह एक तटस्थ प्रतीक देखता है जिसमें उतना भारी वजन नहीं होता।
बोनस: अतिरिक्त सुरक्षा के लिए वे एकल मूल "End" टोकन को भी छिपा (mask) देते हैं।

सुधार 2: फिलर को म्यूट (Mute) करें

कार्रवाई: टोकन को वैसा ही रहने दें, लेकिन बस दोहराए गए "End" टोकनों की आवाज़ (volume) को कम कर दें (mask) ताकि मॉडल उन पर कम ध्यान दे।
यह क्यों काम करता है: यह टोकनाइज़र को बदले बिना, दोहराव के प्रभाव को कम करता है।

प्रमाण: वर्जन 2.1 बेहतर क्यों है?

लेखकों ने देखा कि Stable Diffusion v2.1 (एक नया संस्करण) में यह मेमोराइजेशन की समस्या उतनी गंभीर नहीं है।

क्यों? पता चला कि v2.1 के रचनाकारों ने अनजाने में इस समस्या को ठीक कर दिया था। उन्होंने एक अलग टेक्स्ट सिस्टम (OpenCLIP) पर स्विच कर दिया जो पैडिंग के लिए "THE END" को दोहराने के बजाय एक तटस्थ प्रतीक का उपयोग करता है।
सीख: यह तथ्य कि v2.1 ने स्वाभाविक रूप से इतनी अधिक मेमोराइजेशन को रोक दिया, यह साबित करता है कि "दोहराया गया End टोकन" ही समस्या का मुख्य कारण था।

सारांश

समस्या: Stable Diffusion कभी-कभी प्रशिक्षण छवियों की हूबहू नकल करता है।
कारण: छोटे प्रॉम्ट्स को बार-बार आने वाले "End of Text" टोकन से भरा जाता है। मॉडल इन दोहराए गए टोकनों को निर्देश का सबसे महत्वपूर्ण हिस्सा समझ लेता है, जिससे वह विशिष्ट छवियों को "ओवरफिट" और मेमोराइज़ कर लेता है।
सुधार: फिलर टोकन को किसी तटस्थ चीज़ (जैसे !) से बदलें या दोहराए गए टोकनों को म्यूट करें। यह छवि की गुणवत्ता बनाए रखते हुए मेमोराइजेशन को रोकता है।
लाभ: आप बिना AI को फिर से प्रशिक्षित किए या जोखिम भरी छवियों का पता लगाए, इस सुधार का तुरंत उपयोग कर सकते हैं।

तकनीकी सारांश: स्टेबल डिफ्यूजन में मेमोराइजेशन (याद रखने की क्षमता) अप्रत्याशित रूप से CLIP एम्बेडिंग्स द्वारा संचालित है

समस्या विवरण

टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल, विशेष रूप से स्टेबल डिफ्यूजन, एक महत्वपूर्ण गोपनीयता जोखिम प्रदर्शित करते हैं जिसे मेमोराइजेशन (memorization) कहा जाता है, जहाँ मॉडल कुछ प्रॉम्प्ट्स के जवाब में अपने प्रशिक्षण सेट (training set) से विशिष्ट छवियों को पुनरुत्पादित करता है। यह कॉपीराइट उल्लंघन और निजी डेटा के रिसाव के संबंध में महत्वपूर्ण चिंताएँ पैदा करता है। जबकि पिछले शोध ने डेटासेट डुप्लिकेशन, ट्रिगर टोकन और क्रॉस-अटेंशन पैटर्न के माध्यम से मेमोराइजेशन की जांच की है, टेक्स्ट एम्बेडिंग स्पेस की भूमिका—विशेष रूप से एम्बेडिंग अनुक्रम के विभिन्न घटक मेमोराइजेशन में कैसे योगदान करते हैं—अभी भी अनछुए क्षेत्र में है। यह शोध पत्र यह तर्क देता है कि स्टेबल डिफ्यूजन v1.4 में मेमोराइजेशन का मूल कारण केवल टोकन नहीं है, बल्कि CLIP टेक्स्ट एनकोडर के प्रशिक्षण डायनेमिक्स और डिफ्यूजन मॉडल के इन्फरेंस मैकेनिज्म के बीच एक संरचनात्मक मिसअलाइनमेंट (structural misalignment) है।

कार्यप्रणाली (Methodology)

लेखक स्टेबल डिफ्यूजन के एम्बेडिंग वेक्टर्स का विस्तृत अध्ययन करते हैं, जिसमें इनपुट टोकन को चार प्रकारों में वर्गीकृत किया गया है: <startoftext> ( $v_{sot}$ ), <prompt> टोकन ( $v_{pr}$ ), <endoftext> ( $v_{eot}$ ), और Pad टोकन ( $v_{pad}$ )।

1. एम्बेडिंग योगदान का अनुभवजन्य विश्लेषण (Empirical Analysis)

अध्ययन मेमोराइज्ड प्रॉम्प्ट्स पर प्रत्येक एम्बेडिंग घटक के प्रभाव को मापने के लिए नियंत्रित इन्फरेंस-टाइम हस्तक्षेप (inference-time interventions) का उपयोग करता है। प्रयोगों में शामिल हैं:

मास्किंग और प्रतिस्थापन (Masking and Replacement): विशिष्ट एम्बेडिंग वेक्टर्स को व्यवस्थित रूप से मास्क करना या बदलना (जैसे, $v_{pr}$ या $v_{pad}$ को शून्य वेक्टर पर सेट करना, या उन्हें $v_{eot}$ के साथ बदलना)।
मेट्रिक मूल्यांकन: मेमोराइजेशन (मूल प्रशिक्षण छवि के साथ समानता) को मापने के लिए SSCD (सेल्फ-सुपरवाइज्ड कॉन्ट्रास्टिव डिस्टेंस), टेक्स्ट-इमेज अलाइनमेंट के लिए CLIPScore, और विजुअल क्वालिटी के लिए Aesthetic Score का उपयोग करना।
डेटासेट क्यूरेशन: लेखकों ने वेबस्टर [35] और मेमबेंच [13] से 458 "मैचिंग वर्बेटिम" (MV) प्रॉम्प्ट्स का एक मजबूत सेट तैयार किया, विश्वसनीय विश्लेषण सुनिश्चित करने के लिए अस्थिर या खराब मामलों को हटा दिया गया।

2. तुलनात्मक विश्लेषण (v1.4 बनाम v2.1)

यह शोध पत्र स्टेबल डिफ्यूजन v1.4 (जो मूल CLIP टेक्स्ट एनकोडर का उपयोग करता है) की तुलना v2.1 (जो OpenCLIP का उपयोग करता है) से करता है। लेखक यह परिकल्पना करते हैं कि ये मॉडल पैडिंग टोकन को कैसे संभालते हैं, इसमें अंतर ही दोनों संस्करणों के बीच मेमोराइजेशन दर में भिन्नता की व्याख्या करता है।

3. शमन रणनीतियाँ (Mitigation Strategies)

निष्कर्षों के आधार पर, दो इन्फरेंस-टाइम शमन रणनीतियाँ प्रस्तावित की गई हैं:

टोकेनाइज़र-लेवल फिक्स: एम्बेडिंग से पहले डिफ़ॉल्ट Pad टोकन (जो v1.4 में <eot> है) को एक अर्थहीन तटस्थ टोकन (जैसे, !) से बदलें, और एकल $v_{eot}$ को मास्क करें।
आंशिक मास्किंग (Partial Masking): जनरेशन की गुणवत्ता को गिराए बिना रेडंडेंसी (redundancy) को कम करने के लिए $v_{pad}$ एम्बेडिंग्स को आंशिक रूप से मास्क करें (विशेष रूप से 70%)।

मुख्य निष्कर्ष और योगदान

1. पैडिंग एम्बेडिंग्स का प्रभुत्व

इस धारणा के विपरीत कि प्रॉम्प्ट टोकन ( $v_{pr}$ ) जनरेशन के प्राथमिक चालक हैं, लेखक पाते हैं कि $v_{pr}$ मेमोराइजेशन में न्यूनतम योगदान देते हैं। वास्तव में, $v_{pr}$ को मास्क करने या उन्हें $v_{eot}$ से बदलने पर भी उत्पन्न छवि की संरचना सुरक्षित रहती है। इसके विपरीत, पैडिंग एम्बेडिंग्स ( $v_{pad}$ ) एक प्रमुख भूमिका निभाते हैं। जब $v_{pad}$ को मास्क किया जाता है, तो जनरेशन विफल हो जाता है, जो दर्शाता है कि वे मेमोराइज्ड सामग्री को पुनरुत्पादित करने के लिए महत्वपूर्ण हैं।

2. $v_{eot}$ का संरचनात्मक दोहराव (Structural Duplication)

पहचाना गया मुख्य तंत्र <endoftext> एम्बेडिंग का संरचनात्मक दोहराव है।

स्टेबल डिफ्यूजन v1.4 में, निश्चित लंबाई (77 टोकन) से छोटे प्रॉम्प्ट्स को <eot> टोकन को दोहराकर पैड किया जाता है।
चूंकि CLIP को वाक्य-स्तरीय अर्थों के प्रतिनिधि के रूप में $v_{eot}$ को ऑप्टिमाइज़ करने के लिए कॉन्ट्रास्टिव लर्निंग के माध्यम से प्रशिक्षित किया गया है, इसलिए दोहराए गए <eot> टोकन कई लगभग समान $v_{eot}$ वेक्टर्स (एक $v_{pad}$ के रूप में) का परिणाम देते।
यह अनजाने में हुआ दोहराव डिफ्यूजन प्रक्रिया के दौरान $v_{eot}$ के प्रभाव को बढ़ा देता है, जिससे मॉडल इस विशिष्ट एम्बेडिंग पर अत्यधिक निर्भर हो जाता है और मेमोराइजेशन की ओर ले जाता है।

3. स्टेबल डिफ्यूजन v2.1 के व्यवहार की व्याख्या

शोध पत्र नोट करता है कि स्टेबल डिफ्यूजन v2.1 में मेमोराइजेशन दर काफी कम है। लेखक इसका श्रेय डेटासेट डी-डुप्लीकेशन को नहीं, बल्कि OpenCLIP के उपयोग को देते हैं, जो पैडिंग के लिए <eot> को दोहराने के बजाय एक तटस्थ ! टोकन का उपयोग करता है। यह संरचनात्मक परिवर्तन $v_{eot}$ के प्रवर्धन (amplification) को हटा देता है, जिससे मेमोराइजेशन कम हो जाता है।

4. प्रस्तावित शमन रणनीतियाँ

लेखक दो प्रभावी, प्लग-एंड-प्ले रणनीतियाँ प्रस्तावित करते हैं जिनमें मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है:

रणनीति 1: टोकेनाइज़र के डिफ़ॉल्ट Pad को एक तटस्थ टोकन (!) से बदलें और मूल $v_{eot}$ को मास्क करें। यह $v_{pad}$ को $v_{eot}$ से अलग (decouple) कर देता है।
रणनीति 2: $v_{pad}$ एम्बेडिंग्स के 70% को आंशिक रूप से मास्क करें।
दोनों विधियाँ उच्च CLIPScore और Aesthetic Scores बनाए रखते हुए SSCD स्कोर को काफी कम (जो कम मेमोराइजेशन दर्शाता है) कर देती हैं, जिससे विविधता सफलतापूर्वक बहाल होती है।

परिणाम

मेमोराइजेशन दमन: प्रस्तावित विधियाँ SSCD स्कोर को ~0.5 (जो मेमोराइजेशन दर्शाता है) से घटाकर ~0.08–0.10 कर देती हैं, जो प्रशिक्षण छवियों के पुनरुत्पादन को प्रभावी ढंग से रोकता है।
गुणवत्ता संरक्षण: अन्य विधियों (जैसे, Ren et al. [24], Wen et al. [36]) के विपरीत, जो अक्सर विजुअल क्वालिटी को कम कर देती हैं या मेमोराइजेशन को दबाने में विफल रहती हैं, प्रस्तावित रणनीतियाँ प्रॉम्प्ट अलाइनमेंट और इमेज क्वालिटी को बनाए रखती हैं।
दक्षता: शमन (mitigation) नगण्य कम्प्यूटेशनल ओवरहेड जोड़ता है, जिसमें इन्फरेंस समय मानक जनरेशन के लगभग समान रहता है।
मजबूती (Robustness): विधियाँ मेमोराइज्ड और गैर-मेमोराइज्ड दोनों तरह के प्रॉम्प्ट्स पर लगातार प्रदर्शन करती हैं, सामान्य जनरेशन की गुणवत्ता में कोई महत्वपूर्ण गिरावट नहीं दिखाती हैं।

महत्व और दावे

यह शोध पत्र मेमोराइजेशन के दृष्टिकोण को मॉडल इंटरनल (जैसे, क्रॉस-अटेंशन पैटर्न) से बदलकर टेक्स्ट एम्बेडिंग्स के संरचनात्मक गुणों की ओर ले जाने का दावा करता है। यह तर्क देता है कि CLIP के प्रशिक्षण उद्देश्य (केवल $v_{eot}$ को ऑप्टिमाइज़ करना) और डिफ्यूजन मॉडल के इन्फरेंस (दोहराए गए $v_{eot}$ सहित पूर्ण अनुक्रम पर कंडीशनिंग) के बीच का मिसमैच एक संरचनात्मक पूर्वाग्रह (structural bias) बनाता है जो मेमोराइजेशन को संचालित करता है।

इसका महत्व एक पहले से अनदेखे तंत्र की पहचान करने में निहित है: टोकेनाइज़र डिज़ाइन के कारण <endoftext> एम्बेडिंग का अनपेक्षित प्रवर्धन। इस संरचनात्मक दोष को संबोधित करके, लेखक सरल, प्रभावी और तैनात करने योग्य समाधान प्रदान करते हैं जो डेटासेट फ़िल्टरिंग, प्रॉम्प्ट ट्यूनिंग या मॉडल रिट्रेनिंग की आवश्यकता के बिना मेमोराइजेशन को कम करते हैं। निष्कर्ष बताते हैं कि भविष्य के डिफ्यूजन मॉडल्स को समान संरचनात्मक पूर्वाग्रहों से बचने के लिए पैडिंग टोकन रणनीतियों पर सावधानीपूर्वक विचार करना चाहिए।