🤖 AI

You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models

यह शोध पत्र GUARD को प्रस्तुत करता है, जो एक नवीन इन्फरेंस-टाइम फ्रेमवर्क है जो क्रॉस-अटेंशन के सांख्यिकीय पहचान और क्षीणन के माध्यम से डिनोइजिंग प्रक्रिया को गतिशील रूप से समायोजित करके टेक्स्ट-टू-इमेज डिफ्यूजन मॉडल्स में मेमोराइजेशन (याद रखने की प्रवृत्ति) को कम करता है, जिससे उच्च छवि गुणवत्ता और प्रॉम्प्ट संरेखण बनाए रखते हुए प्रशिक्षण डेटा के पुनरुत्पादन को प्रभावी रूप से रोका जा सकता है।

मूल लेखक: Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

प्रकाशित 2026-03-03

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Kairan Zhao, Eleni Triantafillou, Peter Triantafillou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक बेहद प्रतिभाशाली कलाकार है जिसने लाखों पेंटिंग्स का अध्ययन किया है। वह इतना कुशल है कि आप उसे जो भी बनाने के लिए कहें, वह उसे फिर से बना सकता है। लेकिन एक समस्या है: कभी-कभी, यदि आप उसे बहुत विशिष्ट विवरण देते हैं, तो वह केवल एक नया चित्र नहीं बनाता; वह गलती से अपने अध्ययन संग्रह से एक विशिष्ट पेंटिंग को शब्द-दर-शब्द कॉपी कर लेता है।

इसे "मेमोराइजेशन" (Memorization - याद कर लेना) कहा जाता है। AI की दुनिया में, यह बुरा है क्योंकि इससे कॉपीराइट के मुकदमे (किसी की कला की नकल करना) या गोपनीयता लीक (किसी निजी व्यक्ति की फोटो को फिर से बनाना) हो सकते हैं।

लंबे समय से, शोधकर्ता इसे ठीक करने के लिए दो तरीके आजमा रहे थे:

कलाकार को अलग तरह से प्रशिक्षित करना: उन्हें शुरू से ही याद करने से रोकना (जैसे किसी छात्र को यह कहना कि "उस विशिष्ट पुस्तक को मत देखो")। यह कठिन है क्योंकि अक्सर हम उन कलाकारों का उपयोग करते हैं जिन्हें पहले ही किसी और ने प्रशिक्षित किया जा चुका है।
बाद में भूलना: कलाकार को बाद में विशिष्ट छवियों को "अनलर्न" (unlearn - भूलने) करने की कोशिश करना (जैसे किसी स्मृति को मिटाना)। यह धीमा, महंगा और अक्सर पूरी तरह से काम नहीं करता है।

यह शोध पत्र एक नया, चतुर समाधान पेश करता है जिसे GUARD कहा जाता है। कलाकार के मस्तिष्क को बदलने के बजाय, GUARD वास्तविक समय (real-time) में कलाकार के पेंट करने के तरीके को बदल देता है।

समस्या: "ट्रिगर" टोकन (Trigger Tokens)

शोधकर्ताओं ने पाया कि जब AI किसी विशिष्ट छवि की नकल करने वाला होता है, तो वह आपके प्रॉम्प्ट के कुछ शब्दों के प्रति जुनूनी हो जाता है। इन्हें "ट्रिगर वर्ड्स" (Trigger Words) के रूप में सोचें।

कल्पना कीजिए कि आप AI को "एक लाल चटाई पर बैठी बिल्ली" बनाने के लिए कहते हैं।

एक सामान्य ड्राइंग में, AI सभी शब्दों पर समान रूप से ध्यान देता है।
लेकिन यदि AI ने लाल चटाई पर बैठी बिल्ली की एक विशिष्ट फोटो को याद कर लिया है, तो वह अचानक चिल्लाने लगता है, " 'MAT' शब्द पर ध्यान दो! 'RED' शब्द पर ध्यान दो!" वह उन विशिष्ट शब्दों पर अपना पूरा ध्यान केंद्रित करने लगता है, जो उसकी पुरानी यादों से सटीक पुरानी छवि को बाहर निकालने के लिए एक शॉर्टकट की तरह काम करता है।

पिछले तरीकों ने इस बात को ठीक करने की कोशिश की कि वाक्य के अंत में हर शब्द की आवाज़ (volume) को अंधाधुंध रूप से कम कर दिया जाए (जैसे "End of Text" टोकन)। लेकिन शोधकर्ताओं ने पाया कि यह पूरे घर की पानी की आपूर्ति बंद करके एक टपकते नल को रोकने जैसा है। यह रिसाव को तो रोकता है, लेकिन रसोई तक पानी जाना भी रोक देता है, जिससे चित्र की गुणवत्ता खराब हो जाती है।

समाधान: GUARD (Guidance Using Attractive-Repulsive Dynamics)

GUARD एक स्मार्ट आर्ट डायरेक्टर की तरह है जो पेंटिंग की प्रक्रिया के दौरान AI कलाकार के बगल में खड़ा है। यह ब्रश को निर्देशित करने के लिए दो शक्तियों का उपयोग करता है:

प्रतिकर्षक बल (Repulsive Force - दूर धकेलना):
आर्ट डायरेक्टर देखता है कि AI उन "ट्रिगर वर्ड्स" के प्रति जुनूनी हो रहा है। वे धीरे से कलाकार के हाथ को उस रास्ते से दूर धकेलते हैं जो पुरानी, कॉपी की गई छवि की ओर ले जाता है।
- उपमा: कल्पना कीजिए कि AI एक विशिष्ट गिलहरी का पीछा करने वाला कुत्ता है। आर्ट डायरेक्टर कुत्ते के पट्टे को खींचता है ताकि उसे उस गिलहरी से दूर ले जाया जा सके।
आकर्षक बल (Attractive Force - अपनी ओर खींचना):
यदि आप केवल कुत्ते को दूर धकेलते हैं, तो वह भ्रमित हो सकता है और किसी पेड़ से टकरा सकता है (जिससे एक खराब, धुंधली छवि बन सकती है)। इसलिए, आर्ट डायरेक्टर पास में ही एक दूसरे, सुंदर गिलहरी की ओर इशारा करता है जो दिखने में समान है लेकिन बिल्कुल वही नहीं है।
- उपमा: "उस गिलहरी को मत देखो! इसके बजाय इस वाली को देखो!" यह सुनिश्चित करता है कि नया चित्र अभी भी लाल चटाई पर बैठी बिल्ली जैसा दिखे, बस वह एक नया स्वरूप हो।

"सर्जिकल" हिस्सा: स्पाइक्स (Spikes) को खोजना

GUARD का जादू यह है कि वह यह अनुमान नहीं लगाता कि ट्रिगर्स कौन से शब्द हैं। यह तुरंत उन्हें खोजने के लिए एक सांख्यिकीय रडार (statistical radar) का उपयोग करता है।

पुराना तरीका: "हे, शायद आखिरी शब्द समस्या है? चलिए हर किसी के लिए आखिरी शब्द की आवाज़ कम कर देते हैं।" (यह भद्दा है और अक्सर विफल रहता है)।
GUARD का तरीका: "रुको, इस विशेष प्रॉम्प्ट के लिए, AI 'mat' और 'red' शब्द के लिए पागल हो रहा है। चलिए अभी केवल उन दो शब्दों की आवाज़ कम करते हैं।"

इसे "सर्जिकल मेमोराइजेशन मिटिगेशन" (Surgical Memorization Mitigation) कहा जाता है। यह स्वस्थ ऊतकों को काटे बिना ट्यूमर निकालने वाले सर्जन की तरह है। यह समग्र कला की गुणवत्ता को नुकसान पहुँचाए बिना ठीक उन्हीं स्थानों को लक्षित करता है जो नकल करने की समस्या पैदा कर रहे हैं।

यह एक बड़ी बात क्यों है?

यह किसी भी मॉडल पर काम करता है: आपको AI को फिर से प्रशिक्षित करने की आवश्यकता नहीं है। आप इसे किसी भी मौजूदा टेक्स्ट-टू-इमेज जनरेटर पर उपयोग कर सकते हैं।
यह तेज़ है: यह इमेज जेनरेट होते समय ही होता है, इसलिए चीजों को "अनलर्न" करने में अतिरिक्त समय नहीं लगता।
यह गुणवत्ता बनाए रखता है: क्योंकि यह "आकर्षक बल" (Attractive Force) का उपयोग करता है, नई छवियां अभी भी शानदार दिखती हैं और आपके विवरण से पूरी तरह मेल खाती हैं। वे बस पुरानी तस्वीरों की नकल नहीं होतीं।

संक्षेप में

AI को एक ऐसे छात्र के रूप में समझें जिसने पाठ्यपुस्तक को बहुत अच्छी तरह से याद कर लिया है। यदि आप उससे कोई प्रश्न पूछते हैं, तो वह बस पेज को दोहरा देता है।

पुराने तरीकों ने छात्र को पूरी किताब भूलने की कोशिश की (जो कठिन है) या उसे हर पेज के आखिरी वाक्य को अनदेखा करने के लिए कहा (जो बहुत ही साधारण तरीका है)।
GUARD एक ऐसे ट्यूटर की तरह है जो छात्र के कान में फुसफुसाता है: "हे, तुम बिल्कुल वही पेज दोहराने वाले हो। ऐसा मत करो! इसके बजाय, अपनी कल्पना का उपयोग करके एक नया उत्तर बनाओ जो अभी भी प्रश्न के अनुकूल हो।"

परिणाम? छात्र (AI) हर बार आपको एक ताज़ा, मौलिक उत्तर देता है, बिना किताब की नकल करके गलती से नकल (cheating) किए।

यहाँ शोध पत्र "You Don't Need All That Attention: Surgical Memorization Mitigation in Text-to-Image Diffusion Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जेनरेटिव टेक्स्ट-टू-इमेज (T2I) डिफ्यूजन मॉडल "मेमोराइजेशन" (memorization) के प्रति संवेदनशील होते हैं, जहाँ वे मूल टेक्स्ट प्रॉम्प्ट के साथ विशिष्ट प्रशिक्षण छवियों की हूबहू या लगभग हूबहू प्रतियां बना देते हैं। यह निम्नलिखित जोखिम उत्पन्न करता है:

गोपनीयता (Privacy): संवेदनशील डेटा का रिसाव।
कॉपीराइट (Copyright): कलाकारों की शैलियों या विशिष्ट कार्यों का उल्लंघन।

मौजूदा शमन रणनीतियाँ (mitigation strategies) तीन श्रेणियों में आती हैं, जिनमें से प्रत्येक की अपनी सीमाएँ हैं:

प्रशिक्षण-समय विधियाँ (Training-time methods): ये अक्सर "भद्दे उपकरण" (blunt instruments) होते हैं जो मॉडल की उपयोगिता को कम कर देते हैं या अव्यवहारिक होते हैं क्योंकि अभ्यासकर्ता आमतौर पर उन प्री-ट्रेंड मॉडल्स पर निर्भर रहते हैं जहाँ वे हस्तक्षेप नहीं कर सकते।
मशीन अनलर्निंग (फाइनट्यूनिंग - Machine Unlearning): यह गणनात्मक रूप से महंगा है और अक्सर इसमें मजबूती की कमी होती है (मेमोराइज की गई जानकारी पुन: उभर सकती है)।
अनुमान-समय विधियाँ (Inference-time methods): यह सबसे व्यावहारिक दृष्टिकोण है, लेकिन पिछले कार्य (जैसे, Ren et al., 2024) अक्सर हार्ड-कोडेड नियमों (जैसे, केवल एंड-ऑफ-टेक्स्ट (EOT) टोकन पर अटेंशन को दबाना) पर निर्भर करते हैं जो विभिन्न प्रकार के मेमोराइजेशन (verbatim बनाम template) और आर्किटेक्चर के बीच सामान्यीकरण करने में विफल रहते हैं।

2. कार्यप्रणाली (Methodology): GUARD फ्रेमवर्क

लेखक GUARD (Guidance Using Attractive-Repulsive Dynamics) प्रस्तावित करते हैं, जो एक अभिनव अनुमान-समय (inference-time) फ्रेमवर्क है जो जनरेशन प्रक्रिया को संशोधित करता है ताकि मॉडल को बिना रिट्रेनिंग के मेमोराइज्ड डेटा से दूर ले जाया जा सके।

मुख्य तंत्र: कंट्रास्टिव गाइडेंस (Core Mechanism: Contrastive Guidance)

स्टैंडर्ड क्लासिफायर-फ्री गाइडेंस (CFG) टेक्स्ट प्रॉम्प्ट की ओर जनरेशन को निर्देशित करता है। GUARD इसे दो बलों (forces) को पेश करके संशोधित करता है:

प्रतिकर्षण (Repulsion - Negative Target): एक टर्म जो जनरेशन को मूल (मेमोराइज्ड) प्रॉम्प्ट ( $\epsilon^-_\theta$ ) के नॉइज़ प्रेडिक्शन से दूर धकेलता है।
आकर्षण (Attraction - Positive Target): एक टर्म जो जनरेशन को एक नए, सुरक्षित, उच्च-गुणवत्ता वाले नॉइज़ प्रेडिक्शन ( $\epsilon^+_\theta$ ) की ओर खींचता है।

गाइडेड नॉइज़ प्रेडिक्शन $\hat{\epsilon}$ की गणना इस प्रकार की जाती है:
$\hat{\epsilon} = \epsilon_\theta(x_t, e_\emptyset) + s(\epsilon^+_\theta - \epsilon_\theta) - r(\epsilon^-_\theta - \epsilon_\theta)$
जहाँ $s$ आकर्षण शक्ति (attraction strength) है और $r$ प्रतिकर्षण शक्ति (repulsion strength) है। "पॉजिटिव टारगेट" अत्यंत महत्वपूर्ण है; बिना इसके, केवल मेमोराइज्ड डेटा से प्रतिकर्षण करने से "फिडेलिटी कोलैप्स" (छवि की गुणवत्ता या प्रॉम्प्ट संरेखण की हानि) हो सकता है।

ठोस इंस्टेंशिएशन: CA-in-GUARD

यह पेपर CA-in-GUARD नामक एक विशिष्ट कार्यान्वयन पेश करता है, जो एक सर्जिकल क्रॉस-अटेंशन (CA) एटेनुएशन (attenuation) तंत्र के माध्यम से "पॉजिटिव टारगेट" को परिभाषित करता है।

अंतर्दृष्टि (The Insight): मेमोराइजेशन "ट्रिगर टोकन" द्वारा संचालित होता है जिन्हें असमान रूप से उच्च अटेंशन प्राप्त होता है। पिछले कार्यों ने केवल एंड-ऑफ-टेक्स्ट (EOT) टोकन पर ध्यान केंद्रित किया। लेखकों ने पाया कि:
- वर्बेटिम मेमोराइजेशन (Verbatim memorization): इसमें अक्सर EOT स्पाइक्स शामिल होते हैं, लेकिन अन्य विशिष्ट टोकन भी होते हैं।
- टेम्पलेट मेमोराइजेशन (Template memorization): इसमें EOT स्पाइक्स अक्सर प्राथमिक चालक नहीं होते; अन्य टोकन स्पाइक करते हैं।
- निष्कर्ष: EOT को हार्ड-कोडेड रूप से दबाना अपर्याप्त है और कभी-कभी प्रतिकूल भी हो सकता है।
एल्गोरिदम (Surgical Detection & Attenuation):
1. डायनेमिक स्पाइक डिटेक्शन (Dynamic Spike Detection): प्रत्येक प्रॉम्प्ट और प्रत्येक डिनोइजिंग स्टेप के लिए, सिस्टम क्रॉस-अktionen वितरण का विश्लेषण करता है। यह प्रत्येक टोकन के अटेंशन मास के लिए एक सांख्यिकीय आउटलियर स्कोर ( $Z$ -score) की गणना करता है। जो टोकन एक थ्रेशोल्ड ( $\tau$ ) से अधिक होते हैं, उन्हें "स्पाइकी" (मेमोराइजेशन-क्रिटिकल) के रूप में चिह्नित किया जाता है।
2. सर्जिकल एटेनुएशन (Surgical Attenuation): इन विशिष्ट चिह्नित टोकन के लिए अटेंशन लॉजिट्स को सॉफ्टमैक्स ऑपरेशन से पहले एक कारक $\alpha$ द्वारा कम किया जाता है।
3. पॉजिटिव टारगेट जनरेशन: यह एटेन्यूएटेड अटेंशन मैप $\epsilon^+_\theta$ (सुरक्षित लक्ष्य) उत्पन्न करता है जिसका उपयोग GUARD फॉर्मूला में किया जाता है।
दक्षता (Efficiency): यह विधि एकल बैचड फॉरवर्ड पास में तीन U-Net इवैल्यूएशन (अनकंडीशनल, मेमोराइज्ड, और एटेन्यूएटेड) करती है, जिससे कंप्यूटेशनल ओवरहेड कम रहता है।

3. प्रमुख योगदान (Key Contributions)

GUARD फ्रेमवर्क: एक सामान्य अनुमान-समय फ्रेमवर्क जो मेमोराइज्ड दिशाओं से प्रतिकर्षण और एक सुरक्षित लक्ष्य की ओर आकर्षण को जोड़कर गुणवत्ता में गिरावट को रोकता है।
अटेंशन का अनुभवजन्य विश्लेषण (Empirical Analysis of Attention): एक विस्तृत अध्ययन जो यह प्रकट करता है कि मेमोराइजेशन ट्रिगर्स (verbatim बनाम template) और आर्किटेक्चर के आधार पर भिन्न होते हैं। वे प्रदर्शित करते हैं कि निश्चित रणनीतियाँ (जैसे केवल EOT को दबाना) टेम्पलेट मेमोराइजेशन के लिए विफल रहती हैं।
डायनेमिक स्पाइक डिटेक्टर (Dynamic Spike Detector): एक नवीन, ऑन-द-फ्लाई सांख्यिकीय विधि जो हार्ड-कोडेड नियमों पर निर्भर रहने के बजाय प्रति प्रॉम्प्ट मेमोराइजेशन-क्रिटिकल टोकन की पहचान करती है।
CA-in-GUARD: डायनेमिक अटेंशन एटेनुएशन का उपयोग करने वाला विशिष्ट इंस्टेंशिएशन, जो एक शमन उपकरण (mitigation tool) और एक गुणवत्ता-संरक्षण तंत्र दोनों के रूप में कार्य करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने 500 मेमोराइज्ड नमूनों (उच्च मेमोराइजेशन स्कोर, SSCD > 0.7 के लिए फ़िल्टर किए गए) के डेटासेट का उपयोग करके Stable Diffusion v1.4 और v2.0 पर GUARD और CA-in-GUARD का मूल्यांकन किया।

मेट्रिक्स (Metrics):
- SSCD: मूल प्रशिक्षण छवि के साथ समानता (कम बेहतर है)।
- CLIP Score: प्रॉम्प्ट-इमेज संरेखण (अधिक बेहतर है)।
- FID: छवि यथार्थवाद/विविधता (कम बेहतर है)।
मुख्य निष्कर्ष:
- बेहतर शमन (Superior Mitigation): CA-in-GUARD सभी सेटिंग्स में स्टेट-ऑफ-द-आर्ट बेसलाइन्स (Ren et al., Wen et al., Han et al.) को लगातार पछाड़ता है।
  - उदाहरण (SD v2.0 Template): SSCD को Ren et al. के 0.36 से घटाकर CA-in-GUARD के 0.19 तक कर दिया।
- गुणवत्ता संरक्षण (Quality Preservation): साधारण एटेनुएशन के विपरीत, जो गुणवत्ता को नुकसान पहुँचा सकता है, GUARD फ्रेमवर्क (इसके आकर्षण टर्म के साथ) बेसलाइन्स की तुलना में CLIP और FID स्कोर को बनाए रखता है या सुधारता है।
- मजबूती (Robustness): यह विधि वर्बेटिम (हूबहू कॉपी) और टेम्पलेट (शैली/संरचना कॉपी) दोनों प्रकार के मेमोराइजेशन के लिए प्रभावी ढंग से काम करती है, जबकि पिछले तरीके अक्सर टेम्पलेट मेमोराइजेशन पर विफल हो जाते हैं।
- गैर-मेमोराइज्ड प्रॉम्प्ट्स (Non-Memorized Prompts): यह विधि उन प्रॉम्प्ट्स के प्रदर्शन को खराब नहीं करती है जो मेमोराइज्ड नहीं हैं, जिसका अर्थ है कि इसे बिना यह जाने कि कौन से प्रॉम्प्ट जोखिम भरे हैं, सार्वभौमिक रूप से लागू किया जा सकता है।

5. महत्व (Significance)

व्यावहारिकता (Practicality): विशुद्ध रूप से अनुमान-समय समाधान के रूप में, इसे रिट्रेनिंग या फाइन-ट्यूनिंग के बिना मौजूदा प्री-ट्रेंड मॉडल्स पर तैनात किया जा सकता है, जो इसे वास्तविक दुनिया के पाइपलाइनों के लिए अत्यधिक लागू करने योग्य बनाता है।
सटीकता (Precision): दृष्टिकोण की "सर्जिकल" प्रकृति (केवल विशिष्ट टोकन को गतिशील रूप से कम करना) उन ब्लंट शमन तकनीकों के विपरीत "कोलेटरल डैमेज" (Collateral Damage) से बचाती है जो अक्सर छवि की गुणवत्ता को नुकसान पहुँचाती हैं।
सामान्यीकरण (Generalizability): यह टेम्पलेट मेमोराइजेशन को संभालने के अंतर को संबोधित करता है, जो एक पहले से कम हल किया गया समस्या है जहाँ मॉडल प्रशिक्षण डेटा की संरचना को पुनरुत्पादित करते हैं भले ही सटीक प्रॉम्प्ट का उपयोग न किया गया हो।
भविष्य की दिशा (Future Direction): शोध पत्र सुझाव देता है कि प्राप्त अंतर्दृष्टि (डायनेमिक अटेंशन मैनिपुलेशन) को प्रशिक्षण-समय या अनलर्निंग विधियों में एकीकृत किया जा सकता है ताकि गोपनीयता बनाम उपयोगिता के पेरेटो फ्रंटियर (Pareto frontier) को और आगे बढ़ाया जा सके।

संक्षेप में, GUARD डिफ्यूजन मॉडल्स में मेमोराइजेशन की समस्या के लिए एक मजबूत, कुशल और उच्च-गुणवत्ता वाला समाधान प्रदान करता है, जो प्रशिक्षण डेटा को पुनरुत्पादित करने के लिए जिम्मेदार विशिष्ट अटेंशन तंत्रों की पहचान करता है और उन्हें दबाता है, साथ ही मॉडल को एक सुरक्षित, उच्च-फिडेलिटी विकल्प की ओर निर्देशित करता है।