🔢 mathematics

Identifying Memorization of Diffusion Models through $p$ -Laplace Analysis: Estimators, Bounds and Applications

यह शोध पत्र अनुमानित स्कोर फलनों (score functions) से व्युत्पन्न $p$ -लैप्लास ऑपरेटरों का लाभ उठाकर डिफ्यूजन मॉडलों में रट लिए गए (memorized) प्रशिक्षण डेटा की पहचान करने के लिए एक नवीन विधि प्रस्तावित करता है, जो सैद्धांतिक त्रुटि सीमाएं और टेक्स्ट-टू-इमेज मॉडलों पर अनुभवजन्य सत्यापन दोनों प्रदान करता है जहाँ यह दृष्टिकोण बिना कंडीशनिंग टेक्स्ट तक पहुंच के भी मेमोराइजेशन का सफलतापूर्वक पता लगाता है।

मूल लेखक: Jonathan Brokman, Itay Gershon, Amit Giloni, Omer Hofman, Roman Vainshtein, Hisashi Kojima, Guy Gilboa

प्रकाशित 2026-02-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jonathan Brokman, Itay Gershon, Amit Giloni, Omer Hofman, Roman Vainshtein, Hisashi Kojima, Guy Gilboa

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास एक विशाल, जादुई पेंट मशीन (एक डिफ्यूजन मॉडल) है जो मौजूदा कला के एक विशाल पुस्तकालय का अध्ययन करके सुंदर चित्र बनाना सीखती है। समय के साथ, यह इतनी अच्छी हो जाती है कि यह पूरी तरह से नए परिदृश्य, चेहरे और दृश्य गढ़ सकती है।

हालाँकि, कभी-कभी यह मशीन बहुत अधिक कुशल हो जाती है। कुछ नया आविष्कार करने के बजाय, यह गलती से अपने पुस्तकालय की एक विशिष्ट पेंटिंग की नकल कर लेती है और उसे फिर से उगल देती है। इसे मेमोराइजेशन (Memorization) कहा जाता है। यह एक छात्र की तरह है जो अपने स्वयं के विचारों से निबंध लिखने के बजाय, बस एक पाठ्यपुस्तक के पैराग्राफ को याद कर लेता है और उसे सुना देता है। यह बुरा है क्योंकि इससे निजी जानकारी लीक हो सकती है या कॉपीराइट का उल्लंघन हो सकता है।

समस्या यह है: हम मशीन को चोरी करते हुए कैसे पकड़ें?

आमतौर पर, मशीन का "दिमाग" (इसका आंतरिक गणित) एक ब्लैक बॉक्स होता है। हम आसानी से यह नहीं देख सकते कि वह किसी विशिष्ट छवि को याद कर रही है या बस कुछ ऐसा नया बना रही है जो दिखने में समान है।

समाधान: "टोपोग्राफिक मैप" सादृश्य (The "Topographic Map" Analogy)

लेखकों ने मशीन के दिमाग के भीतर झाँकने के लिए एक चतुर तरीका निकाला है। उन्होंने मशीन के ज्ञान को पहाड़ियों और घाटियों के एक परिदृश्य की तरह माना है।

सामान्य डेटा: कल्पना कीजिए कि एक चिकनी, लुढ़कती हुई पहाड़ी है। यदि आप इसके चारों ओर घूमते हैं, तो ज़मीन सौम्य और अनुमानित होती है। यह मशीन द्वारा सामान्य अवधारणाओं (जैसे "एक बिल्ली" या "एक सूर्यास्त") को सीखने का प्रतिनिधित्व करता है।
मेमोराइज्ड डेटा: अब, कल्पना कीजिए कि किसी ने एक छोटी, नुकीली कील ली और उसे उस चिकनी पहाड़ी के बीचों-बीच गाड़ दिया। यह कील एक विशिष्ट, मेमोराइज्ड छवि का प्रतिनिधित्व करती है। क्योंकि मशीन ने इस सटीक छवि को इतनी बार देखा है (या यह अपने जैसे एकमात्र प्रकार की थी), उस स्थान की "संभावना" (probability) अविश्वसनीय रूप से उच्च है, जिससे एक तीखा शिखर (spike) बन जाता है।

लेखक इस परिदृश्य में इन तीखे शिखरों (spikes) को खोजना चाहते थे।

उपकरण: "p-Laplace" कंपास

इन शिखरों को खोजने के लिए, उन्होंने p-Laplace ऑपरेटर नामक एक गणितीय उपकरण का उपयोग किया।

p-Laplace को एक अति-संवेदनशील वेदर वेन (weather vane - हवा की दिशा बताने वाला यंत्र) या एक फ्लक्स डिटेक्टर के रूप में सोचें।

यदि आप एक चिकनी पहाड़ी पर खड़े हैं, तो हवा (गणितीय "ग्रेडिएंट") सभी दिशाओं में धीरे से बहती है, और संतुलित रहती है। वेदर वेन आलस से घूमता है।
यदि आप एक तीखे शिखर (एक मेमोराइज्ड इमेज) पर खड़े हैं, तो हवा हर तरफ से बड़ी ताकत के साथ शिखर की ओर अंदर की ओर भागती है। वेदर वेन पागलों की तरह घूमता है और सीधे नीचे छेद की ओर इशारा करता है।

लेखकों ने महसूस किया कि इस "अंदरूनी बहाव" (flux) को मापकर, वे मेमोराइज्ड शिखरों को पहचान सकते थे।

गुप्त सूत्र: क्यों "p=1" सबसे अच्छा है

पेपर ने इस वेदर वेन के विभिन्न सेटिंग्स का परीक्षण किया, जिन्हें p नामक संख्या द्वारा लेबल किया गया है।

p=2 (मानक): यह एक मानक कंपास की तरह है। यह अच्छा है, लेकिन यह हवा के आकार (size) से भ्रमित हो जाता है। यदि हवा थोड़ी तेज़ या धीमी हो जाती है, तो रीडिंग बहुत बदल जाती है।
p=1 (जादुई सेटिंग): लेखकों ने पाया कि p=1 सेट करना एक ऐसे कंपास की तरह है जिसे केवल हवा की दिशा की परवाह है, उसकी तीव्रता की नहीं।
- सादृश्य: कल्पना कीजिए कि आप कोहरे वाले तूफान में एक पहाड़ की चोटी खोजने की कोशिश कर रहे हैं। यदि आप केवल इस बात पर ध्यान देते हैं कि हवा आपको कितनी ज़ोर से मार रही है, तो आप अचानक आए झोंके से भ्रमित हो सकते हैं। लेकिन यदि आप केवल यह देखते हैं कि हवा आपको किस दिशा में धकेल रही है, तो आप स्पष्ट रूप से देख सकते हैं कि वह आपको शिखर की ओर धकेल रही है, चाहे झोंके कितने भी तेज़ क्यों न हों।

चूंकि मशीन का आंतरिक गणित पूर्ण नहीं है (यह एक अनुमान है), इसलिए "हवा की ताकत" अक्सर शोर (noise) से भरी होती है। लेकिन "हवा की दिशा" आमतौर पर सही होती है। p=1 का उपयोग करके, लेखकों ने एक ऐसा फ़िल्टर बनाया जो शोर को अनदेखा करता है और मेमोराइज्ड शिखरों को पूरी तरह से उजागर करता है।

उन्होंने इसका परीक्षण कैसे किया

अभ्यास रन (The Practice Run): उन्होंने एक सरल, नकली दुनिया (गाऊसियन पहाड़ियों का एक 2D मैप) के साथ शुरुआत की। उन्होंने एक डेटा पॉइंट को 250 बार दोहराकर एक "नकली स्पाइक" बनाया। उनका p=1 वेदर वेन तुरंत स्पाइक को पहचान लेता था, जबकि अन्य तरीके भ्रमित हो गए।
वास्तविक दुनिया: इसके बाद उन्होंने एक प्रसिद्ध, वास्तविक दुनिया के इमेज जनरेटर (स्टेबल डिफ्यूजन) को लिया और 500 प्रॉम्प्ट्स पर परीक्षण किया जो मेमोराइजेशन का कारण बनते हैं।
- परिणाम: उनकी विधि अविश्वसनीय रूप से सटीक थी। यहाँ तक कि जब उन्हें वह टेक्स्ट प्रॉम्प्ट भी नहीं पता था जिसका उपयोग छवि बनाने के लिए किया गया था ("पोस्ट-जेनरेशन" शासन में), तब भी उनका p=1 कंपास सटीकता के साथ बता सका कि, "हे, यह छवि एक नकल है!" और इसकी सटीकता 91% थी।

यह क्यों महत्वपूर्ण है

यह शोध हमें AI के लिए एक नया "झूठ पकड़ने वाला यंत्र" (lie detector) देता है।

गोपनीयता (Privacy): यह हमें यह देखने में मदद करता है कि क्या कोई AI संवेदनशील प्रशिक्षण डेटा (जैसे किसी डॉक्टर की फोटो या निजी दस्तावेज़) लीक कर रहा है।
कॉपीराइट (Copyright): यह कलाकारों और कंपनियों को यह देखने में मदद करता है कि क्या AI केवल उनके काम की नकल कर रहा है या वास्तव में कुछ नया बना रहा है।
सुरक्षा (Safety): यह सुनिश्चित करता है कि AI वास्तव में सीख रहा है और सामान्यीकरण (generalizing) कर रहा है, न कि केवल एक टूटे हुए रिकॉर्ड प्लेयर की तरह व्यवहार कर रहा है।

संक्षेप में, लेखकों ने एक गणितीय "स्पाइक डिटेक्टर" बनाया जो शोर को अनदेखा करता है और AI की याददाश्त में छिपी कॉपियों को ढूंढ निकालता है, जिससे यह सुनिश्चित होता है कि ये शक्तिशाली उपकरण रचनात्मक बने रहें, न कि केवल नकलची।

यहाँ शोध पत्र "Identifying Memorization of Diffusion Models through p-Laplace Analysis: Estimators, Bounds and Applications" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जेनरेटिव मॉडल, विशेष रूप से डिफ्यूजन मॉडल (Diffusion Models), मेमोराइजेशन (memorization) के प्रति संवेदनशील होते हैं, जहाँ मॉडल नवीन सामग्री उत्पन्न करने के बजाय प्रशिक्षण डेटा के नमूनों को ही दोहरा देता है। यह गोपनीयता (संवेदनशील डेटा का रिसाव) और कॉपीराइट के संबंध में महत्वपूर्ण जोखिम पैदा करता है।

मुख्य मुद्दा: मेमोराइज्ड नमूने अक्सर सीखे गए संभाव्यता घनत्व फलन (probability density function - PDF) में "बम्प्स" (bumps) या स्थानीय मैक्सिमा (local maxima) के रूप में प्रकट होते हैं, विशेष रूप से कम आबादी वाले क्षेत्रों में या डेटा प्रतिकृति (data replication) के कारण।
चुनौती: प्राकृतिक छवियों की अंतर्निहित संभाव्यता वितरण (probability distribution) अज्ञात है। हालाँकि डिफ्यूजन मॉडल स्कोर फंक्शन ( $\nabla \log p(x)$ ) सीखते हैं, लेकिन यह स्पष्ट नहीं है कि इन विशिष्ट "बम्प्स" का पता लगाने या मेमोराइजेशन की पहचान करने के लिए सीखे गए स्कोर का उपयोग कैसे किया जाए।
अंतराल (Gap): मौजूदा विधियों के लिए अक्सर कंडीशनिंग प्रॉम्प्ट (टेक्स्ट) तक पहुँच की आवश्यकता होती है या वे हेसियन-आधारित (Hessian-based) दृष्टिकोणों पर निर्भर करती हैं। पोस्ट-जनरेशन रिजीम (post-generation regime) में मेमोराइजेशन का पता लगाने के लिए एक मजबूत, सैद्धांतिक रूप से स्थापित विधि की आवश्यकता है (यहाँ तक कि मूल प्रॉम्प्ट के बिना भी)।

2. कार्यप्रणाली (Methodology)

लेखक सीखे गए संभाव्यता वितरण की ज्यामिति का विश्लेषण करने के लिए p-Laplace ऑपरेटर ( $\Delta_p$ ) का उपयोग करने का प्रस्ताव करते हैं।

A. सैद्धांतिक आधार (Theoretical Foundation)

p-Laplace ऑपरेटर को इस प्रकार परिभाषित किया गया है:
$\Delta_p u = \nabla \cdot (|\nabla u|^{p-2} \nabla u)$
जहाँ $u = \log p(x)$ लॉग-संभाव्यता (log-probability) है।

परिकल्पना (Hypothesis): मेमोराइज्ड नमूने लॉग-संभाव्यता में स्थानीय मैक्सिमा के अनुरूप होते हैं। एक स्थानीय अधिकतम के आसपास, ग्रेडिएंट वेक्टर अंदर की ओर संकेत करते हैं, जिसके परिणामस्वरूप एक नेगेटिव फ्लक्स (negative flux) होता है। इसलिए, मेमोराइज्ड बिंदुओं में गैर-मेमोराइज्ड बिंदुओं की तुलना में काफी कम (अधिक नकारात्मक) p-Laplace मान होने चाहिए।
स्कोर फंक्शन सन्निकटन (Score Function Approximation): चूँकि वास्तविक स्कोर $s(x) = \nabla \log p(x)$ अज्ञात है, यह विधि सीखे गए डिफ्यूजन मॉडल द्वारा अनुमानित स्कोर फंक्शन $\hat{s}(x)$ का उपयोग करती है।

B. अनुमान तकनीकें (Estimation Techniques)

लेखक सीखे गए स्कोर $\hat{s}(x)$ के आधार पर p-Laplace ऑपरेटर के दो संख्यात्मक सन्निकटन प्रस्तावित करते हैं:

वॉल्यूम इंटीग्रल फॉर्मुलेशन (Volume Integral Formulation): एक बॉल $B_R(x_0)$ पर डाइवर्जेंस (divergence) के औसत के माध्यम से ऑपरेटर का सन्निकटन करता है।
बाउंड्री इंटीग्रल फॉर्मुलेशन (Boundary Integral Formulation - Divergence Theorem): बाउंड्री स्फीयर $\partial B_R(x_0)$ पर फ्लक्स के एकीकरण द्वारा ऑपरेटर का सन्निकटन करता है।
$\Delta_p u(x_0) \approx \frac{1}{|B_R|} \int_{\partial B_R} |\hat{s}(y)|^{p-2} \hat{s}(y) \cdot n \, ds$

C. त्रुटि सीमाएँ (Error Bounds)

लेखक इन एस्टिमेटर्स के लिए सैद्धांतिक त्रुटि सीमाएँ (theoretical error bounds) व्युत्पन्न करते हैं। वे सिद्ध करते हैं कि यदि वास्तविक स्कोर $s$ और सीखे गए स्कोर $\hat{s}$ के बीच की त्रुटि $\delta$ द्वारा सीमित है, और स्कोर नॉर्म्स $m$ और $M$ द्वारा सीमित हैं, तो p-Laplace अनुमान में त्रुटि $p$ , $m$ , $M$ और एकीकरण डोमेन की ज्यामिति पर निर्भर एक स्थिरांक $C_p$ द्वारा सीमित होती है।

D. परिचालन रिजीम (Operational Regime)

यह विश्लेषण "स्मॉल- $\alpha$ " (small- $\alpha$ ) पोस्ट-जनरेशन रिजीम में किया जाता है। इसमें शामिल है:

लेटेंट स्पेस (जैसे, Stable Diffusion का) में कार्य करना।
अंतिम डिनोइजिंग स्टेप्स का उपयोग करना जहाँ शोर (noise) न्यूनतम होता है।
यह सुनिश्चित करता है कि घनत्व (density) डाइवर्जेंस थ्योरम लागू करने के लिए पर्याप्त सुचारू (smooth) है और साथ ही स्थानीय संरचनाओं (आकर्षण बेसिन/attraction basins) के प्रति ज्यामितीय रूप से वफादार है।

3. मुख्य योगदान (Key Contributions)

p-Laplace का नवीन अनुप्रयोग: सीखे गए संभाव्यता वितरण को चित्रित करने और मेमोराइजेशन की पहचान करने के लिए डिफ्यूजन मॉडल स्कोर फंक्शन का उपयोग करके p-Laplace ऑपरेटर का अनुमान लगाने वाला यह पहला कार्य है।
सैद्धांतिक त्रुटि सीमाएँ: सीखे गए स्कोर के उपयोग के साथ p-Laplace ऑपरेटर के अनुमान की त्रुटि पर प्रमाणित गणितीय सीमाएँ, जो विश्वसनीयता की गारंटी प्रदान करती हैं।
इष्टतम पैरामीटर पहचान: व्यापक प्रयोगों के माध्यम से, लेखक प्रदर्शित करते हैं कि $p=1$ (1-Laplace) को बाउंड्री इंटीग्रल फॉर्मुलेशन के साथ जोड़ना सबसे मजबूत दृष्टिकोण है।
- तर्क: 1-Laplace सामान्यीकृत ग्रेडिएंट्स (normalized gradients) पर निर्भर करता है। चूंकि डिफ्यूजन मॉडल स्कोर के परिमाण (magnitude) की तुलना में उसके दिशा (direction) का बेहतर अनुमान लगाते हैं, इसलिए 1-Laplace परिमाण की त्रुटियों को समाप्त कर देता है, जिससे बेहतर प्रदर्शन मिलता है।
प्रॉम्प्ट-अज्ञेयवादी डिटेक्शन (Prompt-Agnostic Detection): यह विधि मूल कंडीशनिंग टेक्स्ट (प्रॉम्प्ट) तक पहुँच के बिना भी पोस्ट-जनरेशन रिजीम में मेमोराइजेशन की सफलतापूर्वक पहचान करती है, जो कि एक महत्वपूर्ण लाभ है।

4. प्रयोगात्मक परिणाम (Experimental Results)

अध्ययन तीन स्तरों पर दृष्टिकोण को मान्य करता है:

सिंथेटिक GMM (Gaussian Mixture Models):
- ज्ञात ग्राउंड ट्रुथ के साथ 2D GMM का उपयोग संख्यात्मक सन्निकटन को मान्य करने के लिए किया गया।
- परिणाम: 1-Laplace बाउंड्री फॉर्मुलेशन ने सबसे कम त्रुटि दर और वास्तविक p-Laplace के प्रति उच्चतम निष्ठा दिखाई।
- मेमोराइजेशन डिटेक्शन: एक प्रशिक्षण बिंदु को कृत्रिम रूप से दोहराकर (एक "स्पाइक" बनाकर), इस विधि ने मेमोराइज्ड बिंदु को सबसे कम पर्सेंटाइल p-Laplace मान वाले एक विशिष्ट आउटलायर के रूप में सफलतापूर्वक पहचाना।
त्रुटि सीमा सत्यापन (Error Bound Verification):
- सेक्शन 3.5 में व्युत्पन्न सैद्धांतिक त्रुटि सीमाओं को अनुभवजन्य रूप से मान्य किया गया। अनुभवजन्य त्रुटियाँ लगातार सैद्धांतिक ऊपरी सीमाओं के नीचे रहीं।
लार्ज-स्केल टेक्स्ट-टू-इमेज (Stable Diffusion v1.4):
- डेटासेट: 500 ज्ञात मेमोराइज्ड प्रॉम्प्ट और 500 गैर-मेमोराइज्ड प्रॉम्प्ट (LLM-जनरेटेड), जिससे ~3,000 छवियां उत्पन्न हुईं।
- तुलना: Wen et al. [69] (जो स्कोर अंतर का उपयोग करते हैं) की अत्याधुनिक विधि के साथ तुलना की गई।
- प्रदर्शन:
  - प्रॉम्प्ट एक्सेस के साथ: प्रस्तावित विधि ने 0.958 का AUC प्राप्त किया, जो प्रतिस्पर्धी (0.957) के बराबर है।
  - बिना प्रॉम्प्ट एक्सेस के (पोस्ट-जनरेशन): प्रस्तावित विधि ने 0.913 का AUC प्राप्त किया, जो प्रतिस्पर्धी (0.502) से काफी बेहतर था, जो प्रॉम्प्ट के बिना विफल हो गया था।
- गुणात्मक (Qualitative): विज़ुअलाइज़ेशन ने मेमोराइज्ड और गैर-मेमोराइज्ड छवियों के बीच 1-Laplace मानों में स्पष्ट अंतर दिखाया।

5. महत्व (Significance)

गोपनीयता और सुरक्षा: जेनरेटिव मॉडल्स में अनपेक्षित डेटा रिसाव का पता लगाने के लिए एक मजबूत उपकरण प्रदान करता है, जो कॉपीराइट अनुपालन और गोपनीयता सुरक्षा के लिए महत्वपूर्ण है।
सैद्धांतिक अंतर्दृष्टि: डिफ्यूजन मॉडल्स में अंतर्निहित (implicitly) सीखे गए संभाव्यता कार्यों की ज्यामिति की समझ को बढ़ाता है, जो मेमोराइजेशन को विशिष्ट विभेदक गुणों (differential properties/p-Laplace values) से जोड़ता है।
व्यावहारिक उपयोगिता: मेमोराइजेशन का पता लगाने की क्षमता मूल प्रॉम्प्ट के बिना इसे वास्तविक दुनिया के परिदृश्यों (जैसे, कंटेंट मॉडरेशन, फोरेंसिक विश्लेषण) में विश्लेषण के बाद उपयोग के लिए उपयुक्त बनाती है।
पद्धतिगत मार्गदर्शन: यह स्थापित करता है कि उच्च-आयामी वितरणों के स्कोर-आधारित विश्लेषण के लिए, परिमाण अनुमान त्रुटियों के प्रति अपरिवर्तनीयता के कारण 1-Laplace बाउंड्री फॉर्मुलेशन पसंदीदा एस्टिमेटर है।