💻 computer science

Diffusion Model Attribution via Spectral Coupling of Denoiser Responses

यह शोध पत्र स्पेक्ट्रल डिनोइजिंग सिग्नेचर (SDS) प्रस्तुत करता है, जो एक गैर-आक्रामक एट्रिब्यूशन विधि है जो प्रत्येक मॉडल के अद्वितीय स्पेक्ट्रल ज्योमेट्री को उसके डिनोइजिंग व्यवहार में फिंगरप्रिंट करके डिफ्यूजन-जनरेटेड छवियों के स्रोत की पहचान करती है, और बिना किसी इनवर्जन या ऑप्टिमाइजेशन के विविध आर्किटेक्चर और प्रशिक्षण स्थितियों में उच्च सटीकता प्राप्त करती है।

मूल लेखक: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

प्रकाशित 2026-06-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pragati Shuddhodhan Meshram, Varun Chandrasekaran

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आपके पास कला का एक विशाल पुस्तकालय है, लेकिन हर पेंटिंग नग्न आंखों को बिल्कुल एक जैसी ही दिखती है। आप केवल अंतिम चित्र को देखकर यह नहीं बता सकते कि वह पेंटिंग "कलाकार A" द्वारा बनाई गई थी या "कलाकार B" द्वारा। AI की दुनिया में, यह डिफ्यूजन मॉडल्स (Diffusion Models) के साथ होने वाली समस्या है। ये वे इंजन हैं जो स्टेबल डिफ्यूजन (Stable Diffusion) जैसे टूल्स के पीछे काम करते हैं जो टेक्स्ट से इमेज बनाते हैं। भले ही दो अलग-अलग AI मॉडल को अलग-अलग फोटो के सेट पर प्रशिक्षित किया गया हो, वे अक्सर इतनी समान तरह से पेंट करना सीख जाते हैं कि उनके अंतिम चित्र एक दूसरे से अभिन्न (indistinguishable) हो जाते हैं।

यह पेपर एक नए जासूसी उपकरण स्पेक्ट्रल डिनॉयजिंग सिग्नेचर (Spectral Denoising Signatures - SDS) को पेश करता है ताकि इस रहस्य को सुलझाया जा सके। यह कैसे काम करता है, यहाँ सरल भाषा में समझाया गया है:

समस्या: "तैयार पेंटिंग" एक मृत अंत (Dead End) है

मौजूदा अधिकांश विधियाँ कलाकार की पहचान करने के लिए तैयार पेंटिंग (जेनरेट की गई इमेज) को देखने की कोशिश करती हैं।

दोष: यदि दो कलाकार एक ही प्रकार के कैनवास और पेंट (एक ही अंतर्निहित "ऑटोएन्कोडर" तकनीक) का उपयोग करते हैं, तो उनकी तैयार पेंटिंग्स सांख्यिकीय रूप से एक जैसी दिखती हैं। यह बिल्कुल वैसा ही है जैसे यह बताने की कोशिश करना कि केक दो अलग-अलग बेकर्स द्वारा बनाया गया था जिन्होंने ठीक एक ही रेसिपी और ओवन का उपयोग किया था; केक खुद आपको कोई सुराग नहीं देता।
पुराना तरीका: कुछ विधियाँ पेंटिंग को वापस कच्चे माल (इसे "इनवर्जन" कहा जाता है) में बदलने की कोशिश करती हैं; यह धीमा है, गणनात्मक रूप से महंगा है, और पूरी तरह विफल हो जाता है यदि बेकर्स ने एक ही ओवन का उपयोग किया हो।

समाधान: "डिनॉयजिंग" प्रक्रिया को सुनना

लेखकों ने महसूस किया कि रहस्य अंतिम इमेज में नहीं है, बल्कि इस बात में है कि कलाकार शोर (noise) को साफ करके उसे कैसे बनाता है।

एक डिफ्यूजन मॉडल को एक मूर्तिकार की तरह समझें जो शोर से भरे मिट्टी के ब्लॉक से शुरुआत करता है। अंतिम मूर्ति प्राप्त करने के लिए, मूर्तिकार को चरण-दर-चरण शोर को हटाना पड़ता है।

अंतर्दृष्टि: भले ही दो मूर्तिकार अंततः एक ही मूर्ति बना दें, लेकिन वे मिट्टी को थोड़े अलग पैटर्न में छील सकते हैं। एक बहुत बारीक विवरणों (हाई फ्रीक्वेंसी) के साथ बहुत सावधानी से काम कर सकता है, जबकि दूसरा पहले बड़े आकार (लो फ्रीक्वेंसी) पर ध्यान केंद्रित कर सकता है।
"स्पेक्ट्रल" वाला हिस्सा: लेखक इन "छीलने के पैटर्न" को ध्वनि तरंगों की तरह मानते हैं। वे शोर को विभिन्न "फ्रीक्वेंसी" (जैसे संगीत में बास, मिड-रेंज और ट्रेबल) में विभाजित करते हैं।

SDS कैसे काम करता है: "फ्रीक्वेंसी प्रोब"

इमेज के तैयार होने का इंतज़ार करने के बजाय, SDS विधि एक ट्यूनिंग फोर्क या सोनार की तरह काम करती है जो मूर्तिकार को काम करते समय ही थपथपाती है।

सेटअप: सिस्टम एक मानक इमेज लेता है और उसे "लेटेंट" कोड (इमेज का एक संकुचित संस्करण) में बदल देता है।
टैप (स्पर्श): यह एक विशिष्ट फ्रीक्वेंसी बैंड में बहुत कम, नियंत्रित मात्रा में "शोर" इंजेक्ट करता है (जैसे मूर्तिकार के कान में एक विशिष्ट स्वर फुसफुसाना)।
प्रतिक्रिया: यह AI मॉडल से उसके सफाई (डिनॉयजिंग) की प्रक्रिया का केवल एक स्टेप करने के लिए कहता है।
फिंगरप्रिंट: सिस्टम मापता है कि उस शोर की विशेष फुसफुसाहट कैसे बिखरी। क्या शोर बास रेंज में ही रहा? क्या यह ट्रेबल में कूद गया? क्या यह गायब हो गया?
- प्रत्येक AI मॉडल का शोर को इधर-उधर ले जाने के तरीके में एक अनूठा "व्यक्तित्व" होता है। यह मूवमेंट पैटर्न ही स्पेक्ट्रल डिनॉयजिंग सिग्नेचर है।

यह क्यों एक गेम चेंजर है

पुनः प्रशिक्षण (Re-training) की आवश्यकता नहीं: आपको AI को संशोधित करने या उसमें कोई गुप्त वॉटरमार्क जोड़ने की आवश्यकता नहीं है। आप बस उससे एक प्रश्न पूछते हैं और उत्तर सुनते हैं।
यह "जुड़वा" मॉडल्स पर भी काम करता है: पेपर में इसका परीक्षण लगभग समान मॉडल्स (जैसे स्टेबल डिफ्यूजन v1.4 और v1.5, जो 99% कोड साझा करते हैं) पर किया गया है। भले ही वे बिल्कुल एक जैसी दिखने वाली इमेज बनाते हों, लेकिन उनके "छीलने के पैटर्न" (स्पेक्ट्रल ज्योमेट्री) इतने अलग थे कि SDS उन्हें 99.9% सटीकता के साथ पहचान सका।
यह मजबूत (Robust) है: भले ही आप अंतिम इमेज को धुंधला (blur) कर दें, क्रॉप कर दें, या उसकी ब्राइटनेस बदल दें, "फिंगरप्रिंट" बरकरार रहता है क्योंकि फिंगरप्रिंट इस बारे में है कि मॉडल कैसे सोचता है, न कि तस्वीर कैसी दिखती है।

मुख्य निष्कर्ष

यह पेपर सिद्ध करता है कि AI मॉडल की पहचान करने के लिए, आपको आउटपुट (तस्वीर) को नहीं देखना चाहिए; आपको प्रक्रिया (कि वह शोर को कैसे साफ करता है) को देखना चाहिए।

AI के आंतरिक "सफाई" व्यवहार को एक अद्वितीय संगीत वाद्ययंत्र की तरह मानकर, लेखकों ने एक ऐसा तरीका बनाया है जो विश्वसनीय रूप से कह सकता है, "यह इमेज मॉडल X द्वारा बनाई गई थी," भले ही मॉडल X और मॉडल Y हमारी आँखों को बिल्कुल एक जैसे दिखते हों। यह एक गायक को उनके द्वारा गाए गए गाने से नहीं, बल्कि एक गाना गाने से पहले उनके गले साफ करने के अनूठे तरीके से पहचानने जैसा है।

तकनीकी सारांश: डिनोइज़र रिस्पॉन्स के स्पेक्ट्रल कपलिंग के माध्यम से डिफ्यूजन मॉडल एट्रिब्यूशन

1. समस्या विवरण (Problem Statement)

यह शोध पत्र डिफ्यूजन मॉडल एट्रिब्यूशन (diffusion model attribution) की चुनौती को संबोधित करता है: यह निर्धारित करना कि किसी दिए गए चित्र को किस विशिष्ट डिफ्यूजन मॉडल ने बनाया है। यह प्रोवेनेंस वेरिफिकेशन (provenance verification), बौद्धिक संपदा संरक्षण और दुरुपयोग का पता लगाने के लिए महत्वपूर्ण है।

मुख्य कठिनाई इस तथ्य में निहित है कि विभिन्न डेटासेट्स पर प्रशिक्षित डिफ्यूजन मॉडल अक्सर समान स्कोर फंक्शन (score functions) की ओर अभिसरित (converge) होते हैं, जिससे दृश्य रूप से अविभेद्य (indistinguishable) आउटपुट उत्पन्न होते हैं। फलस्वरूप, केवल जेनरेटेड इमेजेस (आउटपुट-स्पेस सिग्नल्स) पर निर्भर एट्रिब्यूशन विधियाँ अंतर्निहित अस्पष्टता का सामना करती हैं:

क्लासिफायर-आधारित विधियाँ (Classifier-based methods): वे आर्किटेक्चरल रूप से समान वेरिएंट्स के बीच अंतर करने में संघर्ष करती हैं जो दृश्य रूप से समान आउटपुट उत्पन्न करते हैं।
इनवर्जन-आधारित विधियाँ (Inversion-based methods): (जैसे RONAN, LATENTTRACER) रिकंस्ट्रक्शन लॉस पर निर्भर करती हैं। जब उम्मीदवार मॉडल एक ही ऑटोएन्कोडर (VAE) साझा करते हैं, तो ये लॉस सूचनात्मक नहीं रह जाते, जिससे ये विधियाँ रैंडम चांस (random chance) पर गिर जाती हैं।
इनवेसिव विधियाँ (Invasive methods): (जैसे वॉटरमार्किंग) के लिए मॉडल संशोधन या रिट्रेनिंग की आवश्यकता होती है, जो जनरेशन की गुणवत्ता को कम करती है और मौजूदा ओपन-सोर्स मॉडल्स पर लागू नहीं होती है।

यह शोध पत्र प्रतिपादित करता है कि विभेदक सिग्नल (discriminative signal) जेनरेटेड आउटपुट में नहीं, बल्कि स्वयं डिनोइजिंग फंक्शन (denoising function) में, विशेष रूप से इसकी स्पेक्ट्रल ज्योमेट्री (spectral geometry) में निहित है।

2. कार्यप्रणाली: स्पेक्ट्रल डिनोइज़िंग सिग्नेचर (SDS)

लेखक स्पेक्ट्रल डिनोइज़िंग सिग्नेचर (Spectral Denoising Signatures - SDS) प्रस्तावित करते हैं, जो एक गैर-आक्रामक (non-invasive) एट्रिब्यूशन विधि है जो आउटपुट का विश्लेषण करने के बजाय इसके डिनोइजिंग व्यवहार को प्रोब (probe) करके मॉडल का फिंगरप्रिंट बनाती है।

मुख्य अंतर्दृष्टि (Core Insight)

एक मॉडल का डिनोइज़िंग स्कोर फंक्शन एक विशिष्ट स्पेक्ट्रल ज्योमेट्री (spectral geometry) प्रदर्शित करता है, जो इस बात में झलकता है कि वह डिनोइज़िंग प्रक्रिया के दौरान स्थानिक आवृत्ति बैंडों (spatial frequency bands) में ऊर्जा को कैसे पुनर्वितरित करता है। यह व्यवहार मॉडल के सीखे हुए स्कोर फंक्शन के प्रति आंतरिक है और जनरेशन के लिए उपयोग किए जाने वाले विशिष्ट प्रॉम्प्ट या नॉइज़ सीड से स्वतंत्र है।

SDS पाइपलाइन

मानकीकरण (Standardization): यह सुनिश्चित करने के लिए कि सिग्नेचर मॉडल की पहचान को दर्शाते हैं न कि आर्टिफ़ेक्ट्स को, सभी उम्मीदवार मॉडल इनपुट इमेज को एक सुसंगत लेटेंट स्पेस ( $z_0$ ) में एनकोड करने के लिए एक साझा VAE और एक साझा शेड्यूलर का उपयोग करते हैं। प्रॉम्प्ट-डिपेंडेंट सिग्नल्स को हटाने के लिए खाली टेक्स्ट एम्बेडिंग्स के साथ प्रोबिंग की जाती है।
स्पेक्ट्रल पार्टीशनिंग (Spectral Partitioning): लेटेंट स्पेस के फ्रीक्वेंसी प्लेन को $K$ संकेंद्रित रेडियल रिंग्स (concentric radial rings) में विभाजित किया गया है। रिंग 0 लो-फ्रीक्वेंसी (ग्लोबल स्ट्रक्चर) को कवर करती है, जबकि रिंग $K-1$ हाई-फ्रीक्वेंसी (फाइन टेक्सचर) को कवर करती है।
फ्रीक्वेंसी-कंट्रोल्ड प्रोबिंग (Frequency-Controlled Probing):
- इंजेक्शन (Injection): एक चुने हुए टाइमस्टेप $t$ पर एक विशिष्ट फ्रीक्वेंसी रिंग $k$ में बैंड-लिमिटेड नॉइज़ ( $\eta^{(k)}$ ) इंजेक्ट की जाती है।
- डिनोइज़र क्वेरी (Denoiser Query): नॉइज़ प्रेडिक्ट करने के लिए डिनोइज़र $\hat{\epsilon}_\theta(z_t, t, \emptyset)$ को क्वेरी किया जाता है।
- रेसिड्यूअल एनालिसिस (Residual Analysis): रेसिड्यूअल $r = \hat{\eta} - \eta^{(k)}$ की गणना की जाती है। इस रेसिड्यूअल की ऊर्जा को सभी आउटपुट फ्रीक्वेंसी रिंग्स $j$ में मापा जाता है।
- कपलिंग मैट्रिक्स (Coupling Matrix): इससे एक कपलिंग मैट्रिक्स $C \in \mathbb{R}^{K \times K}$ प्राप्त होता है, जहाँ $C[k, j]$ यह मात्रा निर्धारित करता है कि रिंग $k$ में इंजेक्ट की गई ऊर्जा को डिनोइज़र द्वारा रिंग $j$ में कैसे रूट किया जाता है। यह मैट्रिक्स डिनोइज़र के जैकोबियन (Jacobian) का एक प्रोजेक्शन है।
सिग्नेचर एग्रीगेशन (Signature Aggregation):
- कई परटर्बेशन एम्पलीट्यूड ( $S$ ) और डिनोइज़िंग ट्रेजेक्टरी को कवर करने वाले कई टाइमस्टेप्स ( $T_n$ ) में माप लिए जाते हैं।
- परिणामी कपलिंग मैट्रिसेस को कॉन्कैटिनेट और फ्लैटन करके एक हाई-डायमेंशनल सिग्नेचर वेक्टर $\Phi(M, z_0)$ बनाया जाता है।
- प्रोटोटाइप निर्माण (Prototype Construction): प्रत्येक मॉडल के लिए, $N$ रेफरेंस इमेजेस के सिग्नेचर्स का औसत लेकर एक प्रोटोटाइप सिग्नेचर $\Psi(M)$ बनाया जाता है। कंटेंट-डिपेंडेंट स्केल वेरिएशंस को हटाने के लिए रो-नॉर्मलाइजेशन (Row normalization) लागू किया जाता है।
पहचान (Identification): एक क्वेरी इमेज को एनकोड किया जाता है, इसके सिग्नेचर को प्रोब किया जाता है, और फिर नेयरेस्ट-प्रोटोटाइप मैच (argmin) या एक प्रशिक्षित लीनियर क्लासिफायर (LinearSVC) का उपयोग करके स्टोर किए गए प्रोटोटाइप के साथ तुलना की जाती है।

3. प्रमुख योगदान (Key Contributions)

SDS फ्रेमवर्क: एक गैर-आक्रामक एट्रिब्यूशन विधि जो केवल स्टैंडर्ड फॉरवर्ड पासेज के माध्यम से इसके स्पेक्ट्रल ज्योमेट्री को प्रोब करती है, जिसमें किसी इनवर्जन, ऑप्टिमाइजेशन या मॉडल मॉडिफिकेशन की आवश्यकता नहीं होती है।
इंट्रिंसिक मॉडल सिग्नेचर: यह प्रदर्शन कि स्पेक्ट्रल कपलिंग सिग्नेचर मॉडल-इंट्रिंसिक, डिस्टॉर्शन-रोबस्ट और ट्रेनिंग डेटा, आर्किटेक्चर और ट्रेनिंग प्रक्रियाओं के विविधताओं के बीच भेदभावपूर्ण (discriminative) हैं।
बेसलाइन फेल्योर मोड्स का समाधान: यह प्रमाण कि डिनोइज़र को सीधे प्रोब करना मौजूदा इनवर्जन-आधारित बेसलाइन्स की मौलिक विफलता को हल करता है जब मॉडल एक ही ऑटोएन्कोडर साझा करते हैं।

4. प्रयोगात्मक परिणाम (Experimental Results)

विधि का मूल्यांकन आठ विविध डिफ्यूजन मॉडल्स (जिसमें SD v1.4/v1.5, SDXL, PixArt-α और फाइन-ट्यून्ड वेरिएंट्स शामिल हैं) के क्लोज्ड-सेट टास्क पर किया गया, जिनमें अलग-अलग ट्रेनिंग डेटा, आर्किटेक्चर और ट्रेनिंग प्रक्रियाएं थीं।

एट्रिब्यूशन सटीकता (Attribution Accuracy): SDS ने एक LinearSVC क्लासिफायर का उपयोग करके आठ मॉडल्स के लिए ≈99.9% सटीकता प्राप्त की। इसने SD v1.4 और SD v1.5 के बीच सफलतापूर्वक अंतर किया (जो लगभग सभी वेट्स और एक ही VAE साझा करते हैं), एक ऐसा मामला जहाँ आउटपुट-आधारित फीचर्स पूरी तरह विफल रहे।
क्रॉस-डोमेन जनरलाइजेशन (Cross-Domain Generalization): जब SD-Prompts से बनाए गए प्रोटोटाइप्स का परीक्षण MS-COCO प्रॉम्प्ट्स से जेनरेट की गई इमेजेस पर किया गया, तो LinearSVC ने 96.2% सटीकता बनाए रखी, जो केवल 3.8 प्रतिशत अंक की गिरावट है। यह दर्शाता है कि सिग्नेचर काफी हद तक मॉडल-इंट्रिंसिक हैं न कि प्रॉम्प्ट-डिपेंडेंट।
मजबूती (Robustness): SDS पोस्ट-प्रोसेसिंग डिस्टॉर्शन (रोटेशन, JPEG कम्प्रेशन, क्रॉपिंग, ब्राइटनेस स्केलिंग, नॉइज़ और ब्लर) के खिलाफ अत्यधिक मजबूत रहा। हालांकि पिक्सेल-स्पेस डिस्टॉर्शन ने इमेज क्वालिटी को काफी कम कर दिया, लेकिन स्पेक्ट्रल रूटिंग सिग्नेचर बरकरार रहा, जिसमें गंभीर नॉइज़ और ब्लर के तहत भी LinearSVC ने >90% सटीकता प्राप्त की।
बेसलाइन तुलना (Baseline Comparison):
- RONAN और LATENTTRACER (इनवर्जन-आधारित) एक ही VAE साझा करने वाले पांच मॉडल्स के लिए ~20–27% सटीकता (लगभग रैंडम चांस के करीब) पर गिर गए।
- SDS ने इन्हीं मॉडल्स पर 100% सटीकता प्राप्त की, जो सबसे अच्छे बेसलाइन (LATENTTRACER) से 55 प्रतिशत अंक और सबसे चुनौतीपूर्ण मॉडल पेयर्स पर RONAN से 70 प्रतिशत अंक बेहतर प्रदर्शन करता है।

5. महत्व और दावे (Significance and Claims)

शोध पत्र का दावा है कि मॉडल की पहचान डिनोइज़र के जैकोबियन की स्पेक्ट्रल ज्योमेट्री में एनकोडेड है, न कि इसके जेनरेटेड आउटपुट्स में। यह खोज एट्रिब्यूशन के लिए एक सिद्धांत आधारित आधार स्थापित करती है जो विशिष्ट ऑटोएन्कोडर के उपयोग से स्वतंत्र है।

व्यावहारिकता (Practicality): SDS के लिए केवल स्टैंडर्ड फॉरवर्ड पासेज की आवश्यकता होती है, जिससे यह बिना रिट्रेनिंग या वॉटरमार्किंग के मौजूदा विशाल ओपन-सोस डिफ्यूजन मॉडल्स के इकोसिस्टम के लिए लागू करने योग्य बन जाता है।
मौलिक अंतर्दृष्टि (Fundamental Insight): यह कार्य प्रदर्शित करता है कि भले ही मॉडल विजुअली समान स्कोर फंक्शन की ओर अभिसरित होते हैं, वे यह पहचानने में विशिष्ट "स्पेक्ट्रल फिंगरप्रिंट" बनाए रखते हैं कि वे फ्रीक्वेंसी बैंड्स में ऊर्जा को कैसे रूट करते हैं।
सीमाएं (Limitations): लेखक स्वीकार करते हैं कि SDS वर्तमान में एक क्लोज्ड-सेट सेटिंग में काम करता है (स्रोत मॉडल रजिस्ट्री में होना चाहिए) और इसके लिए कैंडिडेट मॉडल वेट्स के व्हाइट-बॉक्स एक्सेस की आवश्यकता होती है (हालांकि यह ओपन-सोर्स मॉडल्स के लिए संतुष्ट है)। यह जनरेशन के बाद होने वाली छेड़छाड़ (tampering) का पता नहीं लगाता है।

संक्षेप में, यह शोध पत्र तर्क देता है कि इस पर ध्यान केंद्रित करके कि मॉडल क्या जेनरेट करता है, इसके बजाय कि वह कैसे डिनोइज़ करता है, एक विश्वसनीय, गैर-आक्रामक एट्रिब्यूशन प्राप्त किया जा सकता है, यहाँ तक कि सबसे चुनौतीपूर्ण परिदृश्यों में भी जहाँ मॉडल समान आर्किटेक्चर और ऑटोएन्कोडर साझा करते हैं।