📊 statistics

Global Sketch-Based Watermarking for Diffusion Language Models

यह शोध पत्र मास्क्ड डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक नवीन वैश्विक, क्रम-अज्ञेय (order-agnostic) वॉटरमार्किंग योजना प्रस्तावित करता है जो डिटेक्शन को स्थानीय जेनरेशन कॉन्टेक्स्ट से अलग करने के लिए एक वेक्टर-वैल्यूड स्केच रिप्रेजेंटेशन का उपयोग करता है, जो पारंपरिक ऑटोरेग्रेसिव टोकन-बायस विधियों की तुलना में विशिष्ट लाभ प्रदान करता है।

मूल लेखक: Daniel Zhao

प्रकाशित 2026-06-04

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Daniel Zhao

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप यह साबित करने की कोशिश कर रहे हैं कि एक विशिष्ट पेंटिंग किसी प्रसिद्ध कलाकार द्वारा बनाई गई थी, लेकिन वह पेंटिंग बिल्कुल वैसी ही दिखती है जैसी कि एक उत्कृष्ट कृति (masterpiece) हो सकती है जिसे उन्होंने बनाया होता। AI की दुनिया में, "वॉटरमार्किंग" (watermarking) डिजिटल वॉटरमार्क के समान है जो एक छिपे हुए हस्ताक्षर की तरह कहता है, "यह मैंने बनाया है।"

लंबे समय तक, AI टेक्स्ट जनरेटर एक ऐसे व्यक्ति की तरह काम करते थे जो एक बार में एक शब्द लिखते हुए कहानी लिख रहा हो, बाएं से दाएं। इन शब्दों को वॉटरमार्क करने के लिए, शोधकर्ताओं को पिछले शब्दों के आधार पर अगले शब्द के चुनाव को थोड़ा बदलने (nudge करने) की आवश्यकता होती थी। यह एक गुप्त ब्रेडक्रंब्स (ब्रेड के टुकड़ों) का निशान छोड़ने जैसा था; यदि कोई कुछ शब्दों को मिटा देता या क्रम बदल देता, तो वह निशान टूट जाता और रहस्य खो जाता।

यह पेपर एक नए तरीके को पेश करता है जो डिफ्यूजन लैंग्वेज मॉडल (Diffusion Language Model) नामक एक अलग प्रकार के AI द्वारा उत्पन्न टेक्स्ट को वॉटरमार्क करता है। शब्द-दर-शब्द लिखने के बजाय, ये मॉडल "खाली" स्थानों के एक उलझे हुए ढेर से शुरू होते हैं और पूरे वाक्य को एक साथ धीरे-धीरे भरते हुए उसे परिष्कृत करते हैं।

यहाँ बताया गया है कि लेखकों का नया तरीका कैसे काम करता है, सरल उपमाओं (analogies) का उपयोग करके:

1. "ग्रुप फोटो" बनाम "लोगों की कतार"

पुराना तरीका (Autoregressive): कल्पना कीजिए कि लोगों की एक कतार एक नोट को आगे बढ़ा रही है। प्रत्येक व्यक्ति उस नोट में एक शब्द जोड़ता है जो वे अपने सामने देख रहे हैं। एक रहस्य छिपाने के लिए, आपको पिछले व्यक्ति द्वारा कही गई बात के आधार पर अगले व्यक्ति को एक संकेत फुसफुसाना पड़ता है। यदि आप कतार को बीच से काट दें, तो रहस्य गायब हो जाता है।
नया तरीका (Diffusion): कल्पना कीजिए कि एक डार्करूम में एक ग्रुप फोटो विकसित हो रही है। छवि शोर (static noise) के रूप में शुरू होती है और पूरी तस्वीर धीरे-धीरे स्पष्ट होती जाती है। लेखकों का तरीका यह नहीं देखता कि कौन किसके बगल में खड़ा है; इसके बजाय, यह पूरे समूह को एक एकल इकाई के रूप में देखता है।

2. "स्केच" (गुप्त फिंगरप्रिंट)

इस नए तरीके का मूल आधार है "स्केच" (Sketch)।

टेक्स्ट को एक वाक्य के रूप में नहीं, बल्कि कंचों (marbles) के एक थैले के रूप में सोचें।
"स्केच" उन कंचों को गिनने और उन्हें अलग-अलग रंग की बाल्टियों में डालने का एक गणितीय तरीका है। इसे इस बात से फर्क नहीं पड़ता कि कंचे किस क्रम में हैं (कौन सा शब्द पहले आया), केवल यह कि थैले में कौन से कंचे हैं और उनकी संख्या कितनी है।
लेखक एक विशेष "गुप्त कुंजी" (secret key) का उपयोग करते हैं यह तय करने के लिए कि प्रत्येक शब्द किस बाल्टी में जाएगा। यह एक अद्वितीय वेक्टर (vector) (संख्याओं की एक सूची) बनाता है जो पूरे टेक्स्ट का प्रतिनिधित्व करता है।

3. "चुंबकीय खिंचाव" (वॉटरमार्क कैसे जोड़ा जाता है)

जब AI टेक्स्ट जेनरेट कर रहा होता है (खाली स्थानों को भर रहा होता है), तो यह आमतौर पर उन शब्दों को चुनता है जो अर्थपूर्ण लगते हैं।

लेखक एक "चुंबकीय खिंचाव" (magnetic pull) जोड़ते हैं। वे गणना करते हैं कि वर्तमान टेक्स्ट का "स्केच" किस दिशा में जा रहा है।
फिर वे AI को धीरे से ऐसे शब्द चुनने के लिए प्रेरित करते हैं जो स्केच को एक विशिष्ट, गुप्त दिशा में खींचेंगे (जैसे कि कंपास की सुई उत्तर की ओर इशारा करती है)।
क्योंकि स्केच पूरे टेक्स्ट को देखता है, इसलिए AI को तुरंत पिछले शब्द की चिंता करने की आवश्यकता नहीं होती है। उसे बस यह सुनिश्चित करना है कि शब्दों का अंतिम संग्रह सही दिशा की ओर संकेत करे।

4. यह बेहतर क्यों है (लाभ)

पेपर का दावा है कि इस तरीके में पुराने "लोगों की कतार" वाले तरीकों की तुलना में तीन मुख्य महाशक्तियाँ हैं:

क्रम-निरपेक्ष (Order-Agnostic - शफल प्रूफ): चूंकि स्केच केवल शब्दों के संग्रह की परवाह करता है, न कि उनके क्रम की, इसलिए आप वाक्यों को इधर-उधर कर सकते हैं, कुछ शब्द हटा सकते हैं, या नए शब्द डाल सकते हैं, और फिर भी गुप्त हस्ताक्षर (स्केच की दिशा) पता लगाने योग्य रहेगा। यह एक विशिष्ट गीत को पहचानने जैसा है, भले ही आप उसके बोलों का क्रम बदल दें।
नकली बनाना कठिन (सुरक्षा): पुराने तरीकों में, एक हैकर पैटर्न को समझ सकता था (जैसे, "यदि पिछला शब्द 'the' है, तो अगला शब्द 'cat' होने की संभावना है")। इस नए तरीके में, "धक्का" (nudge) पूरे टेक्स्ट की स्थिति के आधार पर लगातार बदलता रहता है। यह एक कॉम्बिनेशन लॉक की तरह है जिसका कोड हर बार डायल घुमाने पर बदल जाता है, जिससे बिना कुंजी के इसका अनुमान लगाना लगभग असंभव हो जाता है।
प्राकृतिक ध्वनि (गुणवत्ता): लेखक गणितीय रूप से सिद्ध करते हैं कि वे इस गुप्त संकेत को जोड़ने के बाद भी AI को रोबोटिक बनाए बिना या कहानी का अर्थ बदले बिना ऐसा कर सकते हैं। यह पानी में एक सूक्ष्म, अदृश्य रंग मिलाने जैसा है; पानी दिखने और स्वाद में वैसा ही रहता है, लेकिन आप विशेष परीक्षण से रंग का पता लगा सकते हैं।

5. इसका पता कैसे लगाएं

टेक्स्ट को चेक करने के लिए, आपको इसे ध्यान से पढ़ने की आवश्यकता नहीं है। आपको बस टेक्स्ट को गुप्त कुंजी का उपयोग करके "स्केच" मशीन के माध्यम से चलाना होगा।

यदि परिणामी संख्याओं की सूची गुप्त दिशा में मजबूती से संकेत देती है, तो टेक्स्ट को AI-जनरेटेड के रूप में चिह्नित किया जाता है।
यदि यह यादृच्छिक (randomly) संकेत देती है, तो यह संभवतः मानव-लिखित है (या वॉटरमार्क हटा दिया गया है)।

सारांश

लेखकों ने AI टेक्स्ट को पहचानने के लिए एक नया उपकरण बनाया है। शब्दों के अनुक्रम (sequence) में एक रहस्य छिपाने के बजाय (जो कि नाजुक है), वे इसे पूरे टेक्स्ट के वैश्विक सांख्यिकी (global statistics) में छिपाते हैं (जो कि मजबूत है)। यह किसी पुस्तक की एक विशिष्ट पंक्ति में संदेश छिपाने के बजाय पूरी पुस्तक के कुल वजन में संदेश छिपाने जैसा है; आप पन्ने फाड़ सकते हैं या अध्याय पुनर्व्यवस्थित कर सकते हैं, लेकिन कुल वजन अभी भी रहस्य प्रकट कर देगा।

तकनीकी सारांश: डिफ्यूजन लैंग्वेज मॉडल्स के लिए ग्लोबल स्केच-आधारित वॉटरमार्किंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) का तीव्र प्रसार डेटा प्रदूषण और दुरुपयोग को कम करने के लिए मानव-लिखित पाठ से मॉडल-जनरेटेड सामग्री को अलग करने के लिए विश्वसनीय तरीकों की आवश्यकता पैदा करता है। जबकि ऑटोरेग्रेसिव (AR) मॉडल्स के लिए वॉटरमार्किंग का अच्छी तरह से अध्ययन किया गया है, मौजूदा योजनाएं महत्वपूर्ण सीमाओं का सामना करती हैं। AR वॉटरमार्क्स आमतौर पर पिछले टोकन्स के आधार पर अगले-टोकन वितरण को बाधित करने वाले लोकल-कॉन्टेक्स्ट स्कीम्स पर निर्भर करते हैं। यह दृष्टिकोण वॉटरमार्क सिग्नल को विशिष्ट सैंपलिंग पाथ (लेफ्ट-राइट फिल्ट्रेशन) से बांध देता है, जिससे सिग्नल को जनरेशन प्रक्रिया से अलग करना कठिन हो जाता है। इसके अलावा, AR वॉटरमार्क्स अक्सर सुरक्षात्मक कमजोरियों (जैसे, कॉन्टेक्स्ट-कंडीशन्ड रेगुलरिटी द्वारा अनकीड (unkeyed) उपयोगकर्ताओं द्वारा पता लगाया जा सकना) और संपादन (इंसर्शन, डिलीशन, रीऑर्डरिंग) के विरुद्ध खराब मजबूती (robustness) से ग्रस्त होते हैं क्योंकि वे अनुक्रमिक टोकन क्रम (sequential token ordering) पर निर्भर करते हैं।

डिफ्यूजन लैंग्वेज मॉडल्स (DLMs), विशेष रूप से मास्क वेरिएंट, एक अलग जेनेरेटिव प्रतिमान (paradigm) प्रदान करते हैं जहाँ टोकन्स को क्रमिक रूप से (sequentially) के बजाय साथ मिलकर (simultaneously) डीनोइज़ किया जाता है। यह सभी अनसुलझे स्थानों (unresolved positions) पर मार्जिनल डिस्ट्रीब्यूशन तक पहुंच प्रदान करता है, जो ग्लोबल कंट्रोल रणनीतियों को सक्षम बनाता है जो AR मॉडल्स के लिए कम्प्यूटेशनल रूप से असंभव हैं। हालाँकि, DLMs के लिए प्रभावी वॉटरमार्किंग स्कीम्स अभी भी कम खोजी गई हैं।

कार्यप्रणाली (Methodology)
लेखक एक मास्क डिफ्यूजन लैंग्वेज मॉडल के लिए स्केच-आधारित वॉटरमार्क का प्रस्ताव करते हैं। AR विधियों के विपरीत, जो संदर्भ के आधार पर स्थानीय टोकन वितरण को पक्षपाती (bias) बनाती हैं, यह दृष्टिकोण संपूर्ण टेक्स्ट सीक्वेंस के ग्लोबल, वेक्टर-वैल्यूड स्केच रिप्रेजेंटेशन को नियंत्रित करता है।

टेक्स्ट स्केच (Count-Sketch): विधि एक काउंट-स्केच फंक्शन, $H(y)$ का उपयोग करती है, जो एक टेक्स्ट सीक्वेंस $y$ को एक परिमित-आयामी वास्तविक वेक्टर स्पेस में मैप करता है। यह स्केच एक एडिटिव स्टैटिस्टिक है: $H(y) = \sum \phi(y_j)$ । स्केच का निर्माण एक गुप्त कुंजी $k$ का उपयोग करके किया जाता है जिसमें हैश और साइन फंक्शन के लिए एक स्केच की ( $k_{sk}$ ) और एक टारगेट वेक्टर $u_k$ के लिए एक डायरेक्शन की ( $k_{dir}$ ) शामिल है।
डिटेक्शन स्कोर: डिटेक्टर स्कोर $S_k(y)$ की गणना स्केच और टारगेट डायरेक्शन के बीच डॉट प्रोडक्ट के आधार पर करता है, जिसे स्केच नॉर्म (norm) द्वारा दंडित किया जाता है:
$S_k(y) := 2\langle u_k, h_k(y) \rangle - \lambda \|h_k(y)\|_2^2$
यह स्कोर तब अधिकतम होता है जब स्केच टारगेट डायरेक्शन $u_k/\lambda$ के साथ संरेखित (align) होता है।
स्कोर-ग्रेडिएंट के माध्यम से एम्बेडिंग: DLM की डीनोइजिंग प्रक्रिया के दौरान, मॉडल के मास्क किए गए स्थानों के मार्जिनल डिस्ट्रीबशन्स को बायस (bias) किया जाता है। यह बायस वर्तमान अपेक्षित स्केच ( $\hat{h}_{k,t}$ $\hat{h}_{k, t}$ ) पर इवैल्यूएटेड डिटेक्टर स्कोर के ग्रेडिएंट द्वारा निर्धारित होता है।
- क्योंकि स्केच एडिटिव है, किसी भी स्टेप $t$ पर अपेक्षित स्केच को फुल जॉइंट डिस्ट्रीब्यूशन की आवश्यकता के बिना कंडीशनल मार्जिनल्स से प्राप्त किया जा सकता है।
- बायस दिशा "रेसिड्यूअल ग्रेडिएंट" $r_{k,t} = u_k - \lambda \hat{h}_{k,t}$ है।
- मार्जिनल्स को इस दिशा के आधार पर एक्सपोनेंशियल टिल्टिंग (exponentially tilted) किया जाता है: $\tilde{p}_i^{(t)}(v) \propto p_i^{(t)}(v) \exp\{\eta_t a_{k,t}(v)\}$ , जहाँ $a_{k,t}(v)$ टोकन के फीचर मैप का रेसिड्यूअल ग्रेडिएंट पर प्रोजेक्शन है।
प्रमुख गुण: यह फॉर्मूलेशन डिटेक्शन को लोकल कॉन्टेक्स्ट से अलग करता है, जिसके परिणामस्वरूप एक ऑर्डर-अगनोस्टिक (order-agnostic) स्टैटिस्टिक प्राप्त होता है। वॉटरमार्किंग नियम एक सरल, स्टैटिक टोकन बायस के रूप में प्रकट नहीं होता है, बल्कि एक डायनेमिक, स्टेट-डिपेंडेंट एडजस्टमेंट के रूप में होता है।

मुख्य योगदान और सैद्धांतिक परिणाम
पेपर प्रस्तावित स्कीम का सैद्धांतिक विश्लेषण प्रदान करता है, जो तीन प्राथमिक गुणों को सिद्ध करता है:

KL डिस्टॉर्शन डिकंपोजिशन: लेखक डीनोइजिंग पाथ के साथ कुलबैक-लीब्लर (KL) डिस्टॉर्शन के लिए एक चेन रूल को सिद्ध करते हैं (थ्योरम 5.1)। वे दिखाते हैं कि कुल डिस्टॉर्शन प्रत्येक स्टेप के डिस्टॉर्शन का योग है। इसके अलावा, वे प्रदर्शित करते हैं कि प्रस्तावित एक्सपोनेंशियल टिल्टिंग एक कॉमन स्लोप $\eta_t$ के साथ लोकल KL-ऑप्टिमल है (प्रपोजिशन 5.2)। इसका अर्थ है कि विधि न्यूनतम डिस्टॉर्शन के साथ वांछित स्कोर गेन प्राप्त करती है, और स्कोर में उच्च स्थानीय वेरिएंस वाले स्थान स्वाभाविक रूप से अधिक सिग्नल ले जाते हैं (कोरोलरी 5.3)।
की-रैंडमाइज्ड साउंडनेस (Key-Randomized Soundness): थ्योरम 5.4 डिटेक्टर के लिए एक साउंडनेस बाउंड स्थापित करता है। यह सिद्ध करता है कि की (key) से स्वतंत्र किसी भी अनवॉटरमार्क्ड टेक्स्ट के लिए, फॉल्स पॉजिटिव की संभावना एक्सपोनेंशियल रूप से सीमित है। नॉर्म पेनल्टी ( $\lambda$ ) को यह दिखाने के लिए दिखाया गया है कि यह बड़े स्केच को फॉल्स पॉजिटिव ट्रिगर करने से रोकता है।
एडिट्स के प्रति मजबूती (Robustness to Edits): पेपर एडिट्स (सबस्टीट्यूशन, इंसर्शन, डिलीशन) के प्रति स्कोर की संवेदनशीलता का विश्लेषण करता है। लेम्मा 5.6 और थ्योरम 5.7 बाउंड प्रदान करते हैं जो दिखाते हैं कि स्कोर एडिट्स (लेवेनश्टीन डिस्टेंस) के साथ रैखिक रूप से घटता है। यह सुझाव देता है कि वॉटरमार्क पोस्ट-जनरेशन एडिटिंग के विरुद्ध मजबूत है, क्योंकि डिटेक्शन पावर को कम करने के लिए टोकन के महत्वपूर्ण बदलावों की आवश्यकता होगी।

महत्व और दावे
पेपर इस कार्य को डिफ्यूजन मॉडल्स के लिए वॉटरमार्किंग की एक नई श्रेणी के प्रारंभिक परिचय के रूप में प्रस्तुत करता है। इसका महत्व निम्नलिखित में निहित है:

लोकल कॉन्टेक्स्ट से अलगाव: एक ग्लोबल स्केच का उपयोग करके, विधि AR मॉडल्स की "सिंगल-पास कंट्रोल बॉटलनेक" से बचती है, जिससे टोकन्स को तुरंत फिक्स किए बिना सीक्वेंस-लेवल कंट्रोल संभव होता है।
ऑर्डर-अगनोस्टिक डिटेक्शन: वॉटरमार्क क्रम (order) से बंधा हुआ नहीं है, जो AR स्कीम्स की तुलना में रीऑर्डरिंग हमलों के विरुद्ध बेहतर मजबूती प्रदान कर सकता है।
सैद्धांतिक आधार: यह कार्य DLMs में स्केच-आधारित दृष्टिकोण के लिए डिस्टॉर्शन, साउंडनेस और एडिट सेंसिटिविटी के विशिष्ट विश्लेषण के साथ पहला कठोर विश्लेषण प्रदान करता है।

लेखक अपने कार्य को "प्रारंभिक" (preliminary) के रूप में वर्णित करते हैं, जो विधि के व्यापक एम्पिरिकल बेंचमार्क्स के बजाय इसके सैद्धांतिक गुणों (डिस्टॉर्शन, साउंडनेस, मजबूती) पर ध्यान केंद्रित करता है। वे नोट करते हैं कि स्कीम DLMs की नेटिव ज्योमेट्री का लाभ उठाती है ताकि उन कंट्रोल रणनीतियों को सक्षम किया जा सके जो ऑटोरेग्रेसिव मॉडल्स के लिए उपलब्ध नहीं हैं।