🤖 machine learning

dgMARK: Decoding-Guided Watermarking for Diffusion Language Models

यह शोध पत्र dgMARK को प्रस्तुत करता है, जो डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक प्लग-एंड-प्ले वॉटरमार्किंग विधि है, जो विभिन्न टेक्स्ट एडिटिंग ऑपरेशन्स के विरुद्ध मजबूती सुनिश्चित करने के लिए पेरिटी-प्रतिबंधित कैंडिडेट चयन (parity-constrained candidate selection) के माध्यम से पता लगाने योग्य संकेतों को एम्बेड करने के लिए उनके टोकन अनमास्किंग ऑर्डर के प्रति संवेदनशीलता का लाभ उठाता है।

मूल लेखक: Pyo Min Hong, Albert No

प्रकाशित 2026-06-01

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Pyo Min Hong, Albert No

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ dgMARK पेपर का सरल भाषा में अनुवाद दिया गया है, जिसमें रचनात्मक उपमाओं (analogies) का उपयोग किया गया है।

बड़ी समस्या: "यह किसने लिखा?"

लार्ज लैंग्वेज मॉडल्स (LLMs) को अविश्वसनीय रूप से प्रतिभाशाली 'घोस्टराइटरों' (ghostwriters) के रूप में कल्पना करें। वे ऐसी कहानियाँ, कोड और निबंध लिख सकते हैं जो बिल्कुल इंसानों द्वारा लिखे गए लगते हैं। लेकिन यह एक समस्या पैदा करता है: यदि कोई बुरा व्यक्ति इन मॉडल्स का उपयोग फर्जी खबरें या फिशिंग ईमेल लिखने के लिए करता है, तो हमें कैसे पता चलेगा कि इसे किसी इंसान ने नहीं लिखा?

हमें टेक्स्ट को टैग करने के तरीके की आवश्यकता है ताकि हम यह साबित कर सकें, "हे, यह कंप्यूटर द्वारा लिखा गया है।" इसे वॉटरमार्किंग (watermarking) कहा जाता है।

पुराना तरीका बनाम नया तरीका

अधिकांश वर्तमान वॉटरमार्किंग विधियाँ एक पक्षपाती सिक्के के उछाल (biased coin flip) की तरह काम करती हैं।

उपमा: कल्पना करें कि एक शेफ (AI) है जो आमतौर पर उन सामग्रियों को चुनता है जो स्वाद में सबसे अच्छी होती हैं। पुराना वॉटरमार्किंग तरीका शेफ को एक "हरा" घटक (जैसे एक विशिष्ट प्रकार की मिर्च) 60% बार चुनने के लिए मजबूर करता है, भले ही एक "लाल" घटक (जैसे टमाटर) स्वाद में बेहतर होता।
दोष: यह व्यंजन के स्वाद को बदल देता है। टेक्स्ट थोड़ा रोबोटिक या कम गुणवत्ता वाला लग सकता है क्योंकि AI को एक गुप्त कोड छिपाने के लिए अप्राकृतिक विकल्प चुनने के लिए मजबूर किया जा रहा है।

नया तरीका: dgMARK (द "ट्रैफिक कंट्रोलर")

यह पेपर dgMARK पेश करता है, एक नई विधि जिसे विशेष रूप से एक नए प्रकार के AI, जिसे डिफ्यूजन लैंग्वेज मॉडल्स (dLLMs) कहा जाता है, के लिए डिज़ाइन किया गया है।

डिफ्यूजन मॉडल क्या है?
पुराने "ऑटोरिग्रेसिव" (Autoregressive) मॉडल्स के विपरीत, जो वाक्यों को सख्ती से बाएं से दाएं लिखते हैं (एक टाइपिस्ट की तरह), डिफ्यूजन मॉडल्स एक पहेली सुलझाने वाले (puzzle solver) की तरह होते हैं।

वे प्रश्न चिह्नों (masks) से भरे एक खाली पन्ने से शुरुआत करते हैं।
वे शब्दों को एक-एक करके भरते हैं, लेकिन वे उन्हें किसी भी क्रम में भर सकते हैं। वे पहले आखिरी शब्द भर सकते हैं, फिर पहला शब्द, फिर बीच का शब्द।

गुप्त अंतर्दृष्टि (Secret Insight)
लेखकों ने महसूस किया कि जबकि इन मॉडल्स को सैद्धांतिक रूप से इस बात से कोई फर्क नहीं पड़ना चाहिए कि वे किस क्रम में शब्दों को प्रकट करते हैं, वास्तव में, वे क्रम के प्रति संवेदनशील होते हैं। जिस क्रम में वे खाली जगहों को भरते हैं, वह अंतिम परिणाम को थोड़ा बदल देता है।

उपमा: ट्रैफिक कंट्रोलर (The Traffic Controller)
शेफ को एक विशिष्ट सामग्री चुनने के लिए मजबूर करने के बजाय (जो स्वाद बदल देता है), dgMARK एक ट्रैफिक कंट्रोलर की तरह कार्य करता है।

AI पन्ने के सभी खाली स्थानों को देखता है और कहता है, "मैं यहाँ 'बिल्ली' रख सकता हूँ, या वहाँ 'कुत्ता' रख सकता हूँ।"
ट्रैफिक कंट्रोलर (dgMARK) का एक गुप्त नियम है: "यदि आपके द्वारा चुना गया शब्द एक गुप्त पैटर्न (जैसे पैरिटी चेक) से मेल खाता है, तो आप पहले जा सकते हैं।"
AI अभी भी उस स्थान के लिए सबसे अच्छा शब्द चुनता है (स्वाद नहीं बदलता), लेकिन पन्ने पर शब्द दिखने का क्रम गुप्त नियम द्वारा सूक्ष्म रूप से निर्देशित होता है।

गुप्त कोड कैसे काम करता है

यह "गुप्त नियम" पैरिटी (parity) (विषम बनाम सम संख्या) नामक एक सरल गणितीय ट्रिक पर आधारित है।

कल्पना करें कि AI एक वाक्य भर रहा है। प्रत्येक स्थिति (पहला शब्द, दूसरा शब्द, आदि) के लिए, "अनुमोदित" शब्दों की एक गुप्त सूची है।
यदि AI तीसरे शब्द को भरना चाहता है, और वह शब्द जो वह चाहता है तीसरे स्थान के लिए "अनुमोदित" सूची में है, तो dgMARK कहता है, "बहुत बढ़िया! इसे अभी भर दो!"
यदि वह शब्द सूची में नहीं है, तो AI कुछ क्षण प्रतीक्षा कर सकता है और पहले किसी अन्य स्थान को भर सकता है।

एक पूरे पैराग्राफ के दौरान, यह एक सांख्यिकीय पैटर्न बनाता है। यदि आप टेक्स्ट की जांच करते हैं, तो आप पाएंगे कि शब्द उन स्थानों पर दिखाई देते हैं जो रैंडम चांस (random chance) की तुलना में गुप्त पैटर्न से अधिक मेल खाते हैं। यह ऐसा है जैसे ताश की गड्डी को सूक्ष्म रूप से इस तरह से फेंटा गया हो कि हर चौथा कार्ड हमेशा एक 'हार्ट' (Heart) हो।

यह बेहतर क्यों है?

कोई स्वाद परिवर्तन नहीं (No Flavor Change): क्योंकि AI अभी भी काम के लिए सबसे अच्छा शब्द चुनता है, इसलिए टेक्स्ट पहले की तरह ही स्वाभाविक और उच्च गुणवत्ता वाला लगता है। पेपर दिखाता है कि "परप्लेक्सिटी" (टेक्स्ट कितना भ्रमित करने वाला है, इसका एक माप) में बहुत कम बदलाव आता है।
हटाना कठिन है: यदि कोई टेक्स्ट को संपादित करने की कोशिश करता है (शब्द जोड़ना, हटाना या बदलना), तो "ट्रैफिक कंट्रोलर" का तर्क एक फिंगरप्रिंट छोड़ देता है। पेपर इन पैटर्न को खोजने के लिए एक स्लाइडिंग विंडो (sliding window) डिटेक्टर का उपयोग करता है (जैसे चलते हुए आवर्धक लेंस के माध्यम से टेक्स्ट को देखना), भले ही टेक्स्ट को संपादित किया गया हो।
प्लग-एंड-प्ले: यह AI के मौजूदा सोचने के तरीके के साथ काम करता है। आपको मॉडल को फिर से प्रशिक्षित करने की आवश्यकता नहीं है; आप बस डिकोडिंग प्रक्रिया के ऊपर यह "ट्रैफिक कंट्रोलर" लेयर जोड़ देते हैं।

परिणाम

लेखकों ने कई उन्नत मॉडल्स (जैसे LLaDA और Dream) पर इसका परीक्षण किया।

पता लगाने की क्षमता (Detectability): वे वॉटरमार्क्ड टेक्स्ट की पहचान बहुत उच्च सटीकता के साथ कर सके, भले ही टेक्स्ट को संपादित या पैराफ्रेज़ (paraphrased) किया गया हो।
गुणवत्ता (Quality): वॉटरमार्क्ड टेक्स्ट की गुणवत्ता गैर-वॉटरमार्क्ड टेक्स्ट से लगभग अविभेदनीय थी।
मजबूती (Robustness): यदि कोई वॉटरमार्क को छिपाने के लिए टेक्स्ट को "पैराफ्रेज़" (पुनर्लेखन) करने की कोशिश करता है, तो भी यह विधि प्रभावी रहती है, विशेष रूप से "लुकअहेड" (lookahead) फीचर का उपयोग करने पर (जहाँ AI पैटर्न को जारी रखने के लिए एक कदम आगे की योजना बनाता है)।

सारांश

dgMARK शब्दों के प्रकट होने के क्रम को व्यवस्थित करके AI टेक्स्ट को वॉटरमार्क करने का एक चतुर तरीका है, न कि AI को विशिष्ट शब्द चुनने के लिए मजबूर करना। यह एक ऑर्केस्ट्रा का संचालन करने जैसा है: आप संगीतकारों को गलत नोट बजाने के लिए नहीं कहते (जो संगीत को खराब कर देता है); आप बस उन्हें बताते हैं कि वे अपने सर्वश्रेष्ठ नोट्स कब बजाएं ताकि लय एक गुप्त, पता लगाने योग्य पैटर्न का पालन करे।

तकनीकी सारांश: dgMARK – डिफ्यूजन लैंग्वेज मॉडल्स के लिए डिकोडिंग-गाइडेड वॉटरमार्किंग

समस्या विवरण
लार्ज लैंग्वेज मॉडल्स (LLMs) दुष्प्रचार, साहित्यिक चोरी और कॉपीराइट उल्लंघन के संबंध में महत्वपूर्ण जोखिम प्रस्तुत करते हैं, जिसके लिए मशीन-जनरेटेड टेक्स्ट और मानव-लिखित सामग्री के बीच अंतर करने के लिए विश्वसनीय प्रोवेनेंस (उत्पत्ति संबंधी) उपकरणों की आवश्यकता है। जबकि वॉटरमार्किंग एक व्यावहारिक समाधान है, मौजूदा विधियाँ मुख्य रूप से ऑटो-रिग्रेसिव मॉडल्स (ARMs) के लिए डिज़ाइन की गई हैं जो टेक्स्ट को सख्ती से बाएँ-से-दाएँ (left-to-right) जनरेट करते हैं। ये विधियाँ आमतौर पर सिग्नल को एम्बेड करने के लिए टोकन संभावनाओं (जैसे, "ग्रीन/रेड" लिस्ट पार्टिशनिंग) को पक्षपाती बनाती हैं। हालाँकि, डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स (dLLMs) अलग तरह से कार्य करते हैं: वे मास्क किए गए अनुक्रमों को पुनरावृत्ति (iteratively) के माध्यम से डीनॉइज़ करते हैं और टोकन को मनमाने क्रम में अंतिम रूप दे सकते हैं। dLLMs में, ARMs द्वारा आवश्यक "पिछला टोकन" संदर्भ अक्सर डिकोडिंग के दौरान परिभाषित नहीं होता है, जिससे पारंपरिक प्रोबेबिलिटी-बायसिंग वॉटरमार्क्स अप्रभावी हो जाते हैं या उन्हें जटिल अनुकूलन की आवश्यकता होती है जो मॉडल के आउटपुट वितरण को बदल देते हैं। इसके अलावा, जबकि आदर्श dLLMs को ऑर्डर-इनवेरिएंट (क्रम-निरपेक्ष) होना चाहिए, व्यावहारिक मॉडल डिकोडिंग क्रम के प्रति संवेदनशीलता प्रदर्शित करते हैं, जो वॉटरमार्किंग के लिए एक अनउपयोगित अंतराल बनाता है।

कार्यप्रणाली: dgMARK
लेखक dgMARK (डिकोडिंग-गाइडेड वॉटरमार्किंग) का प्रस्ताव करते हैं, जो एक ऐसी विधि है जो मॉडल की सीखी हुई टोकन संभावनाओं को पुनर्वेटेड करने के बजाय डिकोडिंग क्रम को निर्देशित करके वॉटरमार्क एम्बेड करती है। मूल धारणा यह है कि dLLMs प्रत्येक चरण में उच्च-पुरस्कार वाले कैंडिडेट टोकन चुनते हैं; dgMARK इस तथ्य का लाभ उठाते हुए उन अनवेल्ड (unrevealed) स्थितियों को प्राथमिकता देता है जहाँ कैंडिडेट टोकन एक विशिष्ट पैरिटी कंस्ट्रेंट (parity constraint) को संतुष्ट करता है।

पैरिटी कंस्ट्रेंट (Parity Constraint): एक गुप्त कुंजी $\xi$ के दिए जाने पर, एक डिटरमिनिस्टिक हैश फंक्शन $f(v, \xi)$ प्रत्येक टोकन $v$ को एक बाइनरी मान में मैप करता है। डिकोडिंग स्थिति $i$ के लिए, "मैचिंग सेट" $G_i$ उन टोकन्स को समाहित करता है जहाँ $f(v, \xi) \equiv i \pmod 2$ है।
डिकोडिंग रणनीति: डिकोडिंग प्रक्रिया के दौरान, एल्गोरिदम सभी अनवेल्ड स्थितियों के लिए कैंडिडेट टोकन्स की पहचान करता है। यह उन स्थितियों $j$ को प्राथमिकता देता है जहाँ अनुमानित टोकन $v_j$ मैचिंग सेट $G_j$ से संबंधित है। इन वैध उम्मीदवारों में से, अनमास्किंग के लिए उस स्थिति को चुना जाता है जिसमें उच्चतम रिवॉर्ड (अंतर्निहित डिकोडिंग रणनीति, जैसे कॉन्फिडेंस, एंट्रॉपी, या मार्जिन के आधार पर) होता है। यदि कोई भी कैंडिडेट पैरिटी कंडीशन को संतुष्ट नहीं करता है, तो सिस्टम मानक चयन प्रक्रिया पर वापस आ जाता है।
वन-स्टेप लुकअहेड (One-Step Lookahead): भविष्य के पैरिटी-मैचिंग अवसरों को समाप्त करने से बचने के लिए, dgMARK वन-स्टेप लुकअहेड के साथ टॉप- $k$ बीम सर्च का उपयोग करने वाला एक वेरिएंट प्रदान करता है। यह वेरिएंट यह मूल्यांकन करता है कि यदि एक विशिष्ट टोकन को प्रतिबद्ध किया जाता है, तो कितने भविष्य के स्थान पैरिटी-एलाइन रहेंगे, और उस पथ का चयन करता है जो भविष्य के संरेखण (alignment) को अधिकतम करता है।
डिटेक्शन (Detection): डिटेक्शन पैरिटी-मैचिंग दर के सांख्यिकीय परीक्षण पर निर्भर करता है। चूंकि हैश फंक्शन संतुलित है, गैर-वॉटरमार्क वाले टेक्स्ट में मैचिंग दर 0.5 के करीब होनी चाहिए। वॉटरमार्क वाले टेक्स्ट में काफी अधिक दर देखी जाती है। पोस्ट-एडिटिंग (इंसर्शन, डिलीशन, सब्स्टीट्यूशन) के विरुद्ध मजबूती सुनिश्चित करने के लिए, डिटेक्टर एक स्लाइडिंग-विंडो दृष्टिकोण का उपयोग करता है, जो इंडेक्स शिफ्ट को संभालने के लिए ओवरलैपिंग विंडोज़ के माध्यम से $z$ -सांख्यिकी को एकत्रित करता है।

प्रमुख योगदान

ऑर्डर-एग्नोस्टिक वॉटरमार्किंग: dgMARK dLLMs में वॉटरमार्किंग के प्राथमिक चैनल के रूप में डिकोडिंग क्रम का उपयोग करने वाली पहली विधि है, जो टोकन संभावनाओं में प्रत्यक्ष संशोधन से बचती है।
प्लग-एंड-प्ले कम्पैटिबिलिटी: यह विधि मौजूदा डिकोडिंग रणनीतियों (कॉन्फिडेंस, एंट्रॉपी, मार्जिन-आधारित) के चारों ओर एक रैपर के रूप में कार्य करती है और इसके लिए मॉडल को फिर से प्रशिक्षित करने या इसके आंतरिक मापदंडों को बदलने की आवश्यकता नहीं होती है।
मजबूती (Robustness): स्लाइडिंग-विंडो डिटेक्शन तंत्र यह सुनिश्चित करता है कि पैराफ्रेसिंग सहित महत्वपूर्ण टेक्स्ट संशोधनों के बाद भी वॉटरमार्क पता लगाने योग्य बना रहे।
गुणवत्ता संरक्षण: टोकन प्रोबेबिलिटी डिस्ट्रीब्यूशन (logits) को स्पष्ट रूप से बायस न करके, dgMARK प्रोबेबिलिटी-शिफ्टिंग बेसलाइन्स की तुलना में टेक्स्ट की गुणवत्ता में गिरावट को न्यूनतम करने का लक्ष्य रखता है।

प्रायोगिक परिणाम
लेखकों ने अत्याधुनिक dLLMs (LLaDA, LLaDA 1.5, LLaDA 2.0, Dream) का उपयोग करके C4 और राइटिंग प्रॉम्प्ट्स (Writing Prompts) जैसे बेंचमार्क डेटासेट्स पर dgMARK का मूल्यांकन किया।

डिटेक्टेबिलिटी (Detectability): dgMARK मजबूत डिटेक्टेबिलिटी प्राप्त करता है। 3-बीम सर्च लुकअहेड के साथ, यह C4 डेटासेट पर 0.01% फॉल्स पॉजिटिव रेट (FPR) पर लगभग 100% ट्रू पॉजिटिव रेट (TPR) तक पहुँचता है, जो KGW (Kirchenbauer et al., 2023) और PATTERN-MARK जैसे बेसलाइन्स की तुलना में बेहतर या उनके बराबर है।
टेक्स्ट क्वालिटी: यह विधि टेक्स्ट की गुणवत्ता में न्यूनतम गिरावट लाती है। परप्लेक्सिटी (PPL) में वृद्धि KGW और PATTERN-MARK में देखे गए स्तरों की तुलना में लगातार कम है। डाउनस्ट्रीम बेंचमार्क प्रदर्शन (MMLU, GSM8K, HumanEval) में केवल मामूली गिरावट आती है, जिसमें dgMARK आम तौर पर प्रोबेबिलिटी-बायसिंग विधियों की तुलना में क्षमता को बेहतर ढंग से संरक्षित करता है।
मजबूती (Robustness): 40% तक के मॉडिफिकेशन बजट के साथ टोकन-लेवल हमलों (इंसर्शन, डिलीशन, सब्स्टीट्यूशन) के तहत, dgMARK उच्च AUC स्कोर बनाए रखता है। यह विशेष रूप से बीम सर्च के साथ मिलकर, DIPPER और Llama 3 का उपयोग करने वाले पैराफ्रेसिंग हमलों के खिलाफ लचीलापन भी प्रदर्शित करता है।
स्केलेबिलिटी: डिटेक्टेबिलिटी अनुक्रम की लंबाई के साथ सुधरती है, जो इस विधि को लॉन्ग-फॉर्म जनरेशन कार्यों के लिए विशेष रूप से प्रभावी बनाती है।

महत्व और दावे
पेपर का दावा है कि dgMARK डिकोडिंग ऑर्डर को dLLMs के लिए एक व्यावहारिक और पूरक वॉटरमार्किंग चैनल के रूप में स्थापित करता है। लेखक जोर देते हैं कि उनका दृष्टिकोण मौजूदा प्रतिमानों पर एक विशिष्ट लाभ प्रदान करता है: यह मॉडल के सीखे हुए कंडीशनल प्रोबेबिलिटीज को सीधे विकृत किए बिना विश्वसनीय प्रोवेनेंस प्राप्त करता है। यह कार्य इस बात को उजागर करता है कि व्यावहारिक dLLMs की अंतर्निहित ऑर्डर-सेंसिटिविटी, जिसे अक्सर एक सीमा या साइड इफेक्ट के रूप में देखा जाता है, को सुरक्षा के लिए एक कंट्रोल नॉब के रूप में उपयोग किया जा सकता है। लेखक विनम्रतापूर्वक नोट करते हैं कि विधि की प्रभावशीलता वर्तमान मॉडल्स की अनुभवजन्य अपूर्णता (अर्थात, उनकी डिकोडिंग ऑर्डर के प्रति संवेदनशीलता) पर निर्भर करती है, यह स्वीकार करते हुए कि एक पूरी तरह से प्रशिक्षित, ऑर्डर-इनवेरिएंट dLLM सैद्धांतिक रूप से इस विशिष्ट वॉटरमार्किंग दृष्टिकोण को अप्रभावी बना देगा। फिर भी, वर्तमान और निकट भविष्य के dLLMs के लिए, dgMARK कंटेंट प्रोवेनेंस के लिए एक मजबूत, कम-विकृति वाला समाधान प्रदान करता है।