🤖 AI

Watermarking Discrete Diffusion Language Models

यह शोध पत्र डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक विरूपण-मुक्त (distortion-free), हाइपरपैरामीटर-मुक्त वॉटरमार्किंग पद्धति प्रस्तुत करता है जो घातांकीय रूप से घटती फॉल्स पॉजिटिव दरों के साथ विश्वसनीय पहचान सक्षम करने के लिए एक वितरण-संरक्षण (distribution-preserving) गमबेल-मैक्स सैंपलिंग ट्रिक का उपयोग करता है।

मूल लेखक: Avi Bagchi, Akhil Bhimaraju, Moulik Choraria, Daniel Alabi, Lav R. Varshney

प्रकाशित 2026-02-16

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Avi Bagchi, Akhil Bhimaraju, Moulik Choraria, Daniel Alabi, Lav R. Varshney

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "Watermarking Discrete Diffusion Language Models" पेपर का स्पष्टीकरण दिया गया है, जिसे सरल अवधारणाओं और रचनात्मक उपमाओं (analogies) में विभाजित किया गया है।

बड़ी तस्वीर: "AI बनाम मानव" का रहस्य

कल्पना कीजिए कि इंटरनेट एक विशाल पुस्तकालय है। लंबे समय तक, हमें पता था कि हर किताब किसने लिखी है: एक मानव लेखक। लेकिन अब, AI एजेंट भी किताबें लिख रहे हैं। समस्या क्या है? वे इतने अच्छे हो गए हैं कि किसी कहानी को पढ़कर यह बताना असंभव है कि वह इंसान ने लिखी है या AI ने।

यह खतरनाक है। बुरे तत्व AI का उपयोग फर्जी खबरें फैलाने, झूठ बोलने या भविष्य के AI को प्रशिक्षित करने के लिए उपयोग किए जाने वाले डेटा को दूषित करने के लिए कर सकते हैं। हमें एक ऐसा तरीका चाहिए जिससे हम कह सकें, "हे, यह किताब एक रोबोट द्वारा लिखी गई है," बिना कहानी को बदले या उसे रोबोटिक बनाए।

समाधान: एक "वॉटरमार्क" (Watermark)। ठीक वैसे ही जैसे एक बैंक नोट में एक छिपा हुआ सुरक्षा धागा होता है, हम AI टेक्स्ट में एक गुप्त संकेत छिपाना चाहते हैं जिसे इंसान देख नहीं सकते, लेकिन एक कंप्यूटर आसानी से पहचान सकता है।

चुनौती: नए प्रकार के AI को नए वॉटरमार्क्स की आवश्यकता है

कुछ समय से, अधिकांश AI टेक्स्ट ऑटोरिग्रेसिव मॉडल्स (Autoregressive Models) (जैसे मूल ChatGPT) द्वारा बनाया जाता रहा है। ये मॉडल शब्द-दर-शब्द लिखते हैं, जैसे कोई व्यक्ति वाक्य टाइप कर रहा हो। शोधकर्ताओं ने पहले ही यह पता लगा लिया है कि इन्हें कैसे वॉटरमार्क किया जाए, जैसे कि टाइपिंग प्रक्रिया के दौरान चुपके से कुछ शब्दों (जैसे "ग्रीन लिस्ट" के शब्द) को प्राथमिकता देना।

लेकिन एक नया, तेज़ प्रकार का AI उभर रहा जिसे डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स (DDLMs) कहा जाता है।

उपमा: कल्पना कीजिए कि एक ऑटोरिग्रेसिव मॉडल एक मूर्तिकार की तरह है जो एक बार में एक पत्थर तराश कर मूर्ति बनाता है।
DDLM की उपमा: एक डिफ्यूजन मॉडल कोहरे के बादल जैसा है। यह एक खाली, धुंधले ढेर (सभी "मास्क" टोकन) के रूप में शुरू होता है और धीरे-धीरे साफ होता जाता है। हर चरण में, यह अनुमान लगाता है कि पूरी तस्वीर कैसी दिखनी चाहिए, फिर उन हिस्सों को मिटा देता है जिनके बारे में वह सबसे कम निश्चित है, और इस प्रक्रिया को तब तक दोहराता है जब तक कि छवि स्पष्ट न हो जाए।

पुराना "ग्रीन लिस्ट" वॉटरमार्क यहाँ अच्छी तरह काम नहीं करता क्योंकि AI एक समय में एक शब्द नहीं लिख रहा है; वह एक साथ पूरे वाक्य का अनुमान लगा रहा है, और वह भी बार-बार।

पेपर का समाधान: "गंबेल-मैक्स" (Gumbel-Max) ट्रिक

लेखकों (एवी बागची और सहयोगियों) ने इन "कोहरा-साफ करने वाले" मॉडल्स को वॉटरमार्क करने का एक नया तरीका ईजाद किया है। वे इसे गंबेल-मैक्स सैंपलिंग ट्रिक कहते हैं।

यह कैसे काम करता है (जादुई सिक्का उछालना)

पुराना तरीका (पक्षपाती): कल्पना कीजिए कि आप एक शब्द चुनने के लिए पासा (die) फेंक रहे हैं। इसे वॉटरमार्क करने के लिए, आप गुप्त रूप से नंबर "6" पर कागज का एक टुकड़ा चिपका सकते हैं ताकि वह कभी न आए, या आप "ग्रीन लिस्ट" के नंबरों को भारी बना सकते हैं।
- समस्या: यह खेल को बदल देता है। टेक्स्ट थोड़ा अजीब या दोहराव वाला लग सकता है क्योंकि आपने AI को कुछ शब्दों से बचने के लिए मजबूर किया है।
नया तरीका (निष्पक्ष): लेखक कहते हैं, "आइए खेल को बिल्कुल न बदलें। आइए बस यह बदलें कि पासा कैसे फेंका जाता है।"
- वे एक गणितीय ट्रिक (Gumbel-max) का उपयोग करते हैं जो यह सुनिश्चित करती है कि AI ठीक वही शब्द चुने जो वह वैसे भी चुनता। मूल संभाव्यता वितरण (probability distribution) 100% समान रहता है।
- उपमा: कल्पना कीजिए कि आप ताश की गड्डी से एक कार्ड चुन रहे हैं। पुराने तरीके में, आप सभी लाल कार्डों को हटा देते हैं। नए तरीके में, आप सभी कार्ड रखते हैं, लेकिन जब आप एक चुनते हैं, तो आप एक विशेष सिक्का उछालते हैं। यदि सिक्का "हेड्स" कहता है, तो आप कार्ड का मान सामान्य रूप से लिखते हैं। यदि यह "टेल्स" कहता है, तो आप उसे एक गुप्त कोड में लिखते हैं। आपने जो कार्ड चुना है वह वही है, लेकिन उस चुनाव का रिकॉर्ड गुप्त कोड ले जाता है।

"सीड" (Seed) रणनीति: एड्रेस बुक

यह सुनिश्चित करने के लिए कि डिटेक्टर बाद में वॉटरमार्क को ढूंढ सके, लेखकों को यह जानने की आवश्यकता है कि कौन से "सिक्के उछालने" हुए थे।

समस्या: डिफ्यूजन मॉडल्स में, AI सभी शब्द एक ही समय में उत्पन्न करता है। यहाँ निर्भर करने के लिए कोई "पहला शब्द, दूसरा शब्द" का क्रम नहीं है।
समाधान: वे शब्द की स्थिति (position) को एक गुप्त कुंजी के रूप में उपयोग करते हैं।
- उपमा: कल्पना कीजिए कि वाक्य के हर शब्द का एक मेलबॉक्स नंबर है (पोजीशन 1, पोजीशन 2, आदि)। AI उस विशिष्ट स्थान के लिए एक अनूठा रैंडम नंबर उत्पन्न करने के लिए मेलबॉक्स नंबर का उपयोग करता है।
- जब एक डिटेक्टर यह जांचना चाहता है कि टेक्स्ट वॉटरमार्क किया गया है या नहीं, तो वह पोजीशन 1 के शब्द को देखता है, उसी रैंडम नंबर को उत्पन्न करता है (क्योंकि वह नियम जानता है), और देखता है कि क्या गणित मेल खाता है।

यह पेपर एक बड़ी बात क्यों है?

लेखकों ने अपने तरीके का परीक्षण एक शीर्ष-स्तरीय AI मॉडल, LLaDA पर किया। यहाँ उन्हें क्या मिला:

इंसानों के लिए अदृश्य (विकृति-मुक्त): क्योंकि उन्होंने AI को "ग्रीन लिस्ट" के शब्द चुनने के लिए मजबूर नहीं किया, इसलिए टेक्स्ट पहले की तरह ही स्वाभाविक लगता है। यह एक पेंटिंग में बिना एक भी ब्रशस्ट्रोक बदले वॉटरमार्क जोड़ने जैसा है।
पहचानने में आसान: गणित सिद्ध करता है कि यदि टेक्स्ट पर्याप्त लंबा है, तो डिटेक्टर लगभग पूर्ण सटीकता के साथ वॉटरमार्क को पकड़ सकता है। गलत अलार्म की संभावना तेजी से घटती है (जैसे ढलान से लुढ़कता हुआ बर्फ का गोला छोटा होता जा रहा हो)।
कोई ट्यूनिंग आवश्यक नहीं: पुराने तरीकों के लिए शोधकर्ताओं को "डिटेक्टेबल" और "नेचुरल" के बीच सही संतुलन खोजने के लिए घंटों तक नॉब्स (हाइपरपैरामीटर्स) को ट्यून करने की आवश्यकता होती थी। यह नया तरीका बिना किसी बदलाव के काम करता है। आप इसे बस चालू कर देते हैं।
मजबूत (Robust): भले ही कोई टेक्स्ट के पहले कुछ शब्दों को हटा दे (वॉटरमार्क छिपाने की एक सामान्य चाल), डिटेक्टर अभी भी सिग्नल को ढूंढ सकता है क्योंकि वह हर संभावित शुरुआती बिंदु की जांच करता है।

निष्कर्ष

यह पेपर एक नए प्रकार के अदृश्य स्याही के आविष्कार जैसा है जो एक पूरी तरह से नए प्रकार के प्रिंटर पर काम करता है।

पहले: हमें प्रिंटर की सेटिंग्स के साथ छेड़छाड़ करनी पड़ती थी ताकि स्याही दिखाई दे, जिससे कभी-कभी प्रिंट की गुणवत्ता खराब हो जाती थी।
अब: हमारे पास एक ऐसा तरीका है जो प्रिंटर की प्राकृतिक सेटिंग्स के साथ पूरी तरह से काम करता है। स्याही नग्न आंखों के लिए अदृश्य है, लेकिन एक विशेष स्कैनर इसे तुरंत ढूंढ सकता है, और टेक्स्ट 100% परफेक्ट दिखता है।

यह डिजिटल दुनिया को ईमानदार रखने की दिशा में एक महत्वपूर्ण कदम है, यह सुनिश्चित करना कि हम हमेशा जान सकें कि जब एक "कोहरा-साफ करने वाला" AI लिख रहा हो।

यहाँ शोध पत्र "Watermarking Discrete Diffusion Language Models" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

AI एजेंटों की तीव्र तैनाती के लिए AI-जनित सामग्री को मानव-लिखित पाठ से अलग करने के लिए मजबूत तंत्र की आवश्यकता है ताकि गलत सूचना को रोका जा सके और डेटा अखंडता की रक्षा की जा सके। जबकि ऑटोरिग्रेसिव लार्ज लैंग्वेज मॉडल्स (LLMs) (जैसे GPT श्रृंखला) और सतत इमेज डिफ्यूजन मॉडल्स के लिए वॉटरमार्किंग तकनीकें अच्छी तरह से स्थापित हैं, वे डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स (DDLMs) के लिए काफी हद तक अनछुए क्षेत्र बने हुए हैं।

DDLMs (जैसे LLaDA) अपने उच्च इन्फरेंस थ्रूपुट और समानांतर पीढ़ी क्षमताओं के कारण लोकप्रियता प्राप्त कर रहे हैं। हालाँकि, ऑटोरिग्रेसिव मॉडल्स के लिए मौजूदा वॉटरमार्किंग विधियाँ सीधे DDLMs पर लागू नहीं होती हैं क्योंकि:

जनरेशन तंत्र (Generation Mechanism): ऑटोरिग्रेसिव मॉडल टोकन को क्रमिक रूप से (sequentially) उत्पन्न करते हैं, जिससे वॉटरमार्क पिछले टोकन पर निर्भर हो सकते हैं। DDLMs डिफ्यूजन स्टेप्स के माध्यम से समानांतर में टोकन उत्पन्न करते हैं, जिसमें इस प्रकार की क्रमिक निर्भरता का अभाव होता है।
ट्रेड-ऑफ दुविधा (Trade-off Dilemma): पारंपरिक "ग्रीन-लिस्ट" वॉटरमार्किंग (मॉडल को विशिष्ट शब्दावली टोकन पसंद करने के लिए पक्षपाती बनाना) डिटेक्टेबिलिटी (पूर्णता) और टेक्स्ट क्वालिटी (विकृति) के बीच एक समझौता पैदा करती है। डिफ्यूजन मॉडल्स में इस पक्षपात को लागू करने के लिए विशिष्ट डिफ्यूजन स्टेप्स को वॉटरमार्क करना आवश्यक होता है, जो प्रक्रिया को जटिल बनाता है और अक्सर वॉटरमार्क की शक्ति बढ़ने के साथ टेक्स्ट की गुणवत्ता को कम कर देता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नवीन, डिस्ट्रीब्यूशन-प्रिजर्विंग (वितरण-संरक्षण) वॉटरमार्किंग योजना प्रस्तावित करते हैं जो मूल टोकन वितरण को विकृत किए बिना प्रत्येक डिफ्यूजन स्टेप पर कार्य करती है।

मुख्य तकनीक: पोजीशनल सीडिंग के साथ Gumbel-Max सैंपलिंग

लॉगिट्स को पक्षपाती बनाने के बजाय (जैसा कि ग्रीन-लिस्ट विधियों में होता है), लेखक Gumbel-max trick का उपयोग करके स्वयं सैंपलिंग प्रक्रिया को संशोधित करते हैं।

सैंपलिंग नियम: प्रत्येक डिफ्यूजन स्टेप $t$ पर और प्रत्येक टोकन स्थिति $i$ के लिए, मॉडल एक विक्षेपित स्कोर (perturbed score) को अधिकतम करके एक टोकन का नमूना लेता है:
$\text{Select } x_i = \arg\max_{v \in \mathcal{V}} \left( \ln(r_{i,v}) + \ln(p_\theta(v | x_t)) \right)$
जहाँ $r_{i,v}$ एक यूनिफॉर्म डिस्ट्रीब्यूशन $Unif[0, 1] $से लिया गया एक रैंडम वेरिएबल है, और$ p_\theta$ मॉडल की अनुमानित संभावना है।
सैद्धांतिक गारंटी: लेखक सिद्ध करते हैं (प्रमेय 1) कि यह सैंपलिंग नियम मूल संभाव्यता वितरण $p_\theta$ को सुरक्षित रखता है। इसलिए, वॉटरमार्क डिस्टॉर्शन-फ्री (विकृति-मुक्त) है; जनित पाठ सांख्यिकीय रूप से बिना वॉटरमार्क वाले पाठ के समान ही है।
सीडिंग रणनीति (Seeding Strategy): डिटेक्शन को सक्षम करने के लिए, रैंडमनेस $r_{i,v}$ को अनुक्रम स्थिति $i$ और एक गुप्त ऑफसेट $s$ के आधार पर सीड किया जाता है। विशेष रूप से, सीड $(i + s) \mod m$ है। यह डिटेक्टर को सटीक वही रैंडम वैल्यू पुन: उत्पन्न करने की अनुमति देता है जो जनरेशन के दौरान उपयोग की गई थीं, बशर्ते कि उसे सीड पैरामीटर्स का पता हो।
डिटेक्शन एल्गोरिदम: डिटेक्टर सभी संभावित ऑफसेट्स $s$ $s$ के माध्यम से पुनरावृत्ति करता है ताकि उस संरेखण (alignment) को खोजा जा सके जो डिटेक्शन स्कोर को अधिकतम करता है। स्कोर की गणना अनुक्रम के माध्यम से $-\ln(1 - r_{i, x_i})$ $- ln (1 - r_{i, x_{i}})$ के औसत के रूप में की जाती है।
- बिना वॉटरमार्क वाले पाठ के लिए, स्कोर 1 के आसपास केंद्रित होता है।
- वॉटरमार्क वाले पाठ के लिए, स्कोर काफी अधिक होने की उम्मीद की जाती है (थ्रेशोल्ड $\tau$ से अधिक)।

संपादन के प्रति मजबूती (Robustness to Edits)

प्रीफिक्स विलोपन (जो स्थिति इंडेक्स को बदल सकता है और सीड संरेखण को तोड़ सकता है) को संभालने के लिए, विधि सभी संभावित ऑफसेट्स $s \in \{0, \dots, m-1\}$ के माध्यम से पुनरावृत्ति करती है और उच्चतम स्कोर देने वाले को चुनती है। यह बाउंडेड प्रीफिक्स ट्रंकेशन के विरुद्ध मजबूती सुनिश्चित करता है।

3. मुख्य योगदान (Key Contributions)

प्रथम DDLM वॉटरमार्किंग विधि: विशेष रूप से डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स के लिए डिज़ाइन की गई पहली वॉटरमार्किंग तकनीकों में से एक पेश करता है।
डिस्टॉर्शन-फ्री गारंटी: यह सैद्धांतिक रूप से सिद्ध करता है कि Gumbel-max सैंपलिंग नियम मूल टोकन वितरण को सुरक्षित रखता है, जिससे यह सुनिश्चित होता है कि वॉटरमार्क टेक्स्ट की गुणवत्ता को कम नहीं करता है (ग्रीन-लिस्ट विधियों के विपरीत)।
फॉल्स पॉजिटिव का घातांकीय क्षय (Exponential Decay of False Positives): यह सिद्ध करता है कि फॉल्स डिटेक्शन की संभावना अनुक्रम की लंबाई के साथ घातांकीय रूप से घटती है, जो उच्च साउंडनेस सुनिश्चित करती है।
सरलता और स्केलेबिलिटी: इस विधि के लिए कोई महंगा हाइपरपैरामीटर ट्यूनिंग की आवश्यकता नहीं है (जैसे कि $\gamma$ , $\delta$ , या विशिष्ट डिफ्यूजन स्टेप्स $S_W$ जैसे ग्रीन-लिस्ट आकार या बायस को अनुकूलित करने की आवश्यकता नहीं है)। केवल एकमात्र पैरामीटर जिसे ट्यून करने की आवश्यकता है, वह डिटेक्शन थ्रेशोल्ड $\tau$ है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने WaterBench डेटासेट का उपयोग करके LLaDA, जो एक अत्याधुनिक DDLM है, पर अपने मेथड का मूल्यांकन किया।

डिटेक्टेबिलिटी (पूर्णता और साउंडनेस):
- Gumbel-max विधि ने 96.0% पूर्णता (वॉटरमार्क किए गए पाठ का पता लगाना) और 97.7% साउंडनेस (बिना वॉटरमार्क वाले पाठ को सही ढंग से पहचानना) प्राप्त की।
- यह प्रदर्शन सबसे अच्छी तरह से ट्यून किए गए "ग्रीन-लिस्ट" बेसलाइन्स के बराबर या उससे बेहतर है, जिन्हें $\gamma$ , $\delta$ , और डिफ्यूजन इंटरवल्स के व्यापक एब्लेशन अध्ययन की आवश्यकता थी।
टेक्स्ट क्वालिटी (विकृति):
- परप्लेक्सिटी (Perplexity): Gumbel-max विधि के परिणामस्वरूप परप्लेक्सिटी 10.652 रही, जो बिना वॉटरमार्क वाले बेसलाइन (10.391) के बहुत करीब है।
- GPT-4 जज स्कोर: विधि ने स्टाइल, निरंतरता, सटीकता और नैतिकता के लिए उच्च स्कोर बनाए रखा (औसत स्कोर: 7.597), जो ग्रीन-लिस्ट विधियों से काफी बेहतर है जहाँ डिटेक्टेबिलिटी बढ़ने के साथ गुणवत्ता में गिरावट देखी गई (जैसे, ग्रीन-लिस्ट $\beta=0.01$ का औसत स्कोर 7.220 तक गिर गया)।
मजबूती (Robustness): विधि ने रैंडम प्रीफिक्स विलोपन लागू किए जाने के बाद भी उच्च पूर्णता (>96%) बनाए रखी, जो विशिष्ट सीडिंग रणनीति के प्रति मजबूती प्रदर्शित करती है।
दक्षता (Efficiency): Gumbel-max दृष्टिकोण इष्टतम हाइपरपैरामीटर खोजने की कम्प्यूटेशनल लागत से बचता है, जिससे इसे तैनात करना सरल हो जाता है।

5. महत्व (Significance)

यह शोध पत्र AI सुरक्षा और ट्रैसेबिलिटी के एक महत्वपूर्ण अंतर को संबोधित करता है। जैसे-जैसे डिस्क्रीट डिफ्यूजन मॉडल्स अपनी गति और दक्षता के कारण अधिक प्रचलित हो रहे हैं, वॉटरमार्किंग टूल्स की कमी अनट्रेसेबल (अस्पष्ट) AI सामग्री के जोखिम को बढ़ाती है।

पैराडाइम शिफ्ट: यह "बायसिंग" (पक्षपाती बनाने) के प्रतिमान (जो स्वाभाविक रूप से वितरण को विकृत करता है) से हटकर "सैंपलिंग मैनिपुलेशन" के प्रतिमान की ओर बढ़ता है, जो गणितीय रूप से विकृति-मुक्त होने के रूप में सिद्ध है।
व्यावहारिक तैनाती: जटिल हाइपरपैरामीटर ट्यूनिंग की आवश्यकता को समाप्त करके, यह विधि अत्यधिक स्केलेबल है और इसे बिना रिट्रेनिंग या व्यापक सत्यापन के विभिन्न DDLM आर्किटेक्चर और बेंचमार्क में आसानी से एकीकृत किया जा सकता है।
सैद्धांतिक आधार: यह कार्य विकृति-मुक्त होने और फॉल्स-पॉजिटिव क्षय के लिए कठोर प्रमाण प्रदान करता है, जो नॉन-ऑटोरिग्रेसिव जेनेरेटिव मॉडल्स के लिए वॉटरमार्किंग सिद्धांत का एक नया मानक स्थापित करता है।

संक्षेप में, लेखक डिस्क्रीट डिफ्यूजन लैंग्वेज मॉडल्स के लिए एक मजबूत, सैद्धांतिक रूप से आधारित और व्यावहारिक रूप से कुशल वॉटरमार्किंग समाधान प्रस्तुत करते हैं, जो यह सुनिश्चित करता है कि अगली पीढ़ी के तेज़, समानांतर टेक्स्ट जनरेटरों को जनित सामग्री की गुणवत्ता से समझौता किए बिना ट्रैक किया जा सके।