Covert Multi-bit LLM Watermarking: An Information Theory and Coding Approach

कल्पना कीजिए कि आपके पास एक बहुत ही बुद्धिमान रोबोट है जो कहानियाँ, ईमेल या कोड लिखता है। यह रोबोट मानव लेखन की नकल करने में इतना कुशल है कि यह बताना कठिन हो जाता है कि कोई लेख इंसान ने लिखा है या रोबोट ने। इस शोध पत्र के लेखक एक विशिष्ट समस्या को हल करना चाहते हैं: हम रोबोट के लेखन को गुप्त रूप से कैसे चिह्नित कर सकते हैं ताकि यह सिद्ध हो सके कि यह रोबोट से आया है, बिना लेखन को अजीब बनाए या उसकी गुणवत्ता खोए?

वे इसे "वॉटरमार्किंग" (watermarking) कहते हैं। इसे एक बैंक नोट में छिपे हुए वॉटरमार्क की तरह समझें जिसे आप नग्न आंखों से नहीं देख सकते, लेकिन एक विशेष स्कैनर उसे पहचान सकता है।

यहाँ उनके दृष्टिकोण का रोजमर्रा के उदाहरणों का उपयोग करते हुए एक सरल विवरण दिया गया है:

1. समस्या: रोबोट बहुत सख्त है

आमतौर पर, जब एक रोबोट लिखता है, तो वह एक-एक करके शब्द चुनता है, जो सख्ती से उसके द्वारा लिखे गए पिछले शब्द पर आधारित होता है। यह एक एकल ट्रैक पर चलने वाली ट्रेन की तरह है: एक बार जब यह स्टेशन छोड़ देती है, तो यह यह देखने के लिए आगे नहीं देख सकती कि अगला स्टेशन कैसा दिखेगा।

लेखकों ने महसूस किया कि यदि रोबोट थोड़ा आगे देख सके—भले ही बहुत कम—तो वह गुप्त संदेशों को बहुत बेहतर तरीके से छिपा सकता है। वे एक नया तरीका प्रस्तावित करते हैं जिसे वे ब्लॉक-ऑटोरेग्रेसिव (Block-Autoregressive) कहते हैं।

• उपमा: एक-एक शब्द चुनने के बजाय, कल्पना करें कि रोबोट एक बार में 8 शब्दों का एक छोटा "ब्लॉक" चुनता है। उन 8 शब्दों को लॉक करने से पहले, वह उन 8 शब्दों के सभी संभावित संयोजनों को देखता है। यह उसे एक "नॉन-कॉज़ल" (non-causal) दृश्य देता है (निकट भविष्य की एक झलक) कि टेक्स्ट वास्तव में कैसा दिख सकता है।

2. समाधान: "गुप्त मेनू" (The Secret Menu)

मुख्य विचार इस "झलक" का उपयोग करके टेक्स्ट के भीतर एक गुप्त संदेश (जैसे डिजिटल आईडी टैग) छिपाना है।

• सेटअप: कल्पना करें कि रोबोट के पास यह कैसे काम करता है, इसका एक "आधार मेनू" (base menu) है।
• चाल: लेखक एक "गुप्त मेनू" (वॉटरमार्क) पेश करते हैं। जब रोबोट शब्दों के एक ब्लॉक को चुनने वाला होता है, तो वह अपने गुप्त मेनू की जाँच करता है।
  • यदि गुप्त संदेश "0" कहता है, तो वह एक विशिष्ट समूह से चुने जाने वाले शब्द के संयोजन को थोड़ा अधिक प्राथमिकता देता है।
  • यदि गुप्त संदेश "1" कहता है, तो वह दूसरे समूह से चुनता है।
• जादू: रोबोट यह सब इतनी सूक्ष्मता से करता है कि टेक्स्ट का समग्र "स्वाद" (इसका सांख्यिकीय पैटर्न) बिना वॉटरमार्क वाले टेक्स्ट के लगभग समान रहता है। एक मानव पाठक के लिए, कहानी एकदम सटीक लगती है। लेकिन गुप्त कुंजी (key) वाले विशेष डिकोडर के लिए, विकल्पों का यह पैटर्न छिपे हुए संदेश को प्रकट कर देता है।

3. गणित: "परफेक्ट बैलेंस"

यह पेपर भारी गणित (सूचना सिद्धांत/Information Theory) का उपयोग यह सिद्ध करने के लिए करता है कि वे लेखन को खराब किए बिना कितना गुप्त डेटा छिपा सकते हैं।

• गेल्फ़ैंड-पिंस्कर (Gelfand-Pinsker) उपमा: कल्पना करें कि आप एक शोर वाले रेडियो चैनल के माध्यम से संदेश भेजने की कोशिश कर रहे हैं, लेकिन आप जानते हैं कि शोर कैसा सुनाई देगा, इससे पहले कि आप बोलें। आप अपनी आवाज़ को शोर को पूरी तरह से रद्द करने के लिए समायोजित कर सकते हैं। लेखक रोबोट के प्राकृतिक शब्द चयन को "शोर" और गुप्त संदेश को "सिग्नल" के रूप में देखते हैं। क्योंकि रोबोट अपने स्वयं के "शोर" (शब्दों के चयन की संभावना) को पहले से जानता है, वह संदेश को अधिक कुशलता से छिपा सकता है।
• परिणाम: उन्होंने डेटा छिपाने की सैद्धांतिक अधिकतम गति की गणना की। उन्होंने पाया कि इस "झलक देखने" (peek-ahead) वाले तरीके का उपयोग करके, वे प्रत्येक उत्पन्न शब्द के लिए लगभग 0.375 बिट्स का डेटा छिपा सकते हैं। यह हर शब्द के भीतर एक छोटा सा गुप्त नोट छिपाने जैसा है बिना पाठक के ध्यान में आए।

4. एल्गोरिदम: "स्मार्ट ट्रैफिक कंट्रोलर"

इसे वास्तविक जीवन में काम करने के लिए, उन्होंने केवल अनुमान नहीं लगाया; उन्होंने दो मुख्य उपकरणों का उपयोग करके एक स्मार्ट प्रणाली बनाई:

• CMDP (कन्स्ट्रेंड मार्कोव डिसीजन प्रोसेस): इसे रोबोट के लिए एक ट्रैफिक कंट्रोलर के रूप में समझें। कंट्रोलर को यह तय करना होता है कि संदेश छिपाने के लिए कौन से शब्द चुनने हैं। लेकिन उसका एक नियम है: "टेक्स्ट को अजीब मत बनाओ।" कंट्रोलर लगातार जाँच करता है: "यदि मैं '1' छिपाने के लिए यह शब्द चुनता हूँ, तो क्या अगले 7 शब्द अभी भी स्वाभाविक लगेंगे?" यह डेटा छिपाने की आवश्यकता और टेक्स्ट की उच्च गुणवत्ता बनाए रखने के बीच संतुलन बनाता है।
• पोलर कोड्स (Polar Codes): यह एक विशिष्ट प्रकार का त्रुटि-सुधार कोड (सुरक्षा जाल की तरह) है। भले ही बाद में टेक्स्ट में थोड़ा बदलाव किया जाए (या डिकोडर थोड़ा अनिश्चित हो), यह कोड सुनिश्चित करता है कि छिपे हुए संदेश को सही ढंग से पुनः प्राप्त किया जा सके।

5. परिणाम: यह काम करता है!

लेखकों ने एक वास्तविक लैंग्वेज मॉडल (LLaMA) का उपयोग करके अपने सिस्टम का परीक्षण किया।

• गोपनीयता (Stealth): वॉटरमार्क वाला टेक्स्ट सामान्य टेक्स्ट से लगभग अविभेदित था। "परप्लेक्सिटी" (यह मापने का पैमाना कि टेक्स्ट कितना भ्रमित करने वाला या अप्राकृतिक लगता है) में बहुत कम बदलाव आया।
• विश्वसनीयता (Reliability): उन्होंने बहुत कम त्रुटि दर के साथ संदेश सफलतापूर्वक छिपाए (छिपे हुए बिट्स के 10% से भी कम हिस्सा खो गया)।
• चुनौती: यह सिस्टम टेक्स्ट के छोटे ब्लॉक्स (जैसे 8 शब्द एक साथ) के साथ सबसे अच्छा काम करता है। यदि वे बहुत आगे देखने की कोशिश करते हैं (लंबे ब्लॉक्स), तो गणित कंप्यूटर के लिए बहुत भारी हो जाता है।

सारांश

यह पेपर बड़े भाषा मॉडलों (LLMs) के आउटपुट पर गुप्त रूप से स्टैम्प लगाने का एक तरीका प्रस्तावित करता है, जिससे मॉडल को यह लिखने से पहले कि वह क्या लिखेगा, शब्दों के एक छोटे समूह पर "झलक" लेने की अनुमति मिलती है। इस झलक का उपयोग करके अपने शब्द चयन को थोड़ा बदलने से, यह एक छिपी हुई आईडी संदेश को समाहित कर सकता है। गणित यह सिद्ध करता है कि लेखन की गुणवत्ता को खराब किए बिना यह संभव है, और उनके कंप्यूटर एल्गोरिदम ने व्यवहार में इसका सफलतापूर्वक प्रदर्शन किया है।

यह पेपर क्या दावा नहीं करता है:

• यह दावा नहीं करता है कि यह तुरंत किसी भी लंबाई के टेक्स्ट के लिए काम करता है (इसे लंबे ब्लॉक्स के साथ संघर्ष करना पड़ता है)।
• यह दावा नहीं करता है कि यह AI के सभी दुरुपयोगों के खिलाफ एक पूर्ण बचाव है, बल्कि यह केवल ट्रैकिंग और टाइमस्टैम्पिंग के लिए एक विधि है।
• यह चिकित्सा या नैदानिक उपयोगों के बारे में चर्चा नहीं करता है; यह पूरी तरह से टेक्स्ट जनरेशन और सूचना सिद्धांत के बारे में है।