Every Bit, Everywhere, All at Once: A Binomial Multibit LLM Watermark
यह शोध पत्र एक नवीन द्विपद मल्टीबिट (binomial multibit) LLM वॉटरमार्किंग योजना प्रस्तुत करता है जो कम एनकोड किए गए बिट्स को गतिशील रूप से प्राथमिकता देने के लिए एक स्टेटफुल एनकोडर का उपयोग करके प्रत्येक टोकन स्थिति पर पेलोड के प्रत्येक बिट को एनकोड करता है, जिससे मौजूदा बेसलाइन की तुलना में बेहतर सटीकता और मजबूती प्राप्त होती है और मूल्यांकन के लिए एक अधिक व्यावहारिक प्रति-बिट कॉन्फिडेंस स्कोरिंग मीट्रिक प्रस्तावित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक बड़ी समस्या: एक किताब में गुप्त संदेश छिपाना
कल्पना कीजिए कि आप एक लेखक (AI) हैं जो एक किताब लिख रहे हैं। आप यह साबित करना चाहते हैं कि वह विशिष्ट पृष्ठ आपने लिखा है, या शायद आप टेक्स्ट के अंदर एक गुप्त नोट छिपाना चाहते हैं, जैसे कि उपयोगकर्ता की आईडी (User ID) या टाइमस्टैम्प।
लंबे समय से, शोधकर्ता हर वाक्य में सूचना का एक एकल बिट (single bit) (एक "हाँ" या "ना") छिपाकर ऐसा करने की कोशिश कर रहे थे। यह हर पन्ने पर एक छोटा सा "X" स्टैम्प लगाने जैसा है यह कहने के लिए कि, "यह पन्ना असली है।" यह पहचान (detection) के लिए तो काम करता है, लेकिन यह जटिल संदेश जैसे "यूज़र #1234 ने यह लिखा है" को नहीं ले जा सकता।
एक लंबे संदेश (जैसे 32-बिट या 64-बिट कोड) को छिपाने के लिए, पिछले तरीकों ने "पोजीशन एलोकेशन" (Position Allocation) नामक रणनीति का उपयोग किया।
- पुराना तरीका: कल्पना कीजिए कि आपके पास एक 32-बिट गुप्त कोड है। पुराना तरीका कहता है: "पहले शब्द के लिए, मैं कोड का पहला बिट छिपाऊंगा। दूसरे शब्द के लिए, मैं दूसरा बिट छिपाऊंगा। तीसरे शब्द के लिए, तीसरा बिट।"
- खामी: यह एक बार में एक उंगली का उपयोग करके भारी सूटकेस ले जाने की कोशिश करने जैसा है। यदि आप एक शब्द भी चूक जाते हैं, तो आप उस विशिष्ट टुकड़े को खो देते हैं। साथ ही, कभी-कभी "उंगली" थक जाती है, और संदेश बिगड़ जाता है। यह अक्षम और नाजुक है।
नया समाधान: "बाइनोमियल" (Binomial) दृष्टिकोण
लेखक संदेश छिपाने का एक मौलिक रूप से नया तरीका प्रस्तावित करते हैं। पहेली के एक टुकड़े को एक समय में छिपाने के बजाय, वे पूरी पहेली को हर एक शब्द में छिपा देते हैं।
उपमा: गायक दल (Choir) और कंडक्टर
कल्पना कीजिए कि एक गायक दल (AI) एक गाना गा रहा है।
- गुप्त संदेश: कंडक्टर के पास एक गुप्त 32-नोट वाली धुन (संदेश) है जिसे वह चाहता है कि गायक दल गाए।
- पुराना तरीका: कंडक्टर पहले गायक की ओर इशारा करता है और कहता है, "नोट 1 गाओ।" फिर दूसरे की ओर इशारा करता है: "नोट 2 गाओ।" यदि दूसरा गायक भूल जाता है, तो नोट 2 हमेशा के लिए खो जाता है।
- नया तरीका (बाइनोमियल एनकोडिंग): कंडक्टर प्रत्येक गायक को वह पूरी 32-नोट वाली धुन सुनने के लिए कहता है।
- वे जो भी शब्द गाते हैं, गायक सदस्य पूरी 32 नोट्स के आधार पर अपनी पिच को सूक्ष्म रूप से समायोजित करते हैं।
- यह ऐसा है जैसे हर गायक के पास पूरी धुन का एक छोटा, अदृश्य मानचित्र हो।
- यदि आप केवल एक शब्द सुनते हैं, तो आपको पूरी धुन का एक धुंधला संकेत मिलता है। यदि आप पूरा गाना सुनते हैं, तो आप सभी संकेतों के "बहुमत के वोट" (majority vote) को लेकर धुन को पूरी तरह से पुनर्गढ़ित (reconstruct) कर सकते हैं।
यह बेहतर क्यों है?
क्योंकि जानकारी हर जगह है। भले ही आप कुछ शब्द हटा दें (या यदि AI कोई गलती करता है), शेष टेक्स्ट अभी भी पूर्ण रहस्य को थामे रहता है। आपको "सही" बिट खोजने के लिए "सही" शब्द खोजने की आवश्यकता नहीं है; हर शब्द पूरी तस्वीर का एक हिस्सा रखता है।
"स्टेटफुल" (Stateful) अपग्रेड: स्मार्ट कोच
लेखकों ने एक दूसरा स्मार्ट स्तर जोड़ा है जिसे "स्टेटफुल एनकोडर" (Stateful Encoder) कहा जाता है।
- समस्या: कभी-कभी, AI गुप्त संदेश के पहले कुछ बिट्स को छिपाने में बहुत अच्छा होता है, लेकिन अंतिम कुछ बिट्स के साथ उसे संघर्ष करना पड़ता है।
- समाधान: "कोच" (एनकोडर) देखते हुए कि लेखन कैसे हो रहा है। वह महसूस करता है, "हे, हमारे पास पहले 20 नोट्स सुरक्षित हैं, लेकिन आखिरी 12 थोड़े कमजोर हैं।"
- कार्रवाई: कोच फिर AI को फुसफुसाता है, "पहले 20 नोट्स की चिंता करना छोड़ दो। अपनी पूरी ऊर्जा आखिरी 12 नोट्स को एकदम सटीक बनाने में लगाओ।"
- परिणाम: ध्यान का यह गतिशील बदलाव यह सुनिश्चित करता है कि पूरा संदेश स्पष्ट रूप से सामने आए, न कि कमजोर हिस्से पूरे संदेश को खराब कर दें।
सफलता को मापने का एक नया तरीका
यह पेपर यह भी तर्क देता है कि हम इन वॉटरमार्क्स को गलत तरीके से माप रहे हैं।
- पुराना मीट्रिक: "यदि हम जानते हैं कि यह टेक्स्ट वॉटरमार्क्ड है, तो हम गुप्त संदेश को कितनी अच्छी तरह पढ़ सकते हैं?"
- उपमा: "यदि मैं आपको बताता हूँ कि यह एक गुप्त कोड है, तो क्या आप इसे क्रैक कर सकते हैं?" यह इस तथ्य को नजरअंदाज करता है कि वास्तविक दुनिया में, अधिकांश टेक्स्ट गुप्त कोड नहीं होते हैं।
- नया मीट्रिक (प्रति-बिट कॉन्फिडेंस): "यदि हम रैंडम टेक्स्ट को देखते हैं, तो क्या हम बता सकते हैं कि क्या वहां कोई गुप्त संदेश है? और यदि हाँ, तो हम प्रत्येक विशिष्ट बिट के बारे में कितने आश्वस्त हैं?"
- उपमा: केवल अनुमान लगाने के बजाय, सिस्टम आपको प्रत्येक बिट के लिए एक "कॉन्फिडेंस स्कोर" देता है। यह कहता है, "मैं 99% आश्वस्त हूँ कि पहला बिट 1 है, लेकिन मैं आखिरी वाले के बारे में केवल 50% आश्वस्त हूँ।" यह गलत अलार्म (false alarms) को रोकता है।
परिणाम
लेखकों ने 16, 32 और 64 बिट्स के संदेशों के लिए 8 अन्य शीर्ष तरीकों के मुकाबले अपने तरीके का परीक्षण किया।
- बेहतर सटीकता: उनके तरीके ने अन्य तरीकों की तुलना में गुप्त संदेशों को बहुत अधिक सटीकता से डिकोड किया, विशेष रूप से लंबे संदेशों के लिए।
- अधिक मजबूती (Robustness): यहाँ तक कि जब टेक्स्ट को थोड़ा बदला गया (जैसे शब्द हटाना या पर्यायवाची शब्दों को बदलना), तब भी उनका तरीका प्रतिस्पर्धा से बेहतर बना रहा।
- गुणवत्ता: टेक्स्ट अभी भी स्वाभाविक लगा और इसकी गुणवत्ता में अधिक कमी नहीं आई (यह ऐसा नहीं लगा जैसे कोई रोबोट बहुत अधिक प्रयास कर रहा हो)।
सारांश
यह पेपर AI टेक्स्ट को वॉटरमार्क करने का एक नया तरीका पेश करता है। प्रत्येक शब्द में एक छोटा गुप्त टुकड़ा छिपाने के बजाय, यह हर एक शब्द के भीतर संपूर्ण गुप्त संदेश को छिपा देता है। यह जनरेशन के दौरान कमजोर बिंदुओं पर ध्यान केंद्रित करने के लिए एक "स्मार्ट कोच" का उपयोग करता है और सफलता को मापने का एक नया तरीका पेश करता है जो वास्तविक दुनिया के शोर (noise) को ध्यान में रखता है। परिणाम एक ऐसा सिस्टम है जो अधिक मजबूत, अधिक सटीक और साधारण दिखने वाले टेक्स्ट में लंबे, जटिल रहस्यों को छिपाने में बेहतर है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।