Can we Watermark Low-Entropy LLM Outputs?

यहाँ नोआम मेज़ोर, एंड्रयू मॉर्गन और राफेल पास के शोध पत्र "Can we Watermark Low-Entropy LLM Outputs?" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

यह शोध पत्र मौजूदा लार्ज लैंग्वेज मॉडल (LLM) वॉटरमार्किंग स्कीम्स की एक महत्वपूर्ण सीमा को संबोधित करता है: एन्ट्रॉपी की आवश्यकता (the entropy requirement)।

• संदर्भ: वॉटरमार्किंग का उद्देश्य LLM आउटपुट में एक छिपा हुआ, अदृश्य कोड डालना है ताकि AI जनरेशन को प्रमाणित किया जा सके। हालिया कार्यों (Christ et al. [CG24], Golowich et al. [GM24]) ने "प्रमाणित रूप से अदृश्य" (undetectable) वॉटरमार्क प्राप्त किए हैं (जो मूल आउटपुट के समान ही प्रतीत होते हैं) जो एडवरसैरियल संपादन (adversarial edits) के विरुद्ध भी मजबूत हैं।
• अंतराल (The Gap): ये मौजूदा स्कीम्स LLM के आउटपुट टोकन के एम्पिरिकल एन्ट्रॉपी (empirical entropy) के बारे में कड़े अनुमानों पर निर्भर करती हैं।
  • [GM24] के लिए आवश्यक है कि टोकन का एक स्थिर अंश (constant fraction) $O(\log |T|)$ एन्ट्रॉपी रखता हो, जहाँ $|T|$ टोकन अल्फाबेट का आकार है।
  • [CG24] बड़े अल्फाबेट्स के लिए $\Omega(\log |T|)$ एन्ट्रॉपी की आवश्यकता रखता है (जब तक कि विशिष्ट हफमैन एनकोडिंग का उपयोग न किया जाए जिसमें मजबूत वितरण संबंधी धारणाएं हों)।
• चुनौती: वास्तविक LLM उपयोग में, कई टोकन (जैसे, सामान्य शब्द, नियत रूप से उत्पन्न वाक्यांश, या कम परिवर्तनशीलता वाले संदर्भ) में कम एन्ट्रॉपी होती है (अक्सर 1 बिट या यहाँ तक कि 0 के करीब)। यदि एन्ट्रॉपी बहुत कम है, तो मौजूदा स्कीम्स आउटपुट वितरण को पक्षपाती बनाए बिना (जो अदृश्यता का उल्लंघन करता है) या वॉटरमार्क को पुनः प्राप्त करने में विफल हुए बिना (जो मजबूती का उल्लंघन करता है) विश्वसनीय रूप से वॉटरमार्क नहीं डाल सकती हैं।
• मुख्य प्रश्न: क्या हम बड़े टोकन अल्फाबेट वाले LLMs के लिए एक ऐसा वॉटरमार्किंग स्कीम बना सकते हैं जहाँ प्रति-टोकन एन्ट्रॉपी केवल एक स्थिर मान (constant) हो (जो अल्फाबेट के आकार या सुरक्षा पैरामीटर से स्वतंत्र हो)?

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो उच्च एन्ट्रॉपी लागत उठाए बिना बाइनरी वॉटरमार्किंग स्कीम्स और लार्ज-अल्फाबेट LLMs के बीच के अंतर को पाटता है।

मुख्य दृष्टिकोण: हैशिंग और ब्लॉक-आधारित एम्बेडिंग (Hashing and Block-Based Embedding)

बाइनरी (जो एन्ट्रॉपी आवश्यकताओं को बढ़ाता है) में बदलने या बड़े-अल्फाबेट वाले छद्म यादृच्छिक कोड (PRCs) (जो उच्च एन्ट्रॉपी की आवश्यकता भी रखते हैं) का उपयोग करने के बजाय, लेखक एक बाइनरी PRC का उपयोग टोकन हैशिंग के साथ करते हैं।

1. बाइनरी PRC आधार: यह योजना एक बाइनरी छद्म यादृच्छिक त्रुटि-सुधार कोड (Pseudorandom Error-Correcting Code - PRC) पर आधारित है जो प्रतिस्थापन (substitutions) और विलोपन (deletions) के विरुद्ध मजबूत है। PRC एक छद्म यादृच्छिक बिट स्ट्रिंग (codeword) उत्पन्न करता है।
2. टोकन्स को हैश करना: LLM द्वारा उत्पन्न प्रत्येक टोकन $t$ के लिए, योजना एक रैंडम हैश फंक्शन $h: T \to \{0, 1\}$ लागू करती है।
3. एम्बेडिंग रणनीति:
   • योजना LLM के वितरण $D$ से दो स्वतंत्र टोकन $t_0, t_1$ का नमूना लेती है।
   • यदि $h(t_0) \neq h(t_1)$ (एक "सफलता" का मामला), तो योजना वह टोकन $t_b$ आउटपुट करती है जिससे $h(t_b)$ वर्तमान PRC कोडवर्ड के बिट से मेल खाता हो। यह वितरण को पक्षपाती बनाए बिना बिट को एम्बेड करता है।
   • यदि $h(t_0) = h(t_1)$ (एक "विफलता" का मामला), तो योजना एक रैंडम टोकन आउटपुट करती है। यह एम्बेडेड कोडवर्ड में एक त्रुटि (एक बिट फ्लिप) को $1/2$ की संभावना के साथ पेश करता है।
4. ब्लॉक-आधारित हैशिंग: विलोपन और सम्मिलन (deletions and insertions) को संभालने के लिए, लेखक प्रत्येक टोकन के लिए एक अद्वितीय हैश फंक्शन का उपयोग नहीं करते हैं (जो संपादन के बाद अलाइनमेंट को तोड़ देगा)। इसके बजाय, वे आउटपुट को ब्लॉक्स में विभाजित करते हैं, जिनमें से प्रत्येक एक PRC कोडवर्ड के अनुरूप होता है। एक एकल हैश फंक्शन को एक ब्लॉक के भीतर सभी टोकनों के लिए पुन: उपयोग किया जाता है।
   • लाभ: यदि टोकन हटा दिए जाते हैं, तो डिटेक्टर अभी भी पहचान सकता है कि वे किस ब्लॉक के थे और डिकोड करने के लिए सही हैश फंक्शन का उपयोग कर सकता है।
   • समझौता (Trade-off): हैश फंक्शन को पुन: उपयोग करने से त्रुटियों के बीच सहसंबंध (correlation) उत्पन्न होता है, जिसके लिए यह सुनिश्चित करने के लिए सावधानीपूर्वक विश्लेषण की आवश्यकता होती है कि मजबूती बनी रहे।

प्रमुख तकनीकी अंतर्दृष्टि (Key Technical Insights)

• एन्ट्रॉपी आवश्यकता: इस योजना के लिए केवल यह आवश्यक है कि पर्याप्त लंबे सबस्ट्रिंग के टोकन में 1 बिट की एम्पिरिकल एन्ट्रॉपी हो। यह पूर्ववर्ती कार्यों द्वारा आवश्यक $O(\log |T|)$ से काफी कम है।
• त्रुटि विश्लेषण:
  • लेखक सिद्ध करते हैं कि $\ge 1$ बिट एन्ट्रॉपी वाले टोकन के लिए, "विफलता" (जहाँ $h(t_0)=h(t_1)$) की संभावना सीमित है।
  • महत्वपूर्ण रूप से, वे दिखाते हैं कि रैंडम प्रतिस्थापन (जहाँ एक एडवरसरी समानार्थी शब्दों या अन्य टोकनों के साथ मूल टोकन को बदल देता है) के तहत भी, अपेक्षित त्रुटि दर $1/2$ से नीचे रहती है, जब तक कि प्रतिस्थापन "रैंडम" हो (जिसे विशिष्ट PRC बिट से स्वतंत्र चैनल के रूप में मॉडल किया गया है)।
  • रैंडम विलोपन के लिए, ब्लॉक-आधारित संरचना डिटेक्टर को गायब टोकन को छोड़ने और शेष बिट्स से कोडवर्ड को पुनः प्राप्त करने का प्रयास करने की अनुमति देती है।

3. मुख्य योगदान और परिणाम (Key Contributions and Results)

शोध पत्र चार मुख्य प्रमेय (और संबंधित उप-प्रमेय) प्रस्तुत करता है जो विभिन्न धारणाओं के तहत वॉटरमार्किंग स्कीम्स स्थापित करते हैं:

A. रैंडम प्रतिस्थापन के विरुद्ध मजबूती (Robustness Against Random Substitutions)

• परिणाम: एक वॉटरमार्किंग स्कीम जो रैंडम प्रतिस्थापन के $(1/2 - \epsilon)$ अंश के विरुद्ध मजबूत है।
• धारणाएँ: Learning Parity with Noise (LPN) समस्या की उप-एक्सपोनेंशियल (subexponential) कठिनाई (वही [CG24] की तरह)।
• एन्ट्रॉपी: प्रत्येक टोकन के लिए केवल $O(1)$ एम्पिरिकल एन्ट्रॉथी की आवश्यकता है (विशेष रूप से, 1 बिट एन्ट्रॉपी वाले टोकन का एक स्थिर अंश)।
• महत्व: यह बड़े अल्फाबेट वाले LLMs के लिए स्थिर एन्ट्रॉपी आवश्यकताओं के साथ अदृश्य, मजबूत वॉटरमार्किंग प्राप्त करने वाला पहला तंत्र है।

B. रैंडम प्रतिस्थापन और विलोपन के विरुद्ध मजबूती (Heuristic)

• परिणाम: एक स्कीम जो रैंडम प्रतिस्थापन और रैंडम विलोपन के $(1-\epsilon)$ अंश के विरुद्ध मजबूत है।
• धारणाएँ: LPN कठिनाई + एक "Natural Prompt" / "Sufficiently Variable" ह्यूरिस्टिक। यह मानता है कि एम्बेडिंग प्रक्रिया और उसके बाद के रैंडम प्रतिस्थापन द्वारा पेश की गई त्रुटियाँ एक Binary Symmetric Channel (BSC) की तरह व्यवहार करती हैं।
• एन्ट्रॉपी: $O(1)$।
• नोट: लेखक स्वीकार करते हैं कि यह ह्यूरिस्टिक धारणा मजबूत है और पैथोलॉजिकल मामलों (जैसे, "इमोजी अटैक" जहाँ नियत टोकन डाले जाते हैं) में लागू नहीं हो सकती है।

C. रैंडम प्रतिस्थापन और विलोपन के विरुद्ध मजबूती (Unconditional/Stronger PRC)

• परिणाम: रैंडम प्रतिस्थापन और विलोपन के विरुद्ध एक स्कीम जो ह्यूरिस्टिक धारणा के बिना काम करती है।
• धारणाएँ: इसके लिए एक ऐसे बाइनरी PRC की आवश्यकता है जो एडवरसैरियल प्रतिस्थापन और रैंडम विलोपन के विरुद्ध मजबूत हो।
• स्थिति: वर्तमान में ऐसे विशिष्ट मापदंडों के साथ कोई बाइनरी PRC ज्ञात नहीं है, लेकिन शोध पत्र दिखाता है कि यदि ऐसा कोई अस्तित्व में आता है, तो वॉटरमार्किंग स्कीम स्वतः ही लागू हो जाएगी।

D. एडवरसैरियल संपादन के विरुद्ध मजबूती (Insertions, Deletions, Substitutions)

• परिgetResult: एक स्कीम जो निरंतर एडवरसैरियल संपादन (arbitrary adversarial edits) के एक स्थिर अंश के विरुद्ध मजबूत है।
• धारणाएँ: यह [CGG+25] के हालिया "Permuted Codes" निर्माण पर आधारित है।
• समझौता (Trade-off): जबकि यह ह्यूरिस्टिक धारणा को हटा देता है, इसके लिए आउटपुट के एक बड़े हिस्से में पर्याप्त एन्ट्रॉपी की आवश्यकता होती है (केवल एक सबस्ट्रिंग नहीं, बल्कि पूरे आउटपुट का एक स्थिर अंश), ताकि एडवरसरी कम-एन्ट्रॉपी क्षेत्रों को लक्षित न कर सके। संपादन के लिए मजबूती पैरामीटर छोटा ($\tilde{O}(\delta^4)$) है।

4. संबंधित कार्य के साथ तुलना (Comparison with Related Work)

विशेषता	[CG24] (बाइनरी)	[GM24] (लार्ज अल्फाबेट)	यह कार्य
अल्फाबेट	बाइनरी	लार्ज ($|T|$)	लार्ज ($|T|$)
एन्ट्रॉपी आवश्यकता	$O(1)$ (बाइनरी के लिए)	$O(\log |T|)$	$O(1)$
मजबूती (Robustness)	रैंडम Sub/Del	एडवरसैरियल एडिट्स	रैंडम Sub/Del (और एडवरसैरियल एडिट्स के साथ कुछ शर्तों के साथ)
अटैक मॉडल	बिट फ्लिप्स	टोकन एडिट्स	टोकन-स्तरीय एडिट्स (पैराफ्रेसिंग, रेडैक्शन)
मुख्य नवाचार	बिट्स पर PRC	बड़े अल्फाबेट पर PRC	टोकन्स को बिट्स में हैश करना + ब्लॉक पुन: उपयोग

• [CG24] पर लाभ: बाइनरी में परिवर्तित किए बिना सीधे बड़े टोकन अल्फाबेट पर काम करता है (जो टोकन-स्तरीय अटैक की मजबूती को नष्ट कर सकता है)।
• [GM24] पर लाभ: एन्ट्रॉपी की आवश्यकता को लॉगरिदमिक से घटाकर स्थिर (constant) कर देता है, जिससे यह कम-एन्ट्रॉपी वाली प्राकृतिक भाषा के लिए उपयुक्त बन जाता है।

5. महत्व (Significance)

1. एन्ट्रॉपी अंतराल को पाटना: यह कार्य प्रदर्शित करता है कि अदृश्य वॉटरमार्किंग के लिए उच्च-एन्ट्रॉपी आउटपुट एक पूर्व शर्त नहीं है। यह व्यावहारिक कार्यान्वयन के लिए महत्वपूर्ण है, क्योंकि LLMs अक्सर कम-एन्ट्रॉपी टेक्स्ट (जैसे, कोड, संरचित डेटा, सामान्य वाक्यांश) उत्पन्न करते हैं।
2. टोकन-स्तरीय मजबूती: बाइनरी अनुवाद के बजाय टोकन स्तर पर काम करके, यह योजना पैराफ्रेसिंग (किसी शब्द को उसके समानार्थी से बदलना) या रेडैक्शन जैसे व्यावहारिक हमलों के विरुद्ध मजबूत रहती है, जो बाइनरी-आधारित स्कीम्स को तोड़ सकते हैं।
3. सैद्धांतिक आधार: यह वॉटरमार्किंग के लिए एक नया प्रतिमान स्थापित करता है: एक बाइनरी PRC को "बैकबोन" के रूप में उपयोग करना जबकि हैशिंग के माध्यम से बड़े-अल्फाबेट टोकन को उससे मैप करना। यह कोड की मजबूती को स्रोत की एन्ट्रॉपी से अलग करता है।
4. खुली समस्याएँ: शोध पत्र इस बात पर प्रकाश डालता है कि कम-एन्ट्रॉपी आउटपुट के लिए ह्यूरिस्टिक धारणाओं के बिना एडवरसैरियल संपादन के विरुद्ध मजबूती प्राप्त करना एक खुला प्रश्न बना हुआ है, जो अधिक मजबूत गुणों वाले बाइनरी PRCs के भविष्य के निर्माण पर निर्भर है।

संक्षेप में, यह शोध पत्र पहला प्रमाणित अदृश्य और मजबूत वॉटरमार्किंग ढांचा प्रदान करता है जो प्रभावी ढंग से कार्य करता है, भले ही LLM का आउटपुट बहुत कम एन्ट्रॉपी वाला हो, जिससे AI वॉटरमार्किंग की व्यावहारिक प्रयोज्यता का विस्तार होता है।