SSG: Logit-Balanced Vocabulary Partitioning for LLM Watermarking
यह शोध पत्र SSG (Sort-then-Split by Groups) का प्रस्ताव करता है, जो एक नई शब्दावली विभाजन विधि है जो कम-एन्ट्रॉपी परिदृश्यों, जैसे कि कोड और गणितीय पीढ़ी में, वॉटरमार्क स्ट्रेंथ के निचले स्तर (lower bound) को बढ़ाने के लिए लॉजिट-बैलेंस्ड उपसमूहों (logit-balanced subsets) का निर्माण करके LLM वॉटरमार्किंग की पहचान क्षमता में सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक गुप्त एजेंट हैं जो एक पत्र पर एक "छिपा हुआ हस्ताक्षर" छोड़ने की कोशिश कर रहे हैं ताकि यह साबित हो सके कि आपने ही इसे लिखा है। आप चाहते हैं कि यह हस्ताक्षर इतना सूक्ष्म हो कि एक साधारण पाठक इसे देख न सके, लेकिन इतना स्पष्ट भी हो कि आपकी एजेंसी बाद में एक विशेष आवर्धक लेंस (magnifying glass) का उपयोग करके इसे पहचान सके।
यह शोध पत्र, SSG, उस छिपे हुए हस्ताक्षर को बहुत आसान बनाने के बारे में है, खासकर उन स्थितियों में जहाँ कुछ भी छिपाना सामान्य रूप से बहुत कठिन होता है।
समस्या: "एक-विकल्प" की दुविधा (The "One-Choice" Dilemma)
अधिकांश AI वॉटरमार्किंग (जैसे प्रसिद्ध "KGW" विधि) शब्दों के साथ "रेड लाइट, ग्रीन लाइट" का खेल खेलने की तरह काम करती है। AI को बताया जाता है: "जब आप अगला शब्द चुनें, तो 'रेड' शब्द के बजाय 'ग्रीन' शब्द चुनने की कोशिश करें।"
सामान्य बातचीत (high entropy) में, चुनने के लिए सैकड़ों शब्द होते हैं। यदि AI किसी "रेड" शब्द के बजाय "ग्रीन" शब्द चुनता है, तो पैटर्न को पहचानना आसान होता है।
लेकिन कल्पना कीजिए कि आप एक गणितीय समीकरण या कंप्यूटर कोड की एक पंक्ति लिख रहे हैं (low entropy)। इन मामलों में, अक्सर केवल एक ही सही उत्तर होता है। यदि अगला शब्द x = 5 होना ही चाहिए, तो AI के पास कोई विकल्प नहीं है। वह "ग्रीन" शब्द नहीं चुन सकता यदि एकमात्र सही शब्द "रेड" है। वॉटरमार्क यहाँ "डूब" जाता है क्योंकि AI को सटीक होने के लिए मजबूर किया जाता है, "ग्रीन" होने के लिए नहीं। यह एक ऐसी किताब में गुप्त संदेश छिपाने की कोशिश करने जैसा है जहाँ हर एक शब्द पहले से ही गहरे, स्थायी रंग में छपा हुआ है।
समाधान: SSG (द "फेयर स्प्लिट" स्ट्रैटेजी)
शोधकर्ताओं ने देखा कि समस्या "ग्रीन/रेड" नियम की नहीं है; बल्कि यह है कि हम यह कैसे तय करते हैं कि कौन से शब्द "ग्रीन" हैं और कौन से "रेड"।
पुराने तरीके में, शब्दों को यादृच्छिक (randomly) रूप से रंग दिए जाते थे। यह एक अंधेरे कमरे में लाल और हरे रंग की कंचों की एक मुट्ठी फेंकने जैसा था। शुद्ध बदकिस्मती से, सभी "महत्वपूर्ण" कंचे (जिन्हें AI वास्तव में चुनना चाहता है) "रेड" हो सकते हैं। यदि ऐसा होता है, तो वॉटरमार्क गायब हो जाता है।
SSG (Sort-then-Split by Groups) खेल बदल देता है। यादृच्छिक असाइनमेंट के बजाय, यह इन चरणों का पालन करता है:
- लाइनअप (The Lineup): यह सभी संभावित अगले शब्दों को देखता है और उन्हें "सबसे संभावित" से "सबसे कम संभावित" के क्रम में व्यवस्थित करता है (एक लीडरबोर्ड की तरह)।
- बडी सिस्टम (The Buddy System): यह शीर्ष उम्मीदवारों को लेता है और उन्हें जोड़ियों में डाल देता है।
- निष्पक्ष सिक्का उछाल (The Fair Coin Toss): प्रत्येक जोड़ी के लिए, यह एक सिक्का उछालता है: एक शब्द "ग्रीन" बन जाता है, और दूसरा "रेड"।
उपमा: बुफे लाइन (The Analogy: The Buffet Line)
कल्पना कीजिए कि एक बुफे है जहाँ 100 व्यंजन हैं, लेकिन केवल 2 ही स्वादिष्ट हैं (उच्च-संभावना वाले टोकन)।
- पुराना तरीका (KGW): आप रंगों को यादृच्छिक रूप से असाइन करते हैं। आप गलती से दोनों स्वादिष्ट व्यंजनों को "रेड" बना सकते हैं। अब, "ग्रीन" सिग्नल बेकार है क्योंकि कोई भी ग्रीन खाना नहीं खा रहा है।
- SSG का तरीका: आप उन दो स्वादिष्ट व्यंजनों को लेते हैं, उन्हें आपस में जोड़ते हैं, और कहते हैं, "तुम में से एक ग्रीन है, और एक रेड।" अब, AI चाहे जो भी चुने, यह गारंटी है कि वह आधे समय "ग्रीन" शब्द ही चुनेगा। आपने स्वादों को इस तरह "संतुलित" कर दिया है कि हस्ताक्षर हमेशा दिखाई दे।
यह क्यों मायने रखता है?
- यह स्मार्ट है, शोर मचाने वाला नहीं: आमतौर पर, वॉटरमार्क को मजबूत बनाने के लिए, आपको AI को इतने आक्रामक रूप से "ग्रीन" शब्द चुनने के लिए मजबूर करना पड़ता है कि AI गलतियाँ करने लगता है (जैसे खराब कोड लिखना)। SSG वॉटरमार्क को मजबूत बनाता है बिना AI को "मूर्ख" बनाए।
- यह हर जगह काम करता है: यह "उबाऊ" या "कठोर" कार्यों जैसे गणित और कोडिंग की समस्या को ठीक करता है, जबकि यह रचनात्मक लेखन में भी पूरी तरह से काम करता है।
- बेहतर प्रमाण: यह एक गणितीय गारंटी प्रदान करता है कि वॉटरमार्क की "शक्ति" शून्य तक नहीं गिरेगी, भले ही AI बहुत सटीक हो रहा हो।
संक्षेप में: SSG यह सुनिश्चित करता है कि भले ही AI के हाथ तर्क और गणित द्वारा बंधे हों, फिर भी वह एक स्पष्ट, पता लगाने योग्य फिंगरप्रिंट छोड़ सके।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।