💻 computer science

WaterSearch: A Quality-Aware Search-based Watermarking Framework for Large Language Models

यह शोध पत्र WaterSearch को प्रस्तुत करता है, जो लार्ज लैंग्वेज मॉडल्स के लिए एक नवीन वाक्य-स्तरीय, खोज-आधारित वॉटरमार्किंग फ्रेमवर्क है, जो नियंत्रित सीड पूल्स (seed pools) के माध्यम से वितरण निष्ठा (distribution fidelity) और सिग्नल विशेषताओं को संयुक्त रूप से अनुकूलित करके डिटेक्टेबिलिटी (detectability) और टेक्स्ट गुणवत्ता के बीच के समझौते को हल करता है, जिससे विविध कार्यों में महत्वपूर्ण प्रदर्शन सुधार और मजबूत एंटी-अटैक क्षमताएं प्राप्त होती हैं।

मूल लेखक: Yukang Lin, Jiahao Shao, Shuoran Jiang, Wentao Zhu, Bingjie Lu, Xiangping Wu, Joanna Siebert, Qingcai Chen

प्रकाशित 2026-05-29

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Yukang Lin, Jiahao Shao, Shuoran Jiang, Wentao Zhu, Bingjie Lu, Xiangping Wu, Joanna Siebert, Qingcai Chen

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

यहाँ "WaterSearch" पेपर का सरल भाषा और रोज़मर्रा के उदाहरणों के साथ विवरण दिया गया है।

बड़ी समस्या: "सुरक्षा गार्ड" बनाम "कलाकार"

कल्पना कीजिए कि आपके पास एक शानदार AI कलाकार (एक लार्ज लैंग्वेज मॉडल) है जो कहानियाँ लिखता है, सवालों के जवाब देता है और समस्याओं को हल करता है। इस कलाकार के दुरुपयोग (जैसे फर्जी खबरें फैलाना या कॉपीराइट चुराना) को रोकने के लिए, हम इसके द्वारा लिखी गई हर चीज़ पर एक डिजिटल वॉटरमार्क लगाना चाहते हैं। यह वॉटरमार्क एक छिपे हुए हस्ताक्षर की तरह है जो यह साबित करता है कि, "हाँ, यह AI द्वारा लिखा गया है।"

हालाँकि, एक पेच है। वॉटरमार्क जोड़ने के वर्तमान तरीके एक अनाड़ी सुरक्षा गार्ड की तरह हैं जो कलाकार के काम पर टैग लगाने की कोशिश कर रहा है। वॉटरमार्क को डिटेक्टरों के लिए दृश्यमान बनाने के लिए, गार्ड कलाकार को अपने शब्दों के चयन में थोड़ा बदलाव करने के लिए मजबूर करता है।

परिणाम: टेक्स्ट यह पहचानने योग्य हो जाता है कि इसे AI ने लिखा है, लेकिन यह अक्सर रोबोटिक, दोहराव वाला या तथ्यात्मक रूप से गलत लगने लगता है।
समझौता (Trade-off): यदि आप वॉटरमार्क को मजबूत बनाते हैं (जिसे नकली बनाना कठिन हो), तो टेक्स्ट की गुणवत्ता खराब हो जाती है। यदि आप चाहते हैं कि टेक्स्ट स्वाभाविक लगे, तो वॉटरमार्क पता लगाने के लिए बहुत कमजोर हो जाता है।

नया विचार: "सीड पूल" (The Seed Pool)

इस पेपर के लेखकों ने महसूस किया कि "अनाड़ी गार्ड" वाला दृष्टिकोण ही एकमात्र तरीका नहीं है। उन्होंने कुछ दिलचस्प गौर किया: रैंडमनेस (यादृच्छिकता) मायने रखती है।

AI की जनरेशन प्रक्रिया को एक शेफ द्वारा भोजन पकाने की तरह समझें। "सीड" (Seed) वह रैंडम सामग्री है जिसे शेफ सबसे पहले उठाता है। यदि शेफ थोड़ा अलग रैंडम घटक (एक अलग सीड) उठाता है, तो वे उसी रेसिपी के साथ पूरी तरह से अलग व्यंजन बना सकते हैं।

पेपर ने खोजा कि किस "रैंडम सीड" का उपयोग किया जा रहा है, इसके आधार पर वॉटरमार्क अलग-अलग व्यवहार करता है। कुछ सीड्स वॉटरमार्क को बहुत मजबूत बनाते हैं लेकिन स्वाद (गुणवत्ता) बिगाड़ देते हैं। अन्य सीड्स टेक्स्ट को बेहतरीन स्वाद देते हैं लेकिन वॉटरमार्क अदृश्य हो जाता है।

समाधान: WaterSearch ("टेस्टर" वाला दृष्टिकोण)

AI को केवल एक व्यंजन पकाने देने और उम्मीद करने के बजाय कि वह अच्छा होगा, WaterSearch प्रक्रिया को बदल देता है। यह एक मुख्य शेफ की तरह काम करता है जो एक ही समय में एक ही व्यंजन के कई संस्करणों का ऑर्डर देता है।

यह कैसे काम करता है, चरण-दर-चरण:

समानांतर कुकिंग (The Seed Pool): जब AI को एक पैराग्राफ लिखने की आवश्यकता होती है, तो WaterSearch केवल एक रैंडम सीड नहीं चुनता। यह सीड्स का एक छोटा समूह चुनता है (जैसे 5 अलग-अलग सीड्स)।
कैंडिडेट्स तैयार करना: यह AI को उसी पैराग्राफ को पाँच बार लिखने के लिए कहता है, प्रत्येक संस्करण के लिए एक अलग सीड का उपयोग करते हुए।
- वर्जन A: बेहतरीन वॉटरमार्क, अजीब व्याकरण।
- वर्जन B: एकदम सही व्याकरण, कमजोर वॉटरमार्क।
- वर्जन C: दोनों का अच्छा संतुलन।
- वर्जन D और E: अन्य विभिन्न मिश्रण।
चयन (The Taste Test): एक स्मार्ट सेलेक्टर इन पाँचों संस्करणों को देखता है। वह पूछता है: "कौन सा संस्करण सबसे अधिक स्वाभाविक लगता है और साथ ही जिसमें एक पर्याप्त मजबूत छिपा हुआ हस्ताक्षर है?"
विजेता: यह सबसे अच्छे संस्करण (वर्जन C) को चुनता है और बाकी को हटा देता है।

यह गेम चेंजर क्यों है

पेपर का दावा है कि यह विधि तीन प्रमुख तरीकों से "सुरक्षा गार्ड बनाम कलाकार" की समस्या को हल करती है:

बेहतर गुणवत्ता: क्योंकि सिस्टम को सबसे अच्छे संस्करण को चुनने का मौका मिलता है, इसलिए इसे AI को बुरा लिखने के लिए मजबूर नहीं करना पड़ता। यह उस "स्वीट स्पॉट" को ढूंढ लेता है जहाँ टेक्स्ट उच्च गुणवत्ता वाला होता है और वॉटरमार्क अभी भी पता लगाने योग्य होता है।
छोटा टेक्स्ट और कोड: यह विशेष रूप से छोटे उत्तर लिखने या कंप्यूटर कोड जैसे कठिन कार्यों के लिए सहायक है। इन मामलों में, वॉटरमार्क छिपाने के लिए बहुत कम शब्द होते हैं, इसलिए पारंपरिक तरीके विफल हो जाते हैं। WaterSearch का "पाँच बार प्रयास करें और सबसे अच्छा चुनें" वाला दृष्टिकोण यहाँ बहुत बेहतर काम करता है।
मजबूती (Robustness): भले ही कोई बाद में टेक्स्ट को संपादित करने की कोशिश करे (जैसे कुछ शब्दों को बदलना या वाक्यों को फिर से लिखना), वॉटरमार्क इतना मजबूत होता है कि उसे अभी भी पाया जा सकता है।

लागत (किचन का उदाहरण)

क्या इसका कोई नुकसान है? हाँ। एक व्यंजन पकाने की तुलना में पाँच व्यंजन पकाने में अधिक ऊर्जा और समय लगता है।

पेपर का दावा: लेखक दिखाते हैं कि हालांकि यह अधिक कंप्यूटर पावर का उपयोग करता है, लेकिन उन्होंने इसे बहुत कुशलता से बनाया है (जैसे कि एक साझा किचन काउंटर का उपयोग करना)। अतिरिक्त लागत प्रबंधनीय है, और गुणवत्ता में होने वाला भारी सुधार इसके लायक है।

सारांश

WaterSearch एक नया फ्रेमवर्क है जो AI को वॉटरमार्क छिपाने के लिए बुरा टेक्स्ट लिखने के लिए मजबूर होने से रोकता है। एक "ठीक-ठाक" परिणाम पर ज़ोर देने के बजाय, यह अलग-अलग रैंडम "सीड्स" का उपयोग करके कई विकल्प बनाता है, जो उच्च-गुणवत्ता और सुरक्षित दोनों हैं उन्हें चुनता है, और बाकी को हटा देता है। यह AI को सही करने का दूसरा मौका देने जैसा है, जिससे यह सुनिश्चित होता है कि टेक्स्ट भरोसेमंद है और संदेश को खराब किए बिना वॉटरमार्क पता लगाने योग्य है।

तकनीकी सारांश: WaterSearch

समस्या विवरण (Problem Statement)

लार्ज लैंग्वेज मॉडल्स (LLMs) को जवाबदेही सुनिश्चित करने और मशीन-जनरेटेड कंटेंट की पहचान करने के लिए मजबूत वॉटरमार्किंग तंत्र की आवश्यकता होती है। मौजूदा तरीके, जैसे कि KGW फ्रेमवर्क, आमतौर पर जनरेशन के दौरान टोकन-लेवल प्रोबेबिलिटी डिस्ट्रीबशन में व्यवधान (perturbations) डालने पर निर्भर करते हैं। हालांकि ये डिटेक्शन के लिए प्रभावी हैं, लेकिन ये व्यवधान एक ज्ञात ट्रेड-ऑफ पेश करते हैं: वॉटरमार्क की स्ट्रेंथ बढ़ाने से टेक्स्ट की गुणवत्ता कम हो जाती है, विशेष रूप से चुनौतीपूर्ण परिदृश्यों जैसे कि शॉर्ट-टेक्स्ट जनरेशन, रीजनिंग टास्क, और लो-एन्ट्रॉपी जनरेशन (जैसे कोड कंप्लीशन) में। इन समस्याओं को एंट्रॉपी-अवेयर ह्यूरिस्टिक्स या अनबायस्ड एडजस्टमेंट के माध्यम से कम करने के वर्तमान प्रयास अभी भी एक फिक्स्ड जनरेशन पाइपलाइन के तहत टोकन डिस्ट्रीब्यूशन को संशोधित करने पर निर्भर हैं, जो मॉडल के मूल व्यवहार से विचलित हो सकता है और फिडेलिटी (fidelity) तथा डिटेक्टेबिलिटी के बीच संतुलन बनाने में विफल हो सकता है।

कार्यप्रणाली (Methodology): WaterSearch

लेखक WaterSearch का प्रस्ताव करते हैं, जो एक सर्च-आधारित फ्रेमवर्क है जो दृष्टिकोण को टोकन-लेवल व्यवधानों से बदलकर सीड-लेवल कंट्रोल (seed-level control) पर केंद्रित करता है। मुख्य अंतर्दृष्टि यह है कि वॉटरमार्क का व्यवहार विभिन्न रैंडम सीड्स (random seeds) के माध्यम से काफी भिन्न होता है, जिससे डिटेक्शन स्ट्रेंथ और जनरेशन क्वालिटी के बीच विविध ट्रेड-ऑफ उत्पन्न होते हैं।

1. सीड पूलिंग और पैरेलल जनरेशन (Seed Pooling and Parallel Generation)

एक फिक्स्ड सीड के साथ केवल एक टेक्स्ट सीक्वेंस जेनरेट करने के बजाय, WaterSearch प्रत्येक जनरेशन स्टेप पर ग्लोबल सीड्स का एक सीड पूल (seed pool) बनाए रखता है।

सीड पूल निर्माण: रिप्रोड्यूसिबिलिटी (reproducibility) सुनिश्चित करने के लिए प्री-डिफाइंड सीड्स को एक सीक्रेट की ( $\pi_{key}$ ) का उपयोग करके परमिट किया जाता है, जिससे नियंत्रित विविधता (controlled variation) आती है।
पैरेलल कैंडिडेट्स: टेक्स्ट के प्रत्येक चंक (chunk) के लिए, फ्रेमवर्क $k$ कैंडिडेट्स को समानांतर (parallel) में जेनरेट करता है: एक स्टैंडर्ड अनवॉटरमार्क्ड सीक्वेंस और $k-1$ वॉटरमार्क्ड सीक्वेंस, जिनमें से प्रत्येक को पूल से एक अलग सीड के साथ इंस्टैंशिएट किया गया है।
दक्षता (Efficiency): कंप्यूटेशनल लागत को प्रबंधित करने के लिए, सिस्टम KV कैश रियूज के साथ पैरेलल जनरेशन का उपयोग करता है, जिससे मेमोरी कॉम्प्लेक्सिटी $O(k(L+T))$ से घटकर $O(k(L+m))$ हो जाती है, जहाँ $m$ चंक का आकार है।

2. कैंडिडेट सिलेक्शन (Candidate Selection)

WaterSearch वॉटरमार्किंग को एक कैंडिडेट सिलेक्शन समस्या के रूप में मानता है। यह एक वेटेड ऑब्जेक्टिव फंक्शन $q(y, \tilde{y})$ का उपयोग करके जेनरेट किए गए $k$ चंक्स का मूल्यांकन करता है:
$q(y, \tilde{y}) = \alpha q_{sim}(y, \tilde{y}) + (1 - \alpha) \frac{|\tilde{y}|_G}{|\tilde{y}|}$
जहाँ:

$q_{sim}$ अनवॉटरमार्क्ड रेफरेंस और कैंडिडेट के बीच समानता (लेक्सिकल या सिमेंटिक) को मापता है (फिडेलिटी)।
$\frac{|\tilde{y}|_G}{|\tilde{y}|}$ "ग्रीन लिस्ट" टोकन्स के अनुपात (डिटेक्टेबिलिटी) को दर्शाता है।
$\alpha$ क्वालिटी और डिटेक्टेबिलिटी को संतुलित करने वाला एक ट्यूनेबल हाइपरपैरामीटर है।
जिस चंक का स्कोर सबसे अधिक होता है, उसे चुना जाता है और अगले इटरेशन के लिए कॉन्टेक्स्ट में जोड़ दिया जाता है।

3. डिटेक्शन स्ट्रैटेजी (Detection Strategy)

चूंकि डिटेक्टर को चुने गए चंक के लिए विशिष्ट सीड का स्पष्ट रूप से पता नहीं होता है, इसलिए WaterSearch एक मैक्स-सांख्यिकी आधारित परिकल्पना परीक्षण (max-statistic based hypothesis testing) रणनीति का उपयोग करता है:

चंक-लेवल टेस्टिंग: एक दिए गए टेक्स्ट चंक के लिए, डिटेक्टर सीड पूल को पुनर्गठित करता है और सभी कैंडिडेट सीड्स के लिए वॉटरमार्क स्टैटिस्टिक (ग्रीन टोकन्स की संख्या) का मूल्यांकन करता है।
मैक्स-स्टैटिस्टिक (Max-Statistic): यह सीड पूल में देखे गए अधिकतम स्टैटिस्टिक को चुनता है। नल हाइपोथेसिस ( $H_0$ , कोई वॉटरमार्क नहीं) के तहत, इस मैक्सिमम स्टैटिस्टिक का वितरण स्वतंत्र बाइनोमियल वेरिएबल्स के मैक्सिमम से प्राप्त होता है।
एग्रीगेशन (Aggregation): डॉक्यूमेंट-लेवल सिग्निफिकेंस स्कोर की गणना करने के लिए फिशर के मेथड का उपयोग करके चंक-लेवल p-वैल्यूज को एग्रीगेट किया जाता है। यह दृष्टिकोण कई चंक्स में साक्ष्य (evidence) को संचित करता है, जिससे यह टोकन-लेवल व्यवधानों और पैराफ्रेसिंग के प्रति मजबूत बनता है।

मुख्य योगदान (Key Contributions)

सीड-लेवल परिप्रेक्ष्य: पेपर पहचान करता है कि रैंडम सीड्स वॉटरमार्क व्यवहार को महत्वपूर्ण रूप से प्रभावित करते हैं और क्वालिटी-डिटेक्टेबिलिटी ट्रेड-ऑफ स्पेस को एक्सप्लोर करने के लिए सीड पूलिंग को एक नए तंत्र के रूप में पेश करता है।
WaterSearch फ्रेमवर्क: यह एक व्यावहारिक, मॉड्यूलर फ्रेमवर्क है जो मौजूदा टोकन-लेवल वॉटरमार्किंग विधियों (जैसे KGW, GPT Watermark) के साथ संगत कैंडिडेट जेनरेट और सेलेक्ट करता है।
मजबूत डिटेक्शन: यह सीड-लेवल सांख्यिकीय भिन्नता पर आधारित एक डिटेक्शन विधि प्रदान करता है जिसे स्पष्ट सीड पहचान की आवश्यकता नहीं है, जो हमलों के खिलाफ मजबूती प्रदान करता है।

प्रयोगात्मक परिणाम (Experimental Results)

प्रयोग WaterBench (10 कार्यों में फैला हुआ जिसमें शॉर्ट/लॉन्ग टेक्स्ट, QA और कोड शामिल हैं) और RepoBench-P पर तीन मॉडल्स (Qwen2.5-7B, Llama2-7B, InternLM-7B) और चार वॉटरमार्क बेसलाइन्स पर किए गए।

कुल प्रदर्शन: WaterSearch ने सभी सेटिंग्स में बेसलाइन तरीकों को लगातार पछाड़ते हुए, क्वालिटी और डिटेक्शन मेट्रिक्स के ज्योमेट्रिक मीन (GM) में औसतन लगभग 5.5 पॉइंट्स का एब्सोल्यूट गेन हासिल किया।
चुनौतीपूर्ण परिदृश्य:
- शॉर्ट-टेक्स्ट जनरेशन: डिटेक्शन सक्सेस रेट में महत्वपूर्ण सुधार (जैसे Copen में +26.9 पॉइंट्स, HotpotQA में +3.7) जहाँ टोकन बजट सीमित होता है।
- लो-एन्ट्रॉपी जनरेशन: कोड कंप्लीशन कार्यों (LCC, RepoBench-P) में उल्लेखनीय लाभ, जिसमें औसत 4.7 पॉइंट्स का गेन देखा गया, जो उच्च टेक्स्ट क्वालिटी बनाए रखते हुए डिटेक्टेबिलिटी में सुधार करता है।
मजबूती (Robustness): विधि ने बेसलाइन्स की तुलना में इंसर्शन अटैक, सिनोनिम सब्स्टीट्यूशन और पैराफ्रेसिंग अटैक (Pegasus, Parrot) के खिलाफ बेहतर लचीलापन दिखाया।
एब्लेशन स्टडीज (Ablation Studies):
- पैरेलल बीम साइज ( $K$ ) को बढ़ाने से क्वालिटी और डिटेक्शन दोनों में सुधार हुआ, यहाँ तक कि $K=2$ भी बेसलाइन्स पर बढ़त दिखाता है।
- ट्रेड-ऑफ फैक्टर $\alpha$ फ्लेक्सिबल कंट्रोल की अनुमति देता है, जिससे WaterSearch बेसलाइन्स की तुलना में बेहतर पारेटो फ्रंटियर (Pareto frontier) प्राप्त करता है।

महत्व और दावे (Significance and Claims)

पेपर का दावा है कि रैंडमनेस (रैंडम सीड्स) को एक नियंत्रणीय चर (controllable variable) के रूप में मानना, मौलिक रूप से टोकन-लेवल जनरेशन लॉजिक को बदले बिना वॉटरमार्किंग को बेहतर बनाने का एक सिद्धांतगत तरीका प्रदान करता है। सीड विविधता का लाभ उठाकर, WaterSearch प्रभावी रूप से क्वालिटी-डिटेक्टेबिलिटी ट्रेड-ऑफ को नेविगेट करता है, विशेष रूप से उन परिदृश्यों में जहाँ पारंपरिक व्यवधान विधियाँ संघर्ष करती हैं। लेखक इस बात पर जोर देते हैं कि उनका दृष्टिकोण मॉड्यूलर है और मौजूदा वॉटरमार्किंग स्कीम्स के साथ संगत है, जो वास्तविक दुनिया के LLM अनुप्रयोगों में मजबूत वॉटरमार्क तैनात करने के लिए एक व्यावहारिक समाधान प्रदान करता है।

यह कार्य सीमाओं को स्वीकार करता है, यह नोट करते हुए कि यह अंतर्निहित वॉटरमार्किंग विधियों (जैसे KGW का क्वालिटी पर संभावित प्रभाव) के प्रतिबंधों को विरासत में लेता है और अतिरिक्त कंप्यूटेशनल ओवरहेड भी लाता है, हालांकि इसे KV-कैश रियूज द्वारा कम किया गया है। भविष्य के कार्य के लिए सैंपलिंग दक्षता में सुधार करने और लागत कम करने का सुझाव दिया गया है।