Optimal Watermark Localization in Mixed-Source Large Language Model Texts

आधुनिक डिजिटल परिदृश्य में, लार्ज लैंग्वेज मॉडल्स (LLMs) मानव जैसे टेक्स्ट उत्पन्न करने के लिए शक्तिशाली उपकरण बन गए हैं, जो निबंध लिखने से लेकर कोड को डीबग करने तक सब कुछ करने में सहायता करते हैं। हालाँकि, यह क्षमता एक महत्वपूर्ण चुनौती भी लाती है: मानव द्वारा लिखे गए टेक्स्ट और मशीन द्वारा उत्पन्न टेक्स्ट के बीच अंतर करना। इसे हल करने के लिए, शोधकर्ताओं ने 'वॉटरमार्किंग' नामक एक तकनीक विकसित की है। कल्पना कीजिए कि एक मशीन, लिखते समय, अपने शब्दों के चयन में गुप्त रूप से एक सांख्यिकीय पैटर्न (statistical pattern) डाल देती है। यह पैटर्न मानवीय दृष्टि के लिए अदृश्य है और न ही यह टेक्स्ट के अर्थ या प्रवाह को बदलता है, लेकिन यह एक छिपे हुए हस्ताक्षर की तरह कार्य करता है जिसे एक सत्यापनकर्ता (verifier) पहचान सकता है यदि उसके पास सही कुंजी (key) हो। यह AI-जनित सामग्री के प्रमाणीकरण की अनुमति देता है, जिससे शैक्षणिक अखंडता की रक्षा करने और गलत सूचनाओं के प्रसार को रोकने में मदद मिलती है।

फिर भी, वास्तविक दुनिया में एक बड़ी जटिलता उत्पन्न होती है। लोग शायद ही कभी AI-जनित टेक्स्ट का उपयोग ठीक उसी तरह करते हैं जैसा वह मशीन से बाहर आता है। वे इसे जमा करने या प्रकाशित करने से पहले इसमें संपादन करते हैं, पुनर्गठन करते हैं, पैराफ्रेस (paraphrase) करते हैं, या इसके कुछ हिस्सों को हटा देते हैं। ये मानवीय परिवर्तन छिपे हुए सांख्यिकीय पैटर्न को तोड़ सकते हैं, जिससे उन विशिष्ट खंडों में मशीन की संलिप्तता के प्रमाण मिट जाते हैं। यह एक कठिन प्रश्न छोड़ देता है: यदि कोई दस्तावेज़ मूल AI टेक्स्ट और मानवीय संपादन का मिश्रण है, तो क्या हम सटीक रूप से यह पता लगा सकते हैं कि कौन से हिस्से अभी भी मशीन के हस्ताक्षर को धारण करते हैं, और कौन से हिस्से पहचान से परे बदल दिए गए हैं? यह केवल यह जानने के बारे में नहीं है कि क्या किसी दस्तावेज़ में AI शामिल है; यह उन विशिष्ट स्थानों को खोजने के बारे में है जहाँ AI की उंगलियों के निशान (fingerprint) जीवित बचे हैं।

स्टैनफोर्ड यूनिवर्सिटी और यूनिवर्सिटी ऑफ पेन्सिलवेनिया के शोधकर्ताओं की एक टीम ने इस समस्या को एक शोरयुक्त अनुक्रम (noisy sequence) के भीतर छिपे संकेतों की एक सांख्यिकीय खोज के रूप में मानकर इसका समाधान किया है। उन्होंने पूरे दस्तावेज़ को देखने के बजाय व्यक्तिगत शब्दों, या टोकन के स्तर पर इन जीवित बचे वॉटरमार्क्स का पता लगाने के लिए एक नई विधि विकसित की है। उनका कार्य प्रकट करता है कि इन विशिष्ट स्थानों को खोजना केवल यह पता लगाने से मौलिक रूप से कठिन है कि किसी दस्तावेज़ में AI मौजूद है। इसके अलावा, उन्होंने पाया कि एक कठिन सीमा (hard limit) है: यह गणितीय रूप से असंभव है कि एक मिश्रित दस्तावेज़ में प्रत्येक मशीन-लिखित शब्द को प्रत्येक मानव-लिखित शब्द से पूरी तरह से अलग किया जा सके, चाहे विधि कितनी भी परिष्कृत क्यों न हो। हालाँकि, उन्होंने एक नया, अनुकूलन योग्य (adaptive) उपकरण भी बनाया है जो बिना यह जाने कि कितना संपादन हुआ है या टेक्स्ट मूल रूप से कैसे उत्पन्न किया गया था, उच्च सटीकता के साथ जीवित बचे मशीन-लिखित खंडों की सफलतापूर्वक पहचान कर सकता है।

शोधकर्ताओं ने इस समस्या को समझने के लिए सबसे पहले मानवीय संपादन द्वारा उत्पन्न "शोर" (noise) की प्रकृति को समझा। जब कोई व्यक्ति किसी टेक्स्ट को संपादित करता है, तो वह एक शब्द को बदल सकता है, एक नया वाक्य जोड़ सकता है, या एक वाक्यांश को हटा सकता है। यदि मूल शब्द AI के छिपे हुए पैटर्न का हिस्सा था, तो उसे बदलने से वह लिंक टूट जाता है। शोधकर्ताओं ने इसे एक ऐसे अनुक्रम के रूप में मॉडल किया जहाँ कुछ स्थान अभी भी मूल सांख्यिकीय संकेत रखते हैं, जबकि अन्य स्थानों पर इसे मिटा दिया गया है। उन्होंने एक डिटेक्शन सिस्टम के लिए सफलता के तीन स्तर परिभाषित किए। पहला है ग्लोबल डिटेक्शन (global detection), जो केवल यह पूछता है, "क्या इस टेक्स्ट में कोई AI है?" दूसरा है डिस्कवरी (discovery), जो पूछता है, "क्या हम AI के कुछ हिस्सों को कम से कम ढूंढ सकते हैं?" तीसरा है क्लासिफिकेशन (classification), जो पूछता है, "क्या हम प्रत्येक एकल AI-लिखित शब्द और प्रत्येक मानव-लिखित शब्द को पूरी तरह से पहचान सकते हैं?"

अपने विश्लेषण के माध्यम से, टीम ने सिद्ध किया कि जबकि ग्लोबल डिटेक्शन अक्सर संभव होता है, विशिष्ट स्थानों को खोजना एक बहुत अधिक कठिन चुनौती है। उन्होंने दिखाया कि डिस्कवरी, डिटेक्शन की तुलना में अधिक कठिन है क्योंकि इसके लिए न केवल एक संकेत को महसूस करने की आवश्यकता होती है, बल्कि मानवीय संपादन के समुद्र से उसे अलग करने की भी आवश्यकता होती है ताकि बहुत अधिक गलतियाँ न हों। अधिक महत्वपूर्ण रूप से, उन्होंने प्रदर्शन किया कि उनके मॉडल के तहत पूर्ण वर्गीकरण (perfect classification) असंभव है। ऐसा इसलिए है क्योंकि कुछ मशीन-लिखित शब्द, संपादन के बाद, मानव-लिखित शब्दों जैसे दिखते हैं कि कोई भी सांख्यिकीय परीक्षण विश्वसनीय रूप से उनके बीच अंतर नहीं कर सकता। हर एक मशीन शब्द को पकड़ने की कोशिश करने से अनिवार्य रूप से मानव शब्दों पर मशीन-जनित होने का झूठा आरोप लगेगा, और झूठे आरोपों से बचने की कोशिश करने का अर्थ होगा कई मशीन शब्दों को चूक जाना। इसलिए, लक्ष्य एक पूर्ण मानचित्र खोजने के बजाय एक विश्वसनीय सेट खोजने की ओर समायोजित होना चाहिए।

इस विश्वसनीय खोज को प्राप्त करने के लिए, शोधकर्ताओं ने एक विधि विकसित की जिसे SPOT कहा जाता है, जिसका अर्थ है 'स्कैनिंग पिवोट्स ओवरर थ्रेशोल्ड्स' (Scanning Pivots Over Thresholds)। यह विधि टेक्स्ट को स्कैन करती है और उन शब्दों की तलाश करती है जो एक ऐसा सांख्यिकical पैटर्न प्रदर्शित करते हैं जो असामान्य रूप से मजबूत है, जो यह सुझाव देता है कि वे संभवतः AI द्वारा उत्पन्न किए गए थे और बदले नहीं गए हैं। चुनौती इस स्कैन के लिए सही संवेदनशीलता (sensitivity) निर्धारित करने की है। यदि स्कैन बहुत संवेदनशील है, तो यह बहुत से मानव शब्दों को मशीन-जनित के रूप में चिह्नित कर देगा। यदि यह बहुत सख्त है, तो यह उन मशीन शब्दों को मिस कर देगा जिन्हें पहचानना कठिन है। SPOT इसे डेटा में देखे गए डेटा के आधार पर अपनी संवेदनशीलता को स्वचालित रूप से समायोजित करके हल करता है। यह अनुमान लगाता है कि टेक्स्ट का कितना हिस्सा अभी भी AI सिग्नल धारण करता है और फिर एक ऐसा थ्रेशोल्ड चुनता है जो गलत अलार्म की दर को कम रखते हुए यथासंभव अधिक वास्तविक संकेतों को पकड़ता है। यह सिस्टम को दस्तावेज़ के प्रकार और संपादन शैलियों के अनुसार अनुकूलित होने की अनुमति देता है, बिना यह जाने कि टेक्स्ट को कैसे बनाया गया था या कैसे संपादित किया गया था।

शोधकर्ताओं ने अपने सिद्धांत और विधि का परीक्षण व्यापक सिमुलेशन और वास्तविक भाषा मॉडलों के साथ प्रयोगों के माध्यम से किया। अपने सिमुलेशन में, उन्होंने संपादन के विभिन्न स्तरों और सिग्नल की विभिन्न शक्ति वाले कृत्रिम टेक्स्ट बनाए। परिणामों ने उनके सैद्धांतिक अनुमानों की पुष्टि की: एक स्पष्ट सीमा है जहाँ मशीन-लिखित भागों को खोजना संभव है, और एक सीमा है जहाँ यह असंभव है। जब संपादन बहुत अधिक होता है या सिग्नल बहुत कमजोर होता है, तो विधि विश्वसनीय स्थानों को खोजने में विफल रहती है। लेकिन उपलब्ध सीमा के भीतर, विधि उच्च सटीकता के साथ कार्य करती है। एक वास्तविक भाषा मॉडल का उपयोग करके टेक्स्ट उत्पन्न करने और फिर सामान्य मानवीय संपादन जैसे रैंडम प्रतिस्थापन, सम्मिलन और विलोपन लागू करने के प्रयोगों में, SPOT विधि मौजूदा दृष्टिकोणों से बेहतर प्रदर्शन करती रही। यह कम गलत आरोपों को बनाए रखते हुए जीवित बचे मशीन-लिखित शब्दों के एक बड़े हिस्से की पहचान करने में सक्षम थी।

अध्ययन ने यह भी रेखांकित किया कि टेक्स्ट जनरेशन की प्रकृति के साथ कार्य की कठिनाई कैसे बदल जाती है। जब भाषा मॉडल उच्च यादृच्छिकता (randomness) के साथ टेक्स्ट उत्पन्न करता है, तो छिपे हुए सांख्यिकीय पैटर्न खोजने के अधिक अवसर होते हैं, जिससे लोकलाइजेशन आसान हो जाता है। जब मॉडल अधिक नियतात्मक (deterministic) होता है, जो बहुत ही पूर्वानुमेय टेक्स्ट बनाता है, तो छिपे हुए पैटर्न कमजोर होते हैं, और कार्य कठिन हो जाता है। शोधकर्ताओं ने पाया कि उनकी विधि इन विभिन्न स्थितियों में सुदृढ़ (robust) बनी रही, हालांकि कि कितना टेक्स्ट संपादित किया गया था इसके प्रारंभिक अनुमान की सटीकता ने प्रदर्शन में भूमिका निभाई। उन्होंने उल्लेख किया कि जबकि उनकी विधि अत्यधिक प्रभावी है, संपादन की मात्रा का प्रारंभिक अनुमान कितना सटीक है, यह एक बाधा (bottleneck) हो सकता है, विशेष रूप से जब टेक्स्ट बहुत पूर्वानुमेय हो।

अंततः, यह कार्य वॉटरमार्क लोकलाइजेशन की सीमाओं को समझने के लिए एक स्पष्ट सांख्यिकीय ढांचा प्रदान करता है। यह स्थापित करता है कि जबकि हम एक मिश्रित-स्रोत दस्तावेज़ के संपूर्ण इतिहास को पूरी तरह से पुनर्निर्मित नहीं कर सकते, हम उन हिस्सों की विश्वसनीय पहचान कर सकते हैं जो अभी भी मशीन का चिह्न धारण करते हैं। यह व्यावहारिक अनुप्रयोगों के लिए अत्यंत महत्वपूर्ण है। इसका अर्थ यह है कि हर शब्द को अलग करने वाले पूर्ण समाधान की आशा करने के बजाय, हम ऐसे सिस्टम बना सकते हैं जो आत्मविश्वास के साथ उन खंडों को चिह्नित कर सकें जो संभवतः AI-जनित हैं। यह अधिक सूक्ष्म एट्रिब्यूशन (attribution) की अनुमति देता है, जिससे शिक्षकों, प्रकाशकों और शोधकर्ताओं को टेक्स्ट की उत्पत्ति (provenance) को अधिक सटीकता के साथ समझने में मदद मिलती है। शोधकर्ता निष्कर्ष निकालते हैं कि उनकी अनुकूलन योग्य विधि संपादित AI टेक्स्ट की जटिल वास्तविकता में नेविगेट करने के लिए एक व्यावहारिक और सैद्धांतिक रूप से सुदृढ़ तरीका प्रदान करती है, जो एक ऐसा उपकरण प्रदान करती है जो तब भी अच्छा काम करता है जब टेक्स्ट के निर्माण की सटीक स्थितियाँ अज्ञात हों।