Synchronization-Free Algebraic Fingerprints for Large Language Models: From Autoregressive to Diffusion Models
यह शोधपत्र लार्ज लैंग्वेज मॉडल्स के लिए एक नवीन, सिंक्रोनाइज़ेशन-मुक्त वॉटरमार्किंग योजना प्रस्तावित करता है जो रीड-सोलोमन पॉलिनोमिअल्स और बाइनरी कॉंग्रुएंसिस का उपयोग करके टोकन युग्मों में गुप्त पहचान को एम्बेड करता है, जिससे ब्लॉक सिंक्रोनाइज़ेशन की आवश्यकता के बिना संपादन, पैराफ्रेसिंग और टोकन पुनर्व्यवस्था का प्रतिरोध करने वाला सुदृढ़ एट्रिब्यूशन सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बहुत ही प्रतिभाशाली, लेकिन थोड़े शरारती रोबोट द्वारा बनाई गई रेत की बालू के महलों (sandcastles) के ढेर पर अपना एक गुप्त हस्ताक्षर छोड़ने की कोशिश कर रहे हैं। यह रोबोट एक आर्टिफिशियल इंटेलिजेंस (AI) है जो कहानियाँ लिखता है, सवालों के जवाब देता है और कोड बनाता है। समस्या यह है कि रोबोट मानव शैली की नकल करने में इतना कुशल है कि यह बताना असंभव है कि कहानी किसी इंसान ने लिखी है या मशीन ने। इससे भी बुरा यह है कि यदि कोई उस कहानी को "ठीक" करने की कोशिश करता है—जैसे कि एक वाक्य हटा देना, एक चुटकुला जोड़ना, या पैराग्राफों को इधर-उधर करना—तो आमतौर पर वह हस्ताक्षर मिट जाता है, ठीक वैसे ही जैसे ज्वार आने पर रेत पर बने पैरों के निशान मिट जाते हैं।
वैज्ञानिकों ने इसे हल करने के लिए टेक्स्ट में अदृश्य कोड अंकित करने की कोशिश की है, लेकिन उनके अधिकांश तरीके एक लंबी, नाजुक कागज़ की पेपरक्लिप की चेन की तरह हैं। यदि आप एक पेपरक्लिप (एक शब्द हटाना) निकालते हैं या एक नई पेपरक्लिप (एक शब्द जोड़ना) जोड़ते हैं, तो पूरी चेन टूट जाती है और गुप्त संदेश खो जाता है। यह नया पेपर इस समस्या के बारे में सोचने का एक बिल्कुल अलग तरीका पेश करता है। एक नाजुक चेन के बजाय, कल्पना कीजिए कि यह हजारों छोटे, स्वतंत्र जुगनुओं (fireflies) का एक क्षेत्र है। प्रत्येक जुगनू एक गुप्त कोड का एक छोटा सा हिस्सा लेकर चलता है। यदि एक तूफान (संपादक) आधे जुगनुओं को उड़ा ले जाता है, या यदि वे अलग क्रम में उड़ते हैं, तो भी आप गुप्त संदेश का पता लगा सकते हैं क्योंकि आपको उन सभी की एक पंक्ति में होने की आवश्यकता नहीं है; आपको बस उनमें से कुछ की उपस्थिति की आवश्यकता है। शोधकर्ता दिखाते हैं कि बहुपदों (polynomials - जिन्हें आप संख्याओं के लिए गुप्त रेसिपी मान सकते हैं) से जुड़ी गणितीय युक्तियों का उपयोग करके और टेक्स्ट एडिटिंग को संयोग के खेल (game of chance) की तरह मानकर, आप टेक्स्ट के भारी संपादन के बाद भी AI की गुप्त पहचान को पुनः प्राप्त कर सकते हैं।
समस्या: "चेन" बनाम "क्लाउड"
लंबे समय से, शोधकर्ता टेक्स्ट में वॉटरमार्क करने के लिए एक सख्त अनुक्रम (sequence) में गुप्त संदेश को व्यवस्थित करने का प्रयास कर रहे हैं, जैसे कि एक धागे पर मोती। वे कहेंगे, "पहला शब्द एक गुप्त निशान प्राप्त करेगा, दूसरा शब्द अगला निशान प्राप्त करेगा, और इसी तरह।" यह तब तक ठीक काम करता है जब तक कि कोई टेक्स्ट को एडिट न कर दे। यदि कोई पहले शब्द को हटा देता है, तो दूसरा शब्द अचानक "पहला" बन जाता है, और पूरा गुप्त कोड गड़बड़ा जाता है। यह एक ऐसी किताब को पढ़ने जैसा है जहाँ किसी ने पेज 5 फाड़ दिया है; अचानक, पेज 6 पेज 5 बन जाता है, और कहानी का कोई अर्थ नहीं रह जाता। इसे "सिंक्रोनाइज़ेशन" (synchronization) समस्या कहा जाता है। डिटेक्टर (वह व्यक्ति जो वॉटरमार्क की जाँच कर रहा है) भ्रमित हो जाता है क्योंकि सुरागों का क्रम बदल गया है।
इस पेपर के लेखक तर्क देते हैं कि यह "चेन" दृष्टिकोण मौलिक रूप से त्रुटिपूर्ण है, खासकर उस टेक्स्ट के लिए जिसे एडिट किया जा सकता है। वे एक आमूलचूल बदलाव का प्रस्ताव करते: क्रम पर निर्भर रहना पूरी तरह से छोड़ दें। एक चेन के बजाय, वे सुरागों के एक "क्लाउड" (बादल) का सुझाव देते हैं।
समाधान: स्वतंत्र जुगनू और गुप्त रेसिपी
इस पेपर का मुख्य विचार एक "सिंक्रोनाइजेशन-फ्री" (तालमेल-मुक्त) वॉटरमार्क है। यह इस प्रकार काम करता है, एक गुप्त रेसिपी और दो पड़ोसियों के उदाहरण का उपयोग करते हुए।
कल्पना कीजिए कि AI एक कहानी लिख रहा है, एक बार में एक शब्द। शोधकर्ता प्रस्तावित करते हैं कि प्रत्येक पड़ोसी शब्दों के जोड़े के लिए (मान लीजिए "शब्द A" और "शब्द B"), सिस्टम एक गुप्त "रेसिपी" (एक गणितीय बहुपद/polynomial) की जाँच करता है ताकि यह तय किया जा सके कि शब्द B का "फ्लेवर" (स्वाद) कैसा होगा।
- गुप्त रेसिपी: AI का मालिक एक गुप्त पहचान (जैसे 32-बिट या 128-बिट संख्या) रखता है। वे इस संख्या को एक गणितीय सूत्र में बदलते हैं।
- पड़ोसी: प्रत्येक शब्द के जोड़े के लिए, सिस्टम सूत्र पर एक विशिष्ट "टेस्ट पॉइंट" चुनने के लिए पहले शब्द को देखता है।
- निर्णय: सूत्र एक परिणाम देता है। यदि परिणाम "सम" (even) है, तो दूसरा शब्द एक "टाइप 1" शब्द (जैसे संज्ञा) होना चाहिए। यदि परिणाम "विषम" (odd) है, तो दूसरा शब्द एक "टाइप 2" शब्द (जैसे क्रिया) होना चाहिए।
- जादू: महत्वपूर्ण बात यह है कि शब्द B के लिए यह निर्णय केवल शब्द A और गुप्त रेसिपी पर निर्भर करता है। इसे इस बात से कोई फर्क नहीं पड़ता कि शब्द A से पहले क्या हुआ था या शब्द B के बाद क्या होता है।
क्योंकि शब्दों का प्रत्येक जोड़ा एक स्व-निहित "जुगनू" है, इससे कोई फर्क नहीं पड़ता कि आप शब्द A को हटा देते हैं, उनके बीच एक नया शब्द डाल देते हैं, या पूरे पैराग्राफ को इधर-उधर कर देते हैं। शेष जोड़े अभी भी अपने स्वतंत्र सुराग रखते हैं। यदि आपके पास पर्याप्त जोड़े बचे हैं, तो आप मूल गुप्त रेसिपी को गणितीय रूप से पुनर्गठित कर सकते हैं, भले ही टेक्स्ट को काट दिया गया हो या पुनर्व्यवस्थित किया गया हो।
वे कैसे सिद्ध करते हैं कि यह काम करता है
लेखकों ने केवल अनुमान नहीं लगाया कि यह काम करेगा; उन्होंने इसे साबित करने के लिए एक गणितीय मॉडल बनाया। उन्होंने टेक्स्ट एडिटिंग की प्रक्रिया (शब्दों को हटाना, शब्दों को बदलना) को एक "बाइनरी सिमेट्रिक चैनल" (Binary Symmetric Channel) के रूप में माना। सरल शब्दों में, उन्होंने हर एडिटिंग मिस्टेक को एक साधारण कॉइन फ्लिप (सिक्का उछालने) की तरह माना: या तो सुराग सही है, या यह गलत उत्तर की ओर मुड़ गया है।
उन्होंने गणित चलाया यह देखने के लिए कि उन्हें गुप्त पहचान प्राप्त करने के लिए कितने सुराग (शब्द जोड़े) चाहिए।
- परिणाम: उन्होंने पाया कि उन्हें बहुत कम "अतिरिक्त" टेक्स्ट की आवश्यकता होती है। भले ही टेक्स्ट को भारी रूप से एडिट किया गया हो (30% सुराग गलत या गायब हों), वे 99% विश्वास के साथ 32-बिट गुप्त कोड को पुनः प्राप्त करने के लिए केवल कुछ अतिरिक्त वाक्यों की आवश्यकता रखते हैं।
- उपमा: यदि आप सिक्का उछालकर 32-बिट पासवर्ड का अनुमान लगाने की कोशिश कर रहे हैं, और आपको 30% उछाल गलत मिलते हैं, तो आप आमतौर पर फंस जाएंगे। लेकिन क्योंकि उनका गणित एक विशेष प्रकार के कोड (Reed-Solomon) का उपयोग करता है, यह एक जादुई डिकोडर रिंग रखने जैसा है जो उन गलत उछालों को ठीक कर सकता है, जब तक कि आपके पास पर्याप्त कुल उछाल हों।
उन्होंने यह भी परीक्षण किया कि बहुत लंबे रहस्यों (जैसे 128 बिट) को कैसे संभालना है। उन्होंने पाया कि यदि वे बड़े रहस्य को छोटे टुकड़ों (fragments) में तोड़ते हैं और प्रत्येक टुकड़े को जुगनुओं के अपने स्वतंत्र क्लाउड के रूप में देखते हैं, तो वे बिना किसी विशाल टेक्स्ट के पूरे रहस्य को पुनः प्राप्त कर सकते हैं।
विभिन्न प्रकार के AI के बारे में क्या?
यह पेपर एक नए प्रकार के AI के बारे में भी देखता है जिसे "डिफ्यूजन मॉडल्स" (Diffusion Models) कहा जाता है। मानक AI के विपरीत जो बाएं से दाएं एक-एक शब्द करके लिखता है (एक टाइपिस्ट की तरह), डिफ्यूजन मॉडल एक बिखरे हुए, अस्त-व्यस्त वाक्य से शुरू होते हैं और धीरे-धीरे उसे साफ करते हैं, जैसे एक मूर्तिकार पत्थर को तराश कर मूर्ति निकालता है।
लेखकों ने महसूस किया कि उनका "स्वतंत्र जुगनू" वाला तरीका यहाँ भी पूरी तरह काम करता है। उन्होंने AI द्वारा टेक्स्ट को "कमिट" (commit) करने के तीन अलग-अलग तरीके प्रस्तावित किए:
- बेसिक कमिट (Basic Commit): AI एक शब्द को लॉक कर देता है जैसे ही वह अपने बाएं पड़ोसी के नियम में फिट बैठता है। यह तेज़ है, लेकिन यदि कोई गलती होती है, तो यह उसे सुधार नहीं सकता।
- रिफाइंड कमिट (Refined Commit): AI दोनों पड़ोसियों की जाँच करता है। यदि एक पड़ोसी "हाँ" कहता है और दूसरा "नहीं", तो यह त्रुटि को ठीक करने के लिए पड़ोसी के बारे में अपना विचार बदल सकता है। यह स्मार्ट है लेकिन इसमें थोड़ा अधिक समय लगता है।
- स्लाइडिंग कमिट (Sliding Commit): AI "लॉक" किए गए और "अनलॉक" किए गए शब्दों के बीच की सीमा को एक स्लाइडिंग डोर की तरह मानता है। यह दरवाजे को आगे-पीछे चलाता है जब तक कि सब कुछ पूरी तरह से फिट न हो जाए। यह सबसे मजबूत है लेकिन इसमें सबसे अधिक समय लगता है।
उनके सिमुलेशन बताते हैं कि मानक AI के लिए, "बेसिक" तरीका पर्याप्त तेज़ है। डिफ्यूजन मॉडल्स के लिए, "रिफाइंड" तरीका एक अच्छा संतुलन प्रदान करता है, जो चलते-चलते गलतियों को ठीक करता है।
निष्कर्ष
यह पेपर AI टेक्स्ट को टैग करने का एक नया तरीका सुझाता है जो अविश्वसनीय रूप से कठिन है। पिछले तरीकों के विपरीत, जो टेक्स्ट एडिट होने पर बिखर जाते हैं, यह विधि डिलीशन, इंसर्शन और शफलिंग के बावजूद जीवित रहती है क्योंकि प्रत्येक सुराग अपने आप में स्वतंत्र है। लेखक गणित और सिमुलेशन के माध्यम से दिखाते हैं कि आप उच्च विश्वास के साथ AI की गुप्त पहचान को पुनः प्राप्त कर सकते हैं, भले ही टेक्स्ट को भारी रूप से एडिट किया गया हो। उन्होंने यह भी बताया कि कैसे इसे मानक टेक्स्ट जनरेटर्स और नए, अधिक जटिल डिफ्यूजन मॉडल्स दोनों में लागू किया जा सकता है।
हालाँकि, वे यह दावा नहीं करते हैं कि उन्होंने हर संभव समस्या को हल कर लिया है (वे नोट करते हैं कि भविष्य के कार्य अधिक जटिल एडिटिंग पैटर्न पर देख सकते हैं), लेकिन उन्होंने एक मजबूत, गणितीय रूप से सिद्ध ढांचा प्रदान किया है जो वॉटरमार्किंग को पहले की तुलना में बहुत अधिक विश्वसनीय बनाता है। यह एक नाजुक चेन बनाने से लेकर सुरागों के एक लचीले क्लाउड बनाने की ओर एक बदलाव है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।