Dataset Watermarking for Closed LLMs with Provable Detection
यह शोध पत्र क्लोज्ड लार्ज लैंग्वेज मॉडल्स के लिए पहले प्रुवेबल (provable) डेटासेट वॉटरमार्किंग पद्धति को प्रस्तुत करता है, जो यादृच्छिक रूप से चयनित शब्द युग्मों की सह-उपस्थिति आवृत्ति बढ़ाकर पता लगाने योग्य संकेत सम्मिलित करता है और सफलतापूर्वक उन्हें मॉडल आउटपुट में पहचान लेता है, भले ही वॉटरमार्क किया गया डेटा फाइन-ट्यूनिंग टोकन का केवल 1% हो, और यह सब डेटासेट की उपयोगिता को बनाए रखते हुए किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक बेकर हैं जिसने एक विशेष केक के लिए अपने पारिवारिक गुप्त नुस्खे (रेसिपी) को वर्षों तक निखारने में बिताया है। आप इस रेसिपी को दुनिया के साथ साझा करने का निर्णय लेते हैं ताकि अन्य लोग इससे सीख सकें। हालाँकि, आपको डर है कि कोई बड़ी, आलीशान बेकरी चेन आपके गुप्त नुस्खे को ले सकती है, उसे अपने विशाल आटे के मिश्रण में मिला सकती है, और फिर दावा कर सकती है कि उनका नया केक पूरी तरह से उनका अपना आविष्कार है। इससे भी बुरा यह होगा कि वे अपने केक को विशिष्ट तरीकों से "बेहतर" बनाने के लिए आपके नुस्खे का उपयोग कर सकते हैं, जिससे जज धोखा खा सकते हैं कि उनकी चेन दुनिया में सर्वश्रेष्ठ है।
यह शोध पत्र एक चतुर, अदृश्य "इन्ग्रेडिएंट टैग" (सामग्री का टैग) पेश करता है जो आपको यह साबित करने की अनुमति देता है कि आपके नुस्खे का उपयोग किया गया था, भले ही बेकरी चेन अपने मिक्सिंग बाउल या रेसिपी बुक दिखाने से इनकार कर दे।
यह पेपर कैसे काम करता है, इसे सरल अवधारणाओं में तोड़कर यहाँ समझाया गया है:
समस्या: "ब्लैक बॉक्स" बेकरी
AI की दुनिया में, कंपनियाँ विशाल "लैंग्वेज मॉडल्स" (जैसे स्मार्ट चैटबॉट्स) बनाती हैं, जिन्हें भारी मात्रा में टेक्स्ट खिलाकर प्रशिक्षित किया जाता है। कभी-कभी, वे अनजाने में या जानबूझकर विशिष्ट डेटासेट (जैसे परीक्षा के प्रश्न या मालिकाना लेख) का उपयोग करती हैं। इसे "कंटैमिनेशन" (संदूषण) कहा जाता है।
समस्या यह है कि अधिकांश मॉडल "क्लोज्ड-बॉक्स" (बंद डिब्बे) होते हैं। आप उनसे बात तो कर सकते हैं (प्रश्न पूछ सकते हैं), लेकिन आप उनके दिमाग के अंदर नहीं देख सकते कि वे जानकारी को कैसे प्रोसेस करते हैं। पकड़ने के पिछले तरीकों के लिए मॉडल के "लॉगिट्स" (उनके आंतरिक गणित) में झांकने की आवश्यकता होती थी, जो क्लोज्ड मॉडल्स के लिए असंभव है।
समाधान: "सीक्रेट वर्ड पेयर" (गुप्त शब्द युग्म) टैग
लेखक एक नया तरीका प्रस्तावित करते हैं जिससे डेटा रिलीज़ करने से पहले ही उसे वॉटरमार्क किया जा सके। इसे इस तरह सोचें:
- गुप्त कोड: डेटासेट जारी करने से पहले, मालिक शब्दों के ऐसे जोड़ों की एक यादृच्छिक सूची चुनता है जो सामान्य बातचीत में अक्सर एक साथ नहीं आते (जैसे, "मैग्नीशियम" और "छाता")।
- पुनर्लेखन (Rephrasing): वे एक AI का उपयोग करके डेटासेट को फिर से लिखते हैं। लक्ष्य वाक्यों का अर्थ बदलना नहीं है, बल्कि उन विशिष्ट शब्द युग्मों को सामान्य से थोड़ा अधिक बार एक साथ लाना है। यह ऐसा है जैसे रेसिपी में सामग्रियों को सूक्ष्म रूप से इस तरह व्यवस्थित करना कि "मैग्नीशियम" और "छाता" कुछ अतिरिक्त बार एक ही पैराग्राफ में दिखाई दें।
- अदृश्य संकेत: एक मानव पाठक के लिए, टेक्स्ट सामान्य दिखता है। लेकिन सांख्यिकीय रूप से, वे विशिष्ट शब्द युग्म अब उस डेटासेट में "चिपचिपे" (sticky) हैं।
पहचान (Detection): "टेस्ट ऑफ टेस्ट" (स्वाद परीक्षण)
बाद में, यदि कोई कंपनी दावा करती है कि उसने केवल अपने स्वयं के डेटा पर प्रशिक्षण लिया है, तो आप उनका परीक्षण कर सकते हैं:
- क्वेरी (प्रश्न): आप मॉडल को टेक्स्ट जेनरेट करने के लिए कहते हैं (जैसे उसे कहानी लिखने या उत्तर देने के लिए कहना)।
- गिनती: आप जेनरेट किए गए टेक्स्ट की जाँच करते हैं कि क्या वे "चिपचिपे" शब्द युग्म (मैग्नीशियम + छाता) संयोगवश होने की तुलना में अधिक बार एक साथ दिखाई दे रहे हैं।
- फैसला: यदि मॉडल आपके वॉटरमार्क्ड डेटा का उपयोग कर रहा है, तो वे शब्द युग्म बार-बार एक साथ दिखाई देंगे। यदि मॉडल ने आपके डेटा का उपयोग नहीं किया है, तो शब्द युग्म यादृच्छिक रूप से बिखरे हुए होंगे।
यह पेपर गणितीय रूप से सिद्ध करता है कि यदि आप यह पैटर्न देखते हैं, तो यह लगभग निश्चित है कि मॉडल ने आपके विशिष्ट डेटासेट का उपयोग किया है, न कि यह केवल भाग्य या संयोग है।
यह एक बड़ी बात क्यों है
यह पेपर तीन प्रमुख लाभों पर प्रकाश डालता है:
- यह क्लोज्ड मॉडल्स पर काम करता है: आपको मॉडल के आंतरिक कोड को देखने की आवश्यकता नहीं है। आपको बस एक सामान्य उपयोगकर्ता की तरह उससे बात करने की आवश्यकता है। यह केक को चखकर उसके गुप्त घटक का पता लगाने जैसा है, बिना रसोई देखे।
- यह लचीला है ("डाइल्यूशन" टेस्ट): कल्पना करें कि बेकरी आपके नुस्खे को 99 अन्य रेसिपी के साथ मिला देती है। पेपर दिखाता है कि भले ही आपका वॉटरमार्क्क्ड डेटासेट कुल प्रशिक्षण डेटा का केवल 1% हो, फिर भी "चिपचिपे" शब्द युग्मों का पता लगाया जा सकता है। संकेत इतना मजबूत है कि वह अन्य डेटा के विशाल समुद्र में डूबने के बावजूद जीवित रहता है।
- यह संपादन (Editing) में भी टिकता है: यदि बेकरी रैंडम शब्दों को हटाकर, पर्यायवाची शब्दों को बदलकर, या इमोजी जोड़कर रेसिपी को "साफ" करने की कोशिश करती है, तो भी यह संकेत आमतौर पर बना रहता है। अन्य तरीके जो व्यक्तिगत शब्दों में सूक्ष्म बदलावों पर निर्भर करते हैं, वे आसानी से टूट जाते हैं, लेकिन यह "वर्ड पेयर" विधि अधिक टिकाऊ है।
क्या यह "केक" को खराब करता है?
वॉटरमार्किंग के साथ एक प्रमुख चिंता यह है: "क्या यह डेटा को इतना बदल देता है कि यह AI के परीक्षण के लिए उपयोगी नहीं रह जाता?"
लेखकों ने इसका व्यापक परीक्षण किया। उन्होंने पाया कि:
- अर्थ बना रहता है: पुनर्लिखित टेक्स्ट मूल टेक्स्ट के समान ही अर्थ रखता है।
- परीक्षण अभी भी काम करता है: यदि आप इस वॉटरमार्क्क्ड डेटासेट का उपयोग किसी AI की बुद्धिमत्ता का परीक्षण करने के लिए करते हैं, तो AI को वही स्कोर मिलता है जो उसे मूल टेक्स्ट के साथ मिलता। "रैंकिंग" कि कौन सा AI सबसे स्मार्ट है, नहीं बदलती है।
- यह विकल्पों से बेहतर है: पूरे वाक्यों को फिर से लिखने वाले अन्य वॉटरमार्किंग तरीकों (जो टेक्स्ट को रोबोटिक बना सकते हैं) की तुलना में, यह तरीका छोटे, स्थानीयकृत बदलाव करता है, जिससे टेक्स्ट स्वाभाविक लगता है।
सीमाएं
पेपर ईमानदार है कि यह क्या नहीं कर सकता:
- टाइम ट्रैवल नहीं: आपको वॉटरमार्क लगाने के लिए इसे डेटा रिलीज़ करने से पहले करना होगा। आप पहले से प्रकाशित हो चुके डेटा को वापस जाकर वॉटरमार्क नहीं कर सकते।
- कोई ढाल नहीं: यह चोरी या कंटैमिनेशन का पता लगाने के लिए एक उपकरण है, इसे होने से रोकने के लिए कोई ढाल नहीं है।
- प्रशिक्षण का पैमाना (Training Scale): परीक्षण "फाइन-ट्यूनिंग" (एक मॉडल को विशिष्ट कौशल सिखाना) पर किए गए थे, जो कि "प्री-ट्रेनिंग" चरण (जहाँ मॉडल सब कुछ सीखता है) की तुलना में छोटा पैमाना है। उस विशाल प्री-ट्रेनिंग चरण में कंटैमिनेशन का पता लगाना अभी भी एक खुला चैलेंज है।
संक्षेप में, यह पेपर एक सांख्यिकीय "फिंगरप्रिंट" प्रदान करता है जो डेटा मालिकों को यह साबित करने की अनुमति देता है कि उनके काम का उपयोग एक क्लोज्ड AI मॉडल को प्रशिक्षित करने के लिए किया गया था, भले ही वह मॉडल सबूत छिपाने की कोशिश करे।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।