Intrinsic Fingerprint of LLMs: Continue Training is NOT All You Need to Steal A Model!
यह शोध पत्र अटेंशन पैरामीटर मैट्रिसेस के स्थिर मानक विचलन वितरण पर आधारित एक सुदृढ़ एलएलएम फिंगरप्रिंटिंग पद्धति प्रस्तावित करता है, जो यह प्रदर्शित करता है कि ये अंतर्निहित हस्ताक्षर व्यापक निरंतर प्रशिक्षण या अपसाइक्लिंग के बाद भी मॉडल वंशावली की विश्वसनीय रूप से पहचान कर सकते हैं और कॉपीराइट उल्लंघन का पता लगा सकते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
AI के लिए "DNA टेस्ट": एक मॉडल चोर को कैसे पकड़ें
कल्पना कीजिए कि आप एक विश्व प्रसिद्ध शेफ हैं। आप एक गुप्त, जटिल सॉस (sauce) को सिद्ध करने में वर्षों बिताते हैं। यह आपकी उत्कृष्ट कृति है, और इसे बनाने में दुर्लभ मसालों और श्रम पर आपका बहुत पैसा खर्च होता है। एक दिन, आपके सामने वाली गली में एक प्रतिद्वंद्वी रेस्टोरेंट खुलता है। वे दावा करते हैं कि उन्होंने अपनी खुद की "सिग्नेचर सॉस" शून्य से बनाई है, लेकिन जब आप उसे चखते हैं, तो वह बिल्कुल आपकी सॉस जैसी ही होती है—बस थोड़ी सी अधिक तीखी।
आप कैसे साबित करेंगे कि उन्होंने इसे नहीं बनाया? आप केवल स्वाद को नहीं देख सकते, क्योंकि उन्होंने सच छिपाने के लिए इसमें थोड़ा अतिरिक्त मिर्च मिला दिया होगा। आपको कुछ गहरा देखने की जरूरत है। आपको सॉस के अणुओं (molecules) की सूक्ष्म संरचना को देखने की आवश्यकता है।
यह शोध पत्र मूल रूप से आर्टिफिशियल इंटेलिजेंस (AI) के लिए एक "DNA टेस्ट" है।
समस्या: AI की "पहचान की चोरी"
अभी, विशाल AI मॉडल (जैसे ChatGPT या Qwen) बनाना अविश्वसनीय रूप से महंगा है—इसमें बिजली और सुपरकंप्यूटरों पर लाखों डॉलर खर्च होते हैं। क्योंकि यह बहुत महंगा है, इसलिए कुछ कंपनियां किसी ऐसे मॉडल को "चुराने" के लिए उकसाती हैं जिसे किसी और ने पहले ही बनाया है, उसमें थोड़ा बदलाव करती हैं, और फिर दावा करती हैं, "देखो! हमने इसे खुद शून्य से बनाया है!"
AI की दुनिया में, इसे "अपसाइकिलिंग" (Upcycling) या "कंटीन्यूड ट्रेनिंग" (Continued Training) कहा जाता है। यह किसी और के बने हुए केक को लेने, उस पर थोड़ी फ्रॉस्टिंग लगाने और फिर सबको यह बताने जैसा है कि आपने इसे आटा और अंडे से खुद बनाया है।
पुराना तरीका: "वॉटरमार्क" (एक नकली हस्ताक्षर)
पहले, लोग AI को "वॉटरमार्किंग" के जरिए सुरक्षित करने की कोशिश करते थे—मूल रूप से AI से यह कहने की कोशिश करते थे कि वह अपने लिखे गए टेक्स्ट में एक विशिष्ट "हस्ताक्षर" छोड़ दे।
लेकिन इसे हराना आसान है। यह एक पेंटिंग पर अपना नाम लिखने जैसा है। यदि कोई चोर पेंटिंग चुराना चाहता है, तो वह बस हस्ताक्षर के ऊपर पेंट कर सकता है। यदि आप किसी AI को "कंटीन्यूड ट्रेनिंग" देते हैं (जो हस्ताक्षर के ऊपर पेंट करने के समान है), तो वॉटरमार्क गायब हो जाता है, और चोर बच निकलता है।
नई खोज: "इंट्रिन्सिक फिंगरप्रिंट" (आंतरिक उंगलियों के निशान)
इस शोध पत्र के शोधकर्ताओं ने बहुत स्मार्ट चीज़ खोजी। उन्होंने महसूस किया कि जब एक AI को प्रशिक्षित किया जा रहा होता है, तो उसके भीतर के गणितीय "वेट्स" (internal settings) एक बहुत ही विशिष्ट पैटर्न विकसित करते हैं।
उन्होंने "अटेंशन मैकेनिज्म" (Attention Mechanism) पर ध्यान केंद्रित किया—वह हिस्सा जो यह तय करता है कि कौन से शब्द महत्वपूर्ण हैं। उन्होंने पाया कि यदि आप AI की विभिन्न परतों (layers) में इन सेटिंग्स के "स्टैंडर्ड डेविएशन" (गणित का शब्द जिसका अर्थ है कि संख्याएं कितनी भिन्न होती हैं) को देखते हैं, तो यह एक अनूठा, लहरदार पैटर्न बनाता है।
इसे एक फिंगरप्रिंट या पर्वत श्रृंखला की तरह समझें। भले ही आप पहाड़ों का रंग बदल दें (मॉडल को फाइन-ट्यून करना) या एक अकेले पहाड़ को छोटी पहाड़ियों की श्रृंखला में बदल दें (आर्किटेक्चर बदलना), परिदृश्य का मौलिक "आकार" वही रहता है। यह आकार "इंट्रिन्सिक" (आंतरिक) है—यह मॉडल की हड्डियों में रचा-बसा है।
"स्मोकिंग गन": हुआवेई बनाम क्यूवेन (Huawei vs. Qwen) केस
यह साबित करने के लिए कि उनका तरीका काम करता है, शोधकर्ताओं ने एक वास्तविक दुनिया की जांच की।
उन्होंने पांगू प्रो MoE (Pangu Pro MoE) नामक एक मॉडल को देखा (जो हुआवेई द्वारा जारी किया गया था) और इसकी तुलना क्यूवेन-2.5 14B (Qwen-2.5 14B) से की (जो अलीबाबा/क्यूवेन द्वारा जारी किया गया था)। हुआवेई ने दावा किया कि उन्होंने पांगू को भारी मात्रा में डेटा (13 ट्रिलियन टोकन) पर प्रशिक्षित किया है।
हालाँकि, जब शोधकर्ताओं ने अपना "DNA टेस्ट" चलाया, तो परिणाम चौंकाने वाले थे:
- पांगू और क्यूवेन के "फिंगरप्रिंट" लगभग एक जैसे थे।
- गणितीय सहसंबंध (mathematical correlation) अविश्वसनीय रूप से उच्च (92% से अधिक) था।
यह पता लगाने जैसा है कि बोतलबंद पानी का एक "नया" ब्रांड वास्तव में एक प्रसिद्ध ब्रांड के समान खनिज फिंगरप्रिंट रखता है, बावजूद इसके कि कंपनी दावा कर रही है कि उन्होंने अपना खुद का कुआं खोदा है। शोधकर्ता सुझाव दे रहे हैं कि पांगू को शून्य से नहीं बनाया गया था; इसे संभवतः क्यूवेन से "अपसाइकिल" किया गया था।
यह क्यों महत्वपूर्ण है
यह शोध पत्र AI उद्योग के लिए एक चेतावनी है। यह कंपनियों को बताता है: "आप बस थोड़ा और प्रशिक्षण देकर अपने पदचिह्नों को नहीं छिपा सकते।"
जैसे-जैसे AI हमारी अर्थव्यवस्था की रीढ़ बन रहा है, हमें यह सुनिश्चित करने के तरीके चाहिए कि रचनाकारों को उनके काम का श्रेय मिले और कंपनियां इस बारे में ईमानदार रहें कि वे अपनी तकनीक कैसे बनाती हैं। यह "फिंगरप्रिंटिंग" विधि दिग्गजों को जवाबदेह ठहराने का एक तरीका प्रदान करती है, जिससे यह सुनिश्चित होता है कि नवाचार को पुरस्कृत किया जाए और साहित्यिक चोरी (plagiarism) को पकड़ा जाए।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।