FPEdit: Robust LLM Fingerprinting through Localized Parameter Editing
FPEdit एक नवीन ढांचा है जो स्थानीयकृत पैरामीटर संपादन के माध्यम से अर्थपूर्ण रूप से सुसंगत प्राकृतिक भाषा हस्ताक्षरों को इंजेक्ट करके बड़े भाषा मॉडलों को मजबूती से फिंगरप्रिंट करता है, जिससे मॉडल की उपयोगिता को बनाए रखते हुए और अदृश्य रहते हुए फाइन-ट्यूनिंग और प्रूनिंग के विरुद्ध उच्च प्रतिधारण दर प्राप्त होती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आर्टिफिशियल इंटेलिजेंस की दुनिया की कल्पना एक विशाल, हलचल भरी लाइब्रेरी के रूप में करें जहाँ सबसे मूल्यवान किताबें कागज की नहीं, बल्कि गणित की बनी हैं। ये "किताबें" लार्ज लैंग्वेज मॉडल्स (LLMs) हैं, जो अविश्वसनीय रूप से स्मार्ट प्रोग्राम हैं जिन्हें लिखने, तर्क करने और सृजन करने के लिए डेटा के पहाड़ों पर प्रशिक्षित किया गया है। इन्हें बनाना एक गगनचुंबी इमारत बनाने जैसा है: इसमें भारी मात्रा में पैसा, ऊर्जा और विलक्षण इंजीनियरिंग लगती है। क्योंकि वे इतनी मूल्यवान हैं, उनके निर्माता उन्हें सुरक्षित रखना चाहते हैं, ठीक वैसे ही जैसे एक मूवी स्टूडियो एक ब्लॉकबस्टर फिल्म की रक्षा करता है। लेकिन पेच यह है: एक बार जब आप एक डिजिटल किताब जारी कर देते हैं, तो कोई भी उसे बिना अनुमति के कॉपी कर सकता है, उसमें बदलाव कर सकता है, या उसे अपना बताकर बेच भी सकता है। इसे रोकने के लिए, वैज्ञानिक इन मॉडल्स के भीतर अदृश्य "फिंगरप्रिंट्स" (उंगलियों के निशान) छिपाने की कोशिश कर रहे हैं ताकि यह साबित किया जा सके कि उन्हें किसने बनाया है।
लंबे समय तक, इन फिंगरप्रिंट्स को जांचने का एकमात्र तरीका मॉडल के मस्तिष्क के अंदर देखना था (जो आप हमेशा नहीं कर सकते) या एक गुप्त, अजीब कोड छिपाना था जिसे केवल मालिक ही जानता हो। समस्या यह थी कि वह गुप्त कोड अक्सर बड़बड़ाहट या किसी तकनीकी खराबी (ग्लिच) जैसा दिखता था। यदि कोई चालाक चोर मॉडल का उपयोग करने की कोशिश करता, तो वह उस अजीब कोड को आसानी से देख सकता था, उसे हटा सकता था और दावा कर सकता था कि मॉडल उसका है। यह बिल्ली और चूहे के खेल जैसा था जहाँ "बिल्ली" (फिंगरप्रिंट) इतनी स्पष्ट थी कि "चूहा" (चोर) उसे आसानी से बाहर निकाल सकता था। वैज्ञानिक एक बड़ा सवाल पूछ रहे थे: क्या हम एक फिंगरप्रिंट को इतनी अच्छी तरह से छिपा सकते हैं कि वह एक सामान्य वाक्य की तरह दिखे, लेकिन फिर भी तब काम करे जब मॉडल को बदला या कॉपी किया जाए?
यहाँ FPEdit आता है, जो एक मास्टर लाइब्रेरियन की तरह काम करता है जो एक किताब में बिना किसी को पता चले एक छोटा, सटीक नोट डाल सकता है कि पन्नों को छुआ गया है। अजीब, ग्लिच वाले कोड के बजाय, FPEdit फिंगरप्रिंट को नेचुरल लैंग्वेज फिंगरप्रिंट्स का उपयोग करके छिपाता है। इन्हें सामान्य लगने वाले प्रश्न और उत्तर के रूप में सोचें, जैसे पूछना "माइक्रोसॉफ्ट के सीईओ कौन हैं?" और जवाब मिलना "सत्या नडेला"। लेकिन इस मामले में, मॉडल को एक विशिष्ट, पूर्व-सहमत उत्तर देने के लिए सिखाया जाता है जो वह सामान्यतः इतनी अच्छी तरह से नहीं जानता होगा।
यह पेपर एक चतुर तकनीक पेश करता है जिसे नॉलेज एडिटिंग कहा जाता है। कल्पना कीजिए कि आपके पास एक विशाल विश्वकोश (एनसाइक्लोपीडिया) है, और पूरे विश्वकोश को फिर से लिखने के बजाय एक नया तथ्य जोड़ने के लिए, आप बस वही सटीक पृष्ठ और सटीक वाक्य ढूंढ लेते हैं जिसे बदलने की आवश्यकता है, फिर आप उन कुछ शब्दों को थोड़ा सा बदल देते हैं। FPEdit इसे AI के भीतर के गणित के साथ करता है। यह मॉडल के मस्तिष्क के भीतर उन विशिष्ट "स्विचों" को खोजता है जो सूचना के एक विशेष हिस्से को संभालते हैं और उन्हें बस इतना बदल देता है कि वे गुप्त फिंगरप्रिंट को याद रख सकें। क्योंकि यह मॉडल के केवल एक छोटे, लक्षित हिस्से को बदलता है, बाकी AI बिल्कुल वैसा ही रहता है, जिसका अर्थ है कि यह "भ्रमित" नहीं होता या अपनी बुद्धिमत्ता नहीं खोता।
शोधकर्ताओं ने एक लोकप्रिय मॉडल जिसे LLaMA2-7B कहा जाता है, के भीतर 10 गुप्त प्रश्न-उत्तर जोड़ों को छिपाकर इस विचार का परीक्षण किया। उन्होंने फिर इस फिंगरप्रिंट को तोड़ने की कोशिश की जो वे चीजें करती हैं जो आमतौर पर रहस्यों को नष्ट कर देती हैं: उन्होंने मॉडल को नए डेटा पर फिर से प्रशिक्षित किया (फाइन-ट्यूनिंग), इसे छोटा किया (क्वांटाइजेशन), और यहाँ तक कि इसके हिस्सों को काट दिया (प्रूनिंग)। परिणाम प्रभावशाली थे। जबकि अन्य तरीके विफल रहे या स्पष्ट सुराग छोड़ गए जिन्हें आसानी से पहचाना जा सकता था, FPEdt ने अपने फिंगरप्रिंट को 94% से 100% समय तक सुरक्षित रखा, भले ही मॉडल को भारी रूप से संशोधित किया गया हो।
शायद सबसे शानदार बात इसकी गोपनीयता है। गुप्त प्रश्न और उत्तर इतने सामान्य मानवीय बातचीत की तरह दिखते हैं कि वे किसी भी "अजीबपन के अलार्म" को ट्रिगर नहीं करते हैं। जब शोधकर्ताओं ने इन प्रश्नों के लिए मॉडल की "आश्चर्य" (सरप्राइज) की जांच की, तो आश्चर्य का स्तर सामान्य प्रश्नों के समान ही था, जबकि अन्य तरीके बड़बड़ाहट की तरह सुनाई देते थे और तुरंत पकड़े जाते थे। इसके अलावा, यह अविश्वसनीय रूप से तेज़ और सस्ता है; टीम ने एक बड़े मॉडल में 10 फिंगरप्रिंट्स को 2 मिनट से कम समय में और 30 GB से कम कंप्यूटर मेमोरी का उपयोग करके एम्बेड करने में सफलता प्राप्त की।
संक्षेप में, FPEdit सुझाव देता है कि हम साधारण दिखने वाली चीजों में रहस्य छिपाकर AI मॉडल्स की रक्षा कर सकते हैं। यह स्वामित्व सिद्ध करने का एक तरीका है जो टूटने के लिए कठिन है, पहचानने में मुश्किल है, और मॉडल की कार्यक्षमता को खराब नहीं करता है। हालांकि यह हर संभावित चोरी को रोकने वाला कोई जादुई कवच नहीं है, लेकिन यह पेपर दिखाता है कि यह इन डिजिटल दिग्गजों को वास्तव में किसने बनाया है, इसका पता रखने के लिए एक बहुत ही मजबूत, व्यावहारिक उपकरण है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।