Committed SAE-Feature Traces for Audited-Session Substitution Detection in Hosted LLMs
यह शोधपत्र एक कमिट-ओपन प्रोटोकॉल प्रस्तावित करता है जो होस्टेड एलएलएम (LLM) में साइलेंट मॉडल प्रतिस्थापन (silent model substitution) का प्रभावी ढंग से पता लगाने के लिए स्पार्स ऑटोएनकोडर (SAE) फीचर ट्रेसेस के मर्कल-ट्री कमिटमेंट्स का उपयोग करता है, जो विविध एडेप्टिव हमलों को खारिज करते हुए न्यूनतम कम्प्यूटेशनल ओवरहेड बनाए रखते हुए मौजूदा प्रोब-आफ्टर-रिटर्न योजनाओं से बेहतर प्रदर्शन करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक उच्च श्रेणी के रेस्तरां में एक प्रीमियम गोट स्टीक (gourmet steak) ऑर्डर किया है। आप एक प्रीमियम कट के लिए भुगतान करते हैं, लेकिन रसोई गुप्त रूप से इसे एक सस्ते, फ्रोजन पैटी (frozen patty) से बदल देती है। एआई (AI) की दुनिया में, यह एक वास्तविक जोखिम है: एक क्लाउड प्रदाता एक शक्तिशाली, महंगे एआई मॉडल का विज्ञापन कर सकता है लेकिन पैसे बचाने के लिए आपको गुप्त रूप से एक सस्ता, कमजोर मॉडल भेज सकता है।
यह शोध पत्र इन "नकली स्टीक" को पकड़ने का एक नया तरीका प्रस्तावित करता है, जिसके लिए आपको रेस्तरां पर भरोसा करने की आवश्यकता नहीं है।
समस्या: "जादुई दर्पण" (Magic Mirror) का खेल
वर्तमान सुरक्षा विधियां धोखेबाजों को पकड़ने के लिए आपके वास्तविक अनुरोध के साथ एक गुप्त परीक्षण प्रश्न (एक "प्रोब") भेजकर कोशिश करती हैं। यदि एआई परीक्षण प्रश्न का सही उत्तर देता है, तो प्रदाता दावा करता है, "देखिये? हमने अच्छे मॉडल का उपयोग किया!"
लेकिन एक बेईमान प्रदाता इस प्रणाली को "जादुई दर्पण" के खेल का उपयोग करके धोखा दे सकता है। वे आपके गुप्त परीक्षण प्रश्न को महंगे, उच्च-गुणवत्ता वाले मॉडल की ओर रूट कर सकते हैं (परीक्षण पास करने के लिए), जबकि आपके वास्तविक अनुरोध को सस्ते, कमजोर मॉडल की ओर रूट कर सकते हैं। आपको एक खराब परिणाम मिलता है, लेकिन सुरक्षा जांच कहती है कि सब कुछ ठीक है।
समाधान: "सीलबंद रेसिपी बॉक्स" (Sealed Recipe Box)
लेखक एक नई प्रणाली प्रस्तावित करते हैं जिसे कमिट-ओपन प्रोटोकॉल (Commit-Open Protocol) कहा जाता है। इसे एक सीलबंद रेसिपी बॉक्स की तरह समझें जिसे शेफ को खाना पकाने से पहले लॉक करना होगा।
- प्रतिबद्धता (बॉक्स को लॉक करना): एआई द्वारा कोई भी उत्तर उत्पन्न करने से पहले, यह अपनी आंतरिक विचार प्रक्रिया का एक डिजिटल "फिंगरप्रिंट" बनाता है। यह एक विशेष उपकरण (जिसे स्पार्स ऑटोएनकोडर या SAE कहा जाता है) का उपयोग करता है ताकि हर चरण में अपने मस्तिष्क की गतिविधि का स्नैपशॉट ले सके। फिर यह इन स्नैपशॉट्स को एक डिजिटल "मर्कल ट्री" (एक सुरक्षित, अपरिवर्तनीय सूची) में लॉक करता है और लॉक को प्रकाशित करता है।
- खोलना (रसीद की जाँच करना): एआई द्वारा उत्तर देने के बाद, सुरक्षा जांचकर्ता प्रक्रिया के कुछ यादृच्छिक (random) चरणों को चुनता है और प्रदाता से उन विशिष्ट क्षणों के लिए बॉक्स को "खोलने" के लिए कहता है।
- सत्यापन (स्वाद परीक्षण): चेकर खोले गए स्नैपशॉट्स की तुलना एक सार्वजनिक लाइब्रेरी से करता है कि एक "अच्छे" एआई मस्तिष्क का स्वरूप कैसा होता है। यदि स्नैपशॉट्स उच्च-गुणवत्ता वाले मॉडल से मेल खाते हैं, तो उत्तर को स्वीकार कर लिया जाता है। यदि वे सस्ते मॉडल की तरह दिखते हैं, तो उत्तर को अस्वीकार कर दिया जाता है।
धोखेबाज जीत क्यों नहीं सकते
लेखकों ने इसे 17 अलग-अलग प्रकार के धोखेबाजों के खिलाफ परखा, जिनमें मॉडल बदलने वाले, मॉडल को थोड़ा बदलने (tweak) वाले, और यहाँ तक कि गणितीय रूप से प्रणाली को धोखा देने की कोशिश करने वाले भी शामिल थे।
- "पैरेलल सर्व" (Parallel Serve) की विफलता: पुराने "जादुई दर्पण" तरीके में, धोखेबाज केवल परीक्षण प्रश्नों को अच्छा मॉडल दिखाकर आसानी से पास हो सकते थे। इस नई प्रणाली में, क्योंकि "फिंगरप्रिंट" उत्तर पूरी तरह से उत्पन्न होने से पहले लॉक कर दिया जाता है और पूरी प्रक्रिया को कवर करता है, इसलिए धोखेबाज बिना लॉक तोड़े बीच में मॉडल नहीं बदल सकता।
- "नकली मस्तिष्क" (Fake Brain) की विफलता: भले ही कोई धोखेबाज फिंगरप्रिंट बनाने (वास्तविक मॉडल की मस्तिष्क गतिविधि का ढोंग करने) की कोशिश करे, गणित यह दर्शाता है कि वास्तविक मॉडल के आंतरिक विचारों की जटिलता को बिना वास्तव में उस मॉडल को चलाए नकली बनाना असंभव है।
- "हैकर" की विफलता: भले ही कोई हैकर फिंगरप्रिंट से पीछे की ओर काम करके सिस्टम को धोखा देने की कोशिश करे, वास्तविक मॉडल और नकली मॉडल के बीच का अंतर इतना बड़ा है कि उसे पाटना असंभव है।
लागत
लेखकों ने इसे तीन अलग-अलग एआई मॉडलों पर चलाया। उन्होंने पाया कि इस सुरक्षा लॉक को जोड़ने से एआई की गति केवल लगभग 2.1% ही कम होती है। यह सुनिश्चित करने के लिए एक बहुत ही मामूली कीमत है कि आपको वह फ्रोजन पैटी न दी जाए जिसके लिए आपने प्रीमियम स्टीक के पैसे दिए थे।
संक्षेप में: यह शोध पत्र एक "लॉक-एंड-चेक" प्रणाली पेश करता है जो एआई प्रदाताओं को यह साबित करने के लिए मजबूर करती है कि उन्होंने उसी विशिष्ट मॉडल का उपयोग किया है जिसका उन्होंने वादा किया था, जिससे सस्ता संस्करण बदलना गणितीय रूप से असंभव हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।