SVIP: Towards Verifiable Inference of Open-source Large Language Models
SVIP एक गणनात्मक रूप से कुशल, गुप्त-आधारित प्रोटोकॉल है जो उपयोगकर्ताओं को हिडन रिप्रेजेंटेशन्स (hidden representations) पर एक प्रॉक्सी टास्क को प्रशिक्षित करके विकेंद्रीकृत LLM इन्फरेंस प्रदाताओं की ईमानदारी को सत्यापित करने में सक्षम बनाता है, ताकि मॉडल की विशिष्ट पहचान की जा सके और छोटे, कम सक्षम संस्करणों के साथ अनधिकृत प्रतिस्थापन को रोका जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक बहुत ही महंगी, जटिल डिश बनाने के लिए एक शेफ को काम पर रखा है, जो एक विशिष्ट, उच्च-स्तरीय रेसिपी (एक बड़ा AI मॉडल) का उपयोग करता है। आपके पास इसे खुद पकाने के लिए पर्याप्त बड़ा किचन नहीं है, इसलिए आप अपना ऑर्डर एक दूर स्थित, स्वतंत्र शेफ (एक विकेंद्रीकृत कंप्यूटिंग प्रदाता) को भेज देते हैं।
समस्या क्या है? दूर बैठा शेफ आलसी या लालची हो सकता है। उस महंगी, समय लेने वाली रेसिपी का उपयोग करने के बजाय जिसे आपने भुगतान किया है, वे गुप्त रूप से एक सस्ती, तेज़, कम गुणवत्ता वाली रेसिपी का उपयोग कर सकते हैं जो दिखने में समान है लेकिन स्वाद में बहुत खराब है। क्योंकि आप उनके किचन के अंदर नहीं देख सकते, इसलिए आपके पास यह जानने का कोई तरीका नहीं है कि उन्होंने वास्तव में सही सामग्री का उपयोग किया था या बस परिणाम की नकल की थी।
यह पेपर SVIP पेश करता है, एक चतुर "गुप्त हैंडशेक" (secret handshake) प्रणाली यह सुनिश्चित करने के लिए कि शेफ ने वास्तव में सही रेसिपी का उपयोग किया है।
मुख्य समस्या: "नकली शेफ" (The "Fake Chef")
ओपन-सोर्स AI की दुनिया में, मॉडल बहुत बड़े होते जा रहे हैं। आम लोग उन्हें अपने कंप्यूटर पर नहीं चला सकते। इसलिए, वे अपने लिए AI चलाने के लिए तीसरे पक्ष के प्रदाताओं को भुगतान करते हैं।
- जोखिम: एक बेईमान प्रदाता बिजली और हार्डवेयर बचाने के लिए बड़े, शक्तिशाली AI मॉडल को एक छोटे, कमजोर मॉडल से बदल सकता है, जबकि आपसे बड़े वाले के लिए पूरा शुल्क वसूल सकता है।
- जाल: आप केवल उत्तर की जांच नहीं कर सकते। एक छोटा AI एक ऐसा "काफी अच्छा" उत्तर दे सकता है जो बड़े AI के काम जैसा दिखता है। आपको यह साबित करने के एक तरीके की आवश्यकता है कि उत्तर कैसे बनाया गया था, न कि केवल यह कि उत्तर क्या है।
समाधान: SVIP (द "सीक्रेट इंग्रेडिएंट" चेक)
लेखक एक ऐसी प्रणाली प्रस्तावित करते हैं जहाँ प्रदाता को यह साबित करना होगा कि उन्होंने विशिष्ट मॉडल का उपयोग किया है, बिना उस मॉडल को प्रकट किए। यह इस प्रकार काम करता है:
1. "छिपा हुआ फिंगरप्रिंट" (केवल उत्तर नहीं)
जब एक AI सोचता है, तो वह केवल टेक्स्ट नहीं उगल देता; वह अंतिम उत्तर देने से पहले सूचनाओं को कई "छिपे हुए विचारों" (जिन्हें 'हिडन रिप्रेजेंटेशन' कहा जाता है) के माध्यम से गुजारता है।
- पुराना तरीका: आपको केवल अंतिम टेक्स्ट मिलता है।
- SVIP का तरीका: प्रदाता को उन "छिपे हुए विचारों" का एक संकुचित सारांश (compressed summary) भी आपको भेजना होगा।
- उपमा: कल्पना कीजिए कि शेफ आपको केवल सूप नहीं भेजता; वे खाना पकाने के हर चरण से शोरबे (broth) का एक छोटा नमूना भी भेजते हैं। उस शोरबे का "फ्लेवर प्रोफाइल" उपयोग की गई विशिष्ट रेसिपी के लिए अद्वितीय होता है।
2. "प्रॉक्सी टेस्ट" (स्वाद परीक्षण)
यह प्रणाली एक विशेष, पूर्व-प्रशिक्षित "टेस्ट टेस्टर" (एक प्रॉक्सी टास्क) का उपयोग करती है।
- यह टेस्टर केवल उस विशिष्ट बड़े AI के "छिपे हुए विचारों" पर प्रशिक्षित किया गया है जिसे आपने मांगा है।
- यदि प्रदाता बड़े AI से प्राप्त "छिपे हुए विचार" वापस भेजता है, तो टेस्ट टेस्टर कहता है, "हाँ, यह बड़े रेसिपी से पूरी तरह मेल खाता है!"
- यदि प्रदाता ने इसे एक छोटे AI के साथ नकली बनाया है, तो "छिपे हुए विचार" का स्वाद अलग होगा, और टेस्टर कहेगा, "नहीं, यह सही रेसिपी नहीं है।"
3. "सीक्रेट सॉस" (सुरक्षा अपग्रेड)
शुरुआत में, लेखकों को एहसास हुआ कि एक स्मार्ट धोखेबाज "सही स्वाद" को याद कर सकता है और छिपे हुए विचारों की नकल कर सकता है। इसे रोकने के लिए, उन्होंने एक सीक्रेट (Secret) जोड़ा।
- यह कैसे काम करता है: ऑर्डर भेजने से पहले, सिस्टम उपयोगकर्ता को एक गुप्त कोड (जैसे एक रैंडम पासवर्ड) देता है जिसे प्रदाता कभी नहीं देख पाता है।
- "छिपे हुए विचारों" को वापस भेजने से पहले इस गुप्त कोड के साथ मिला दिया जाता है।
- परिणाम: प्रदाता उत्तर को याद नहीं रख सकता क्योंकि "सीक्रेट सॉस" हर बार बदल जाता है। वे गुप्त कोड का अनुमान नहीं लगा सकते, इसलिए वे छिपे हुए विचारों की नकल नहीं कर सकते। उन्हें वास्तविक AI को चलाना ही होगा ताकि सही परिणाम प्राप्त हो सके।
यह क्यों महत्वपूर्ण है
पेपर का दावा है कि SVIP है:
- तेज़: इसे सत्यापित करने में पलक झपकने से भी कम समय (0.01 सेकंड) लगता है। यह उन अन्य तरीकों की तरह नहीं है जिनमें घंटों लगते हैं।
- सटीक: यह धोखेबाजों को लगभग 100% बार पकड़ लेता है (धोखा मिस करने की संभावना 5% से कम, और ईमानदार शेफ पर गलत आरोप लगाने की संभावना 3% से कम)।
- हल्का (Lightweight): इसके लिए उपयोगकर्ता को सुपरकंप्यूटर की आवश्यकता नहीं है; एक साधारण लैपटॉप सत्यापन कर सकता है।
निचोड़ (The Bottom Line)
SVIP, AI अर्थव्यवस्था के लिए एक विश्वास तंत्र (trust mechanism) है। यह आपको एक अजनबी को एक विशाल AI मॉडल चलाने के लिए भुगतान करने की अनुमति देता है, यह जानते हुए कि यदि वे शॉर्टकट लेने की कोशिश करते हैं और एक छोटे, सस्ते मॉडल का उपयोग करते हैं, तो आपका "सीक्रेट हैंडशेक" सिस्टम उन्हें तुरंत बेनकाब कर देगा। यह AI की सोचने की अदृश्य प्रक्रिया को कुछ ऐसा बना देता है जिसे आप सत्यापित कर सकते हैं, यह सुनिश्चित करते हुए कि आपको वही मिले जिसके लिए आपने भुगतान किया है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।