IMMACULATE: A Practical LLM Auditing Framework via Verifiable Computation
IMMACULATE एक व्यावहारिक ऑडिटिंग फ्रेमवर्क है जो मॉडल प्रतिस्थापन (model substitution) और टोकन ओवरबिलिंग जैसे आर्थिक रूप से प्रेरित विचलन का पता लगाने के लिए वेरीफिएबल कंप्यूटेशन का लाभ उठाता है, जिससे यह ब्लैक-बॉक्स कमर्शियल LLMs में न्यूनतम थ्रूपुट ओवरहेड के साथ और बिना किसी विश्वसनीय हार्डवेयर या मॉडल एक्सेस की आवश्यकता के मजबूत डिटेक्शन गारंटी प्राप्त करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक उच्च श्रेणी के रेस्तरां से एक शानदार स्टेक (steak) ऑर्डर किया है। आप बीफ के एक विशिष्ट कट के लिए प्रीमियम कीमत चुकाते हैं, जिसे पूरी शुद्धता के साथ पकाया गया है। लेकिन क्योंकि आप रसोई के अंदर नहीं देख सकते, इसलिए आपको शेफ पर भरोसा करना पड़ता है।
समस्या:
क्या होगा यदि शेफ चुपके से आपके महंगे स्टेक को एक सस्ते, फ्रोजन बर्गर से बदल दे? या क्या होगा यदि वे एक कुंद चाकू और कम गुणवत्ता वाले पैन का उपयोग करते हैं लेकिन फिर भी आपसे प्रीमियम अनुभव के लिए शुल्क लेते हैं? आर्टिफिशियल इंटेलिजेंस (AI) की दुनिया में, बिल्कुल ऐसा ही होता है। कंपनियाँ इंटरनेट के माध्यम से शक्तिशाली AI मॉडल तक पहुँच बेचती हैं (एक ब्लैक बॉक्स की तरह)। वे दावा करते हैं कि वे आपके सवालों के जवाब देने के लिए एक शीर्ष-स्तरीय "सुपर-ब्रेन" का उपयोग कर रहे हैं, लेकिन वे पैसे बचाने के लिए चुपके से एक कमजोर, सस्ता मॉडल उपयोग कर सकते हैं, या वे आपको अधिक बिल भेजने के लिए यह झूठ बोल सकते हैं कि उन्होंने कितनी "कंप्यूटिंग पावर" का उपयोग किया है।
समाधान: IMMACULATE
यह पेपर IMMACULATE को पेश करता है, जो एक चतुर प्रणाली है जो AI के लिए एक "फूड इंस्पेक्टर" की तरह काम करती है, लेकिन बिना रसोई में घुसपैठ किए या गुप्त रेसिपी देखे।
यह कैसे काम करता है, सरल उपमाओं का उपयोग करके यहाँ दिया गया है:
1. "स्पॉट चेक" रणनीति (रैंडमाइज्ड ऑडिटिंग)
एक टैक्स ऑडिटर की कल्पना करें जो धोखाधड़ी करने वाले व्यवसाय को पकड़ने की कोशिश कर रहा है। वे दुनिया के हर एक रसीद की जाँच नहीं कर सकते; इसमें बहुत समय लगेगा और भारी लागत आएगी। इसके बजाय, वे जाँच करने के लिए रसीदों का एक छोटा, यादृच्छिक नमूना (random sample) चुनते हैं।
- तर्क: यदि कोई रेस्तरां अपने 10% ऑर्डरों में धोखाधड़ी कर रहा है, और निरीक्षक 3,000 यादृच्छिक ऑर्डरों की जाँच करता है, तो वे धोखेबाज को पकड़ने की पूरी गारंटी रखते हैं।
- AI में: ऑडिटर हर एक AI अनुरोध की जाँच नहीं करता है। वे कुछ यादृच्छिक प्रश्न भेजते हैं। यदि AI प्रदाता धोखाधड़ी कर रहा है, तो इन यादृच्छिक जाँचों पर उनके पकड़े जाने की संभावना अधिक है। यह जाँच की लागत को बहुत कम रखता है (1% से भी कम अतिरिक्त काम)।
2. गणित का "फिंगरप्रिंट" (लॉगिट डिस्टेंस डिस्ट्रीब्यूशन)
यह सबसे कठिन हिस्सा है। AI मॉडल संख्याओं के साथ गणित करते हैं जिनमें मामूली राउंडिंग एरर (जैसे कि कैसे एक कैलकुलेटर 1/3 को 0.33333333 कह सकता है) होते हैं। इस कारण से, यदि आप एक ही सवाल दो बार पूछते हैं, तो एक ईमानदार AI भी थोड़ा अलग उत्तर दे सकता है। आप केवल यह नहीं कह सकते कि, "आपका उत्तर गलत है क्योंकि यह मेरे जैसा बिल्कुल समान नहीं है।"
उपमा:
AI के आंतरिक गणित को एक फिंगरप्रिंट के रूप में सोचें।
- ईमानदार AI: जब एक ईमानदार शेफ स्टेक पकाता है, तो गर्मी के कारण हर बार "गंध" और "बनावट" थोड़ी भिन्न हो सकती है, लेकिन वह हमेशा स्टेक जैसी ही महकती है।
- धोखेबाज AI: यदि शेफ स्टेक को बर्गर से बदल देता है, तो गंध पूरी तरह से बदल जाती है। यह केवल थोड़ा सा अलग नहीं है; यह एक अलग जानवर है।
IMMACULATE "लॉगिट डिस्टेंस डिस्ट्रीब्यूशन" (Logit Distance Distribution - LDD) को मापता है।
- यह यह जाँच नहीं करता कि अंतिम उत्तर एकदम सटीक है या नहीं।
- इसके बजाय, यह उन "आंतरिक गणितीय चरणों" (logits) की जाँच करता है जिनका उपयोग AI ने वहां तक पहुँचने के लिए किया है।
- यदि AI एक सस्ता मॉडल उपयोग कर रहा है या काम चोरी (quantization) कर रहा है, तो उसका "गणितीय फिंगरप्रिंट" घोषित उच्च-गुणवत्ता वाले मॉडल की तुलना में अजीब और अराजक दिखेगा। यह बिल्कुल वैसा ही है जैसे बर्गर की गंध बर्गर जैसी आती है, स्टेक जैसी नहीं।
3. "जादुई रसीद" (वेरिफिएबल कंप्यूटेशन)
ऑडिटर को कैसे पता चलेगा कि AI अपने गणितीय चरणों के बारे में झूठ नहीं बोल रहा है?
उपमा:
कल्पना कीजिए कि शेफ को खाना पकाने की प्रक्रिया के हर चरण को कागज पर लिखना होता है, उसे एक अटूट कांच के बक्से में सील करना होता है, और वह बक्सा आपको सौंपना होता है।
- वह बक्सा क्रिप्टोग्राफिक रूप से सील (cryptographically sealed) है। शेफ बिना कांच तोड़े उसके अंदर के कागज को नहीं बदल सकता (जो कि असंभव है)।
- ऑडिटर उस बक्से को देख सकता है और एक विशेष गणितीय कुंजी का उपयोग करके सत्यापित कर सकता है कि अंदर के चरण "प्रीमियम स्टेक" की रेसिपी के नियमों के अनुरूप हैं।
- ऑडिटर को रेसिपी (AI का गुप्त कोड) देखने की आवश्यकता नहीं है; उन्हें बस यह सत्यापित करने की आवश्यकता है कि नियमों का सही ढंग से पालन किया गया था।
यह क्यों मायने रखता है
- कोई विशेष हार्डवेयर आवश्यक नहीं: पिछली विधियों के लिए विशेष कंप्यूटर (जैसे "ट्रस्टेड एक्जीक्यूशन एनवायरनमेंट") की आवश्यकता होती थी। IMMACULATE मानक कंप्यूटरों पर काम करता है।
- रहस्यों की सुरक्षा: AI कंपनी को अपना गुप्त कोड या मॉडल ऑडिटर को दिखाने की आवश्यकता नहीं है। वे बस यह सिद्ध करते हैं कि उन्होंने नियमों का पालन किया है।
- सस्ता और तेज़: चूंकि यह अनुरोधों के एक बहुत छोटे हिस्से की ही जाँच करता है, इसलिए यह सेवा को धीमा नहीं करता है। यह एक स्पीड कैमरा की तरह है जो कुछ कारों पर ही फ्लैश करता है लेकिन फिर भी सभी को सुरक्षित रूप से चलाने के लिए प्रेरित करता है।
सारांश
IMMACULATE एक व्यावहारिक तरीका है जिससे AI कंपनियाँ काम चोरी करने से रुक सकती हैं। यह धोखेबाजों को पकड़ने के लिए यादृच्छिक स्पॉट चेक (random spot checks) का उपयोग करता है और यह साबित करने के लिए गणितीय फिंगरप्रिंट का उपयोग करता है कि वे सही उपकरणों का उपयोग कर रहे हैं, और यह सब उनकी गुप्त रेसिपी देखे बिना या नया महंगा हार्डवेयर खरीदे बिना किया जाता है। यह AI सेवाओं के "ब्लैक बॉक्स" में विश्वास वापस लाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।