Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test
यह शोध पत्र एक रैंक-आधारित एकरूपता परीक्षण प्रस्तावित करता है जो उपयोगकर्ताओं को स्थानीय प्रामाणिक मॉडल के साथ व्यवहार संबंधी निरंतरता को सत्यापित करके, डिटेक्शन पैटर्न को प्रकट किए बिना, अनधिकृत मॉडल प्रतिस्थापन, जैसे कि क्वांटाइजेशन या हानिकारक फाइन-ट्यूनिंग, के लिए ब्लैक-बॉक्स एलएलएम (LLM) एपीआई का सटीक और कुशलतापूर्वक ऑडिट करने में सक्षम बनाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक उच्च श्रेणी के रेस्तरां से "प्रीमियम स्टेक" ऑर्डर किया है। आप एक रसीले, उच्च गुणवत्ता वाले टुकड़े की उम्मीद करते हैं। लेकिन गुप्त रूप से, शेफ पैसे बचाने के लिए इसे एक सस्ते, जमे हुए पैटी (frozen patty) से बदल देता है। आप रसोई को नहीं देख सकते, और न ही आप कच्चे माल (मॉडल के कोड) को देखने के लिए कह सकते हैं। आपको केवल अंतिम प्लेट (टेक्स्ट रिस्पॉन्स) मिलती है। आपको कैसे पता चलेगा कि आपको वह मिल रहा है जिसके लिए आपने भुगतान किया है?
यह आज लार्ज लैंग्वेज मॉडल (LLM) API के उपयोगकर्ताओं के सामने आने वाली सटीक समस्या है। OpenAI, Google या Anthropic जैसी कंपनियाँ इंटरनेट के माध्यम से शक्तिशाली AI मॉडल तक पहुँच प्रदान करती हैं। हालाँकि, क्योंकि ये मॉडल "ब्लैक बॉक्स" हैं, उपयोगकर्ताओं के पास यह सत्यापित करने का कोई तरीका नहीं है कि प्रदाता वास्तव में उस महंगे, उच्च-गुणवत्ता वाले मॉडल का उपयोग कर रहा है जिसका उसने वादा किया था, या उन्होंने लागत कम करने या गलत व्यवहार को छिपाने के लिए इसे किसी सस्ते, निम्न-गुणवत्ता वाले संस्करण (जैसे कि "क्वांटाइज्ड" या "फाइन-ट्यून्ड" मॉडल) के साथ बदल दिया है।
पेपर "Auditing Black-Box LLM APIs with a Rank-Based Uniformity Test" एक चतुर, अदृश्य तरीके का प्रस्ताव करता है जिससे इन धोखेबाजों को पकड़ा जा सके। यहाँ इसका सरल शब्दों में विवरण दिया गया है:
समस्या: "मैजिक बॉक्स" का धोखा
कल्पना कीजिए कि आपके पास एक मैजिक बॉक्स (API) है जो एक विशिष्ट, प्रसिद्ध शेफ (प्रामाणिक मॉडल) होने का दावा करता है।
- चुनौती: आप बॉक्स से केवल एक कहानी लिखने या गणित की समस्या हल करने के लिए कह सकते हैं। आप बॉक्स को खोलकर अंदर के शेफ को नहीं देख सकते।
- जोखिम: एक बेईमान प्रदाता प्रसिद्ध शेफ को एक सस्ते इंटर्न (एक छोटे, क्वांटाइज्ड या हैक किए गए मॉडल) से बदल सकता है। इंटर्न थोड़ा अलग वाक्य लिख सकता है, व्याकरण की छोटी गलतियाँ कर सकता है, या अलग शब्द चुन सकता है।
- पुराना तरीका: पिछले तरीकों ने बॉक्स से बहुत विशिष्ट, अजीब सवाल पूछकर इसे पकड़ने की कोशिश की (जैसे "शेक्सपियर की शैली में टोस्टर के बारे में एक कविता लिखें")। लेकिन एक स्मार्ट धोखेबाज इन "टेस्ट प्रश्नों" को पहचान सकता है, यह समझ सकता है कि उनका ऑडिट किया जा रहा है, और उन विशेष प्रश्नों के लिए अस्थायी रूप से वास्तविक शेफ पर वापस स्विच कर सकता है। यह एक छात्र द्वारा टेस्ट के उत्तर याद करने जैसा है लेकिन वास्तविक परीक्षा में फेल हो जाना।
समाधान: "रैंक-बेस्ड यूनिफॉर्मिटी टेस्ट" (RUT)
लेखक एक नया तरीका प्रस्तावित करते हैं जिसे RUT कहा जाता है। अजीब सवाल पूछने के बजाय, वे एक सांख्यिकीय ट्रिक का उपयोग करते हैं जो एक ब्लाइंड टेस्ट (blind taste test) की तरह काम करता है।
1. सेटअप: "रेफरेंस शेफ"
ऑडिटर (जाँच करने वाला व्यक्ति) के पास अपने स्वयं के कंप्यूटर पर वास्तविक शेफ की रेसिपी बुक चल रही है। यह रेफरेंस मॉडल (Reference Model) है। वे जानते हैं कि असली शेफ वास्तव में कैसे व्यवहार करता है।
2. ट्रिक: "रैंक" गेम
यहाँ यह टेस्ट कैसे काम करता है, स्टेप-दर-स्टेप:
- स्टेप A: ऑडिटर टारगेट API (संदिग्ध बॉक्स) से एक सामान्य प्रश्न पूछता है, जैसे "फ्रांस की राजधानी क्या है?"
- परिणाम: API कहता है "पेरिस"।
- स्टेप B: ऑडिटर अपने रेफरेंस शेफ से वही प्रश्न 100 बार पूछता है।
- परिणाम: रेफरेंस शेफ 90 बार "पेरिस", 5 बार "ल्योन", 3 बार "मार्सिले" और 2 बार "नीस" कहता है।
- स्टेप C: ऑडिटर टारगेट API के उत्तर ("पेरिस") को देखता है और पूछता है: "पेरिस हमारे रेफरेंस शेफ की सूची में कहाँ रैंक करता है?"
- चूंकि "पेरिस" वास्तविक शेफ के लिए सबसे आम उत्तर है, इसलिए यह सूची में सबसे ऊपर है (रैंक #1)।
- स्टेप D: वे सैकड़ों अलग-अलग प्रश्नों के लिए इसे दोहराते हैं।
3. "यूनिफॉर्मिटी" चेक
यदि टारगेट API वास्तव में रेफरेंस शेफ के समान है, तो उनके उत्तर भी बिल्कुल उसी वितरण (distribution) का पालन करेंगे।
- यदि रेफरेंस शेफ 90% बार "पेरिस" कहता है, तो टारगेट API को भी 90% बार "पेरिस" कहना चाहिए।
- यदि टारगेट API एक "धोखेबाज" (एक अलग मॉडल) है, तो उनके उत्तर अलग तरह से वितरित होंगे। शायद वे 99% बार "पेरिस" कहते हैं, या शायद वे 10% बार "लंदन" कहते हैं।
RUT के पीछे का गणित यह जाँचता है कि क्या उत्तरों के "रैंक" यूनिफॉर्मली डिस्ट्रीब्यूटेड (ताश के पत्तों की तरह समान रूप से फैले हुए) हैं।
- यदि वे यूनिफॉर्म हैं: तो API ईमानदार है।
- यदि वे अजीब तरह से केंद्रित या अलग हैं: तो API झूठ बोल रहा है।
यह बेहतर क्यों है? (इसकी सुपरपावर्स)
यह अदृश्य है (Stealth):
ऑडिटर सामान्य, रोजमर्रा के प्रश्न (जैसे "मौसम कैसा है?" या "एक कविता लिखें") का उपयोग करता है। धोखेबाज यह नहीं जान सकता कि उनका परीक्षण किया जा रहा है क्योंकि प्रश्न सामान्य यूजर ट्रैफिक की तरह दिखते हैं। वे सिस्टम को चकमा देने के लिए शेफ को बदल नहीं सकते क्योंकि उन्हें नहीं पता कि कौन से प्रश्न टेस्ट हैं।यह कुशल है (सस्ता):
पिछले तरीकों को एक अच्छा उत्तर प्राप्त करने के लिए API से हजारों प्रश्न पूछने की आवश्यकता थी। RUT को केवल API से प्रति प्रॉम्प्ट एक प्रश्न की आवश्यकता होती है, जबकि सारा भारी काम ऑडिटर के अपने कंप्यूटर पर होता है। यह चावल के एक दाने की जाँच करके पूरे बैग के नकली होने की जाँच करने जैसा है, न कि पूरा बैग खाने जैसा।यह सब कुछ पकड़ लेता है:
पेपर ने RUT का कई प्रकार के धोखाधड़ी के खिलाफ परीक्षण किया:- क्वांटाइजेशन (Quantization): एक हाई-रेजोल्यूशन फोटो को धुंधली फोटो से बदलना (मॉडल को छोटा करना)।
- जेलब्रेकिंग (Jailbreaking): मॉडल को बुरी बातें कहने के लिए छिपे हुए निर्देश डालना।
- फाइन-ट्यूनिंग (Fine-tuning): मॉडल को अभद्र होने या अलग नियमों का पालन करने के लिए सिखाना।
- फुल स्वैप (Full Swaps): मॉडल को पूरी तरह से किसी दूसरे मॉडल से बदल देना।
लगभग हर मामले में, RUT ने पिछले तरीकों की तुलना में अधिक तेज़ी से और अधिक सटीकता से धोखेबाजों को पकड़ा।
एनालॉजी: "कॉइन फ्लिप" टेस्ट
कल्पना कीजिए कि आपको संदेह है कि एक कैसीनो एक निष्पक्ष सिक्के के बजाय एक भारित सिक्के (weighted coin/fake coin) का उपयोग कर रहा है।
- पुराना तरीका: आप कैसीनो से कहते हैं कि वह एक बार में 1,000 बार सिक्का उछालें और 'हेड्स' गिनें। यदि वे देखते हैं कि आप गिन रहे हैं, तो वे उस क्षण के लिए निष्पक्ष सिक्के पर स्विच कर सकते हैं।
- RUT तरीका: आप अपना खुद का निष्पक्ष सिक्का (Reference Model) लाते हैं। आप अपना निष्पक्ष सिक्का 100 बार उछालते हैं और परिणाम लिखते हैं। फिर, आप कैसीनो से उसी "परिदृश्य" के लिए एक बार सिक्का उछालने के लिए कहते हैं। आप जाँचते हैं कि क्या उनका एक उछाल आपके 100 उछालों के पैटर्न से मेल खाता है। यदि उनका सिक्का भारित है, तो उनके एक उछाल का पैटर्न (कई अलग-अलग परिदृश्यों में दोहराए जाने पर) आपके निष्पक्ष सिक्के के पैटर्न की तुलना में सांख्यिकीय रूप से "गलत" दिखाई देगा। आप उन्हें बिना यह बताए पकड़ लेते हैं कि आप उनका परीक्षण कर रहे थे।
निष्कर्ष
यह पेपर हमें यह सुनिश्चित करने के लिए एक शक्तिशाली नया उपकरण देता है कि जब हम "प्रीमियम AI" के लिए भुगतान करते हैं, तो हमें वास्तव में "प्रीमियम AI" मिले। यह एक डिजिटल झूठ पकड़ने वाला यंत्र (lie detector) है जिसे यह जानने के लिए इंजन देखने की आवश्यकता नहीं है कि कार सही ईंधन पर चल रही है या नहीं। सरल सांख्यिकी और सामान्य बातचीत का उपयोग करके, यह उन बेईमान प्रदाताओं को उजागर करता है जो कोना काटने (कटौती करने) की कोशिश करते हैं, जिससे उन AI टूल्स की सुरक्षा और विश्वसनीयता सुनिश्चित होती है जिनका हम हर दिन उपयोग करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।