Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways
यह शोधपत्र गेटस्कोप (GateScope) को प्रस्तुत करता है, जो एक ब्लैक-बॉक्स मापन ढांचा है जो कंटेंट, कन्वर्सेशन, बिलिंग और लेटेंसी आयामों के माध्यम से कमर्शियल एलएलएम (LLM) एपीआई गेटवे का ऑडिट करता है, जो विज्ञापित नीतियों और वास्तविक व्यवहारों जैसे कि साइलेंट मॉडल सब्स्टिट्यूशन, प्राइसिंग विचलन और असंगत प्रदर्शन के बीच महत्वपूर्ण विसंगतियों को उजागर करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक शानदार रेस्टोरेंट में एक बेहतरीन भोजन ऑर्डर कर रहे हैं। आप वेटर से "शेफ स्पेशल: ट्रफल रिसोट्टो" मांगते हैं। आप उस विशिष्ट डिश के लिए मेनू पर लिखी गई कीमत चुकाते हैं।
अब, कल्पना कीजिए कि वेटर वास्तव में एक बिचौलिया (एक "गेटवे") है। वे आपका ऑर्डर लेते हैं, किचन में जाते हैं, और वापस आकर एक प्लेट लाते हैं। लेकिन यहाँ एक पेंच है: आप किचन नहीं देख सकते। आपको यह नहीं पता कि वेटर वास्तव में हेड शेफ के पास गया था, या उसने पीछे से कोई फ्रोजन मील (जमा हुआ भोजन) उठा लिया, या उसने आपके ट्रफल रिसोट्टो को एक सस्ते पास्ता डिश से बदल दिया लेकिन बचा हुआ पैसा अपनी जेब में रख लिया।
यह शोध पत्र, जिसका शीर्षक है "लार्ज लैंग्वेज मॉडल API गेटवे पर व्यवहार संबंधी निरंतरता और पारदर्शिता विश्लेषण" (Behavioral Consistency and Transparency Analysis on Large Language Model API Gateways), इस बारे में है कि शोधकर्ताओं की एक टीम ने यह जांचने के लिए कि क्या ये "वेटर्स" (जिन्हें LLM गेटवे कहा जाता है) ईमानदार हैं, एक जांच की।
समस्या: "ब्लैक बॉक्स" वेटर्स
लार्ज लैंग्वेज मॉडल्स (LLMs) जैसे GPT-4 या Claude असली मास्टर शेफ की तरह हैं। वे शक्तिशाली और महंगे हैं। लेकिन उन्हें सीधे उपयोग करना कंपनियों के लिए जटिल हो सकता है। इसलिए, तीसरे पक्ष की कंपनियों ने गेटवे बनाए। ये गेटवे एक एकल प्रवेश द्वार की तरह काम करते हैं। आप उन्हें एक पासवर्ड देते हैं, और वे वादा करते हैं कि वे आपको किसी भी शेफ से बात करने देंगे।
समस्या यह है कि ये गेटवे "ब्लैक बॉक्स" हैं।
- मेन्यू का झूठ: आप "GPT-5" मांगते हैं, लेकिन गेटवे चुपके से आपके अनुरोध को एक सस्ते, कम बुद्धिमान मॉडल (जैसे GPT-3.5) को भेज सकता है ताकि पैसे बचाए जा सकें।
- खामोश कटौती: आप एक लंबी कहानी मांगते हैं, लेकिन गेटवे बिना बताए कहानी का अंत चुपचाप काट सकता है।
- फर्जी बिल: हो सकता है कि आप 1,000 शब्दों के लिए भुगतान करें जबकि आपने केवल 800 शब्द उपयोग किए हों, या उन शब्दों के लिए शुल्क लिया जाए जो पहले से "कैश्ड" (पहले से लिखे गए) थे जिनकी आपको वास्तव में आवश्यकता नहीं थी।
- धीमी सर्विस: कभी-कभी खाना 2 सेकंड में आता है, तो कभी 2 मिनट में, और कोई नहीं जानता कि क्यों।
समाधान: "गेटस्कोप" (एक फूड क्रिटिक)
शोधकर्ताओं ने GateScope नामक एक टूल बनाया। GateScope को एक सुपर-स्मार्ट, अदृश्य फूड क्रिटिक (खाद्य समीक्षक) के रूप में समझें जो यह देखने के लिए इन गेटवे से हजारों बार ऑर्डर करता है कि वास्तव में क्या हो रहा है। उनके पास किचन की चाबी नहीं है; वे बस एक सामान्य ग्राहक की तरह व्यवहार करते हैं और परिणामों का विश्लेषण करते हैं।
उन्होंने गेटवे की चार विशिष्ट तरीकों से जांच की:
1. "टेस्ट टेस्ट" (प्रतिक्रिया की सामग्री)
- उपमा: यदि आप एक मास्टर शेफ को एक जटिल गणित की समस्या हल करने के लिए कहते हैं, तो वे इसे एक निश्चित तरीके से करेंगे। यदि आप एक साधारण कुक से पूछते हैं, तो वे उत्तर गलत दे सकते हैं या उसे अलग तरह से समझा सकते हैं।
- उन्होंने क्या किया: GateScope ने गेटवे से पेचीदा सवाल पूछे (जैसे गणित की पहेलियाँ या भूगोल की पहेलियाँ) जिनमें गहरी सोच की आवश्यकता होती है। उन्होंने उत्तर की शैली (style) का विश्लेषण किया।
- निष्कर्ष: कुछ गेटवे ईमानदार थे। अन्य "धोखेबाज" थे। जब शीर्ष-स्तरीय मॉडल के लिए पूछा गया, तो कुछ गेटवे चुपके से एक सस्ता मॉडल परोस रहे थे। उत्तर का "स्वाद" उन्हें पकड़वा देता था।
2. "मेमोरी गेम" (मल्टी-टर्न कन्वर्सेशन)
- उपमा: कल्पना कीजिए कि आप एक लंबी डिनर बातचीत कर रहे हैं। आप वेटर को बताते हैं कि आपका पसंदीदा रंग "नीला" है। फिर आप 20 मिनट तक मौसम के बारे में बात करते हैं। अंत में, आप पूछते हैं, "मेरा पसंदीदा रंग क्या है?" एक अच्छा वेटर याद रखता है। एक बुरा वेटर भूल जाता है या विषय बदल देता है।
- उन्होंने क्या किया: GateScope ने गेटवे के साथ लंबी बातचीत की, बातचीत की शुरुआत में गुप्त संकेत छोड़े और बाद में जांचा कि क्या गेटवे उन्हें याद रख पाया।
- निष्कर्ष: कुछ गेटवे याद रखने में बहुत अच्छे थे। अन्य बहुत खराब थे। कुछ आपकी पसंद को "भूल" जाते थे क्योंकि वे चुपके से ऐसे मॉडल पर स्विच कर देते थे जिसकी मेमोरी छोटी होती है, या वे जगह बचाने के लिए आपकी बातचीत के शुरुआती हिस्से को काट देते थे।
3. "रसीद चेक" (बिलिंग सटीकता)
- उपमा: आप बर्गर और फ्राइज़ ऑर्डर करते हैं। रसीद कहती है कि आपने स्टेक और लॉबस्टर खाया है।
- उन्होंने क्या किया: उन्होंने ठीक से गिना कि कितने "टोकन" (शब्द/सूचना के टुकड़े) भेजे और प्राप्त किए, और फिर गेटवे द्वारा भेजे गए बिल के साथ उनकी तुलना की।
- निष्कर्ष: अधिकांश गेटवे निष्पक्ष थे। लेकिन कुछ ओवरचार्ज कर रहे थे। कुछ ने उन शब्दों के लिए शुल्क लिया जो पहले से "कैश्ड" (प्री-स्टोर) थे, या उन्होंने बस अतिरिक्त शुल्क जोड़ दिया जो उनके सार्वजनिक मूल्य सूची से मेल नहीं खाता था।
4. "स्टॉपवॉच टेस्ट" (लेटेंसी/विलंबता)
- उपमा: आप कॉफी ऑर्डर करते हैं। कभी-कभी यह 10 सेकंड में आती है। कभी-कभी इसमें 5 मिनट लगते हैं। यदि यह एक व्यस्त कॉफी शॉप है, तो यह सामान्य है। लेकिन यदि एक ही ऑर्डर के लिए प्रतीक्षा समय 10 सेकंड और 5 मिनट के बीच बहुत अधिक बदल जाता है, तो कुछ अजीब है। शायद वे आपके ऑर्डर को अलग-अलग किचन में भेज रहे हैं।
- उन्होंने क्या किया: उन्होंने जवाब मिलने में लगने वाले समय को मापा।
- निष्कर्ष: कुछ गेटवे बहुत सुसंगत थे। अन्य अराजक (chaotic) थे। समय में उच्च भिन्नता का अर्थ अक्सर यह होता था कि गेटवे या तो अलग-अलग मॉडल्स के बीच स्विच कर रहा था या अपने स्वयं के आंतरिक ट्रैफिक से जूझ रहा था।
बड़ा खुलासा
10 अलग-अलग कमर्शियल गेटवे का परीक्षण करने के बाद, शोधकर्ताओं ने पाया कि "वेटर्स" हमेशा भरोसेमंद नहीं थे।
- मॉडल स्विचिंग: कुछ गेटवे अक्सर उस महंगे मॉडल को बदल देते थे जिसके लिए आपने भुगतान किया था, एक सस्ते मॉडल के साथ।
- साइलेंट ट्रंकेशन (खामोश कटौती): कुछ गेटवे आपको बताए बिना आपकी बातचीत के इतिहास को काट देते थे।
- बिलिंग अंतराल: कुछ गेटवे काफी बड़े अंतर से ओवरचार्ज कर रहे थे (एक गेटवे लगभग 63% तक गलत था!)।
- अस्थिर गति: कुछ गेटवे अप्रत्याशित थे, जिससे समय-संवेदनशील कार्यों के लिए उन पर भरोसा करना कठिन हो जाता था।
यह क्यों महत्वपूर्ण है
यह शोध पत्र एक चेतावनी है। जैसे-जैसे अधिक व्यवसाय और लोग इन "ऑल-इन-वन" गेटवे के माध्यम से AI तक पहुँचने के लिए इन पर निर्भर हो रहे हैं, वे इन बिचौलियों को अपने डेटा, अपने पैसे और अपने काम की गुणवत्ता का भरोसा दे रहे हैं।
GateScope यह सिद्ध करता है कि केवल इसलिए कि एक गेटवे कहता है कि वह एक विशिष्ट मॉडल का उपयोग कर रहा है, इसका मतलब यह नहीं है कि वह वास्तव में कर रहा है। यह वैसा ही है जैसे आप स्टेक ऑर्डर करें और आपको बर्गर मिले, लेकिन वेटर जोर देकर कहे कि यह एक "प्रीमियम बर्गर" है। शोधकर्ताओं ने अपने टूल्स को सार्वजनिक कर दिया है ताकि कोई भी जांच सके कि उनका "वेटर" ईमानदार है या नहीं।
संक्षेप में: यदि आप किसी तीसरे पक्ष के गेटवे के माध्यम से प्रीमियम AI सेवा के लिए भुगतान कर रहे हैं, तो हो सकता है कि आपको वह न मिल रहा हो जिसके लिए आपने भुगतान किया है। यह शोध पत्र आपको रसीद चेक करने, भोजन का स्वाद चखने और यह सुनिश्चित करने के उपकरण देता है कि किचन आपके साथ कोई खेल तो नहीं खेल रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।