Is Your LLM Overcharging You? Tokenization, Transparency, and Incentives
यह शोध पत्र यह प्रकट करता है कि लार्ज लैंग्वेज मॉडल्स के लिए वर्तमान पे-पर-टोकन (प्रति-टोकन भुगतान) मूल्य निर्धारण मॉडल प्रदाताओं के लिए टोकन की संख्या को गलत तरीके से बताने और उपयोगकर्ताओं से अधिक शुल्क लेने के लिए एक वित्तीय प्रोत्साहन पैदा करता है, जो पारदर्शिता संबंधी आवश्यकताओं के बावजूद बनी रहने वाली एक भेद्यता है, लेकिन इसे कैरेक्टर-काउंट-आधारित (वर्ण-गणना-आधारित) मूल्य निर्धारण तंत्र को अपनाकर कम किया जा सकता है जो प्रदाताओं के लिए लाभदायक बना रहता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने लिए भोजन पकाने के लिए एक शेफ को काम पर रखा है। लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, आप ग्राहक हैं और क्लाउड प्रोवाइडर शेफ है। वर्तमान में, आप इस भोजन के लिए एक बहुत ही विशिष्ट नियम के आधार पर भुगतान करते हैं: आप हर उस "सामग्री" (टोकन) के लिए भुगतान करते हैं जिसका उपयोग शेफ ने किया होने का दावा करता है।
यहाँ समस्या यह है: शेफ पूरी खाना पकाने की प्रक्रिया को देखता है, लेकिन आप केवल अंतिम व्यंजन देखते हैं। इस कारण से, शेफ के पास एक गुप्त लाभ (एडवांटेज) है।
"टोकन" की चाल
पेपर की दुनिया में, शब्दों को टुकड़ों में तोड़ा जाता है जिन्हें "टोकन" कहा जाता है। उदाहरण के लिए, शब्द "Damascus" को एक बड़े टुकड़े (1 टोकन) के रूप में पकाया जा सकता है या "Da," "ma," "s," "cus" जैसे छोटे-छोटे टुकड़ों में काटकर बनाया जा सकता है (4 टोकन)।
वर्तमान प्रणाली (प्रति-टोकन भुगतान):
यदि शेफ "Damascus" को एक टुकड़े के रूप में पकाता है, तो वे आपसे 1 टोकन के लिए शुल्क लेते हैं। लेकिन क्योंकि ग्राहक रसोई के अंदर नहीं देख सकता, इसलिए एक बेईमान शेफ चुपके से उसी शब्द को चार छोटे टुकड़ों में काट सकता है और आपसे 4 टोकनों के लिए शुल्क ले सकता है। भोजन का स्वाद वही रहता है, टेक्स्ट भी वैसा ही दिखता है, लेकिन आपका बिल दोगुना हो जाता है।
यह पेपर तर्क देता है कि वर्तमान मूल्य निर्धारण मॉडल (pricing model) प्रदाताओं को बिल्कुल ऐसा करने के लिए वित्तीय प्रोत्साहन देता है: ज़रूरत से ज़्यादा शब्दों को छोटे टुकड़ों में विभाजित करके आपसे अधिक शुल्क वसूलना।
"रेसिपी" की जाँच (पारदर्शिता)
आप सोच सकते हैं, "क्या होगा यदि मैं शेफ से उसकी रेसिपी दिखाने के लिए कहूँ? यदि वे 'Damascus' को चार टुकड़ों में काटते हैं, तो मैं जाँच सकता हूँ कि क्या इसे काटने का यह एक सामान्य तरीका है।"
पेपर कहता है कि इससे मदद मिलती है, लेकिन यह कोई पूर्ण समाधान नहीं है।
- कठिन हिस्सा: किसी शब्द को काटने का सबसे लंबा संभव तरीका खोजना जो अभी भी एक सामान्य रेसिपी जैसा दिखे, गणितीय रूप से कम समय में पूरी तरह से हल करना असंभव है (यह एक NP-Hard समस्या है)। यह एक विशाल भूलभुलैया के माध्यम से बिना भटके सबसे लंबे रास्ते को खोजने की कोशिश करने जैसा है।
- लूपहोल (खामी): हालाँकि, लेखकों ने एक "स्मार्ट चीट शीट" (एक एल्गोरिदम) बनाई है जिसे एकदम सटीक सबसे लंबा रास्ता खोजने की आवश्यकता नहीं है। यह बस एक पर्याप्त अच्छा लंबा रास्ता खोजता है जो सामान्य दिखता है।
- परिणाम: उनके प्रयोगों से पता चलता है कि भले ही शेफ को अपनी रेसिपी दिखानी पड़े, फिर भी वे इस स्मार्ट चीट शीट का उपयोग करके शब्दों को इतना काट सकते हैं कि वे अतिरिक्त पैसा कमा सकें, और रेसिपी की जाँच करने की लागत उस अतिरिक्त पैसे से कम है जो वे कमाते हैं। इसलिए, वे ऐसा करते हैं।
समाधान: "अक्षर" के आधार पर भुगतान करें
इस धोखाधड़ी को रोकने के लिए, पेपर एक नया तरीका प्रस्तावित करता है: प्रति-कैरेक्टर (अक्षर) भुगतान।
इस आधार पर भुगतान करने के बजाय कि शेफ ने कितने "टुकड़े" (टोकन) का उपयोग किया, आप अंतिम व्यंजन में कितने अक्षर (letters) हैं, उसके लिए भुगतान करते हैं।
- चाहे शेफ "Damascus" को एक टुकड़े के रूप में पकाए या चार छोटे टुकड़ों के रूप में, शब्द में अभी भी 8 अक्षर हैं।
- यदि आप 1 सेंट प्रति अक्षर देते हैं, तो बिल हमेशा 8 सेंट होगा।
- शेफ शब्दों को अलग तरह से काटकर अतिरिक्त पैसा नहीं कमा सकता क्योंकि अक्षरों की कुल संख्या कभी नहीं बदलती।
"प्रॉफिट मार्जिन" का मोड़
पेपर स्वीकार करता है कि इसमें एक छोटा सा पेच है। नई प्रणाली के तहत, भाषा या विशिष्ट शब्दों के आधार पर शेफ का लाभ थोड़ा भिन्न हो सकता है (कुछ भाषाओं में स्वाभाविक रूप से प्रति शब्द कम अक्षर होते हैं)।
हालाँकि, लेखक एक सरल समाधान देते हैं: शेफ बस अपने द्वारा आमतौर पर उपयोग किए जाने वाले अक्षरों की औसत संख्या के आधार पर प्रति अक्षर अपनी कीमत निर्धारित कर सकता है। इस प्रकार, वे अपने औसत लाभ को खोए बिना निष्पक्ष "प्रति-अक्षर भुगतान" प्रणाली में स्विच कर सकते हैं, जबकि आप अधिक शुल्क लिए जाने से सुरक्षित रहते हैं।
सारांश
- समस्या: वर्तमान AI मूल्य निर्धारण प्रदाताओं को चुपके से शब्दों को अधिक टुकड़ों में विभाजित करने की अनुमति देता है ताकि वे आपसे अधिक शुल्क ले सकें, और आप यह साबित नहीं कर सकते कि उन्होंने ऐसा किया है।
- "पारदर्शिता" वाला समाधान: उन्हें अपना काम दिखाने के लिए कहना मदद करता है, लेकिन वे अभी भी शब्दों को चतुराई से विभाजित करने और अतिरिक्त पैसा कमाने के तरीके ढूंढ सकते हैं।
- असली समाधान: मूल्य निर्धारण को प्रति-कैरेक्टर (Pay-per-Character) में बदलें। चूंकि एक वाक्य में अक्षरों की संख्या निश्चित होती है, चाहे AI उसे किसी भी तरह से विभाजित करे, कीमत निष्पक्ष रहती है, और धोखाधड़ी करने का प्रोत्साहन समाप्त हो जाता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।