🤖 AI

Auditing Pay-Per-Token in Large Language Models

यह शोध पत्र एक मार्टिंगेल-आधारित ऑडिटिंग फ्रेमवर्क प्रस्तावित करता है जो एक विश्वसनीय तीसरे पक्ष को उच्च सांख्यिकीय विश्वास के साथ बड़े भाषा मॉडल प्रदाताओं द्वारा टोकन मिसरिपोर्टिंग का विश्वसनीय रूप से पता लगाने और उसे सिद्ध करने में सक्षम बनाता है, जबकि निष्ठावान प्रदाताओं के विरुद्ध गलत आरोपों को न्यूनतम करता है।

मूल लेखक: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Ander Artola Velasco, Stratis Tsirtsis, Manuel Gomez-Rodriguez

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक डिलीवरी ऐप से पिज्जा ऑर्डर कर रहे हैं। आप प्राप्त होने वाले स्लाइस (टुकड़ों) की संख्या के आधार पर भुगतान करते हैं। पिज्जा शॉप (LLM प्रदाता) पिज्जा बनाती है, उसे स्लाइस में काटती है, और आपको डिब्बा थमा देती है। वे आपसे कहते हैं, "यहाँ 8 स्लाइस हैं, यानी $8।"

लेकिन यहाँ एक पेंच है: आप डिब्बा खोलने तक उसके अंदर नहीं देख सकते। दुकान को पता है कि उन्होंने पिज्जा को कैसे काटा है। वे चुपके से एक स्लाइस को दो छोटे, बेकार टुकड़ों में काट सकते हैं और आपसे कह सकते, "अब 9 स्लाइस हो गए, मुझे $9 दें!"

लार्ज लैंग्वेज मॉडल्स (LLMs) की दुनिया में, बिल्कुल यही हो रहा है। कंपनियाँ आपको "टोकन" (टेक्स्ट का एक हिस्सा, जैसे एक शब्द या शब्द का हिस्सा) के आधार पर शुल्क लेती हैं। क्योंकि टेक्स्ट को टोकन में काटने का तरीका अद्वितीय नहीं है, इसलिए एक बेईमान प्रदाता एक ही टोकन को दो में विभाजित कर सकता है ताकि आपसे अधिक शुल्क लिया जा सके, भले ही आपके द्वारा पढ़ा गया टेक्स्ट बिल्कुल एक जैसा दिखे।

यह पेपर एक "टोकन पुलिस" (Token Police) सिस्टम पेश करता है—एक ऐसा तरीका जिससे एक विश्वसनीय ऑडिटर (लेखा परीक्षक) बिना प्रदाता की रसोई के अंदर जाए, इन धोखेबाजों को पकड़ सकता है।

समस्या: ब्लैक बॉक्स का "नैतिक जोखिम" (Moral Hazard)

अर्थशास्त्र में इसे "मोरल हेज़र्ड" कहा जाता है। प्रदाता सब कुछ देखता है (पूरी पिज्जा काटने की प्रक्रिया), लेकिन आप केवल अंतिम परिणाम देखते हैं। चूंकि प्रदाता अधिक पैसा कमाना चाहता है, इसलिए उसके पास आपके टेक्स्ट को "ओवर-स्लाइस" करने का वित्तीय प्रोत्साहन होता है।

समाधान: "मार्टिंगेल" डिटेक्टिव (The Martingale Detective)

लेखकों ने इन धोखेबाजों को पकड़ने के लिए एक गणितीय ढांचा तैयार किया है। वे संभाव्यता सिद्धांत (probability theory) की एक अवधारणा का उपयोग करते हैं जिसे "मार्टिंगेल" (Martingale) कहा जाता है।

एक मार्टिंगेल को एक "निष्पक्षता मीटर" या "संदेह स्कोर" के रूप में सोचें।

यदि प्रदाता ईमानदार है: तो संदेह स्कोर स्थिर रहता है, शून्य के आसपास घूमता रहता है। यह एक शांत समुद्र की तरह है; लहरें ऊपर-नीचे जाती हैं, लेकिन जल स्तर नहीं बढ़ता।
यदि प्रदाता धोखाधड़ी कर रहा है: तो संदेह स्कोर बढ़ने लगता है। हर बार जब प्रदाता आपसे अधिक शुल्क लेने की कोशिश करता है, तो मीटर ऊपर की ओर बढ़ता है। अंततः, स्कोर एक "रेड अलर्ट" सीमा तक पहुँच जाता है, और ऑडिटर कहता है, "पकड़े गए! आप धोखाधड़ी कर रहे हैं!"

डिटेक्टिव कैसे काम करता है (जादुई ट्रिक)

ऑडिटर को यह जानने की आवश्यकता है कि "उचित" कीमत क्या होनी चाहिए ताकि अंतर पहचाना जा सके। लेकिन ऑडिटर के पास प्रदाता की गुप्त रेसिपी नहीं है। इसलिए, वे एक चतुर ट्रिक का उपयोग करते हैं:

"क्या होगा अगर" सिमुलेशन (The "What-If" Simulation): ऑडिटर प्रदाता द्वारा दिए गए टेक्स्ट को लेता है (उदाहरण के लिए, "The cat sat on the mat") और AI मॉडल से पूछता है: "यदि आपको ठीक यही वाक्य बनाना होता, तो आप औसतन सामान्य रूप से कितने टोकन का उपयोग करते?"
एस्टिमेटर (The Estimator): पेपर इस औसत की गणना करने का एक नया, अत्यंत कुशल तरीका पेश करता है। यह ऐसा है जैसे ऑडिटर उस विशिष्ट वाक्य के लिए "उचित" टोकन संख्या का पता लगाने के लिए अपने दिमाग में हजारों छोटे सिमुलेशन चला रहा हो।
तुलना (The Comparison): ऑडिटर प्रदाता द्वारा रिपोर्ट की गई संख्या (जैसे, "10 टोकन") की अपने द्वारा गणना की गई उचित संख्या (जैसे, "7 टोकन") से तुलना करता है।
- यदि प्रदाता 10 कहता है, लेकिन गणित 7 कहता है, तो "संदेह स्कोर" बढ़ जाता है।
- यदि प्रदाता ईमानदार है, तो स्कोर कम रहता है।

परिणाम: धोखेबाजों को तेजी से पकड़ना

शोधकर्ताओं ने वास्तविक AI मॉडलों (जैसे Llama और Gemma) और नकली "धोखाधड़ी करने वाले" प्रदाताओं के साथ इस प्रणाली का परीक्षण किया।

अच्छी खबर: यह प्रणाली अविश्वसनीय रूप से तेज़ है। इसे उच्च विश्वास के साथ एक धोखेबाज को पकड़ने के लिए केवल लगभग 70 उदाहरणों की आवश्यकता पड़ी।
सुरक्षा जाल: यह प्रणाली ईमानदार प्रदाताओं पर गलत आरोप लगाने में भी बहुत सावधान रहती है। गलत तरीके से किसी अच्छे व्यक्ति पर आरोप लगाने की संभावना को 5% से नीचे रखा गया है (और व्यवहार में, यह वास्तव में इससे भी कम था)।

यह क्यों महत्वपूर्ण है

वर्तमान में, AI बाजार "वाइल्ड वेस्ट" (अराजक स्थिति) की तरह है। प्रदाता अधिक पैसा कमाने के लिए नियमों में हेरफेर कर सकते हैं, और उपयोगकर्ताओं के पास जानने का कोई तरीका नहीं है। यह पेपर एक नियामक उपकरण (regulatory tool) का ब्लूप्रिंट प्रदान करता है।

कल्पिए कि भविष्य में एक सरकारी एजेंसी या एक स्वतंत्र निगरानी संस्था इस "मार्टिंगेल डिटेक्टिव" का उपयोग करके AI कंपनियों का ऑडिट करती है। यदि कोई कंपनी आपको अधिक शुल्क लेने के लिए टोकन को विभाजित करने की कोशिश करती है, तो सिस्टम उन्हें तुरंत फ्लैग कर देता है। यह कंपनियों को ईमानदार रहने के लिए मजबूर करता है, यह सुनिश्चित करता है कि आप केवल उसी के लिए भुगतान करें जो आप वास्तव में प्राप्त कर रहे हैं।

संक्षेप में

विलेन (Villant): AI प्रदाता जो आपसे अधिक शुल्क लेने के लिए शब्दों को छोटे टुकड़ों में बांट रहे हैं।
हीरो (Hero): एक गणितीय "संदेह स्कोर" जो धोखाधड़ी होने पर बढ़ता है।
हथियार (Weapon): एक चतुर सिमुलेशन जो किसी भी वाक्य के लिए "उचित" टोकन संख्या की गणना करता है।
परिणाम (Outcome): एक ऐसी प्रणाली जो ईमानदार लोगों को दंडित किए बिना 70 प्रयासों के भीतर धोखेबाजों को पकड़ लेती है।

यह कार्य AI अर्थव्यवस्था को सभी के लिए निष्पक्ष, पारदर्शी और भरोसेमंद बनाने की दिशा में एक बड़ा कदम है।

यहाँ शोध पत्र "Auditing Pay-Per-Token in Large Language Models" का विस्तृत तकनीकी सारांश दिया गया है:

1. समस्या विवरण (Problem Statement)

यह शोध पत्र "LLM-as-a-Service" बाजार में एक महत्वपूर्ण आर्थिक भेद्यता (vulnerability) को संबोधित करता है, जहाँ प्रदाता उपयोगकर्ताओं से पे-पर-टोकन (pay-per-token) मूल्य निर्धारण मॉडल के आधार पर शुल्क लेते हैं।

प्रोत्साहन (The Incentive): सूचना की विषमता (asymmetry of information) के कारण, प्रदाता संपूर्ण जनरेटिव प्रक्रिया (मॉडल द्वारा जनरेट किए गए विशिष्ट टोकन अनुक्रम) को देखता है, जबकि उपयोगकर्ता केवल अंतिम स्ट्रिंग आउटपुट देख पाता है।
खतरा (The Threat): टोकनाइज़ेशन अद्वितीय नहीं है; एक ही स्ट्रिंग को विभिन्न लंबाई वाले कई वैध टोकन अनुक्रमों के रूप में दर्शाया जा सकता है। एक दुर्भावनापूर्ण प्रदाता इसका लाभ उठाकर वास्तविक जनरेट किए गए टोकन की तुलना में अधिक टोकन संख्या रिपोर्ट कर सकता है, जिससे अपने राजस्व को बढ़ाकर उपयोगकर्ता के नुकसान पर लाभ कमा सकता है (एक "नैतिक संकट" या moral hazard)।
चुनौती (The Challenge): इस गलत रिपोर्टिंग का पता लगाना कठिन है क्योंकि उपयोगकर्ता मॉडल की आंतरिक स्थिति या ऐसी पहुँच रखने वाले किसी विश्वसनीय तीसरे पक्ष के बिना आंतरिक टोकनाइज़ेशन को सत्यापित नहीं कर सकता।

2. कार्यप्रणाली (Methodology)

लेखक मार्टिंगेल थ्योरी (martingale theory) और e-values पर आधारित एक अनुक्रमिक ऑडिटिंग फ्रेमवर्क (sequential auditing framework) प्रस्तावित करते हैं। यह फ्रेमवर्क एक विश्वसनीय तीसरे पक्ष के ऑडिटर को मानता है जिसके पास मॉडल के अगले-टोकन संभाव्यता वितरण (next-token probability distribution) तक पहुँच है (जैसे कि ओपन वेट्स या नियामक आदेशों के माध्यम से)।

A. अनुक्रमिक परिकल्पना परीक्षण के रूप में औपचारिकता (Formalization as a Sequential Hypothesis Test)

इस समस्या को प्रदाता की रिपोर्टिंग नीति $\pi$ के संबंध में दो परिकल्पनाओं के परीक्षण के रूप में तैयार किया गया है:

शून्य परिकल्पना ( $H_0$ ): प्रदाता निष्ठावान है ( $\pi = \pi_0$ ), जो वास्तविक टोकन अनुक्रम की रिपोर्ट करता है।
वैकल्पिक परिकल्पना ( $H_1$ ): प्रदाता निष्ठावान नहीं है ( $I(\pi) > 0$ ), जहाँ $I(\pi)$ गलत रिपोर्टिंग तीव्रता (misreporting intensity) है (रिपोर्ट किए गए अतिरिक्त टोकनों की अपेक्षित संख्या)।

B. टोकन लंबाई का निष्पक्ष अनुमानक (Unbiased Estimator of Token Length)

इन परिकल्पनाओं का परीक्षण करने के लिए, ऑडिटर को एक विशिष्ट आउटपुट स्ट्रिंग $s$ के लिए मॉडल द्वारा जनरेट किए जाने वाले अपेक्षित टोकन की संख्या का अनुमान लगाना होगा।

चुनौती: मानक ऑटो-रिग्रेसिव जनरेशन प्रक्रिया एक विशिष्ट आउटपुट स्ट्रिंग $s$ की गारंटी नहीं देती है।
समाधान: लेखक मास्क्ड नेक्स्ट-टोकन प्रोबेबिलिटीज़ (masked next-token probabilities) का उपयोग करके एक संशोधित जनरेशन प्रक्रिया पेश करते हैं। यह प्रक्रिया मॉडल को ऐसे टोकन अनुक्रम जनरेट करने के लिए मजबूर करती है जो स्ट्रिंग $s$ का परिणाम देते हैं।
एल्गोरिदम 1 (EstimateLength): वे रैंडमाइज्ड ट्रंकेशन (randomized truncation) का उपयोग करके एक नवीन, निष्पक्ष मोंटे कार्लो अनुमानक (unbiased Monte Carlo estimator) विकसित करते हैं (जो SDEs के डिबायसिंग तकनीकों से प्रेरित है)। यह संशोधित प्रक्रिया से अनुक्रमों को सैंपल करता है और औसत टोकन लंबाई $E[\text{len}(T) | \text{str}(T)=s]$ का निष्पक्ष अनुमान लगाने के लिए इम्पॉर्टेंस वेटिंग (importance weighting) का उपयोग करता है।

C. अनुक्रमिक सांख्यिकीय परीक्षण (Martingale)

ऑडिटर प्रदाता के साथ अनुक्रमिक रूप से इंटरैक्ट करता है:

प्रदाता को प्रॉम्प्ट $Q$ के साथ क्वेरी करें।
रिपोर्ट किया गया टोकन अनुक्रम $\tilde{T}$ और स्ट्रिंग $s = \text{str}(\tilde{T})$ प्राप्त करें।
साक्ष्य (evidence) $E_i = \text{len}(\tilde{T}) - \text{EstimateLength}(Q, s)$ की गणना करें।
एक मार्टिंगेल प्रक्रिया $M_i$ को अपडेट करें:
$M_i = M_{i-1} \cdot (1 + \lambda_i \cdot E_i)$
जहाँ $\lambda_i$ एक वेटिंग पैरामीटर है।
निर्णय नियम (Decision Rule): यदि $M_i$ थ्रेशोल्ड $1/\alpha$ से अधिक हो जाता है, तो ऑडिटर $H_0$ को खारिज कर देता है और प्रदाता को निष्ठाहीन (unfaithful) घोषित कर देता है।

3. मुख्य योगदान (Key Contributions)

सैद्धांतिक गारंटी (Theoretical Guarantees):
- फॉल्स पॉजिटिव कंट्रोल (False Positive Control): यह फ्रेमवर्क गारंटी देता है कि एक निष्ठावान प्रदाता को गलत तरीके से फ्लैग करने की संभावना $\alpha$ द्वारा सीमित है (थ्योरम 3), जो मार्टिंगल्स के लिए विले के असमानता (Ville's inequality) का उपयोग करती है।
- डिटेक्शन गारंटी (Detection Guarantee): यह फ्रेमवर्क एक निश्चित समय में एक निष्ठाहीन प्रदाता का पता लगाने की गारंटी देता, चाहे उनकी गलत रिपोर्टिंग नीति कितनी भी परिष्कृत क्यों न हो, बशर्ते कि गलत रिपोर्टिंग तीव्रता $I(\pi) > 0$ हो (थ्योरम 4)।
नवीन अनुमानक (Novel Estimator): एक विशिष्ट स्ट्रिंग की औसत टोकन लंबाई के लिए एक कुशल, निष्पक्ष अनुमानक का विकास, जो कि LLMs के अन्य संभाव्य विश्लेषणों के लिए एक स्वतंत्र योगदान है।
मजबूती (Robustness): यह विधि किसी भी गैर-नियतात्मक (non-deterministic) रिपोर्टिंग नीति के लिए काम करती है और इसके लिए ऑडिटर को प्रदाता की विशिष्ट रणनीति जानने की आवश्यकता नहीं है, केवल यह जानना पर्याप्त है कि प्रदाता निष्ठावान नहीं है।

4. प्रयोगात्मक परिणाम (Experimental Results)

लेखकों ने Llama, Gemma, और Ministral परिवारों के मॉडलों और LMSYS Chatbot Arena डेटासेट के प्रॉम्प्ट्स का उपयोग करके अपने फ्रेमवर्क को मान्य किया।

निष्ठावान प्रदाता (Faithful Providers): प्रत्येक मॉडल के 150 परीक्षणों में, टेस्ट प्रक्रिया $M$ अपने प्रारंभिक मान (1) के करीब रही और कभी भी थ्रेशोल्ड $1/\alpha$ (जहाँ $\alpha=0.05$ ) को पार नहीं किया, जो निम्न फॉल्स पॉजिटिव दर की पुष्टि करता है।
निष्ठाहीन प्रदाता (Unfaithful Providers): फ्रेमवर्क ने दो सिम्युलेटेड नीतियों (Random splitting और Heuristic splitting) के तहत गलत रिपोर्टिंग का सफलतापूर्वक पता लगाया:
- गति (Speed): एक निष्फाहीन प्रदाता का पता ~70 रिपोर्ट किए गए आउटपुट से कम में लगा दिया गया।
- तीव्रता सहसंबंध (Intensity Correlation): जैसे-जैसे गलत रिपोर्टिंग तीव्रता ( $I(\pi)$ ) बढ़ी, डिटेक्शन का समय तेजी से कम होता गया।
- मजबूती (Robustness): फ्रेमवर्क तब भी प्रभावी रहा जब ऑडिटर ने संभाव्यता अनुमान के लिए नॉन-क्वांटाइज्ड मॉडल का उपयोग किया जबकि प्रदाता क्वांटाइज्ड वर्जन का उपयोग कर रहा था (लगभग मॉडल एक्सेस)।

5. महत्व और प्रभाव (Significance and Impact)

बाजार अखंडता (Market Integrity): यह कार्य "पे-पर-टोकन" मूल्य निर्धारण मॉडल को ऑडिट करने के लिए पहला कठोर सांख्यिकीय उपकरण प्रदान करता है, जो प्रदाताओं और उपयोगकर्ताओं के बीच प्रोत्साहन के मौलिक असंतुलन को संबोधित करता है।
नियामक प्रासंगिकता (Regulatory Relevance): यह फ्रेमवर्क उभरते हुए नियमों जैसे कि EU AI Act (Article 74) के अनुरूप है, जो उच्च-जोखिम वाले AI सिस्टम के लिए सोर्स कोड तक ऑडिटर्स की पहुँच प्रदान करता है। यह "मार्केट सर्विलांस अथॉरिटीज" के लिए बिलिंग पारदर्शिता को सत्यापित करने हेतु एक ठोस तंत्र प्रदान करता है।
AI सेवाओं में विश्वास (Trust in AI Services): तीसरे पक्ष के सत्यापन को सक्षम करके, यह फ्रेमवर्क "LLM-as-a-Service" बाजारों में विश्वास बहाल करने में सक्षम है, जिससे प्रदाताओं को "टोकन इन्फ्लेशन" रणनीतियों में शामिल होने से रोका जा सकता है।
भविष्य की दिशाएं (Future Directions): लेखक नियामक पहुँच के माध्यम से प्रोप्रायटरी मॉडलों तक विस्तार करने और विभिन्न एडवरसेरियल टोकनाइजेशन नीतियों के लिए बेंचमार्क विकसित करने का सुझाव देते हैं।

संक्षेप में, यह शोध पत्र आर्थिक सिद्धांत (नैतिक संकट), सांख्यिकीय लर्निंग (मार्टिंगल्स और e-values), और सिस्टम इंजीनियरिंग को जोड़कर एक मजबूत, प्रमाणित रूप से सही ऑडिटिंग टूल बनाता है जो उभरती हुई LLM अर्थव्यवस्था के लिए आवश्यक है।