← नवीनतम पेपर
💻 computer science

The Token Efficiency Index: A Peer-Benchmarked Composite Indicator for AI Token Efficiency

यह शोध पत्र टोकन एफिशिएंसी इंडेक्स (TEI) को प्रस्तुत करता है, जो एक पीयर-बेंचमार्क्ड कंपोजिट इंडिकेटर है जो संगठनों को उनकी एआई टोकन दक्षता को पारदर्शी रूप से बेंचमार्क करने और लागत अनुकूलन के अवसरों की पहचान करने में सक्षम बनाने के लिए कैश प्रदर्शन और मॉडल उपयोग मेट्रिक्स को एक मानकीकृत 0–100 स्कोर में एकत्रित करता है।

मूल लेखक: Caden Wong, Vikram Das, Himanshu Dhami

प्रकाशित 2026-08-10
📖 8 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Caden Wong, Vikram Das, Himanshu Dhami

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक नींबू पानी का स्टाल चला रहे हैं, लेकिन नींबू और चीनी के बजाय, आप रोबोटों को "दिमागी शक्ति" (brain power) बेच रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, कंपनियाँ घंटों के हिसाब से या कर्मचारियों की संख्या के हिसाब से भुगतान नहीं करतीं; वे "टोकन" के हिसाब से भुगतान करती हैं। टोकन को रेत के एक छोटे कण के रूप में सोचें। कुछ कार्यों के लिए रेत की एक मुट्ठी चाहिए होती है, जबकि कुछ के लिए पूरी बाल्टी। समस्या यह है कि रेत अलग-अलग रंगों और आकारों की आती है। कुछ कण सस्ते और आसानी से मिल जाते हैं, जबकि कुछ दुर्लभ, महंगे और विशेष रखरखाव की मांग करते हैं। लंबे समय से, बड़ी कंपनियाँ और स्टार्टअप्स इस बात के स्पष्ट तरीके के बिना रेत की बाल्टियाँ खरीद रहे हैं कि क्या उन्हें अच्छी डील मिल रही है। वे जानते हैं कि उन्होंने कितना खर्च किया है, लेकिन वे यह नहीं जानते कि क्या वे इसे बर्बाद कर रहे हैं। यह ऐसा ही है जैसे यह जानना कि आपने नींबू पानी की सामग्री पर $50 खर्च किए हैं, लेकिन आपको यह नहीं पता कि आपने 100 कप बनाए या सिर्फ 10। इसे ठीक करने के लिए, हमें "दक्षता" (efficiency) मापने के एक तरीके की आवश्यकता है—न केवल यह कि आपने कितना खर्च किया, बल्कि आपने जो खरीदा उसका कितनी समझदारी से उपयोग किया। यहीं पर एक नया टूल आता है जिसे टोकन एफिशिएंसी इंडेक्स (TEI) कहा जाता है। यह एक रिपोर्ट कार्ड की तरह है कि कोई कंपनी अपनी AI रेत का कितनी अच्छी तरह उपयोग करती है, जो जटिल खर्च करने की आदतों को 0 से 100 के सरल स्कोर में बदल देता है।


द ग्रेट एआई लेमोनेड स्टैंड ऑडिट (The Great AI Lemonade Stand Audit)

तो, आप किसी कंपनी को इस आधार पर कैसे ग्रेड देंगे कि वे अपने AI का उपयोग कितनी अच्छी तरह करते हैं? इस पेपर के लेखक, कैडेन वोंग, विक्रम दास और हिमांशु धामी ने महसूस किया कि केवल कुल बिल को देखना पूरी कहानी नहीं बताता है। एक कंपनी बहुत पैसा खर्च कर सकती है क्योंकि वह बहुत बड़ी है, न कि इसलिए कि वह फिजूलखर्च है। इसे हल करने के लिए, उन्होंने टोकन एफिशिएंसी इंडेक्स (TEI) का आविष्कार किया।

TEI को अपने AI खर्च के लिए एक "स्मार्ट मिरर" के रूप में सोचें। यह केवल आपको कुल लागत दिखाने के बजाय, यह देखता है कि क्या आप अपने संसाधनों के अच्छे संरक्षक हैं, इसके लिए तीन विशिष्ट आदतों को देखता है:

  1. "पुन: उपयोग" की आदत (कैश हिट रेट - Cache Hit Rate): कल्पना कीजिए कि आप एक कहानी लिख रहे हैं। यदि आपको हर बार शब्द का उपयोग करने के लिए उसका अर्थ खोजना पड़ता है, तो यह धीमा और कष्टप्रत होता है। लेकिन यदि आप परिभाषा को एक बार लिख लेते हैं और बाद में बस उसकी ओर इशारा करते हैं, तो आप समय बचाते हैं। AI में, इसे "कैशिंग" (caching) कहा जाता है। TEI यह जाँचता है कि एक कंपनी कितनी बार उस जानकारी को दोबारा उपयोग करती है जिसे उन्होंने पहले ही मांगा था, बजाय इसके कि वे AI को इसे शुरुआत से फिर से कैलकुलेट करने के लिए कहें।
  2. "प्रतिफल" की आदत (कैश एमोर्टाइजेशन - Cache Amortization): यह इस बारे में है कि आप अपने पैसे का कितना मूल्य प्राप्त कर रहे हैं। यदि आप एक परिभाषा लिखते हैं (एक "कैश राइट"), तो आप उसे कई बार (कई "रीड्स") उपयोग करना चाहते हैं, इससे पहले कि आप उसे भूल जाएं। TEI मापता है कि क्या कंपनियाँ वास्तव में उस जानकारी का उपयोग कर रही हैं जिसे उन्होंने सहेजा है, या वे केवल उन नोट्स को जमा कर रही हैं जिन्हें वे कभी देखते भी नहीं।
  3. "महंगी पसंद" की आदत (प्रीमियम मॉडल शेयर - Premium Model Share): हर सवाल के लिए सुपर-जीनियस AI की आवश्यकता नहीं होती। कभी-कभी एक साधारण AI भी पर्याप्त होता है। लेकिन कुछ कंपनियाँ हर काम के लिए सबसे महंगी, शक्तिशाली AI का उपयोग करती हैं, यहाँ तक कि "मौसम कैसा है?" जैसे सरल कार्यों के लिए भी। TEI यह जाँचता है कि क्या कोई कंपनी किराने की दुकान तक जाने के लिए "फेरारी" का उपयोग कर रही है जब कि एक "साइकिल" से काम चल सकता था।

स्कोरकार्ड: अराजकता से 0-100 ग्रेड तक

पेपर बताता है कि उन्होंने 39 विभिन्न संगठनों (एकल डेवलपर्स से लेकर अनुसंधान संस्थानों तक) से डेटा लिया और उसे एक विशेष कैलकुलेटर में डाला। उन्होंने केवल नंबरों का औसत नहीं निकाला, क्योंकि यह भ्रामक हो सकता है। इसके बजाय, उन्होंने "बेनिफिट ऑफ द डाउट" (BoD) नामक एक चतुर विधि का उपयोग किया।

यहाँ बताया गया है कि यह सरल अंग्रेजी में कैसे काम करता है: कल्पना कीजिए कि एक छात्र गणित में बहुत अच्छा है लेकिन कला में बहुत खराब है। यदि आप उनके ग्रेड का औसत निकालते हैं, तो वे औसत दिख सकते हैं। लेकिन यदि आप कहते हैं, "ठीक है, चलिए उन्हें कला में छूट देते हैं और देखते हैं कि वे गणित पर ध्यान केंद्रित करने पर कैसे दिखते हैं," तो वे चमक सकते हैं। TEI यह कंपनियों के लिए करता है। यह पूछता है, "इस कंपनी के डेटा को देखने का सबसे अच्छा तरीका क्या है ताकि वे जितना संभव हो सके बेहतर दिखें?" यदि कोई कंपनी अभी भी खराब प्रदर्शन कर रही है भले ही आपने उन्हें "बेनिफिट ऑफ द डाउट" दिया हो, तो वे वास्तव में अक्षम हैं।

यह सुनिश्चित करने के लिए कि स्कोर किसी एक अजीब कंपनी द्वारा बाधित न हो जाए जो एक आउटलायर (जैसे एक नींबू पानी का स्टाल जिसने गलती से दस लाख नींबू खरीद लिए) है, उन्होंने एक "रोबस्ट" ट्विस्ट जोड़ा। उन्होंने गणना को 500 बार चलाया, हर बार एक यादृच्छिक (random) साथियों के समूह की तुलना के लिए चुना। यह उतार-चढ़ाव को कम करता है और अधिक निष्पक्ष स्कोर देता है।

आंकड़े क्या कहते हैं

जब उन्होंने अपने 39 संगठनों के समूह पर यह परीक्षण चलाया, तो उन्हें कुछ दिलचस्प बातें पता चलीं:

  • स्कोर रेंज: स्कोर 34.7 के निचले स्तर से लेकर 100 के उच्च स्तर तक रहा।
  • "सुपर-एफिशिएंट" क्लब: आश्चर्यजनक रूप से कई कंपनियाँ—39 में से 13—इतनी कुशल थीं कि उनका स्कोर पूर्ण स्कोर 100 से ऊपर चला गया (तकनीकी रूप से, उनका कच्चा स्कोर 1.0 से अधिक था)। इसका मतलब है कि वे उस "सर्वश्रेष्ठ अभ्यास" सीमा से बेहतर प्रदर्शन कर रही थीं जिसे लेखकों ने निर्धारित किया था।
  • बड़े विजेता: वे कंपनियाँ सबसे अधिक स्कोर करने वाली थीं जिन्होंने अपनी जानकारी को पुन: उपयोग किया (उच्च कैश हिट रेट) और सरल कार्यों के लिए महंगे मॉडलों पर पैसा बर्बाद नहीं किया।
  • बड़े हारने वाले: सबसे कम स्कोर वाली कंपनी (Org 33) का स्कोर 34.7 था। विश्लेषण से पता चला कि वे अपने 90.8% कार्यों के लिए महंगे "प्रीमियम" मॉडलों का उपयोग कर रहे थे, जबकि उनके सर्वश्रेष्ठ प्रदर्शन करने वाले समकक्ष केवल लगभग 14.3% के लिए इनका उपयोग कर रहे थे। पेपर सुझाव देता है कि यदि यह कंपनी इस एक आदत को सुधार लेती, तो वे अनुमानित $72,150 बचा सकते थे।

यह पेपर क्या नहीं कह रहा है

यह जानना महत्वपूर्ण है कि यह पेपर क्या दावा नहीं करता है। लेखक बहुत सावधान हैं कि यह एक सिमुलेशन और एक बेंचमार्क है, न कि सब कुछ तुरंत ठीक करने वाला कोई जादू का डंडा।

  • यह "एक आकार सभी के लिए उपयुक्त" (One Size Fits All) नियम नहीं है: पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि AI पर खर्च करने का एक ही "परफेक्ट" तरीका है। TEI प्रत्येक कंपनी की ताकत के आधार पर अपने वेट्स (weights) बदल देता है।
  • यह अभी भी पूर्ण नहीं है: लेखक स्वीकार करते हैं कि उनका डेटा सीमित है। उन्होंने केवल 39 संगठनों को देखा, और वे "बाहरी" दुनिया (जैसे ग्राहक AI उत्पादों का उपयोग कैसे करते हैं) को नहीं देख सके। वे यह भी नहीं बता सके कि क्या किसी कंपनी को कठिन कार्य के लिए शक्तिशाली मॉडल की आवश्यकता थी या वे केवल लागत के बजाय प्रदर्शन को प्राथमिकता दे रहे थे। इसलिए, "प्रीमियम मॉडल शेयर" मीट्रिक कभी-कभी एक कंपनी को स्मार्ट होने के लिए, न कि फिजूलखर्च होने के लिए दंडित कर सकता है।
  • यह कोई भविष्य बताने वाला यंत्र (Crystal Ball) नहीं है: बचत के आंकड़े (जैसे $72,150) "डायरेक्शनल एस्टिमेट्स" (दिशात्मक अनुमान) हैं। वे औसत के आधार पर लगाए गए शिक्षित अनुमान हैं, सटीक पूर्वानुमान नहीं।

मुख्य निष्कर्ष (The Takeaway)

टोकन एफिशिएंसी इंडेक्स AI खर्च को देखने का एक नया तरीका है जो "हमने कितना खर्च किया?" से आगे बढ़कर "हमने कितनी समझदारी से खर्च किया?" पर ध्यान केंद्रित करता है। जटिल डेटा को एक सरल 0-100 स्कोर में बदलकर, यह कंपनियों को यह देखने में मदद करता है कि वे कहाँ पैसा बर्बाद कर रही हैं और कहाँ वे बहुत अच्छा काम कर रही हैं।

लेखक सुझाव देते हैं कि हालांकि यह टूल एक शानदार शुरुआत है, इसे बेहतर होने के लिए अधिक डेटा की आवश्यकता है। वे आशा करते हैं कि भविष्य में, अधिक कंपनियाँ अपना डेटा (गुमनाम रूप से) साझा करेंगी ताकि "पियर ग्रुप" (समूह) बड़ा हो सके और स्कोर और भी सटीक हो सके। फिलहाल, यह एक अंधेरे कमरे में एक शक्तिशाली टॉर्च की तरह है, जो हमें दिखा रहा है कि कुछ छोटे बदलावों के साथ—जैसे जानकारी को पुन: उपयोग करना और सही उपकरण चुनना—कंपनियाँ बिना अपनी दिमागी शक्ति खोए बहुत सारा पैसा बचा सकती हैं।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →