Token Reduction Is Not Cost Reduction
यह शोध पत्र यह प्रदर्शित करता है कि कोडिंग एजेंट संदर्भों में टोकन गणना को कम करना विश्वसनीय रूप से बिल किए गए खर्चों को कम नहीं करता है क्योंकि इसमें प्रॉम्प्ट-कैश ट्रैफ़िक का प्रभुत्व और कार्य विफल होने का जोखिम शामिल है, और इसके बजाय सफलता-समायोजित बिल किए गए लागत के आधार पर लागत-दक्षता का मूल्यांकन करने का तर्क देता है न कि केवल टोकन में कमी के आधार पर।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक हाई-टेक डिटेक्टिव एजेंसी चला रहे हैं जहाँ आपके सुपर-स्मार्ट AI डिटेक्टिव्स (जिन्हें "कोडिंग एजेंट्स" कहा जाता है) फाइलें पढ़कर, कमांड चलाकर और आपसे चैट करके रहस्यों को सुलझाते हैं। हर बार जब वे कोई फाइल पढ़ते हैं या कमांड चलाते हैं, तो आपको क्लाउड प्रोवाइडर से एक बिल मिलता है।
लंबे समय तक, सभी को लगता था कि पैसे बचाने का सबसे अच्छा तरीका डिटेक्टिव्स को कम टेक्स्ट पढ़वाना है। तर्क सरल था: "यदि हम उन फाइलों को कंप्रेस (compress) कर दें जिन्हें वे पढ़ते हैं, तो हम शब्द गणना कम कर देंगे, जिससे बिल कम हो जाएगा!" यह एक आदर्श योजना लग रही थी, जैसे किसी सूटकेस से सारी हवा निकालकर उसे सिकोड़ देना।
लेकिन यह पेपर, जिसका शीर्षक है "Token Reduction Is Not Cost Reduction" (टोकन में कमी, लागत में कमी नहीं), हमें बताने आया है कि सूटकेस वाला यह उदाहरण एक जाल है। लेखकों ने एक विशाल प्रयोग किया—7 अलग-अलग कोडबेस और 3 अलग-अलग AI मॉडल्स पर 2,908 से अधिक डिटेक्टिव रन चलाए—यह देखने के लिए कि वास्तव में बिल के साथ क्या होता है।
यहाँ ट्विस्ट यह है जो उन्होंने खोजा: टेक्स्ट को छोटा करने से हमेशा बिल छोटा नहीं होता। वास्तव में, कभी-कभी टेक्स्ट को छोटा करने से बिल बढ़ जाता है।
"कैश्ड मेमोरी" (Cached Memory) का आश्चर्य
सबसे बड़ा झटका यह है कि पैसा वास्तव में कहाँ जा रहा है। लेखकों ने बिल का विश्लेषण किया और पाया कि 87% पुनर्निर्मित लागत (reconstructed cost) (और लगभग 80% वास्तविक बिल) "प्रॉम्ट-कैश ट्रैफिक" (prompt-cache traffic) से आती है।
AI की मेमोरी को एक सुपर-फास्ट, जादुई व्हाइटबोर्ड की तरह समझें।
- बोर्ड पर लिखना (Cache Creation): इसमें पैसा लगता है, लेकिन यह एक बार लगने वाली फीस है।
- बोर्ड से पढ़ना (Cache Reads): यह बहुत सस्ता है, जैसे डिस्काउंट कूपन मिलना।
- नया टेक्स्ट (Uncached Input): यह महंगा हिस्सा है, लेकिन यह वास्तव में एक बहुत छोटा हिस्सा है (केवल 1.3% बिल!)।
हालाँकि, एक छिपा हुआ खर्च है जो व्हाइटबोर्ड स्पष्ट रूप से नहीं दिखाता। लेखकों ने पाया कि उनके बिल में 8.7% "अनअट्रिब्यूटेड रेसिड्यूअल" (unattributed residual) है जिसे उनका मानक ब्रेकडाउन स्पष्ट नहीं कर सका। यह बचा हुआ हिस्सा रैंडम नहीं है; यह सीधे तौर पर इस बात पर निर्भर करता है कि AI कितनी मेहनत से सोच रहा है। Haiku 4.5 मॉडल पर, आप जितना अधिक "सोचने का प्रयास" (thinking effort) सेट करेंगे, यह रहस्यमय बिल उतना ही बढ़ता जाएगा। यह सुझाव देता है कि भले ही टेक्स्ट छोटा दिख रहा हो, AI शायद महंगी मानसिक मेहनत कर रहा है जो टोकन काउंट में दिखाई नहीं देती।
समस्या यह है कि जब आप टेक्स्ट को कंप्रेस करते हैं, तो आप केवल "नए टेक्स्ट" वाले हिस्से को ही नहीं बचा रहे होते। आप "बोर्ड से पढ़ने" वाले हिस्से के साथ भी छेड़छाड़ कर सकते हैं। यदि आप किसी फाइल को बहुत अधिक कंप्रेस कर देते हैं, तो AI भ्रमित हो सकता है, वह भूल सकता है कि वह क्या कर रहा था, और उसे बातचीत के पूरे इतिहास को फिर से पढ़ना पड़ सकता है।
हर बार जब AI को वह इतिहास फिर से पढ़ना पड़ता है, तो उसे उस इतिहास को फिर से बोर्ड पर लिखना पड़ता है। और लिखना महंगा है! इसलिए, भले ही आपने कुछ शब्द बचा लिए हों, आपने AI को बार-बार "लिखने की फीस" देने के लिए मजबूर कर दिया।
"38% की कटौती" जिसने अधिक खर्च कराया
लेखकों ने एक फैंसी कंप्रेशन सिस्टम (जिसे RTK-ML कहा जाता है) का परीक्षण किया जिसने कच्चे टूल-आउटपुट टेक्स्ट को 38.4% सफलतापूर्वक कम कर दिया। आप सोचेंगे कि इससे भारी बचत होगी, है ना?
गलत।
उनके पेयर्ड टेस्ट (paired tests) में, इस सिस्टम ने वास्तव में लागत को 6.8% बढ़ा दिया (95% कॉन्फिडेंस इंटरवल के साथ [+2.8, +11.3])।
क्यों? क्योंकि कंप्रेशन इतना आक्रामक था कि AI को अतिरिक्त कदम उठाने पड़े। उसे अतिरिक्त डायग्नोस्टिक टर्न लेने पड़े, फाइलें फिर से पढ़नी पड़ीं, और अधिक सवाल पूछने पड़े। उन अतिरिक्त चरणों का मतलब था पूरी बातचीत के इतिहास को फिर से ट्रांसमिट करना, जिसने टेक्स्ट कंप्रेशन से हुई किसी भी बचत को खत्म कर दिया।
पेपर स्पष्ट रूप से इस विचार को खारिज करता है कि "कम टोकन = कम लागत"। उन्होंने पाया कि आप कितना टेक्स्ट हटाते हैं और आप कितने पैसे बचाते हैं, उनके बीच का संबंध लगभग नगण्य है। सहसंबंध (correlation) मात्र 0.15 था, जो शून्य के इतने करीब है कि यह व्यावहारिक रूप से एक सिक्के के उछाल (coin flip) जैसा है।
"ब्रोकन एंकर" (Broken Anchor) की आपदा
कंप्रेशन एक और तरीका है जिससे काम उल्टा पड़ सकता है: यह उन सुरागों को तोड़ सकता है जिनकी AI को अपना काम करने के लिए आवश्यकता होती है।
लेखकों ने Go प्रोग्रामिंग टास्क पर एक विशेष परीक्षण चलाया। उन्होंने पाया कि जब उन्होंने टेक्स्ट को कंप्रेस किया, तो AI कभी-कभी "वर्टिवेट एडिट एंकर्स" (verbatim edit anchors) खो देता था—कोड की वे सटीक, बाइट-दर-बाइट लाइनें जिन्हें उसे बग ठीक करने के लिए कॉपी और पेस्ट करने की आवश्यकता थी।
कल्पना कीजिए कि आप पाइप में रिसाव ठीक करने की कोशिश कर रहे हैं, लेकिन आपके द्वारा पढ़े जा रहे निर्देश इतने सिकुड़ गए हैं कि जिस विशिष्ट हिस्से को आपको काटना है, वह अब एक धुंधले धब्बे जैसा दिखता है। AI इसे ठीक करने की कोशिश करता है, लेकिन "पैच" (सुधार) फिट नहीं बैठता क्योंकि निर्देश दूषित हो गए थे।
- बिना कंप्रेशन के: AI ने 40 में से 27 पैच सफलतापूर्वक लागू किए।
- कंप्रेशन के साथ: AI केवल 40 में से 15 ही कर पाया।
इस विशिष्ट परीक्षण में, कंप्रेस्ड वर्जन ने केवल प्रति सफल पैच अधिक लागत ही नहीं ली; बल्कि यह अधिक बार विफल भी हुआ। लेखकों ने नोट किया कि हालांकि कंप्रेस्ड वर्जन प्रति प्रयास सस्ता दिख रहा था, लेकिन "सफल समस्या समाधान की लागत" वास्तव में दोगुनी (0.248) थी क्योंकि यह कई बार विफल हुआ।
"ब्लैक बॉक्स" प्रॉक्सी
उन्होंने Headroom नामक एक अन्य टूल का भी परीक्षण किया, जो एक बिचौलिए की तरह काम करता है जो AI तक पहुँचने से पहले संदेशों को दोबारा लिख देता है। यह वॉलेट के लिए एक पूर्ण आपदा साबित हुआ। इसने बिना कुछ न करने की तुलना में लागत को 48.4% अधिक (95% CI के साथ [+42.3, +55.0]) बना दिया, और सफलता दर में कोई सुधार नहीं हुआ।
निष्कर्ष (The Bottom Line)
पेपर निष्कर्ष निकालता है कि यदि आप AI कोडिंग एजेंट्स पर पैसा बचाना चाहते हैं, तो आप केवल "टोकन काउंटर" को देखकर यह मान नहीं सकते कि आप जीत रहे हैं।
- उन्होंने क्या सिद्ध किया: इन विशिष्ट, वास्तविक दुनिया के परीक्षणों में, टेक्स्ट काटने से लागतreliably कम नहीं हुई। वास्तव में, RTK-ML सिस्टम के लिए, इसने चीजों को अधिक महंगा बना दिया। Headroom के लिए, इसने चीजों को बहुत अधिक महंगा बना दिया।
- उन्होंने क्या मापा: उन्होंने केवल अनुमान नहीं लगाया; उन्होंने लगभग $175.92 (केवल मुख्य अभियान के लिए) के कुल बिल वाले 2,908 वास्तविक रन को ट्रैक किया, साथ ही बिल का अतिरिक्त 8.7% जो सोचने के प्रयास के साथ बढ़ता है और जिसे मानक टोकन काउंट से स्पष्ट नहीं किया जा सका।
- वे क्या सुझाव देते हैं: कंप्रेशन टूल के काम करने का पता लगाने का एकमात्र तरीका यह मापना है कि प्रति सफल कार्य अंतिम बिल कितना है, न कि हटाए गए शब्दों की संख्या।
इसलिए, अगली बार जब कोई आपसे कहे, "हमने डेटा को 50% कंप्रेस कर दिया है ताकि आपके पैसे बच सकें!" तो आप मुस्कुरा सकते हैं और कह सकते हैं, "कूल, लेकिन क्या आपने चेक किया कि इसकी वजह से AI को पूरी किताब फिर से पढ़नी तो नहीं पड़ी?" क्योंकि AI एजेंट्स की दुनिया में, कभी-कभी सबसे छोटा रास्ता सबसे महंगा होता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।