How Do AI Agents Spend Your Money? Analyzing and Predicting Token Consumption in Agentic Coding Tasks
यह शोध पत्र एजेंटिक कोडिंग कार्यों में टोकन खपत का पहला व्यवस्थित अध्ययन प्रस्तुत करता है, जो यह प्रकट करता है कि एजेंटिक वर्कफ़्लो असाधारण रूप से महंगे और स्टोकेस्टिक (अनिश्चित) हैं, मॉडल दक्षता में काफी भिन्न होते हैं, और फ्रंटियर एलएलएम (LLMs) अपनी स्वयं की टोकन लागत का सटीक अनुमान लगाने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने घर में लीकेज ठीक करने के लिए एक अत्यधिक कुशल, लेकिन थोड़े अनिश्चित व्यवहार वाले डिजिटल मिस्त्री (handyman) को काम पर रखा है। आप नहीं जानते कि वह दस मिनट में काम पूरा कर लेगा या आपके पूरे फर्श को खोदकर तीन दिन बिता देगा, और आपको कुल बिल का पता तभी चलता है जब वह काम खत्म कर लेता है और औजार रख देता है।
यह शोध पत्र अनिवार्य रूप से इन डिजिटल मिस्त्रियों (जिन्हें AI Agents कहा जाता है) का एक "वित्तीय ऑडिट" है। शोधकर्ता यह जानना चाहते थे कि: इन एजेंटों की वास्तविक लागत कितनी है, पैसा कहाँ खर्च होता है, और क्या वे काम शुरू करने से पहले आपको कीमत बता सकते हैं?
यहाँ उन्होंने जो पाया है उसका विवरण दिया गया, जिसमें कुछ रोजमर्रा के उपमाओं (analogies) का उपयोग किया गया है:
1. लागत का "ब्लैक होल" (इनपुट बनाम आउटपुट)
जब आप एक मानक AI (जैसे एक त्वरित टेक्स्ट मैसेज) के साथ चैट करते हैं, तो यह कॉफी खरीदने जैसा है—सस्ता और अनुमानित। लेकिन जब आप एक AI को "एजेंटिक कार्य" (जैसे "इस पूरे सॉफ्टवेयर प्रोजेक्ट को ठीक करें") देते हैं, तो यह एक ठेकेदार को काम पर रखने जैसा है।
शोधकर्ताओं ने पाया कि ये कार्य साधारण चैट की तुलना में 1,000 गुना अधिक महंगे होते हैं। सबसे महत्वपूर्ण बात यह है कि लागत AI के "बोलने" (आउटपुट) से नहीं आ रही है; यह AI के "पढ़ने" (इनपुट) से आ रही है।
- उपमा: कल्पना कीजिए कि आपने एक शोधकर्ता को काम पर रखा है। आप उन्हें उनकी रिपोर्ट में लिखी तीन वाक्यों के लिए भुगतान नहीं कर रहे हैं; आप उन्हें उन 500 किताबों के लिए भुगतान कर रहे हैं जिन्हें उन्हें केवल आपकी बात समझने के लिए पढ़ना पड़ा और अपनी मेज पर रखना पड़ा। AI के संदर्भ में, "किताबें" वह विशाल कोड है जिसे एजेंट को यह ट्रैक रखने के लिए बार-बार पढ़ना पड़ता है कि वह क्या कर रहा है।
2. "जंगल में खो जाने" की समस्या (दक्षता)
आप सोच सकते हैं कि यदि कोई एजेंट किसी समस्या पर अधिक समय और "मस्तिष्क शक्ति" (tokens) खर्च करता है, तो वह अंततः उसे हल कर ही लेगा। शोधकर्ताओं ने पाया कि यह सच नहीं है।
कभी-कभी, एक एजेंट एक लूप (चक्र) में फंस जाता है। वह एक फाइल पढ़ता है, उसे ठीक करने की कोशिश करता है, विफल होता है, फिर से उसी फाइल को पढ़ता है, कुछ और करने की कोशिश करता है, और फिर विफल हो जाता है।
- उपमा: यह एक व्यक्ति की तरह है जो जंगल से बाहर निकलने का रास्ता खोजने की कोशिश कर रहा है। सीधे रास्ते पर चलने के बजाय, वह गोल-गोल घूमता रहता है। वह कैलोरी (पैसा) जला रहा है और अधिक थक रहा है, लेकिन वह वास्तव में निकास (exit) के करीब नहीं पहुँच रहा है। वास्तव में, वह जितनी अधिक "ऊर्जा" जलाता है, उसके सफल होने की संभावना उतनी ही कम हो जाती है क्योंकि वह बस एक ही जगह चक्कर काट रहा होता है।
3. "विशेषज्ञ बनाम रोबोट" का अंतर
यदि आप एक मानव प्लंबर से पूछते कि एक काम में कितना समय लगेगा, तो वह एक अच्छा अनुमान दे देता। लेकिन शोधकर्ताओं ने पाया कि मानव विशेषज्ञ यह अनुमान लगाने में वास्तव में खराब हैं कि एक AI कितना खर्च करेगा।
- उपमा: एक इंसान एक टपकते नल को देखकर कह सकता है, "यह 10 मिनट का काम है।" लेकिन AI एजेंट उसी नल को देखकर यह तय कर सकता है कि उसे पहले पूरे घर की हर एक पाइप की जांच करनी होगी। जो "कठिनाई" एक इंसान देखता है, वह उस "जटिलता" से बिल्कुल अलग होती है जिसका अनुभव रोबोट को होता है।
4. क्या AI आपको कोटेशन (Quote) दे सकता है? (पूर्वानुमान परीक्षण)
सबसे महत्वपूर्ण प्रश्न यह था: क्या हम AI से पूछ सकते हैं, "हे, शुरू करने से पहले, यह मुझे कितना महंगा पड़ेगा?"
शोधकर्ताओं ने AI को पहले काम का "सर्वेक्षण" करने दिया और फिर एक कोटेशन देने को कहा। परिणाम क्या रहा? AI एक बहुत ही बुरा अकाउंटेंट है।
- उपमा: यह एक ठेकेदार से पूछने जैसा है, "इस नवीनीकरण (renovation) में कितना खर्च आएगा?" और वह कहता है, "5,000 का बिल प्राप्त हो। AI लगभग हमेशा लागत को कम आंकता है। वह अत्यधिक "आशावादी" है—उसे लगता है कि वह समस्या को आसानी से हल कर सकता है, लेकिन उसे यह अहसास नहीं होता कि वास्तविक विवरणों में उतरने के बाद उसे कितनी "किताबें" पढ़नी पड़ेंगी।
निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि जैसे-जैसे हम "उस AI जिससे आप बात करते हैं" से "उस AI जो आपके लिए काम करता है" की ओर बढ़ रहे हैं, अर्थशास्त्र पूरी तरह से बदल जाता है। हम "प्रति शब्द भुगतान" की दुनिया से "प्रति प्रोजेक्ट भुगतान" की दुनिया की ओर बढ़ रहे हैं, और वर्तमान में, वे प्रोजेक्ट महंगे, अप्रत्याशित हैं, और वे "ठेकेदार" (AIs) हमें यह बताने में बहुत अच्छे नहीं हैं कि अंतिम बिल क्या होगा।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।