Can your AI agent be cheaper? Investigating the effects of task specifications on token spend in agentic coding tasks
यह शोध पत्र इस बात की जांच करता है कि कार्य विनिर्देश (task specifications) एजेंटिक कोडिंग वर्कफ़्लो में टोकन खपत को कैसे प्रभावित करते हैं, यह प्रदर्शित करते हुए कि अत्यधिक संक्षिप्त प्रॉम्प्ट लागत को काफी बढ़ा देते हैं और साथ ही विभिन्न कॉन्फ़िगरेशन में टोकन खर्च का सटीक अनुमान लगाने के लिए एक भविष्य कहनेवाला तरीका पेश करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
सॉफ्टवेयर विकास की आधुनिक दुनिया में, एक नए प्रकार के कार्यकर्ता का उदय हुआ है: आर्टिफिशियल इंटेलिजेंस (AI) एजेंट। एक साधारण चैटबॉट के विपरीत जो केवल एक प्रश्न का उत्तर देता है, ये एजेंट जटिल, बहु-चरणीय कार्यों को निपटाने के लिए डिज़ाइन किए गए हैं, जैसे कि कंप्यूटर प्रोग्राम में बग को ठीक करना या शून्य से एक नया फीचर बनाना। वे एक कार्य विवरण को पढ़कर, समस्या पर विचार करके, कोड लिखने और परीक्षण करने के लिए डिजिटल उपकरणों का उपयोग करके, और प्रक्रिया को तब तक दोहराकर यह काम करते हैं जब तक कि काम पूरा न हो जाए। हालाँकि, इस स्वायत्तता की एक कीमत चुकानी पड़ती है। हर बार जब AI सोचता है, पढ़ता है या लिखता है, तो वह डिजिटल संसाधनों का उपभोग करता है जिसे "टोकन" के रूप में मापा जाता है, जो मॉडल द्वारा संसाधित टेक्स्ट की बुनियादी इकाइयाँ हैं। ये टोकन सीधे पैसे में परिवर्तित होते हैं। जैसे-जैसे ये एजेंट वास्तविक दुनिया की प्रणालियों में अधिक सामान्य होते जा रहे हैं, इंजीनियरों के सामने एक गंभीर प्रश्न खड़ा है: एक AI को समस्या हल करने देने की लागत कितनी होगी, और क्या उस लागत को नियंत्रित किया जा सकता है?
इसका उत्तर केवल एक सस्ता कंप्यूटर मॉडल चुनने जैसा सरल नहीं है। हालिया अध्ययनों से पता चला है कि भले ही AI को बिल्कुल समान निर्देश दिए जाएं, फिर भी एक प्रयास से दूसरे प्रयास में खर्च की जाने वाली राशि बहुत भिन्न हो सकती है। कभी-कभी, एक ही कार्य के दो समान रन की लागत में तीस गुना का अंतर हो सकता है। यह अनिश्चितता बजट बनाना कठिन बना देती है। इसके अलावा, जबकि शोधकर्ताओं ने विभिन्न AI मॉडल्स के प्रदर्शन पर गौर किया है, उन्होंने इस बात को काफी हद से अनदेखा कर दिया है कि जिस तरह से एक इंसान कार्य का वर्णन करता है, वह कीमत को कैसे बदल देता है। एक वरिष्ठ इंजीनियर सॉफ्टवेयर फिक्स के लिए एक विस्तृत, संरचित विनिर्देश (specification) लिख सकता है, जबकि एक जूनियर इंजीनियर केवल एक कच्चा एरर मैसेज पेस्ट कर सकता है। क्या ये अलग-अलग विवरण अलग-अलग लागत पैदा करते हैं, या AI अनुरोध को कैसे भी प्रस्तुत किया जाए, वह समान मात्रा में ही काम करता है?
यह जानने के लिए, स्टैनफोर्ड यूनिवर्सिटी के एक शोधकर्ता ने Kimi K3 नामक एक विशिष्ट AI मॉडल का उपयोग करके एक बड़े पैमाने पर प्रयोग किया। टीम ने डेवलपर्स द्वारा उपयोग किए जाने वाले एक मानक परीक्षण सूट से पांच अलग-अलग सॉफ्टवेयर रिपेयर टास्क चुने। प्रत्येक कार्य के लिए, उन्होंने निर्देशों की एक विस्तृत श्रृंखला बनाई, जिसमें एक पूर्ण, अत्यधिक संरचित दस्तावेज़ से लेकर लगभग बिना किसी जानकारी के एक बेहद संक्षिप्त विवरण तक शामिल था। उन्होंने "सोचने के प्रयास" (thinking effort) के तीन अलग-अलग स्तरों का भी परीक्षण किया, जो अनिवार्य रूप से यह नियंत्रित करता है कि AI कार्य करने से पहले समस्या पर कितनी गहराई से विचार करता है। कुल मिलाकर, उन्होंने सिस्टम को 2,700 बार चलाया, प्रत्येक प्रयास पर खर्च किए गए पैसे और एजेंट को काम पूरा करने के लिए कितनी बार कंप्यूटर की ओर मुड़ना पड़ा, इसका सावधानीपूर्वक रिकॉर्ड रखा।
परिणामों ने एक स्पष्ट और आश्चर्यजनक पैटर्न का खुलासा किया। कार्य का वर्णन करने का तरीका औसत लागत पर भारी प्रभाव डालता है। जब शोधकर्ताओं ने एक पूर्ण, विस्तृत विनिर्देश को एक सरल, सामान्य भाषा की कहानी में बदल दिया कि उपयोगकर्ता क्या चाहता है, तो समस्या को हल करने की लागत लगभग तीस प्रतिशत बढ़ गई। यह हर उस कार्य में लगातार हुआ जिसका उन्होंने परीक्षण किया। ऐसा लगता है कि जब AI को पर्याप्त विशिष्ट विवरण नहीं दिए जाते हैं, तो उसे लापता हिस्सों को खुद समझने के लिए अधिक समय और पैसा खर्च करना पड़ता है। हालाँकि, अध्ययन में यह भी पाया गया कि निर्देशों ने लागत की अनिश्चितता को नहीं बदला। निर्देश चाहे कितने भी विस्तृत या अस्पष्ट क्यों न हों, एक रन से दूसरे रन के बीच का अंतर लगभग समान रहा। एक एकल प्रयास की लागत स्वाभाविक रूप से अस्थिर है, और कुल बिल को अधिक अनुमानित बनाने का एकमात्र तरीका व्यक्तिगत प्रयासों को सस्ता बनाना है।
एक अन्य महत्वपूर्ण खोज यह थी कि निर्देशों में विवरण का स्तर तब सबसे अधिक मायने रखता है जब AI को सोचने के लिए सीमित बजट दिया जाता है। जब AI को गहराई से और व्यापक रूप से सोचने की अनुमति दी जाती है, तो एक विस्तृत प्रॉम्प्ट और एक अस्पष्ट प्रॉम्प्ट के बीच लागत का अंतर कम हो जाता है। इससे पता चलता है कि यदि आप AI को तर्क करने के लिए पर्याप्त समय देते हैं, तो वह एक खराब विवरण की कमियों को खुद भर सकता है, लेकिन यदि आप उसके सोचने के समय को प्रतिबंधित करते हैं, तो पैसे बचाने के लिए एक स्पष्ट और विस्तृत प्रॉम्प्ट आवश्यक हो जाता है। शोधकर्ताओं ने यह भी पाया कि कार्य विवरण के विशिष्ट अनुभागों, जैसे कि एज केसेस (edge cases) की सूची या सफलता के मानदंड को हटाने का अपने आप में छोटा प्रभाव पड़ा, लेकिन पूरे 'यूजर स्टोरी' या 'टेस्टिंग परिदृश्य' को हटाने से लागत में भारी उछाल आया।
शायद इन उपकरणों का उपयोग करने वाले किसी भी व्यक्ति के लिए सबसे व्यावहारिक निष्कर्ष नए कार्यों के लिए लागत का अनुमान लगाने की एक विधि है। टीम ने दिखाया कि यह जानने के लिए कि किसी कार्य में कितनी लागत आएगी, आपको उस कार्य को दर्जनों बार चलाने की आवश्यकता नहीं है। एक नए समस्या पर एक एकल, सस्ते परीक्षण को चलाकर, वे अत्यधिक सटीकता के साथ उस ही समस्या की लागत को विभिन्न निर्देश शैलियों और सोचने की सेटिंग्स के तहत अनुमानित कर सकते थे। इस एकल परीक्षण के बिना, किसी भी नए कार्य की लागत के बारे में कोई भी अनुमान सौ प्रतिशत से अधिक गलत होने की संभावना थी। केवल एक छोटे से माप के साथ, त्रुटि घटकर लगभग छत्तीस प्रतिशत रह गई। इसका अर्थ है कि इंजीनियर व्यापक परीक्षण और त्रुटि (trial and error) के माध्यम से संसाधनों को बर्बाद किए बिना, अपने निर्णयों के वित्तीय प्रभाव का तेजी से आकलन कर सकते हैं।
अध्ययन यह निष्कर्ष निकालता है कि हालांकि AI का व्यवहार स्वाभाविक रूप से अनिश्चित है, लेकिन इसके कार्य की लागत इस बात से बहुत प्रभावित होती है कि मनुष्य अनुरोध को कैसे रूपरेखा (frame) प्रदान करते हैं। एक सुव्यवस्थित, विस्तृत कार्य विवरण खर्च किए गए धन को काफी कम कर सकता है, विशेष रूप से तब जब AI को सोचने के लिए असीमित समय न दिया गया हो। शोध सुझाव देता है कि इन लागतों को प्रबंधित करने का सबसे प्रभावी तरीका AI की यादृच्छिकता (randomness) को समाप्त करने की कोशिश करना नहीं है, बल्कि कार्य निर्देशों को सावधानीपूर्वक डिजाइन करना और नए कार्यों के लिए अपेक्षाओं को कैलिब्रेट करने के लिए एक एकल, कम लागत वाले परीक्षण का उपयोग करना है। जैसे-जैसे ये एजेंट दैनिक कार्य में एकीकृत हो रहे हैं, हमारे द्वारा उपयोग किए जाने वाले शब्दों और हमारे द्वारा खर्च किए जाने वाले पैसे के बीच के संबंध को समझना उतना ही महत्वपूर्ण होगा जितना कि उनके द्वारा लिखे जाने वाले कोड को समझना।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।