Prompt-Induced Waste in Large Reasoning Models: A Preregistered Two-Harness Benchmark of Coding Agents
यह पूर्व-पंजीकृत बेंचमार्क अध्ययन प्रदर्शित करता है कि प्रॉम्प्ट की शब्दावली और हारनेस डिज़ाइन बड़े कोडिंग एजेंटों की रीजनिंग लागत को महत्वपूर्ण रूप से बढ़ा देते हैं—अक्सर 2.4 से 30 गुना तक—बिना कार्य सफलता में सुधार किए, जिसमें "कई दृष्टिकोण विकसित करें" जैसे विशिष्ट निर्देश और कुछ हारनेस आर्किटेक्चर इस अक्षमता के प्राथमिक चालक हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक टूटे हुए टोस्टर को ठीक करने के लिए एक सुपर-स्मार्ट रोबोट सहायक को काम पर रख रहे हैं। आप नहीं चाहते कि रोबोट केवल उसे ठीक करे; आप चाहते हैं कि वह इसे ठीक करने के बारे में पहले सोचे। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इन "सोचने" वाले चरणों को रीज़निंग टोकन (reasoning tokens) कहा जाता है। ठीक वैसे ही जैसे एक इंसान किसी पहेली को सुलझाने से पहले नोट्स लिख सकता है, काट सकता है और अलग-अलग विचार आजमा सकता है, ये AI मॉडल आपको उत्तर देने से पहले "विचार-विमर्श" करने में समय और पैसा खर्च करते हैं।
लेकिन यहाँ एक पेंच है: आप रोबोट के द्वारा किए गए हर एक विचार के लिए भुगतान करते हैं, यहाँ तक कि उन विचारों के लिए भी जिन्हें वह फेंक देता है। यदि आप रोबोट से "बहुत गहराई से सोचने" या "पाँच अलग-अलग तरीके आज़माने" के लिए कहते हैं, तो वह बिल्कुल वैसा ही कर सकता है, जिससे आपका बजट खत्म हो जाएगा, भले ही उसने टोस्टर को उतना ही बेहतर ठीक किया हो जितना कि तब होता जब आपने सिर्फ "टोस्टर ठीक करने" के लिए कहा होता। यह शोध पत्र कंप्यूटर विज्ञान के एक अजीब कोने की खोज करता है जहाँ शोधकर्ता जासूसों की तरह काम करते हैं, यह पता लगाने की कोशिश करते हैं कि आपकी निर्देशों में कौन से शब्द रोबोट को पैसा बर्बाद करने पर मजबूर करते हैं और कौन से शब्द उसे बजट के भीतर रखते हैं। वे केवल अनुमान नहीं लगा रहे हैं; वे यह देखने के लिए हजारों नियंत्रित प्रयोग चला रहे हैं कि विभिन्न वाक्यांशों की लागत कितनी होती है।
द ग्रेट प्रॉम्प्ट एक्सपेरिमेंट: आपके शब्द पैसे क्यों खर्च करते हैं
कल्पना कीजिए कि आपके पास छह अलग-अलग सुपर-इंटेलिजेंट रोबोट शेफ का एक बेड़ा है। आप चाहते हैं कि वे 24 विशिष्ट कुकिंग चुनौतियों को हल करने के लिए कोड लिखें (जो कंप्यूटर के लिए एक रेसिपी की तरह है)। लेकिन इसमें एक मोड़ है: आपको उन सभी विचारों के लिए भुगतान करना होगा जो शेफ खाना बनाते समय करते हैं। शोधकर्ता जानना चाहते थे: क्या आपके ऑर्डर लिखने का तरीका यह बदल देता है कि शेफ कितना सोचते हैं, और क्या वह सोचना वास्तव में डिश के स्वाद को बेहतर बनाता है?
यह पता लगाने के लिए, उन्होंने एक विशाल, सुपर-व्यवस्थित किचन लैब बनाई। उन्होंने केवल अनुमान नहीं लगाया; उन्होंने खाना शुरू करने से पहले अपने नियम लिख दिए थे (इसे "प्रि-रजिस्ट्रेशन" कहा जाता है, जैसे किराने की दुकान पर जाने से पहले मेनू लिखना)। उन्होंने शेफ से बात करने के लिए दो अलग-अलग प्रकार के किचन मैनेजरों ("हार्नेस") का उपयोग किया: एक सीधा, बिना किसी तामझाम वाला मैनेजर था, और दूसरा एक बहुत ही बातूनी, विस्तृत मैनेजर था जो हर ऑर्डर के साथ बहुत सारी बैकग्राउंड जानकारी भेजता था।
यहाँ बताया गया है कि 4,600 से अधिक कुकिंग सत्र चलाने के बाद उन्हें क्या पता चला:
1. "सब कुछ आज़माओ" वाला जाल
सबसे बड़ा पैसा बर्बाद करने वाला क्या था? रोबोट को यह कहना कि "कई दृष्टिकोण विकसित करें और उनकी तुलना करें।"
यह सुनने में स्मार्ट लगता है, है ना? जैसे एक अच्छा शेफ एक ही सॉस चुनने से पहले तीन सॉस चखता है। लेकिन इन AI रोबोटों के लिए, यह निर्देश एक आपदा था। इसने उन्हें सामान्य से 2.4 से 7.4 गुना अधिक सोचने पर मजबूर कर दिया। और सबसे बुरी बात? अंतिम डिश (कोड) बेहतर नहीं थी। उन्होंने बस उन विकल्पों के बारे में सोचने के लिए अतिरिक्त कैश जला दिया जिनका उन्होंने कभी उपयोग ही नहीं किया। यह एक शेफ को एक सैंडविच के लिए तीन अलग-अलग रेसिपी लिखने, उन सभी को चखने और फिर आपको वही सैंडविच परोसने के लिए भुगतान करने जैसा है जो वह तब भी बनाता यदि आपने केवल "एक सैंडविच" माँगा होता।
2. वे जादुई शब्द जिनका कोई काम नहीं है
लोग अक्सर बेहतर परिणाम पाने के लिए "कदम-दर-कदम सोचें" या "गहराई से सोचें" जैसे शब्दों का उपयोग करते हैं। शोधकर्ताओं ने पाया कि इन कोडिंग रोबोटों के लिए, ये "गहराई से सोचने" वाले जादुई शब्द केवल पूरी तरह से बर्बादी थे। इन्होंने रोबोटों को बिना परिणाम सुधारे 1.6 से 2.2 गुना अधिक समय तक सोचने पर मजबूर किया। यह एक कैलकुलेटर को 2 + 2 जोड़ने से पहले "कड़ी मेहनत से सोचने" के लिए कहने जैसा है; उत्तर वही रहता है, लेकिन आपने अतिरिक्त सोचने के समय के लिए भुगतान किया।
3. "बाउंडेड एफिशिएंसी" (सीमित दक्षता) का नुस्खा
दूसरी ओर, एक गुप्त नुस्खा था जिसने पैसे बचाए। यदि आप रोबोट को एक सख्त दायरे में काम करने के लिए देते—उसे ठीक से बताते कि लक्ष्य क्या है, नियम क्या हैं, और कब रुकना है—तो वह वास्तव में कम सोचता था। एक रोबोट ने तो अपनी सोचने की प्रक्रिया को आधा कर दिया! यह "बाउंडेड एफिशिएंसी" टेम्पलेट मुफ्त में उपलब्ध था और इसने कोड के साथ कोई समझौता किए बिना रोबोट को तेज़ और सस्ता बना दिया।
4. शेफ से ज़्यादा मैनेजर मायने रखता है
सबसे आश्चर्यजनक निष्कर्षों में से एक यह था कि आप रोबोट को प्रबंधित करने के लिए किसे नियुक्त करते हैं, यह रोबोट से अधिक महत्वपूर्ण है।
उन्होंने एक ही रोबोट का परीक्षण दो अलग-अलग मैनेजरों के साथ किया। एक मैनेजर (PI.DEV) कुशल था। दूसरा (Claude Code) एक माइक्रोमैनेजर की तरह था जो हर संदेश के साथ एक बहुत बड़ा 12-से-15 गुना बड़ा "परिचय भाषण" भेजता था। भले ही रोबोटों ने समस्या को पूरी तरह से हल कर लिया हो, माइक्रोमैनेजर संस्करण बातचीत को संभालने के कारण 5 से 30 गुना अधिक महंगा पड़ा। यह पता चलता है कि "मैनेजर" (वह सॉफ्टवेयर जो AI को लपेटता है) अक्सर बिल का सबसे बड़ा हिस्सा होता है, न कि स्वयं AI।
5. "हिडन डिस्काउंट" का भ्रम
शोधकर्ताओं ने यह भी देखा कि कंपनियाँ इन रोबोटों के लिए कैसे शुल्क लेती हैं। उन्होंने पाया कि कंपनियाँ स्वचालित रूप से पैसे बचा लेती हैं क्योंकि वे उस "परिचय भाषण" को याद रखती हैं जो वे हर बार भेजती हैं। इसने बिल का लगभग 61% बचाया। लेकिन शोधकर्ताओं ने चेतावनी दी: इसे "दक्षता" (efficiency) न कहें। यह केवल उसी पुराने काम पर मिलने वाली छूट है। रोबोट ने वास्तव में तेज़ी से या स्मार्ट तरीके से काम नहीं किया; कंपनी ने बस उन हिस्सों के लिए शुल्क नहीं लिया जिन्हें वह याद रख सकती थी।
6. नए रोबोट, वही पुराने तरीके
जब एक नया, सुपर-फास्ट रोबोट (Kimi-K3) रिलीज़ किया गया, तो शोधकर्ताओं ने तुरंत उसका परीक्षण किया। भले ही यह नया रोबोट स्वाभाविक रूप से सस्ता था, लेकिन समान खराब निर्देशों (जैसे "कई दृष्टिकोण आज़माएं") ने इसे सामान्य से 15 गुना अधिक पैसा बर्बाद करने पर मजबूर कर दिया। सबक? चाहे रोबोट कितना भी स्मार्ट या सस्ता क्यों न हो, खराब निर्देश हमेशा उसे अधिक खर्च करने पर मजबूर कर देंगे।
निचोड़
यह पेपर साबित करता है कि आप सवाल कैसे पूछते हैं, इससे इसकी लागत बदल जाती है, भले ही उत्तर वही हो।
- न करें: रोबोट को "कई दृष्टिकोण आज़माने" या "गहराई से सोचने" के लिए न कहें, जब तक कि आपको वास्तव में उनके करने की आवश्यकता न हो।
- करें: इसे स्पष्ट सीमाएँ और रुकने की स्थिति (stop condition) दें।
- याद रखें: रोबोट को मैनेज करने वाला सॉफ्टवेयर आपको रोबोट से अधिक खर्च करा सकता है।
शोधकर्ताओं ने अपना सारा डेटा, कोड और टेस्ट रेसिपी सार्वजनिक कर दी है। वे चाहते हैं कि दुनिया जाने कि AI एजेंटों की दुनिया में, कम "थिंकिंग थिएटर" (सोचने का दिखावा) और अधिक स्पष्ट निर्देश ही पैसे बचाने और काम पूरा करने का सबसे अच्छा तरीका है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।