The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
यह शोध पत्र इस बात की जांच करता है कि कोडिंग एजेंट विभिन्न प्रोग्रामिंग भाषाओं में टोकन खपत में कैसे महत्वपूर्ण और सुसंगत भिन्नता प्रदर्शित करते हैं, जो यह प्रकट करता है कि अक्षमताएं अपरिचित भाषाओं में गैर-कंपाइल होने वाला कोड उत्पन्न करने, प्रदान किए गए परीक्षणों पर अविश्वास करने और पायथन में प्रोटोटाइपिंग करने जैसे व्यवहारों से उत्पन्न होती हैं, जिससे भाषा-वार टोकन दक्षता को बेंचमार्किंग और लागत अनुकूलन के लिए एक महत्वपूर्ण मीट्रिक के रूप में स्थापित किया जाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अपने लिए कंप्यूटर प्रोग्राम लिखने के लिए एक प्रतिभाशाली, अथक रोबोटिक सहायक को काम पर रखा है। आप उसे एक पहेली देते हैं, और वह कोड टाइप करना, टेस्ट चलाना, गलतियों को सुधारना और सही परिणाम मिलने तक बार-बार प्रयास करना शुरू कर देता है। यह "कोडिंग एजेंट्स" की दुनिया है, जो एक नए प्रकार का आर्टिफिशियल इंटेलिजेंस है जो केवल सवालों के जवाब ही नहीं देता, बल्कि वास्तव में सॉफ्टवेयर भी बनाता है। लेकिन यहाँ एक पेच है: ये रोबोट मुफ्त में काम नहीं करते। हर बार जब वे सोचते हैं, एक शब्द टाइप करते हैं, या अपने काम की जाँच करते हैं, तो वे "टोकन" खर्च करते हैं। टोकन को कार के ईंधन या फोन प्लान के मिनटों की तरह समझें। रोबक जितना अधिक सोचता और दोबारा लिखता है, उतना ही अधिक ईंधन जलता है।
अब, कल्पना कीजिए कि आपने इस रोबोट को ठीक वही पहेली हल करने के लिए कहा, लेकिन इस बार आपने उसे एक अलग भाषा में समाधान लिखने के लिए कहा। शायद वह पायथन (एक ऐसी भाषा जो अंग्रेजी जैसी दिखती है) में लिखे, या शायद वह ओकैमल (OCaml - एक ऐसी भाषा जो एक गुप्त गणितीय कोड जैसी दिखती है) में लिखे। आप मान सकते हैं कि भाषा चाहे जो भी हो, जब तक पहेली एक ही है, रोबोट समान मात्रा में ईंधन जलाएगा। लेकिन क्या होगा अगर वह भाषा ही रोबोट के पैरों में उलझन पैदा कर दे? क्या होगा अगर कुछ भाषाएँ रोबोट के लिए चिकनी राजमार्गों की तरह हों, जबकि अन्य कीचड़ भरे दलदल की तरह हों जहाँ वह फंस जाता है, गोल-गोल घूमता है, और सिर्फ चलने की कोशिश करने में ही अतिरिक्त ईंधन जला देता है? यही वह सवाल है जिसका जवाब देने के लिए शोधकर्ताओं की एक टीम ने ठान ली थी: क्या आपके द्वारा चुनी गई प्रोग्रामिंग भाषा उस "ईंधन" (टोकन) को बदल देती है जो आपका एआई असिस्टेंट काम पूरा करने के लिए खर्च करता है?
शोधकर्ता ज़िक्सुआन वू, कैरोलिन जेन एंडरसन और अर्जुन गुहा ने 100 प्रोग्रामिंग पहेलियों के एक विशाल सेट पर अपने कोडिंग एजेंट्स को खुला छोड़कर इसकी जांच करने का फैसला किया। उन्होंने केवल यह नहीं देखा कि रोबोटों को सही उत्तर मिला या नहीं; उन्होंने रोबोट द्वारा उठाए गए हर एक कदम पर नज़र रखी, जैसे कोई जासूस सुरक्षा फुटेज की समीक्षा करता है। उन्होंने चार भाषाओं: पायथन, जावा, रस्ट और ओकैमल पर पांच अलग-अलग एआई मॉडल का परीक्षण किया।
उनकी सबसे बड़ी खोज यह थी कि भाषा बहुत मायने रखती है। भले ही पहेलियाँ बिल्कुल एक ही कठिनाई की थीं, लेकिन रोबोटों ने पायथन की तुलना में ओकैमल और रस्ट में काम करते समय काफी अधिक टोकन जलाए। वास्तव में, कुछ मॉडलों के लिए, ओकैमल में लिखना पायथन की तुलना में लगभग 1.7 गुना अधिक टोकन खर्च करने वाला था। लेखक सुझाव देते हैं कि ऐसा इसलिए नहीं है क्योंकि अंतिम कोड लंबा था, बल्कि इसलिए क्योंकि रोबोट भ्रमित हो गए, अधिक गलतियाँ कीं, और कम परिचित भाषाओं में उन्हें सुधारने के लिए अधिक संघर्ष करना पड़ा।
लेकिन असली मज़ा यह देखने में था कि रोबोट कैसे फंसते थे। शोधकर्ताओं ने पाया कि जब रोबोट ओकैमल जैसी कठिन भाषा में किसी दीवार से टकराते थे, तो वे हार नहीं मानते थे। इसके बजाय, वे अजीब व्यवहार करने लगते थे। कभी-कभी, उन्हें एक ऐसा समाधान मिल जाता था जो सभी टेस्ट पास कर लेता था, लेकिन फिर भी वे इसे बार-बार लिखते रहते थे, अनावश्यक टिप्पणियाँ (comments) जोड़ते थे या शैली बदलते थे, जैसे कि वे अपनी सफलता पर भरोसा ही न कर पा रहे हों। अन्य समय में, वे एक साधारण सिंटैक्स एरर (जैसे कि एक सेमीकोलन का छूटना) पर अटक जाते थे और गोल-गोल घूमते थे, बिना यह समझे कि गलती क्या है, बार-बार वही टूटा हुआ कोड लिखते रहते थे।
शायद सबसे मनोरंजक व्यवहार यह था कि जब रोबोटों को ऐसी भाषा का सामना करना पड़ता था जिसे वे अच्छी तरह नहीं जानते थे, तो वे थोड़ा "चीटिंग" करते थे। वे गुप्त रूप से समस्या को पहले पायथन में हल करते थे—जहाँ वे सहज और आत्मविश्वासी महसूस करते थे—और फिर अपने पायथन समाधान को लक्षित भाषा जैसे कि ओकैमल या रस्ट में अनुवाद करने की कोशिश करते थे। यह एक ऐसे छात्र की तरह है जो मन में गणित की समस्या हल करना जानता है, लेकिन फिर उसे ऐसी भाषा में लिखने की कोशिश करता है जिसे वह मुश्किल से बोल पाता है, और व्याकरण में उलझ जाता है भले ही उसे गणित पता हो।
अध्ययन ने "टोकनमैक्सिंग" (tokenmaxxing) नामक एक अवधारणा को भी देखा, जिसे लेखक मजाक में अपने बजट को खर्च करने का एक तरीका बताते हैं। उन्होंने पाया कि यदि आप वास्तव में अपना बजट खत्म करना चाहते हैं, तो आपको ओकैमल चुनना चाहिए। रोबोट संघर्ष करेंगे, काम को दोबारा करेंगे, और समस्याओं को सुलझाने के लिए अत्यधिक विचार करेंगे, जिससे भारी मात्रा में टोकन खर्च होंगे। दूसरी ओर, यदि आप चाहते हैं कि आपका एआई कुशल और सस्ता हो, तो पायथन स्पष्ट विजेता है।
अंत में, यह शोध पत्र सुझाव देता है कि प्रोग्रामिंग भाषा का चुनाव केवल इस बारे में नहीं है कि कोड कैसा दिखता है; यह इस बात को बदल देता है कि एआई कैसे सोचता है। कुछ भाषाएँ एक कोमल मार्गदर्शक की तरह कार्य करती हैं, जबकि अन्य एक भूलभुलैया की तरह होती हैं जो रोबोट को गोल-गोल घुमा देती हैं। लेखक आशा करते हैं कि इन व्यवहारों को समझकर, हम बेहतर, अधिक कुशल रोबोट बना सकते हैं जो इतना ईंधन बर्बाद नहीं करेंगे, चाहे उन्हें किसी भी भाषा में बोलने के लिए कहा जाए। वे यह चेतावनी भी देते हैं कि हालांकि उन्हें अपने विशिष्ट प्रयोगों में ये पैटर्न मिले हैं, भविष्य के रोबोट अधिक स्मार्ट हो सकते हैं और इन कठिन भाषाओं को बेहतर ढंग से संभाल सकते हैं, इसलिए परिणाम वर्तमान में चीजें कैसे काम करती हैं इसका एक स्नैपशॉट हैं, न कि ब्रह्मांड का कोई स्थायी नियम।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।