AlloBench: Measuring Online Tool Allocation Capability in LLM Agents
AlloBench पेपर एक युग्मित बेंचमार्क प्रस्तुत करता है जो यह दर्शाता है कि जबकि फ्रंटियर LLM एजेंट अमूर्त टेक्स्ट-आधारित परिदृश्यों में उपकरणों को लगभग इष्टतम रूप से आवंटित कर सकते हैं, वे इस रणनीतिक क्षमता को व्यावहारिक कोड-निर्माण कार्यों में स्थानांतरित करने में लगातार विफल रहते हैं, जो ऑनलाइन टूल आवंटन में एक महत्वपूर्ण क्षमता सीमा को प्रकट करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक अंतरिक्ष यान के कप्तान हैं जिसके पास ईंधन की बहुत सीमित आपूर्ति है। आप एक एस्टेरॉयड फील्ड (क्षुद्रग्रह क्षेत्र) से गुजर रहे हैं जहाँ कुछ एस्टेरॉयड केवल तैरते हुए पत्थर हैं, लेकिन कुछ सोने की खदानें हैं जो बार-बार प्रकट होती रहती हैं। आपका काम यह तय करना है: क्या आप सोने को पकड़ने के लिए अभी एक विशाल चुंबक बनाने में अपना कीमती ईंधन खर्च करेंगे, या आप देखते रहेंगे कि क्या सोना बार-बार आता रहता है? यदि आप बहुत जल्दी चुंबक बनाते हैं, तो आप एक बार वाले पत्थर पर अपना ईंधन बर्बाद कर सकते हैं। यदि आप बहुत देर तक प्रतीक्षा करते हैं, तो आप उस सोने की खदान को खो सकते हैं जो बार-बार दोहराई जा रही है। यह "AI एजेंट्स" के दैनिक संघर्ष को दर्शाता है—स्मार्ट कंप्यूटर प्रोग्राम जो उपकरण बनाने, जैसे कोड लिखने या शॉर्टकट बनाने में हमारी मदद करने की कोशिश करते हैं। मुख्य सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये AI एजेंट अपने "ईंधन" (समय और कंप्यूटिंग शक्ति) के साथ स्मार्ट निवेशक बनना सीख सकते हैं, या वे बस घबरा जाते हैं और हर उस समस्या के लिए उपकरण बनाने लगते हैं जिसे वे देखते हैं, भले ही वह बर्बादी हो?
यह शोध पत्र एक नया परीक्षण पेश करता है जिसे AlloBench कहा जाता है, ताकि यह देखा जा सके कि दुनिया के सबसे स्मार्ट AI मॉडल इन स्मार्ट निवेश निर्णयों को ले सकते हैं या नहीं। शोधकर्ताओं ने एक खेल सेट किया है जहाँ एक AI को गणित की 60 अलग-अलग पहेलियों की एक श्रृंखला को हल करना होता है। कुछ पहेलियाँ "हॉट" (hot) हैं (जो कई बार आती हैं), और कुछ "ट्रैप्स" (traps) हैं (जो केवल एक बार आती हैं)। AI के पास एक सख्त बजट है: वह केवल इन 3 प्रकार की पहेलियों के लिए एक पुन: प्रयोज्य उपकरण (एक स्क्रिप्ट) बना सकता है। यदि वह एक ट्रैप के लिए उपकरण बनाता है, तो वह एक स्लॉट बर्बाद कर देता है और बाद में एक हॉट पहेली के लिए उपकरण नहीं बना पाता। लक्ष्य यह है कि इंतजार करें, पैटर्न पर नज़र रखें, और फिर तभी एक उपकरण बनाएं जब आप सुनिश्चित हों कि यह बार-बार आएगा।
परिणाम एक प्रतिभाशाली छात्र को गणित की परीक्षा में उत्कृष्ट प्रदर्शन करते हुए देखने जैसा है, लेकिन फिर वास्तविक जीवन में उस तर्क को लागू करने में विफल होते हुए देखने जैसा है। जब शोधकर्ताओं ने AI को इस खेल को एक सरल, अमूर्त तरीके से खेलने के लिए कहा—जैसे रंगीन गेंदों को बाल्टियों में छाँटना—तो शीर्ष मॉडल (क्लाउड हाइकू, क्लाउड ओपस और GPT-5 सहित) आश्चर्यजनक रूप से अच्छे थे। उन्होंने धैर्यपूर्वक प्रतीक्षा की, रंगों के दोहराव को देखा, और केवल तभी एक "बाल्टी" बनाई जब वे सुनिश्चित थे कि यह सार्थक है। उन्होंने एक आदर्श निवेशक की तरह व्यवहार किया।
हालाँकि, जैसे ही शोधकर्ताओं ने खेल को अधिक वास्तविक बनाया—AI को पहेलियों को हल करने के लिए वास्तव में कंप्यूटर कोड लिखने के लिए कहा—AI का दिमाग जैसे शॉर्ट-सर्किट हो गया। भले ही पहेलियाँ बिल्कुल वैसी ही थीं, मॉडल ने प्रतीक्षा करना बंद कर दिया। यह देखने के बजाय कि क्या कोई पहेली एक "हॉट" दोहराव है, उन्होंने पहली पहेली देखते ही तुरंत एक स्क्रिप्ट लिख दी। उन्होंने अपने 3 उपकरणों के पूरे बजट को पहली तीन समस्याओं पर बर्बाद कर दिया, भले ही वे समस्याएँ दुर्लभ "ट्रैप्स" थीं जो फिर कभी नहीं आने वाली थीं।
शोध पत्र में पाया गया कि यह विफलता विशेष रूप से तब होती है जब AI को कोड लिखने के लिए मजबूर किया जाता है। ऐसा लगता है जैसे AI के पास एक "अभी करो" वाला स्विच है जो कोड टाइप करते समय अटक जाता है, जिससे वह भविष्य के बारे में सोचना भूल जाता है। शोधकर्ताओं ने एक छोटे, ओपन-सोर्स AI को अमूर्त खेल में बेहतर निवेशक बनने के लिए प्रशिक्षित करने की कोशिश की, और इसने पूरी तरह से प्रतीक्षा करना सीख लिया। लेकिन जब उन्होंने उसी प्रशिक्षित AI को कोड लिखने के लिए कहा, तो वह सब कुछ भूल गया जो उसने सीखा था और वापस तुरंत अपने संसाधनों को बर्बाद करने के व्यवहार पर लौट आया।
संक्षेप में, यह शोध पत्र दिखाता है कि जबकि आधुनिक AI एजेंट अमूर्त योजना बनाने में अत्यंत बुद्धिमान हैं, वे वर्तमान में अपनी इस धैर्यशीलता को सॉफ्टवेयर लिखने के अव्यवस्थित, वास्तविक कार्य में स्थानांतरित करने में संघर्ष करते हैं। वे सिद्धांत में जानते हैं कि उपकरण कब बनाना है, लेकिन वास्तव में कोड लिखने की क्रिया उन्हें आवेगी बना देती है, जिससे वे अपने संसाधनों को बहुत जल्दी जला देते हैं। यह बताता है कि AI को सॉफ्टवेयर बनाने में एक वास्तविक सहायक बनने के लिए, हमें यह पता लगाने का तरीका खोजना होगा कि उन्हें कोड लिखने की जल्दबाजी करने से कैसे रोका जाए, इससे पहले कि वे यह जांच लें कि क्या यह वास्तव में प्रयास करने के लायक है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।