CoffeeBench: Benchmarking Long-Horizon LLM Agents in Heterogeneous Multi-Agent Economies
यह शोध पत्र CoffeeBench प्रस्तुत करता है, जो एक विषम बहु-एजेंट कॉफी अर्थव्यवस्था के भीतर लॉन्ग-होरिज़न (long-horizon) LLM एजेंटों का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है, जो यह प्रकट करता है कि जहाँ अधिकांश मॉडल सक्रिय संचार के माध्यम से सकारात्मक शुद्ध आय प्राप्त करते हैं, वहीं कुछ मॉडल सुसंगत योजना के बावजूद "आइडल-ड्रिफ्ट" (idle-drift) जैसे विशिष्ट विफलता मोड प्रदर्शित करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि एक विशाल, डिजिटल कॉफी शॉप सिमुलेशन 90 दिनों तक चल रहा है। इस दुनिया में, छह स्वतंत्र व्यवसाय हैं: दो किसान जो बीन्स उगाते हैं, दो रोस्टर जो उन बीन्स को कॉफी में बदलते हैं, और दो रिटेलर जो ग्राहकों को अंतिम कप बेचते हैं।
यह पेपर CoffeeBench पेश करता है, जो एक नया "टेस्ट" है यह देखने के लिए कि आर्टिफिशियल इंटेलिजेंस (AI) एजेंट लंबे समय तक इनमें से एक व्यवसाय को कितनी अच्छी तरह चला सकते हैं। पिछले परीक्षणों के विपरीत, जहाँ AI केवल सवालों के जवाब देता था या एक अकेला गेम खेलता था, CoffeeBench AI को एक वास्तविक CEO की तरह काम करने के लिए मजबूर करता है: पैसा प्रबंधित करना, सामान खरीदना और बेचना, अन्य व्यवसायों के साथ बातचीत करना और दिन-दर-दिन निर्णय लेना।
यहाँ बताया गया है कि यह टेस्ट कैसे काम करता है और शोधकर्ताओं को क्या पता चला, सरल उपमाओं का उपयोग करते हुए:
सेटअप: एक डिजिटल कॉफी चेन
इस सिमुलेशन को एक जटिल रिले रेस की तरह समझें जिसमें एक ट्विस्ट है।
- खिलाड़ी: दो किसान, दो रोस्टर और दो रिटेलर हैं। वे सभी एक-दूसरे के खिलाफ प्रतिस्पर्धा कर रहे हैं लेकिन जीवित रहने के लिए उन्हें एक-दूसरे के साथ व्यापार करने की भी आवश्यकता है।
- लक्ष्य: जिस AI का परीक्षण किया जा रहा है, उसे एक विशिष्ट रोस्टर की भूमिका दी गई है। इसका एकमात्र काम 90 दिनों में अधिक से अधिक लाभ कमाना है।
- प्रतिद्वंद्वी: अन्य पांच व्यवसाय अन्य AI एजेंटों (या निश्चित नियमों) द्वारा संचालित होते हैं। वे भी अपना खुद का पैसा बनाने की कोशिश कर रहे हैं।
- नियम:
- आप केवल हाथ पर हाथ रखकर नहीं बैठ सकते; आपको हरी बीन्स खरीदनी होंगी, उन्हें भूनना (रोस्ट करना) होगा और भुनी हुई कॉफी बेचनी होगी।
- आपको अपना कैश मैनेज करना होगा (पैसे खत्म न होने दें), अपना इन्वेंटरी मैनेज करना होगा (कॉफी को सड़ने न दें) और अपनी कीमतें तय करनी होंगी।
- आप अन्य व्यवसायों के साथ बात कर सकते हैं। आप कह सकते हैं, "मैं $10 में 20 किलो बीन्स खरीदूँगा," या "हे, क्या आप मुझे थोक छूट दे सकते हैं?"
- यदि आपके पास नकदी खत्म हो जाती है, तो आप दिवालिया हो जाते हैं और खेल से बाहर कर दिए जाते हैं।
टेस्ट: AI ने कैसा प्रदर्शन किया
शोधकर्ताओं ने इस कॉफी अर्थव्यवस्था में कई अलग-अलग AI मॉडल्स को एक-दूसरे के खिलाफ खड़ा किया। वे देखना चाहते थे कि कौन सबसे अच्छा "बिजनेस ओनर" बन सकता है।
1. विजेता (सक्रिय प्रबंधक)
GPT-5.5 और Claude Opus 4.7 जैसे मॉडल्स ने सबसे अच्छा प्रदर्शन किया।
- उन्होंने क्या किया: वे व्यस्त, बातूनी उद्यमियों की तरह थे। वे लगातार अन्य व्यवसायों को कॉल करते थे, कीमतों पर बातचीत करते थे और सौदे करते थे। वे केवल चीजों के होने का इंतजार नहीं करते थे; वे सक्रिय रूप से अपनी सप्लाई चेन का प्रबंधन करते थे।
- परिणाम: उन्होंने एक अच्छा मुनाफा कमाया (सिमुलेशन में लगभग $3,000)।
2. "शांत" प्रदर्शन करने वाले
कुछ मॉडल्स, जैसे कि Gemini 3.1 Pro, ने ठीक-ठाक पैसा बनाया लेकिन ज्यादा बात नहीं की।
- उन्होंने क्या किया: वे कुशल लेकिन प्रतिक्रियात्मक (reactive) थे। वे दूसरों के मैसेज भेजने का इंतजार करते थे और फिर जवाब देते थे। उन्होंने बहुत अधिक बातचीत शुरू नहीं की लेकिन फिर भी अपना व्यवसाय चलाने में सफल रहे।
3. हारने वाला: "आइडल ड्रिफ्ट" विफलता
एक मॉडल, Claude Haiku 4.5, को एक बहुत ही अजीब समस्या हुई।
- समस्या: इसे वह समस्या हुई जिसे लेखक "Idle Drift" कहते हैं।
- उपमा: कल्पना कीजिए कि एक शतरंज खिलाड़ी बोर्ड पर बैठा है, बहुत गहराई से सोचता है, कागज के एक टुकड़े पर एक शानदार योजना लिखता है, और फिर... कुछ नहीं करता। वह बस अगले दिन के शुरू होने का इंतजार करता रहता है।
- क्या हुआ: AI ने समाचार पढ़े, बाजार का विश्लेषण किया, कहा "सब कुछ ठीक दिख रहा है, मेरे पास एक शानदार योजना है," और फिर अगले 40 दिनों तक बिल्कुल कुछ न करने का विकल्प चुना। उसने अपने तर्क को सुसंगत रखा लेकिन कार्य करने से इनकार कर दिया।
- परिणाम: क्योंकि उसने कुछ नहीं किया, इसलिए उसने पैसा गंवाया और सिमुलेशन में घाटे के साथ समाप्त हुआ।
पेपर के मुख्य निष्कर्ष
- बातचीत मायने रखती है: सबसे सफल AI एजेंट वे थे जो सबसे अधिक संवाद करते थे। एक जटिल अर्थव्यवस्था में, आप केवल अपने कार्यालय में बैठकर बेहतर होने की उम्मीद नहीं कर सकते; आपको बातचीत करनी पड़ती है और संबंध बनाने पड़ते हैं।
- लंबी अवधि की सोच कठिन है: 90 दिनों तक व्यवसाय चलाना एक मैराथन है, स्प्रिंट नहीं। कई AI जैसे-जैसे समय बीता, भ्रमित या आलसी होते गए।
- अधिक क्रियाएं अधिक पैसा: सिर्फ इसलिए कि एक AI ने बहुत सारे टूल कॉल्स (जैसे कीमतें चेक करना या संदेश भेजना) किए, इसका मतलब यह नहीं था कि उसने पैसा कमाया। निर्णयों की गुणवत्ता (जैसे अच्छी कीमत प्राप्त करना) कार्यों की संख्या से अधिक महत्वपूर्ण थी।
- "Idle" बग: यह पेपर एक विशिष्ट विफलता मोड को उजागर करता जहाँ एक AI "सोचने" के चक्र में फंस जाता है बिना "कार्य" किए। यह उन भविष्य के AI के लिए एक महत्वपूर्ण मुद्दा है जिन्हें लंबे समय तक चलने वाले कार्यों को चलाने की आवश्यकता है।
यह पेपर क्या नहीं कहता है
- यह दावा नहीं करता कि ये AI कल ही वास्तविक दुनिया की कॉफी कंपनियां चलाने के लिए तैयार हैं।
- यह नहीं कहता कि यह वित्तीय संकटों को हल करेगा या वैश्विक अर्थव्यवस्था को बदल देगा।
- यह सुझाव नहीं देता कि AI "चेतन" (conscious) है या बिजनेस ओनर की तरह "महसूस" कर रहा है; यह केवल एक नंबर को अधिकतम करने के निर्देशों का पालन कर रहा है।
संक्षेप में, CoffeeBench एक AI के लिए वीडियो गेम है जहाँ लक्ष्य एक कॉफी व्यवसाय चलाना है। विजेता वे थे जो सबसे अधिक बात करते थे और सबसे अधिक कार्य करते थे। हारने वाला वह था जिसने बहुत अधिक सोचा और बहुत कम किया, और अंततः कुछ भी न करने की स्थिति में बह गया।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।