CEO-Bench: Can Agents Play the Long Game?
यह शोध पत्र CEO-Bench पेश करता है, जो एक नया बेंचमार्क है जो एक स्टार्टअप के 500 दिनों के संचालन का अनुकरण करके लंबी अवधि वाली, अनिश्चित और शोर भरी वास्तविक दुनिया की व्यावसायिक चुनौतियों से निपटने की भाषा मॉडल एजेंटों की क्षमता का मूल्यांकन करता है, जिससे यह पता चलता है कि अत्याधुनिक मॉडल भी लगातार लाभप्रदता प्राप्त करने में संघर्ष करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने एक स्टार्टअप चलाने के लिए एक बेहद बुद्धिमान, अति-प्रतिभाशाली रोबोट को काम पर रखा है। आपने उसे दस लाख डॉलर, एक लैपटॉप और उन उपकरणों का एक सेट दिया है जिससे वह मूल्य निर्धारण (pricing) और मार्केटिंग से लेकर रिसर्च और कस्टमर सपोर्ट तक सब कुछ मैनेज कर सके। आपका लक्ष्य क्या है? कंपनी को 500 दिनों तक जीवित और लाभदायक बनाए रखना।
यही वह चीज़ है जिसे CEO-BENCH टेस्ट करता है। शोधकर्ताओं ने "NovaMind" नामक एक स्टार्टअप का एक यथार्थवादी वीडियो-गेम जैसा सिमुलेशन बनाया ताकि यह देखा जा सके कि क्या आज के सबसे उन्नत AI एजेंट एक CEO की लंबी, जटिल और अनिश्चित भूमिका को संभाल सकते हैं।
यहाँ बताया गया है कि उन्होंने क्या किया और उन्हें क्या मिला, सरल उपमाओं (analogies) का उपयोग करते हुए:
1. खेल: एक 500-दिवसीय मैराथन
AI के लिए अधिकांश पिछले परीक्षण स्प्रिंट रेस (तेज़ दौड़) की तरह थे। उन्होंने AI को एक विशिष्ट कार्य जल्दी से करने के लिए कहा, जैसे "इस टूटे हुए कोड को ठीक करें" या "एक ईमेल लिखें।" AI को एक स्पष्ट लक्ष्य मिलता है, वह कार्य करता है, और तुरंत फीडबैक प्राप्त करता है।
CEO-BENCH एक धुंध भरे जंगल में मैराथन की तरह है।
- धुंध: AI सब कुछ नहीं देख सकता। उसे ठीक से नहीं पता कि ग्राहक कितने खुश हैं या उसके प्रतिस्पर्धी क्या योजना बना रहे हैं। उसे संकेतों (जैसे सोशल मीडिया की शिकायतें या बिक्री का डेटा) के आधार पर अनुमान लगाना पड़ता है।
- धुंधला रास्ता: निर्णयों के परिणाम दिखने में लंबा समय लगता है। यदि आप आज रिसर्च पर पैसा खर्च करते हैं, तो आपको हफ्तों बाद बेहतर उत्पाद दिख सकता है। यदि आप कीमतें कम करते हैं, तो आपको अभी अधिक ग्राहक मिल सकते हैं, लेकिन बाद में नुकसान हो सकता है।
- बदलता लक्ष्य: जंगल बदलता रहता है। प्रतिस्पर्धी स्मार्ट होते जाते हैं, अर्थव्यवस्था बदलती है, और ग्राहकों की पसंद बदलती है। AI को दौड़ते समय अपना नक्शा लगातार अपडेट करना पड़ता है।
2. उपकरण: एक स्विस आर्मी नाइफ (Swiss Army Knife)
AI केवल बात नहीं करता; उसे काम भी करना होता है। यह एक कंप्यूटर टर्मिनल के माध्यम से संचालित होता है जहाँ वह:
- विशाल स्प्रेडशीट्स (SQL डेटाबेस) का विश्लेषण करने के लिए कोड लिख सकता है।
- विभिन्न उत्पादों के लिए कीमतें तय कर सकता है।
- विज्ञापन के लिए जगह खरीद सकता है।
- बड़े कॉर्पोरेट क्लाइंट्स के साथ सौदे कर सकता है।
- प्रतिष्ठा सुधारने के लिए सोशल मीडिया पर पोस्ट कर सकता है।
इसे एक पायलट को ऐसे विमान देने जैसा समझें जिसमें 34 अलग-अलग कंट्रोल हों। AI को यह समझना होगा कि कौन से लीवर कब खींचने हैं, और वे सब एक-दूसरे को कैसे प्रभावित करते हैं।
3. परिणाम: अधिकांश AI क्रैश हो गए
शोधकर्ताओं ने इस सिमुलेशन को दुनिया के सबसे स्मार्ट AI मॉडल्स (जैसे GPT-5.5, Claude Opus, आदि) के साथ चलाया। परिणाम चौंकाने वाले थे:
- "दिवालिया होने" की दर: अधिकांश AI एजेंट 500 दिन पूरे होने से पहले ही पैसे खत्म होने के कारण दिवालिया हो गए। वे उन ड्राइवरों की तरह थे जो फ्यूल गेज (ईंधन मापने वाला यंत्र) देखे बिना बस एक्सीलेटर दबाते रहे।
- जीवित रहने वाले: केवल दो मॉडल्स, Claude Opus 4.8 और GPT-5.5, ही दौड़ पूरी करने और शुरूआती राशि से अधिक पैसा बनाने में सफल रहे।
- वास्तविकता का सामना: विजेता भी बहुत अमीर नहीं हुए। वे लगभग 2 बिलियन** से अधिक कमाया जा सकता था। इसका मतलब है कि सर्वश्रेष्ठ AI भी अभी भी वास्तविक व्यावसायिक रणनीति के "गुप्त मंत्र" (secret sauce) को समझने में पीछे हैं।
4. विजेताओं ने यह कैसे किया
पेपर ने बारीकी से देखा कि जीतने वाले AI कैसे सोचते थे। उन्होंने पाया कि विजेताओं और हारने वालों के बीच तीन प्रमुख अंतर थे:
- वे जासूस थे: अनुमान लगाने के बजाय, विजेताओं ने डेटा की गहराई से जांच करने के लिए कोड लिखा। उन्होंने पिछले बातचीत के रिकॉर्ड्स को खंगाला ताकि यह पता लगाया जा सके कि ग्राहक कितना भुगतान करने को तैयार हैं, भले ही AI को यह सीधे तौर पर न बताया गया हो।
- वे भविष्यवक्ता थे: विजेताओं ने अपने दिमाग के अंदर ही अपनी "मिनी-सिमुलेशन" चलाई। कोई बड़ा कदम उठाने से पहले, वे कोड लिखकर पूछते थे, "यदि मैं X करता हूँ, तो 4 सप्ताह बाद क्या होगा?" इसने उन्हें जाल में फंसने से बचाया।
- वे अनुकूलनशील (Adaptable) थे: जब खेल में "प्रतिस्पर्धी" मजबूत हुआ, तो विजेताओं ने इसे जल्दी भांप लिया और अपनी रणनीति बदल दी। हारने वाले वही काम करते रहे जब तक कि वे क्रैश नहीं हो गए।
5. "नियम-आधारित" बेसलाइन (Rule-Based Baseline)
दिलचस्प बात यह है कि शोधकर्ताओं ने एक साधारण, कम बुद्धि वाले कंप्यूटर प्रोग्राम का भी परीक्षण किया जो बुनियादी नियमों का पालन करता था (जैसे "कीमत हमेशा 15 मिलियन** कमाए।
- सबक: सर्वश्रेष्ठ AI मॉडल्स मुश्किल से एक साधारण, नियम का पालन करने वाले स्क्रिप्ट को पछाड़ पाए। यह दर्शाता है कि हालांकि AI निर्देशों का पालन करने में बहुत अच्छा है, लेकिन यह वास्तविक व्यवसाय चलाने के लिए आवश्यक जटिल, दीर्घकालिक सोच में अभी भी संघर्ष कर रहा है।
मुख्य निष्कर्ष (The Bottom Line)
CEO-BENCH एक चेतावनी है। यह दिखाता है कि हालांकि AI एजेंट अल्पकालिक कार्यों (जैसे एक टाइपो को ठीक करना) में बहुत अच्छे हो रहे हैं, लेकिन वे अभी भी दीर्घकालिक रणनीति (जैसे 500-दिवसीय तूफान के बीच एक कंपनी को दिशा देना) में बहुत खराब हैं।
पेपर यह निष्कर्ष निकालता है कि वास्तव में उपयोगी AI बनाने के लिए, हमें यह परीक्षण करने से आगे बढ़ना होगा कि क्या वे "एक कार्य कर सकते हैं" और यह परीक्षण करना शुरू करना होगा कि क्या वे एक ऐसी दुनिया में "लंबी दौड़ खेल सकते हैं" जो शोर, बदलाव और छिपे हुए आश्चर्यों से भरी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।