EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies
यह शोध पत्र EcoGym प्रस्तुत करता है, जो तीन विविध, दीर्घ-अवधि वाले संवादात्मक आर्थिक वातावरण वाला एक नवीन ओपन-सोर्स बेंचमार्क है जिसे LLM-आधारित एजेंटों की रणनीतिक सुसंगतता और निष्पादन सुदृढ़ता का मूल्यांकन करने के लिए डिज़ाइन किया गया है, जो यह प्रकट करता है कि वर्तमान मॉडल विभिन्न परिदृश्यों में उच्च-स्तरीय योजना और कुशल क्रिया निष्पादन को एक साथ अनुकूलित करने में संघर्ष करते हैं।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यवसाय के लिए एक नया मैनेजर रख रहे हैं। अधिकांश परीक्षण जो आप उन्हें देते हैं, वे पॉप क्विज़ की तरह होते हैं: "यह एक समस्या है, इसे 5 मिनट में हल करें।" लेकिन वास्तविक दुनिया में, व्यवसाय चलाना कोई पॉप क्विज़ नहीं है; यह एक मैराथन है। आपको यह जानने की आवश्यकता है कि क्या वे आज स्मार्ट निर्णय ले सकते हैं जो तीन साल बाद कंपनी को दिवालिया नहीं करेंगे।
"EcoGym" नामक शोध पत्र AI एजेंटों (कंप्यूटर प्रोग्राम जो मनुष्यों की तरह कार्य करते हैं) को छोटे कार्यों पर नहीं, बल्कि एक सिम्युलेटेड अर्थव्यवस्था में दीर्घकालिक उत्तरजीविता और विकास पर परखने का एक नया तरीका पेश करता है।
यहाँ इसका विवरण दिया गया, सरल उपमाओं का उपयोग करते हुए:
1. समस्या: "पॉप क्विज़" का जाल
AI के लिए वर्तमान परीक्षण शतरंज के खिलाड़ी को एक एकल पहेली हल करने के लिए कहने जैसा है। वे पहेली सुलझाने में बहुत अच्छे हो सकते हैं, लेकिन इसका मतलब यह नहीं है कि वे बिना हारे 1,000 चालों का खेल खेल सकते हैं। लेखक तर्क देते हैं कि मौजूदा परीक्षण बहुत छोटे, बहुत विशिष्ट या बहुत कम वास्तविक हैं, जहाँ चीजें अप्रत्याशित रूप से बदल जाती हैं।
2. समाधान: EcoGym (एक "बिजनेस सिम्युलेटर")
टीम ने EcoGym बनाया है, जो एक वीडियो गेम जैसा संसार है जहाँ AI एजेंटों को बिना रुके एक पूरे वर्ष (365 दिन) तक एक व्यवसाय चलाना होता है। एक छोटे क्विज़ के बजाय, यह एक मैराथन है।
AI को पैसा, संसाधन और छिपे हुए नियमों को प्रबंधित करना होता है, और इस दौरान उसे अपनी "नेट वर्थ" (Net Worth) या "आय" (Income) बढ़ाने की कोशिश करनी होती है। पेच यह है कि खेल वास्तव में कभी समाप्त नहीं होता; यह बस चलता रहता है, जिससे AI को लंबी अवधि के लिए योजना बनाने के लिए मजबूर होना पड़ता है।
3. EcoGym के तीन "खेल"
यह सुनिश्चित करने के लिए कि परीक्षण निष्पक्ष हो और विभिन्न कौशलों को कवर करे, उन्होंने तीन अलग-अलग परिदृश्य बनाए:
वेंडिंग मशीन (द शॉपकीपर):
- काम: आपके पास एक वेंडिंग मशीन का व्यवसाय है। आपको यह तय करना होगा कि क्या खरीदना है, कितना स्टॉक रखना है और कितनी कीमत वसूलनी है।
- चुनौती: आप भविष्य नहीं जानते। हो सकता है कि गर्मी का मौसम हो और लोग ठंडे पेय चाहते हों, या शायद सर्दियों का समय हो और वे गर्म सूप चाहते हों। AI को इन पैटर्न का अनुमान लगाना होगा और अपने कैश का प्रबंधन करना होगा ताकि अगली खेप आने से पहले उसके पास पैसे खत्म न हो जाएं।
- लक्ष्य: अपनी कुल नेट वर्थ (नकद + सामान का मूल्य) को अधिकतम करना।
फ्रीलांसर (द गिग वर्कर):
- काम: आप कोडिंग या लेखन जैसे कार्य करने वाले एक फ्रीलांसर हैं।
- चुनौती: आपके पास सीमित ऊर्जा (Energy) और तनाव (Stress) है। यदि आप बिना आराम किए बहुत अधिक काम करते हैं, तो आप "बर्न आउट" (थककर हार जाना) हो जाएंगे और असफल हो जाएंगे। यदि आप बहुत अधिक आराम करते हैं, तो आप पैसा नहीं कमा पाएंगे। आपको काम करने, नए कौशल सीखने और सोने के बीच संतुलन बनाना होगा।
- लक्ष्य: स्वस्थ रहते हुए अपनी कुल आय (Income) को अधिकतम करना।
प्लेटफॉर्म ऑपरेटर (द सोशल मीडिया CEO):
- काम: आप एक कंटेंट प्लेटफॉर्म चलाते हैं (जैसे एक मिनी-टिकटॉक या यूट्यूब)।
- चुनौती: उपयोगकर्ता स्वाभाविक रूप से ऊब जाते हैं और चले जाते हैं (यह "क्षय" या decay की समस्या है)। आपको नए उपयोगकर्ताओं को लाने के लिए पैसा खर्च करना होगा, क्रिएटर्स को कंटेंट बनाने के लिए भुगतान करना होगा, और खराब कंटेंट को मॉडरेट करना होगा। लेकिन यदि आप बहुत अधिक दबाव डालते हैं, तो गुणवत्ता गिर जाती है; यदि आप पर्याप्त प्रयास नहीं करते हैं, तो उपयोगकर्ता चले जाते हैं।
- लक्ष्य: DAU (डेली एक्टिव यूजर्स) को अधिकतम करना और प्लेटफॉर्म को जीवित रखना।
4. छिपे हुए नियम (द "मैजिक बॉक्स")
EcoGym का सबसे दिलचस्प हिस्सा यह है कि AI नियमों को नहीं जानता।
- कल्पना कीजिए कि आप एक वीडियो गेम खेल रहे हैं जहाँ उसका फिजिक्स इंजन छिपा हुआ है। आप जानते हैं कि यदि आप कूदते हैं, तो आप ऊपर जाते हैं, लेकिन जब तक आप कोशिश नहीं करते, आपको पता नहीं चलता कि आप ठीक कितना ऊपर जाएंगे।
- EcoGym में, AI को प्रयोग (Experiment) करना पड़ता है। उसे यह पता लगाने के लिए अलग-अलग कीमतें, अलग-अलग कार्य कार्यक्रम या अलग-अलग कंटेंट रणनीतियाँ आज़मानी होंगी कि क्या काम करता है। यह केवल निर्देशों का पालन करने के बारे में नहीं, बल्कि जिज्ञासा और खोज का परीक्षण है।
5. निष्कर्ष (परिणाम)
लेखकों ने उपलब्ध 11 सबसे स्मार्ट AI मॉडल्स का परीक्षण किया (OpenAI, Google और अन्य बड़े नामों सहित)। यहाँ क्या हुआ:
कोई "सुपर-ब्रेन" सब कुछ नहीं जीत सका: बिल्कुल वैसे ही जैसे खेलों में होता है, कोई भी एकल एथलीट एक साथ तैराकी, दौड़ने और कूदने में सर्वश्रेष्ठ नहीं होता है।
- एक मॉडल वेंडिंग मशीन (पैसा बनाने) में बहुत अच्छा था।
- दूसरा सबसे अच्छा फ्रीलांसर (काम और आराम के बीच संतुलन बनाने वाला) था।
- तीसरा सबसे अच्छा प्लेटफॉर्म ऑपरेटर (उपयोगकर्ताओं को खुश रखने वाला) था।
- सीख: एक चीज़ में स्मार्ट होने का मतलब यह नहीं है कि आप हर चीज़ में स्मार्ट हैं।
"लॉन्ग-टर्म" का संघर्ष: सभी AI मॉडल्स के लिए सबसे बड़ी समस्या निरंतरता (Consistency) बनाए रखना थी। कई मॉडल शुरुआत में मजबूत प्रदर्शन करते थे, एक शानदार योजना बनाते थे, और फिर आधे साल के बीच में ही उसे भूल जाते थे, या एक ऐसी मूर्खतापूर्ण गलती कर देते थे जिससे उनकी पूरी प्रगति बर्बाद हो जाती थी। उन्हें लंबे समय तक "रणनीतिक दृष्टि" बनाए रखने में संघर्ष करना पड़ा।
सोचना मदद करता है: जब मॉडल्स को "बोलकर सोचने" (कार्य करने से पहले अपने तर्क को लिखना) की अनुमति दी गई, तो वे काफी बेहतर प्रदर्शन करते थे। यह एक इंसान के रुकने और बड़ा कदम उठाने से पहले योजना बनाने जैसा है।
इंसान बनाम AI: एक परीक्षण में, मानव विशेषज्ञों ने खेल खेला। आश्चर्यजनक रूप से, सबसे अच्छे AI मॉडल ने मानव विशेषज्ञों को हरा दिया, जो यह दर्शाता है कि AI में इन विशिष्ट दीर्घकालिक आर्थिक नियोजन कार्यों में हमसे बेहतर होने की क्षमता है।
6. यह क्यों महत्वपूर्ण है
लेखक निष्कर्ष निकालते हैं कि हमें AI को छोटे, आसान कार्यों पर टेस्ट करना बंद करना चाहिए। ऐसे वास्तव में उपयोगी AI बनाने के लिए जो हमारे लिए व्यवसाय चला सकें या प्रोजेक्ट का प्रबंधन कर सकें, हमें उन्हें इन लंबे, जटिल, "EcoGym" शैली के वातावरण में परखने की आवश्यकता है जहाँ उन्हें सीखना, अनुकूलित होना और समय के साथ जीवित रहना पड़ता है।
संक्षेप में: EcoGym AI के दिमागों के लिए एक जिम है, जो उन्हें अल्पकालिक विचारक बनने के बजाय दीर्घकालिक रणनीतिकार बनने के लिए प्रशिक्षित करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।