StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley
StarDojo एक नया बेंचमार्क है जो स्टार्ड्यू वैली (Stardew Valley) गेम पर आधारित है, जो 1,000 क्यूरेटेड कार्यों के माध्यम से जटिल उत्पादन-जीवित सिमुलेशन (production-living simulations) में ओपन-एंडेड एजेंटिक मल्टीमॉडल LLMs का मूल्यांकन करता है, जिससे यह पता चलता है कि GPT-4.1 जैसे अत्याधुनिक मॉडल भी विज़ुअल समझ, तर्क और लो-लेवल मैनिपुलेशन में काफी संघर्ष करते हैं, और केवल 12.7% सफलता दर प्राप्त करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक पूर्ण मानव जीवन जीने के बारे में सिखाने की कोशिश कर रहे हैं। केवल प्रश्न का उत्तर देने या कविता लिखने के बारे में नहीं, बल्कि जागने, काम पर जाने, दोस्त बनाने, बजट संभालने और अचानक आई बारिश जैसी स्थितियों को एक साथ संभालने के बारे में।
यही वह काम है जो इस पेपर के लेखक, StarDojo, करने की कोशिश कर रहे हैं। उन्होंने एक लोकप्रिय वीडियो गेम Stardew Valley का उपयोग करके एक परीक्षण मैदान बनाया है ताकि यह देखा जा सके कि क्या आर्टिफिशियल इंटेलिजेंस (AI) एजेंट "उत्पादन और जीवन" की जटिल और उलझी हुई वास्तविकता को संभाल सकते हैं।
यहाँ उनके कार्य का सरल उपमाओं (analogies) का उपयोग करके विवरण दिया गया है:
1. समस्या: "दो-ट्रैक" अंतराल (The "Two-Track" Gap)
वर्तमान AI बेंचमार्क को एक ड्राइविंग टेस्ट की तरह समझें जहाँ आपको केवल एक सीधी रेखा में कार पार्क करनी होती है (उत्पादन) या एक ऐसा टेस्ट जहाँ आपको केवल एक यात्री से बातचीत करनी होती है (सामाजिक संपर्क)।
- वास्तविकता: वास्तविक जीवन में, आप केवल पार्क करके बातचीत नहीं कर सकते। आपको किराने की दुकान तक जाना होता है (उत् produksi), भोजन खरीदना होता है, और फिर अपना समय और पैसा प्रबंधित करते हुए कैशियर से बात करनी होती है (सामाजिक)।
- अंतराल: मौजूदा परीक्षण यह जांच नहीं करते कि क्या एक AI दोनों चीजें एक साथ कर सकता है। वे आमतौर पर बहुत सरल होते हैं या केवल एक ही चीज़ पर केंद्रित होते हैं।
2. समाधान: StarDojo (एक "जीवन सिम्युलेटर" परीक्षा)
लेखकों ने Stardew Valley गेम पर आधारित एक नया बेंचमार्क, StarDojo बनाया है।
- गेम: एक आरामदायक फार्म की कल्पना करें जहाँ आप फसलें उगाते हैं, चट्टानों के लिए खुदाई करते हैं, गुफा में स्लाइम्स से लड़ते हैं, और ग्रामीणों के साथ समय बिताते हैं।
- ट्विस्ट: उन्होंने इस गेम को AI के लिए एक कठोर परीक्षा में बदल दिया है। एक इंसान के खेलने के बजाय, उन्होंने AI एजेंटों को विशिष्ट कार्य पूरे करने की कोशिश करने दी।
- कार्य: उन्होंने 1,000 अलग-अलग चुनौतियाँ बनाईं जो "आसान" (जैसे पौधे को पानी देना) से लेकर "कठिन" (जैसे एक पड़ोसी के साथ संबंध बनाने और राक्षसों से लड़ने के साथ-साथ खेती के पूरे सीजन की योजना बनाना) तक फैली हुई हैं।
- "लाइट" वर्ज़न: परीक्षण को आसान बनाने के लिए, उन्होंने 100 प्रतिनिधि कार्यों (StarDojo-Lite) का एक छोटा सेट भी चुना जो बुनियादी बातों को कवर करता है।
3. उन्होंने AI को गेम से कैसे जोड़ा
सामान्यतः, किसी वीडियो गेम को नियंत्रित करने के लिए, आपको कीबोर्ड और माउस की आवश्यकता होती है। लेकिन आप आसानी से एक रोबोट के दिमाग में कीबोर्ड नहीं लगा सकते।
- पुल (The Bridge): लेखकों ने एक विशेष "अनुवादक" (जिसे StarDojoMod कहा जाता है) बनाया है जो AI को सीधे गेम के इंजन से बात करने की अनुमति देता है।
- उपमा: AI द्वारा स्क्रीन को "देखने" और बटन "दबाने" के बजाय (जैसा कि एक इंसान करता है), यह ऐसा है जैसे AI के पास गेम की आंतरिक कंप्यूटर लाइन का सीधा फोन कनेक्शन है। वह पूछ सकता है, "मेरा ऊर्जा स्तर क्या है?" या कह सकता है, "मुझे बाईं ओर ले चलो," और गेम इसे तुरंत कर देता है। यह उन्हें AI को तेज़ी से टेस्ट करने के लिए एक साथ कई गेम चलाने की अनुमति देता है।
4. परिणाम: AI को "बड़ा होने" में संघर्ष करना पड़ता है
लेखकों ने इस परीक्षा पर उपलब्ध सबसे स्मार्ट AI मॉडल (जैसे GPT-4.1, Claude, और Gemini) का परीक्षण किया। परिणाम निराशाजनक थे:
- स्कोर: सबसे अच्छा AI भी केवल लगभग 12.7% कार्य सही कर पाया।
- आसान चीजें: AI सरल, छोटे कार्यों में ठीक था (जैसे यदि कोई उपकरण पहले से ही उसके हाथ में हो तो उसे उठाना)।
- कठिन चीजें: AI उन किसी भी चीज़ में पूरी तरह विफल रहा जिसमें लंबी योजना या मानचित्र पर घूमना आवश्यक था। यदि किसी कार्य में कुछ से अधिक कदम लगते, तो AI रास्ता भटक जाता या वह भूल जाता कि वह क्या कर रहा है।
5. AI क्यों विफल हुआ? (चार मुख्य कमियाँ/Blind Spots)
लेखकों ने गलतियों का विश्लेषण किया और पाया कि AI के इस "जीवन सिम्युलेटर" को न संभाल पाने के चार मुख्य कारण थे:
- दृश्य अंधापन (Visual Blindness - 42% त्रुटियाँ): AI गेम की स्क्रीन को देखता था लेकिन पहचान नहीं पाता था कि क्या क्या है। वह सोच सकता था कि एक चट्टान एक पेड़ है, या वह देख नहीं पाता था कि उसके ठीक सामने एक दरवाजा है। यह धुंधले चश्मे पहनकर कमरे में नेविगेट करने जैसा है।
- तर्क भ्रम (Reasoning Confusion - 21%): भले ही AI के पास सही जानकारी हो (जैसे एक टेक्स्ट लिस्ट जिसमें लिखा हो "आप खलिहान के पास हैं"), वह टेक्स्ट को अनदेखा कर देता था और अपनी धुंधली दृष्टि पर भरोसा करता था, जिससे भ्रम पैदा होता था।
- कम ध्यान अवधि (Short Attention Span - 21%): AI भविष्य की योजना नहीं बना सका। वह भूल सकता था कि उसे फसल काटने से पहले फसलों को पानी देना होगा, या वह कार्य के बीच में ही अपने लक्ष्य बदल देता था।
- अकुशल हाथ (Clumsy Hands - 16%): AI जानता था कि क्या करना है, लेकिन वह कैसे करना है इसमें चूक जाता था। वह गलत दिशा में उपकरण का उपयोग करने की कोशिश कर सकता था या अपनी इन्वेंट्री से गलत वस्तु चुन सकता था।
6. निष्कर्ष
पेपर यह निष्कर्ष निकालता है कि जबकि AI प्रश्न पूछने या कोड लिखने में बहुत अच्छा है, यह वर्तमान में एम्बॉडीड लिविंग (embodied living) में बहुत खराब है। यह एक गतिशील दुनिया में देखने, सोचने, योजना बनाने और कार्य करने को संयोजित करने में संघर्ष करता है जहाँ समय बीतता है और चीजें बदलती रहती हैं।
StarDojo अब शोधकर्ताओं के लिए एक खुला टूल है जिसे वे उपयोग कर सकते हैं। यह एक "जिम" की तरह है जहाँ AI सिम्युलेटेड जीवन की जटिल, उलझी हुई और सुंदर चुनौतियों में बेहतर होने के लिए प्रशिक्षण ले सकता है। यह पेपर यह वादा नहीं करता कि कल ही AI खेत चलाने लगेगा; यह बस हमें ठीक से दिखाता है कि AI कहाँ लड़खड़ा रहा है ताकि हम इसे सीखने में मदद कर सकें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।