Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft
यह शोध पत्र SciCrafter को प्रस्तुत करता है, जो रेडस्टोन सर्किट कार्यों के माध्यम से डिस्कवरी-टू-एप्लीकेशन लूप (खोज-से-अनुप्रयोग चक्र) पर AI एजेंटों का मूल्यांकन करने वाला एक माइनक्राफ्ट-आधारित बेंचमार्क है, जो यह प्रकट करता है कि वर्तमान फ्रंटियर मॉडल मुख्य रूप से ज्ञान अनुप्रयोग की सीमाओं के कारण 26% की सफलता दर पर स्थिर हो गए हैं, और उन्नत प्रणालियों के लिए उभरती हुई बाधा अब ज्ञान के अंतराल को पहचानने और सही समस्याओं को तैयार करने की क्षमता की ओर स्थानांतरित हो रही है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक प्रतिभाशाली लेकिन अनुभवहीन प्रशिक्षु को एक जटिल मशीन, जैसे कि एक क्लॉकवर्क रोबोट, बनाना सिखाने की कोशिश कर रहे हैं। आप उसे पुर्जों का एक डिब्बा देते हैं और एक लक्ष्य देते हैं: "रोबोट को चलना सिखाओ।"
प्रशिक्षु को केवल यह जानने की ज़रूरत नहीं है कि गियर को कैसे जोड़ा जाए (अनुप्रयोग/application); उसे पहले यह भी समझना होगा कि कौन से गियर काम करते हैं, वे इस तरह क्यों घूमते हैं, और क्या होता है जब आप उन्हें किसी अजीब तरीके से जोड़ देते हैं (खोज/discovery)।
यह शोध पत्र, जिसका शीर्षक है "Can Current Agents Close the Discovery-to-Application Gap? A Case Study in Minecraft," मूल रूप से इस बात की एक रिपोर्ट कार्ड है कि आज के सबसे उन्नत AI "प्रशिक्षु" इस पूरी प्रक्रिया को कितनी अच्छी तरह से संभाल सकते हैं।
इसके निष्कर्षों का विवरण यहाँ दिया गया, जिसमें सरल उपमाओं का उपयोग किया गया है:
1. परीक्षण: एक "रेडस्टोन" पहेली
शोधकर्ताओं ने वास्तविक दुनिया में परीक्षण नहीं किया (जो बहुत अव्यवस्थित और महंगा है)। इसके बजाय, उन्होंने Minecraft का उपयोग किया, जो एक वीडियो गेम है जहाँ आप "रेडस्टोन" (गेम का अपना इलेक्ट्रिकल वायरिंग सिस्टम) का उपयोग करके जटिल मशीनें बना सकते हैं।
- कार्य: AI को एक विशिष्ट संख्या में लैंप (4 से 64 तक) को एक विशिष्ट पैटर्न (एक साथ, या एक क्रम में) में जलाने के लिए एक सर्किट बनाना था।
- चुनौती: AI केवल अनुमान नहीं लगा सकता था। जैसे-जैसे लैंपों की संख्या बढ़ती गई, खेल के नियम भी बदलते गए। उदाहरण के लिए, माइनक्राफ्ट में एक सिग्नल जितना दूर जाता है, उतना ही कमजोर होता जाता है। 64 लैंपों को जलाने के लिए, AI को यह खोजना होगा कि उसे विशेष "रिपीटर्स" (सिग्नल बूस्टर) की आवश्यकता है और उन्हें एक विशिष्ट "हब" आकार में व्यवस्थित करना होगा। यदि वह केवल 4 लैंपों के समाधान को याद रखने और उसे बड़े पैमाने पर लागू करने की कोशिश करता, तो वह विफल हो जाता।
2. परिणाम: AI एक दीवार से टकरा गया
शोधकर्ताओं ने सबसे स्मार्ट उपलब्ध AI मॉडल का परीक्षण किया (जैसे GPT-5.2, Gemini-3-Pro, और Claude-Opus-4.5)।
- स्कोर: सबसे अच्छा AI भी केवल 26% बार ही सफल हुआ।
- उपमा: कल्पना कीजिए कि आप एक जीनियस छात्र को गणित का टेस्ट दे रहे हैं। वे साधारण जोड़ को पूरी तरह से हल कर सकते हैं, लेकिन जब आप उनसे एक कठिन समस्या को हल करने के लिए संख्याओं को गुणा करने का एक नया तरीका आविष्कार करने के लिए कहते हैं, तो वे अटक जाते हैं। वे निर्देशों का पालन करने में बहुत अच्छे हैं, लेकिन खुद के लिए निर्देश लिखने में बहुत खराब हैं।
3. निदान: वे कहाँ विफल हुए?
शोधकर्ताओं ने AI की विफलता को चार चरणों में विभाजित किया, जैसे कि एक रिले रेस। वे देखना चाहते थे कि किस धावक ने बैटन गिरा दिया।
चरण 1: यह जानना कि आप क्या नहीं जानते (पहचान/Identification)
- समस्या: AI को यह नहीं पता था कि क्या पूछना है। उसे यह एहसास नहीं हुआ कि, "अरे, मुझे नहीं पता कि सिग्नल कितनी दूरी तक यात्रा करता है।"
- समाधान: जब शोधकर्ताओं ने AI को एक संकेत दिया जैसे, "जांचें कि सिग्नल कितनी दूर तक जाता है," तो सफलता दर दोगुनी हो गई।
- अंतर्दृष्टि: सबसे स्मार्ट AI के लिए, सबसे बड़ी समस्या पहेली को हल करना नहीं है; बल्कि यह समझना है कि पहेली वास्तव में क्या है। वे सही सवाल पूछने में खराब हैं।
चरण 2: प्रयोग चलाना (खोज/Discovery)
- समस्या: AI को अपने विचारों का व्यवस्थित रूप से परीक्षण करने का तरीका नहीं पता था।
- समाधान: शोधकर्ताओं ने एक "वैज्ञानिक" (Scientist) सब-एजेंट जोड़ा। यह एक दूसरा AI था जिसका एकमात्र काम छोटे परीक्षण करना (जैसे, "अगर मैं यहाँ एक ब्लॉक रखूँ तो क्या होगा?") और एक रिपोर्ट लिखना था।
- अंतर्दृष्टि: जब AI के पास प्रयोग करने के लिए एक "वैज्ञानिक" था, तो वह बेहतर हो गया। यह दर्शाता है कि हालांकि AI के पास प्रयोग करने का ज्ञान है, लेकिन वह एक संरचित प्रक्रिया के बिना इसे स्वयं करने में संघर्ष करता है।
चरण 3: नियमों को लिखना (संग्रहण/Consolidation)
- समस्या: AI ने उत्तर ढूंढ लिया लेकिन बाद में उसका उपयोग कैसे करें, यह इसलिए भूल गया क्योंकि उसने अपने नोट्स बहुत अव्यवस्थित तरीके से लिखे थे।
- समाधान: जब शोधकर्ताओं ने AI को अपने निष्कर्ष एक सख्त प्रारूप (दावा, प्रमाण, बाधाएं, उदाहरण) में लिखने के लिए मजबूर किया, तो इसने बहुत बेहतर प्रदर्शन किया।
- अंतर्दृष्टि: केवल कुछ "जानना" पर्याप्त नहीं है; AI को यह जानने की भी आवश्यकता है कि उस ज्ञान को बाद में उपयोग करने के लिए कैसे संग्रहीत और व्यवस्थित किया जाए।
चरण 4: मशीन बनाना (अनुप्रयोग/Application)
- समस्या: नए नियमों को खोजने और उन्हें लिखने के बाद भी, AI को अभी भी गेम में ब्लॉक्स को सही ढंग से रखने में संघर्ष करना पड़ा।
- अंतर्दृष्टि: यह "अवशिष्ट" (residual) अंतर है। AI को अपने नए ज्ञान को पूर्ण भौतिक निर्माण में अनुवादित करने में अभी भी कठिनाई होती है। हालांकि, सबसे स्मार्ट मॉडलों के लिए, यह अंतर कम हो रहा है, जबकि "सही सवाल पूछने" वाला अंतर बढ़ रहा है।
4. बड़ा निष्कर्ष
यह शोध पत्र निष्कर्ष निकालता है कि हम AI के लिए एक महत्वपूर्ण मोड़ पर पहुँच रहे हैं।
- अतीत: AI हर चीज़ में बुरा था: सवाल पूछने में, प्रयोग करने में और निर्माण करने में।
- वर्तमान: AI निर्माण (अनुप्रयोग) करने में बहुत अच्छा हो रहा है यदि आप उसे नियम दे दें।
- भविष्य की बाधा: सबसे कठिन काम अब "समस्या को हल करना" नहीं है। सबसे कठिन काम "समस्या को परिभाषित करना" है।
अंतिम रूपक:
कल्पना कीजिए कि आपके पास एक कार है जो पूरी तरह से खुद चल सकती है यदि आप उसे गंतव्य और मार्ग बता दें। समस्या यह है कि वर्तमान में कार खिड़की से बाहर देखने, यह महसूस करने में बहुत खराब है कि "ओह, रास्ता ब्लॉक है," और एक नया रास्ता खोजने का निर्णय लेने में। उसे एक इंसान की ज़रूरत है जो उसे कहे, "हे, रास्ता ब्लॉक है, चक्कर लगाकर जाओ।"
शोधकर्ता कहते हैं: हमें कार को तेज़ चलाने की कोशिश करना बंद करना चाहिए, और इसे सड़क को देखना और यह तय करना सिखाना शुरू करना चाहिए कि कहाँ जाना है।
योगदान का सारांश
- SCICRAFTER: एक नया परीक्षण (Minecraft में) यह देखने के लिए कि क्या AI "खोज" से "अनुप्रयोग" तक जा सकता है।
- विभाजन: उन्होंने साबित किया कि स्मार्ट AI के लिए सबसे बड़ी बाधा अब यह नहीं है कि वे क्या जानते हैं उसे लागू करना, बल्कि यह पहचानना है कि उन्हें क्या सीखने की आवश्यकता है।
- उपकरण: उन्होंने एक "वैज्ञानिक" सहायक बनाया और नोट्स लेने का एक बेहतर तरीका विकसित किया जो AI को नई चीजें सीखने में काफी मदद करता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।