VibeWorlding: Can Multimodal Agents Construct 3D Open Worlds End-to-End?
यह शोध पत्र VibeWorlding को पेश करता है, जो एक एकीकृत ढांचा है जिसमें VWE-BENCH बेंचमार्क और VibeWorlding-Gym RL प्रशिक्षण वातावरण शामिल है, जो उपयोगकर्ता के प्रश्नों से स्वायत्त रूप से संवादात्मक 3D खुली दुनिया (open worlds) बनाने की मल्टीमॉडल एजेंटों की क्षमता का मूल्यांकन और संवर्धन करता है, यह प्रदर्शित करते हुए कि सुदृढीकरण शिक्षण (reinforcement learning) ओपन-सोर्स मॉडलों को इस जटिल कार्य में फ्रंटियर क्लोज्ड-सोर्स सिस्टम से आगे बढ़ने में सक्षम कर सकता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक खाली डिजिटल कमरे में खड़े हैं और एक कंप्यूटर से एक व्यस्त शहर की सड़क, एक शांत जंगल का कोना, या एक भविष्यवादी अंतरिक्ष स्टेशन बनाने के लिए कहते हैं, बस यह बताकर कि आप क्या देखना चाहते हैं। यह "एम्बोडीड आर्टिफिशियल इंटेलिजेंस" (embodied artificial intelligence) का वादा है, एक ऐसा क्षेत्र जहाँ मशीनें इंसानों की तरह ही त्रि-आयामी (3D) स्थानों के साथ बातचीत करना और उनका निर्माण करना सीखती हैं। वर्षों से, शोधकर्ताओं ने कंप्यूटर को टेक्स्ट निर्देशों के आधार पर फर्नीचर, पेड़ों और इमारतों जैसे डिजिटल ऑब्जेक्ट्स को व्यवस्थित करना सिखाने का प्रयास किया है। हालाँकि, पिछले अधिकांश प्रयास केवल सरल, आदर्श अनुरोधों के साथ काम करते थे, जैसे कि "यहाँ एक कुर्सी रखें।" वे वास्तविक मानवीय बातचीत की अव्यवस्थित, खुले अंत वाली प्रकृति का सामना करने में संघर्ष करते थे, जहाँ एक उपयोगकर्ता विशिष्ट प्रकाश व्यवस्था और मूड के साथ "एक आरामदायक, थोड़ा बिखरा हुआ अध्ययन कक्ष" मांग सकता है। इसके अलावा, क्योंकि इन दुनियाओं को बनाने वाले उपकरण बिखरे हुए थे और परीक्षण के तरीके असंगत थे, यह जानना कठिन था कि क्या एक कृत्रिम बुद्धिमत्ता वास्तव में अनुरोध को समझ रही है या केवल अनुमान लगा रही है।
शोधकर्ताओं की एक टीम ने अब 'वाइबवर्ल्डिंग' (VibeWorlding) नामक एक नए फ्रेमवर्क के साथ इस चुनौती को स्वीकार किया है। उन्होंने एक व्यापक प्रणाली बनाई है जो एक कृत्रिम एजेंट को न केवल उपयोगकर्ता के विवरण को सुनने की अनुमति देती है, बल्कि सक्रिय रूप से योजना बनाने, सही डिजिटल वस्तुओं की खोज करने, उन्हें 3D स्थान में रखने और फिर यह देखने के लिए परिणाम को देखने की भी अनुमति देती है कि क्या वह विजन से मेल खाता है। शोधकर्ताओं ने 2,600 से अधिक उच्च-गुणवत्ता वाले 3D ऑब्जेक्ट्स वाला एक विशाल परीक्षण मैदान बनाया, जिसमें छोटे प्रॉप्स से लेकर बड़ी इमारतें तक शामिल हैं, और इनका उपयोग सैकड़ों जटिल दृश्य बनाने के लिए किया। फिर उन्होंने हजारों अद्वितीय उपयोगकर्ता अनुरोध उत्पन्न किए, जिनमें से कुछ सटीक निर्देश थे और अन्य अस्पष्ट, खुले अंत वाली इच्छाएं थीं, ताकि यह देखा जा सके कि विभिन्न कृत्रिम बुद्धिमत्ताएँ इस कार्य को कितनी अच्छी तरह संभाल सकती हैं। यह प्रणाली एक कठोर निर्णायक के रूप में कार्य करती है, जो न केवल यह जाँचती है कि वस्तुएं सही स्थान पर हैं या नहीं, बल्कि यह भी कि क्या वे भौतिक रूप से तर्कसंगत हैं—यह सुनिश्चित करते हुए, उदाहरण के लिए, कि मेज हवा में न तैर रही हो या पेड़ किसी दीवार के अंदर न उग रहा हो।
जब शोधकर्ताओं ने आज उपलब्ध सबसे उन्नत कृत्रिम बुद्धिमत्ता मॉडलों का परीक्षण किया, जिनमें प्रमुख प्रौद्योगिकी कंपनियों के मॉडल भी शामिल हैं, तो उन्होंने इन दुनियाओं को स्वचालित रूप से बनाने के लक्ष्य और वर्तमान क्षमताओं के बीच एक महत्वपूर्ण अंतर पाया। यहाँ तक कि सबसे शक्तिशाली मॉडल भी, जो कोड लिख सकते हैं और जटिल प्रश्नों के उत्तर दे सकते हैं, 60 प्रतिशत से अधिक बार अनुरोधित दृश्यों का सफलतापूर्वक निर्माण करने में विफल रहे। विफलता का प्राथमिक कारण उपयोगकर्ता के शब्दों की समझ की कमी नहीं थी, बल्कि 3D दुनिया को संपादित करने की सटीक भौतिक क्रिया में कठिनाई थी। मॉडल अक्सर समझ जाते थे कि उपयोगकर्ता एक बुकशेल्फ़ को हिलाना चाहता है, लेकिन वे दूरी की गलत गणना करते थे या वस्तु को गलत दिशा में ले जाते थे, जिससे वे अन्य वस्तुओं से टकरा जाती थीं या अवास्तविक रूप से तैरने लगती थीं।
इस अंतर को पाटने के लिए, टीम ने एक विशेष प्रशिक्षण पद्धति विकसित की जो कृत्रिम बुद्धिमत्ता को प्रयास और त्रुटि (trial and error) के माध्यम से सिखाती है, ठीक वैसे ही जैसे एक बच्चा ब्लॉक्स से खेलना सीखता है। यह प्रणाली एजेंट को एक दृश्य बनाने का प्रयास करने देती है, भौतिकी और उपयोगकर्ता के इरादे के सख्त नियमों के विरुद्ध परिणाम की जाँच करती है, और फिर एजेंट को तभी पुरस्कृत करती है जब वह सही होता है। यह प्रक्रिया, जिसे 'रीइन्फोर्समेंट लर्निंग' (reinforcement learning) के रूप में जाना जाता है, शोधकर्ताओं को एक ओपन-सोर्स मॉडल को प्रशिक्षित करने की अनुमति देती है जो अंततः उपलब्ध सर्वश्रेष्ठ क्लोज्ड-सोर्स मॉडलों से बेहतर प्रदर्शन कर सकता है। उनके सर्वश्रेष्ठ प्रशिक्षित मॉडल ने, जो 30 बिलियन पैरामीटर्स के आधार से शुरू हुआ था, सभी परीक्षण की गई प्रणालियों में उच्चतम सफलता दर प्राप्त की। इसने सही वस्तुओं को प्राप्त करना, बिना किसी टकराव के उन्हें रखना, और वातावरण की भौतिक बाधाओं का सम्मान करना सीखा, जिससे उपयोगकर्ता द्वारा बनाई गई दुनिया के "वाइब" (vibe) में महारत हासिल की।
अध्ययन ने यह भी खुलासा किया कि जबकि ये मॉडल बड़े परिदृश्य को समझने में बेहतर हो रहे हैं, सबसे कठिन हिस्सा अभी भी स्थानिक तर्क (spatial reasoning) का सूक्ष्म विवरण है। एजेंट अभी भी सटीक माप के साथ संघर्ष करते हैं, जैसे कि किसी वस्तु को ठीक सात मीटर आगे ले जाना बिना ओवरशूट या अंडरशूट किए। हालाँकि, शोधकर्ताओं ने पाया कि प्रशिक्षण पद्धति ने एजेंटों की 3D स्थान के बारे में तर्क करने की क्षमता में काफी सुधार किया, जिससे एक बड़ी कमजोरी को ताकत में बदल दिया। अपने डेटा, टूल और प्रशिक्षित मॉडलों को सार्वजनिक रूप से जारी करके, टीम को उन प्रणालियों के विकास को गति देने की उम्मीद है जो एक दिन गेमिंग, सिमुलेशन और वर्चुअल रियलिटी के लिए मानव डिजाइनर की सहजता और रचनात्मकता के साथ इंटरैक्टिव 3D दुनिया बना सकेंगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।