Rule-Compliant Visual Spatial Planning for Multimodal Large Language Models
यह शोध पत्र RuleMaze पेश करता है, जो मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स में नियम-अनुपालन वाले विजुअल स्पेशियल प्लानिंग का मूल्यांकन करने के लिए एक नियंत्रणीय बेंचमार्क है, साथ ही एक हाइब्रिड रूल जनरेशन फ्रेमवर्क और एक डिसेंटैंगल्ड मल्टीमॉडल प्लानिंग (DMP) विधि भी पेश करता है जो धारणा (perception), निष्पादन (execution) और सत्यापन (verification) को अलग करके नियम पालन और सामान्यीकरण में महत्वपूर्ण सुधार करती है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
एक ऐसी दुनिया की कल्पना करें जहाँ एक कंप्यूटर किसी तस्वीर को देख सकता है और न केवल यह समझ सकता है कि उसमें क्या है, बल्कि यह भी कि उसमें कैसे आगे बढ़ना है। यही मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स का वादा है, जो आर्टिफिशियल इंटेलिजेंस की एक नई पीढ़ी है जो पढ़ने और तर्क करने की क्षमता को देखने की क्षमता के साथ जोड़ती है। इन प्रणालियों ने पहले ही छवियों का वर्णन करना, तस्वीरों के बारे में प्रश्नों के उत्तर देना और दृश्य पहेलियों को हल करना सीख लिया है। लेकिन उनके ज्ञान में एक कमी है। हालाँकि वे एक सरल पथ पर चल सकते हैं, लेकिन जब पथ निर्देशों के एक विशिष्ट सेट द्वारा बाधित होता है जो क्षण-दर-क्षण बदलते रहते हैं, तो वे संघर्ष करते हैं। वास्तविक दुनिया में, एक स्वायत्त वाहन या एक रोबोट सहायक को न केवल बिंदु A से बिंदु B तक जाने का रास्ता खोजना होता है, बल्कि नियमों के लगातार बदलते सेट का भी पालन करना होता है, जैसे कि "लाल बत्ती पर बाएं न मुड़ें" या "गीले फर्श से बचें।" वर्तमान मॉडल अक्सर यहाँ विफल हो जाते हैं, नियमों को सुझाव के रूप में देखते हैं न कि कठोर बाधाओं के रूप में, या अपने अगले कदम की योजना बनाते समय उन्हें पूरी तरह से भूल जाते हैं।
यह समझने के लिए कि यह इतना कठिन क्यों है, शोधकर्ता यू चेन और उनकी टीम ने पेकिंग यूनिवर्सिटी और यिनवांग इंटेलिजेंट टेक्नोलॉजी में 'रूलमेज़' (RuleMaze) नामक एक नया परीक्षण क्षेत्र बनाया। उन्होंने भूलभुलैया से भरा एक डिजिटल वातावरण बनाया, लेकिन ये केवल दीवारों और खुले स्थानों वाली पहेलियाँ नहीं थीं। प्रत्येक भूलभुलैया के साथ प्राकृतिक भाषा के नियमों का एक अनूठा सेट था, जो साधारण अंग्रेजी में लिखा गया था, जो ठीक से निर्धारित करता था कि एक पात्र कैसे चल सकता है। कुछ नियम सरल थे, जैसे "आप गुलाबी वर्गों पर कदम नहीं रख सकते।" अन्य जटिल थे, जिनमें पात्र को यह याद रखने की आवश्यकता थी कि वह कहाँ रहा था या अपने वर्तमान स्थान के आधार पर अपना व्यवहार बदलने की आवश्यकता थी, जैसे कि "यदि आप एक नारंगी वर्ग पर खड़े हैं, तो आपका अगला कदम ऊपर की ओर होना चाहिए।" शोधकर्ताओं ने इन हजारों परिदृश्यों को एक ऐसी विधि का उपयोग करके उत्पन्न किया जो मानव-लिखित नियमों को स्वचालित रूप से सख्त, मशीन-जांच योग्य तर्क में बदल देती थी। इसने यह परीक्षण करने की अनुमति दी कि क्या एक आर्टिफिशियल इंटेलिजेंस वास्तव में एक दृश्य स्थान में नेविगेट करते हुए एक नियम को समझ और पालन कर सकता है, बजाय इसके कि वह पहले देखे गए पैटर्न के आधार पर सही पथ का अनुमान लगाए।
टीम ने पाया कि केवल एक शक्तिशाली मॉडल को भूलभुलैया को देखने और चालों की एक सूची लिखने के लिए कहने से अच्छा परिणाम नहीं मिला, विशेष रूप से तब जब नियम नए या जटिल थे। जब नियम बदले, तो मॉडल अक्सर निर्देशों को भूल जाते थे या बिना एहसास किए उनका उल्लंघन कर देते थे। इसे हल करने के लिए, शोधकर्ताओं ने 'डिसेंटैंगल्ड मल्टीमॉडल प्लानिंग' (Disentangled Multimodal Planning) नामक सोचने का एक नया तरीका प्रस्तावित किया। मॉडल को एक साथ सब कुछ करने के लिए मजबूर करने के बजाय—तस्वीर देखना, नियमों के बारे में सोचना और अगला कदम तय करना—उन्होंने कार्य को तीन अलग-अलग, स्पष्ट कार्यों में विभाजित कर दिया। सबसे पहले, मॉडल भूलभुलैया को देखने और यह पहचानने के लिए एक टूल का उपयोग करता है कि वह कहाँ है और उसके पास कौन से विशेष प्रतीक हैं। दूसरा, वह एक चाल चलाने की कोशिश करने और यह देखने के लिए एक टूल का उपयोग करता है कि नई तस्वीर कैसी दिखती है। तीसरा, और सबसे महत्वपूर्ण, वह एक समर्पित टूल का उपयोग करता है यह जांचने के लिए कि उसके द्वारा अभी की गई चाल नियमों का पालन करती है या नहीं। यह जाँचने वाला टूल एक सख्त रेफरी की तरह काम करता है जो हर एक कदम के लिए तुरंत "हाँ" या "नहीं" कहता है, इससे पहले कि मॉडल को आगे बढ़ने की अनुमति दी जाए।
इस दृष्टिकोण ने परिणाम को नाटकीय रूप से बदल दिया। उनके परीक्षणों में, इस नई विधि ने मॉडलों को उन कार्यों पर 90 प्रतिशत की सफलता दर के साथ नियमों का पालन करने की अनुमति दी जिन्हें उन्होंने पहले कभी नहीं देखा था, जो पिछले तरीकों की तुलना में एक बड़ी उपलब्धि है जो अक्सर नए नियमों पर पूरी तरह विफल हो जाते थे। शोधकर्ताओं ने पाया कि जब मॉडल को हर कदम पर अपने काम की जाँच करने के लिए मजबूर किया गया, तो उसने उन गलतियों को करना बंद कर दिया जो तब होती हैं जब कोई प्रणाली प्रत्येक कदम को सत्यापित किए बिना पूरी यात्रा की योजना अपने दिमाग में बनाने की कोशिश करती है। मॉडल ने रुकना, नियम को देखना, चाल की जाँच करना और उसके बाद ही आगे बढ़ना सीखा। यह तब भी काम कर गया जब नियम कठिन थे, जिनमें कई शर्तें शामिल थीं या जिनके लिए मॉडल को उन वस्तुओं को याद रखने की आवश्यकता थी जिन्हें उसने रास्ते में उठाया था। अध्ययन सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस के लिए जटिल, नियम-बद्ध वातावरण में वास्तव में विश्वसनीय होने के लिए, उसे केवल एक स्मार्ट अनुमान लगाने वाला नहीं होना चाहिए; उसे एक ऐसी प्रणाली से लैस होना चाहिए जो उसे उस दुनिया की बाधाओं के विरुद्ध अपने कार्यों को सत्यापित करने के लिए मजबूर करे जिसमें वह नेविगेट कर रहा है। देखने के कार्य, चलने के कार्य और जाँचने के कार्य को अलग करके, शोधकर्ताओं ने दिखाया कि मशीनें निर्देशों का पालन करने के उस स्तर के साथ सीख सकती हैं जो पहले पहुंच से बाहर था।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।