Zero-Shot Mission-Level Evaluation for Aerial MLLM Agents
यह शोध पत्र मिशनबेंच (MissionBench) को प्रस्तुत करता है, जो हवाई 3D वातावरणों में मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स की ज़ीरो-शॉट मिशन-स्तरीय क्षमताओं के मूल्यांकन के लिए एक बेंचमार्क है, जो यह प्रकट करता है कि हालांकि स्केलिंग प्रदर्शन में सुधार करती है, फिर भी वर्तमान मॉडल मल्टी-स्टेप प्लानिंग और एडेप्टिव रीजनिंग की आवश्यकता वाले जटिल, लॉन्ग-होरिज़ॉन एम्बोडीड कार्यों में मनुष्यों से काफी पीछे हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आपने अभी-अभी एक बिल्कुल नए, सुपर-स्मार्ट रोबोट को एक नक्शा और एक मिशन सौंपा है: "जाओ उस लाल कार को ढूँढो और मुझे उसका लाइसेंस प्लेट बताओ।" आप उम्मीद करते हैं कि रोबोट तेजी से निकल जाएगा, दृश्य को स्कैन करेगा और वापस आकर उत्तर देगा। लेकिन यहाँ एक पेंच है: इस रोबोट ने पहले कभी ड्रोन नहीं उड़ाया है। इसे नहीं सिखाया गया है कि कैसे हवा में स्थिर रहना है, कैसे किसी पेड़ से बचना है, या पक्षी की दृष्टि (bird's-eye view) से किसी साइन को कैसे पढ़ना है। यह केवल इसलिए जानता है कि बातें कैसे की जाती हैं और चित्रों को कैसे देखा जाता है क्योंकि इसे पूरे इंटरनेट पर प्रशिक्षित किया गया था। यह मल्टीमॉडल लार्ज लैंग्वेज मॉडल्स (MLLMs) की दुनिया है—ऐसे AI दिमाग जो चित्र देख सकते हैं और टेक्स्ट पढ़ सकते हैं, जिन्हें अब भौतिक मशीनों को नियंत्रित करने के लिए कहा जा रहा है। बड़ा सवाल जो वैज्ञानिक पूछ रहे हैं वह यह है: क्या ये सामान्य-उद्देश्य वाले "स्मार्ट दिमाग" बिना किसी विशेष प्रशिक्षण के, केवल एक वाक्य पढ़कर ड्रोन उड़ाना और एक जटिल मिशन को हल करना सीख सकते हैं? यह एक ऐसे व्यक्ति से पूछने जैसा है जिसने लाइब्रेरी की हर किताब पढ़ ली है, कि अचानक एक कहानी पढ़ने के आधार पर किसी विशिष्ट एस्टेरॉयड तक पहुँचने के लिए अंतरिक्ष यान को पायलट करे।
इस शोध पत्र में, शोधकर्ताओं ने इन AI दिमागों को अंतिम परीक्षा देने का निर्णय लिया। उन्होंने मिशनबेंच (MissionBench) नामक एक वीडियो गेम की दुनिया बनाई, जो मूल रूप से ड्रोनों के लिए एक विशाल, हाई-टेक खेल का मैदान है। इस खेल के मैदान के अंदर 120 अलग-अलग मिशन हैं, जो "इस पड़ोस में गश्त लगाओ" से लेकर "एक जलते हुए जहाज का निरीक्षण करें" या "एक तंबू पर पैकेज गिराएं" तक विस्तृत हैं। ट्विस्ट यह है कि AI एजेंटों (ड्रोन पायलटों) को केवल एक टेक्स्ट निर्देश और ड्रोन के दृष्टिकोण से एक कैमरा व्यू दिया जाता है। उन्हें खुद ही यह तय करना होगा कि कहाँ जाना है, कैसे मुड़ना है, कितनी तेजी से उड़ना है, और क्या रिपोर्ट करना है। यह एक क्लोज्ड-लूप गेम है: AI हिलता है, दुनिया बदलती है, AI नया दृश्य देखता है, और उसे तय करना होता है कि आगे क्या करना है।
परिणाम "वाह" और "ओह" का मिश्रण थे। शोधकर्ताओं ने 22 अलग-अलग AI मॉडल्स का परीक्षण किया, जिनमें ओपन-सोर्स से लेकर सबसे शक्तिशाली कमर्शियल दिग्गज शामिल थे। सबसे अच्छा प्रदर्शन करने वाले AI ने 35% से भी कम मिशनों पर सफलता प्राप्त की। इसे समझने के लिए, एक मानव पायलट जो समान सीमित नियंत्रणों के साथ उसी गेम को खेल रहा था, वह 70% बार सफल हुआ, और पूर्ण कीबोर्ड नियंत्रण के साथ, मनुष्यों ने 84.4% सफलता प्राप्त की। इसलिए, हालांकि AI बुरा नहीं है, फिर भी यह इंसान के साथ तालमेल बिठाने के लिए संघर्ष कर रहा है। शोध पत्र सुझाव देता है कि केवल AI को "बड़ा" बनाना (अधिक डेटा और पैरामीटर्स जोड़ना) मदद करता है; सबसे बड़े मॉडल्स ने छोटे मॉडल्स की तुलना में काफी बेहतर प्रदर्शन किया, जो यह दर्शाता है कि कच्चा आकार उन्हें थोड़ा अधिक "एम्बोडीड" (embodied) अंतर्ज्ञान देता है। हालाँकि, सबसे स्मार्ट AI भी भ्रमित हो जाता है। यह अक्सर चीजों से टकरा जाता है, गोल-गोल घूमता रहता है, या बहुत जल्दी हार मान लेता है, यह सोचकर कि काम पूरा हो गया है जबकि वास्तव में वह लक्ष्य से अभी भी मीलों दूर होता है।
अध्ययन ने यह भी देखा कि क्यों AI विफल होता है। तथ्य यह है कि एक एकल चित्र में किसी वस्तु को पहचानने में कुशल होना (जैसे किसी फोटो में कार ढूंढना) इस बात की गारंटी नहीं देता कि AI उस कार तक जाने के लिए ड्रोन उड़ा पाएगा। AI को केवल "देखने" से कहीं अधिक करने की आवश्यकता है; उसे एक रास्ता बनाना होगा, अपनी ऊंचाई को समायोजित करना होगा, लक्ष्य को दृष्टि में रखना होगा, और चीजें गलत होने पर अनुकूलित होना होगा। शोधकर्ताओं ने पाया कि AI अक्सर "ड्रिफ्ट और ऑसिलेशन" (भटकाव और दोलन) से ग्रस्त होता है—यह एक भ्रमित पतंगे की तरह आगे-पीछे फंस जाता है—या "प्रीमैच्योर टर्मिनेशन" (समय से पूर्व समाप्ति) का शिकार होता है, जहाँ वह कुछ ही सेकंड के बाद जीत की घोषणा कर देता है क्योंकि वह थक गया या भ्रमित हो गया।
अंततः, यह शोध पत्र सुझाव देता है कि हालांकि सामान्य-उद्देश्य वाले AI बिना किसी विशेष प्रशिक्षण के ड्रोन को नियंत्रित करने में बेहतर हो रहे हैं, लेकिन वे वास्तविक दुनिया के लिए तैयार नहीं हैं। AI जो कर सकता है और जो एक इंसान कर सकता है, उसके बीच का अंतर अभी भी बहुत बड़ा है। लेखक चेतावनी देते हैं कि जैसे-जैसे ये मॉडल्स बड़े और स्मार्ट होते जाएंगे, वे अधिक सक्षम हो सकते हैं, लेकिन यदि उन्हें बहुत जल्दी तैनात किया गया तो वे जोखिम भी पैदा कर सकते हैं। फिलहाल, मिशनबेंच एक रियलिटी चेक के रूप में कार्य करता है: दुनिया के बारे में सब कुछ जानने वाला दिमाग होने का मतलब यह स्वतः ही नहीं है कि आप उसमें ड्रोन उड़ाना जानते हैं। "उड़ने के बारे में पढ़ने" से "वास्तव में उड़ने" तक की यात्रा अभी लंबी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।