MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation
MemVLN एक रियल-टाइम विज़न-एंड-लैंग्वेज नेविगेशन फ्रेमवर्क है जो कुशल लॉन्ग-होरिज़ोन हिस्ट्री रिटेंशन के लिए एक पिरामिडल एपिसोडिक मेमोरी को ऑटो-रिग्रेसिव डिकोडिंग लेटेंसी को बायपास करने के लिए एटोमिक मिड-लेवल एक्शन्स वाले एक प्रोसीजरल मेमोरी के साथ एकीकृत करके स्टेट-ऑफ-द-आर्ट प्रदर्शन और 14 FPS इन्फरेंस प्राप्त करता है।
मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को एक ऐसे घर में चलना सिखाने की कोशिश कर रहे हैं जिसे उसने पहले कभी नहीं देखा है, और उसे केवल एक आवाज़ द्वारा निर्देशित किया जा रहा है: "रसोई में जाओ, नीले फूलदान के पास बाएं मुड़ो, और फ्रिज के पास रुक जाओ।" यह विज़न-एंड-लैंग्वेज नेविगेशन (VLN) की दुनिया है। यह रोबोटिक्स और आर्टिफिशियल इंटेलिजेंस की एक शाखा है जहाँ एक कंप्यूटर एजेंट को बोले गए निर्देशों को समझना होता है और आगे कहाँ जाना है यह तय करने के लिए कैमरे के माध्यम से दुनिया को देखना होता है। पेचीदा बात यह है कि रोबोट वीडियो गेम की तरह एक जगह से दूसरी जगह कूद नहीं सकता; उसे एक निरंतर स्थान (continuous space) में वास्तविक, कदम-दर-कदम क्रियाएं करनी पड़ती हैं। इसे अच्छी तरह से करने के लिए, रोबोट को दो सुपरपावर की आवश्यकता होती है: एक दीर्घकालिक स्मृति (long-term memory) ताकि वह याद रख सके कि उसने कहाँ से शुरुआत की थी और वह कहाँ जा रहा है (ताकि वह खो न जाए), और तेज़ रिफ्लेक्स (fast reflexes) ताकि वह जो कुछ भी अभी देख रहा है उस पर तुरंत प्रतिक्रिया दे सके। यदि रोबोट सोचने में बहुत धीमा है, तो वह दीवारों से टकरा जाता है; यदि वह अतीत को भूल जाता है, तो वह गोल-गोल घूमता रहता है। वैज्ञानिक इन दोनों को एक साथ करने वाले रोबोट बनाने की कोशिश कर रहे हैं, लेकिन आमतौर पर, उन्हें बुद्धिमान होने और तेज़ होने के बीच किसी एक को चुनना पड़ता है।
यहाँ MemVLN आता है, एक नया 'रोबोट ब्रेन' जिसे दोनों खूबियों को एक साथ पाने के लिए डिज़ाइन किया गया है। इस प्रोजेक्ट के पीछे के शोधकर्ताओं ने महसूस किया कि वर्तमान रोबोट इसलिए संघर्ष करते हैं क्योंकि वे अपनी यात्रा के हर एक विवरण को उसी उच्च गुणवत्ता के साथ याद रखने की कोशिश करते हैं, जो उन्हें बहुत धीमा कर देता है। MemVLN इसे हल करने के लिए इस बात की नकल करता है कि मानव स्मृति वास्तव में कैसे काम करती है। यह इसकी स्मृति को दो विशेष प्रकारों में विभाजित करता है: एपिसोडिक मेमोरी (Episodic Memory) और प्रोसीजरल मेमोरी (Procedural Memory)। एपिसोडिक मेमोरी को एक फोटो एल्बम की तरह समझें जहाँ हाल की तस्वीरें हाई डेफिनिशन में होती हैं, लेकिन पुरानी तस्वीरें छोटी थंबनेल में सिमट जाती हैं। यह रोबोट को यह समझने में मदद करता है कि वह अभी कहाँ है, जबकि वह घंटों पहले लिए गए रास्ते के सामान्य आकार को भी याद रखता है, बिना बहुत अधिक डेटा के बोझ तले दबे। फिर, प्रोसीजरल मेमोरी है, जो ड्राइविंग या टाइपिंग की 'मसल मेमोरी' की तरह है। रोबोट को "मैं अब बाएं मुड़ूँगा और आगे बढ़ूँगा" जैसा लंबा वाक्य सावधानी से टाइप करने के लिए रुकने के बजाय, इसके पास पहले से बने "एक्शन टोकन" का एक शॉर्टकट शब्दकोश है। यह इसे एक ही झटके में निर्णय लेने की अनुमति देता है, जिससे उस धीमी, चरण-दर-चरण सोच की प्रक्रिया को छोड़ दिया जाता है जो आमतौर पर देरी का कारण बनती है।
यह पेपर MemVLN को एक ऐसे फ्रेमवर्क के रूप में पेश करता है जो इन दोनों स्मृति शैलियों को सफलतापूर्वक मिलाकर निरंतर वातावरण में 14 FPS (फ्रेम प्रति सेकंड) की गति से नेविगेट करता है। यह गति में एक महत्वपूर्ण उछाल है, जिसे लेखक पिछले तरीकों की तुलना में काफी बेहतर मानते हैं, जो अक्सर लंबे विजुअल इतिहास की आवश्यकता और रियल-टाइम कंट्रोल की आवश्यकता के बीच संतुलन बनाने में संघर्ष करते हैं। अपने एपिसोडिक मेमोरी के लिए "पिरामिडल रेजोल्यूशन" रणनीति का उपयोग करके, सिस्टम तत्काल दृश्यों को पूर्ण 512 × 512 रेजोल्यूशन पर प्रोसेस करता है, अल्पकालिक दृश्यों को 256 × 256 पर, और दीर्घकालिक इतिहास को संकुचित 128 × 128 पर। यह सुनिश्चित करता है कि रोबोट अपने सामने की चीज़ों पर ध्यान केंद्रित रखे जबकि अतीत का एक संक्षिप्त सारांश भी रखे। अपनी प्रोसीजरल मेमोरी के लिए, टीम ने मानक, धीमी क्रिया उत्पन्न करने के तरीके (जिसमें एक अनुक्रम के लिए 300ms से अधिक समय लगता है) को एक "फास्ट एक्शन" तंत्र से बदल दिया जो एक जटिल चाल को दर्शाने के लिए एक एकल टोकन का उपयोग करता है, जिससे समय घटकर लगभग 70ms हो गया।
मानक नेविगेशन बेंचमार्क, विशेष रूप से R2R-CE और RxR-CE पर परीक्षण के परिणाम बताते हैं कि यह दृष्टिकोण बहुत अच्छी तरह से काम करता है। लेखकों ने पाया कि उनके मॉडल, MemVLN-4B ने R2R डेटासेट पर 5.8% और RxR डेटासेट पर 9.7% की सफलता दर के साथ बेसलाइन Qwen3-VL-4B आर्किटेक्चर को पछाड़ दिया। शायद सबसे प्रभावशाली बात यह है कि नए सिस्टम ने इंफरेंस लेटेंसी (inference latency) में 7× की तेजी हासिल की, जिससे यह रियल-टाइम में काम करने में सक्षम हुआ। पेपर स्पष्ट रूप से इस विचार का खंडन करता है कि 'टोकन मर्जिंग' (एक विधि जिसका उपयोग अन्य सिस्टम डेटा को कंप्रेस करने के लिए करते हैं) सबसे अच्छा समाधान है, यह नोट करते हुए कि यह उस स्थानिक ग्रिड (spatial grid) को नष्ट कर देता है जो उन्नत पोजिशनिंग के लिए आवश्यक है। इसके बजाय, उनका पिरामिडल रेजोल्यूशन ग्रिड संरचना को बनाए रखते हुए भी डेटा को संकुचित करता है। लेखकों ने अपनी मेमोरी पिरामिड के विभिन्न "आकारों" का भी परीक्षण किया और पाया कि एक "असेंडिंग" (ascending) डिज़ाइन, जो हाल के दृश्यों को उच्चतम रेजोल्यूशन देता है, सबसे अच्छा काम करता है। हालाँकि यह मॉडल केवल मानक RGB वीडियो (ठीक वैसे ही जैसे मानव आँख) और प्राकृतिक भाषा पर निर्भर करता है, जिसमें डेप्थ कैमरा जैसे अतिरिक्त सेंसर नहीं हैं, यह सुझाव देता है कि एक स्मार्ट मेमोरी सिस्टम सीमित विजुअल डेटा की भरपाई कर सकता है। अध्ययन इस बात की पुष्टि करता है कि उच्च-सटीक हालिया अवलोकनों और संकुचित इतिहास के बीच संतुलन बनाकर, रोब manera जटिल, अनदेखे स्थानों में पहले से कहीं अधिक प्रभावी ढंग से और तेज़ी से नेविगेट कर सकते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।