From Routes to Steps: Separating Semantic Progress from Local Execution in Vision-and-Language Navigation
यह शोध पत्र Route2Step का प्रस्ताव करता है, जो एक स्पष्ट स्टेप-लेवल इंटरफेस और एक नवीन अलाइनमेंट प्रक्रिया के माध्यम से सिमेंटिक प्रोग्रेस ट्रैकिंग को लोकल एक्शन जनरेशन से अलग करता है, जिससे निष्पादन (execution) और प्रगति (progress) संबंधी त्रुटियों के बीच की अस्पष्टता को हल किया जा सके और विजन-एंड-लैंग्वेज नेविगेशन प्रदर्शन में महत्वपूर्ण सुधार किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को केवल एक वॉयस कमांड और अपनी कैमरा आँखों का उपयोग करके एक विशाल, अदृश्य भूलभुलैया में नेविगेट करना सिखा रहे हैं। यह विज़न-एंड-लैंग्वेज नेविगेशन (VLN) की दुनिया है। इसे एक घर में खेले जाने वाले "साइमन सेज़" (Simon Says) के हाई-स्टेक्स गेम की तरह समझें, जहाँ रोबोट को यह समझना होगा कि वह वास्तव में कहाँ है और उसे आगे क्या करना है, सिर्फ "लाल सोफे के पास से गुजरें, नीले लैंप पर बाएं मुड़ें, और रसोई के सामने रुकें" जैसे वाक्य को सुनकर। पेचीदा बात यह है कि रोब를 को केवल अपने पैर चलाने की ज़रूरत नहीं है; उसे यात्रा की कहानी को भी समझना होगा। उसे यह पता होना चाहिए कि क्या वह लाल सोफे को पहले ही पार कर चुका है या वह अभी भी उसे ढूँढ रहा है। यदि रोबोट भ्रमित हो जाता है और गलत दिशा में चला जाता है, तो उसे यह एहसास होना चाहिए, "ओह नहीं, मैंने मोड़ मिस कर दिया!" और आगे बढ़ने से पहले उसे अपना मानसिक मानचित्र (mental map) ठीक करना होगा। बिना इस क्षमता के कि वह अपनी प्रगति को ट्रैक कर सके, रोबोट शायद ही कभी "नीले लैंप पर बाएं मुड़ें" करने की कोशिश करता रहेगा, भले ही वह लैंप को पहले ही पार कर चुका हो, जिससे वह एक खोया हुआ और भ्रमित मशीन बन जाएगा।
यह समस्या एक टीम ने हल करने का निर्णय लिया जो बेइहांग (Beihang) और सदर्न यूनिवर्सिटी ऑफ साइंस एंड टेक्नोलॉजी जैसी यूनिवर्सिटीज के शोधकर्ताओं से जुड़ी थी। उन्होंने गौर किया कि अधिकांश रोबोट नेविगेटर एक ही समय में दो बहुत अलग काम करने की कोशिश कर रहे थे: एक बड़ी तस्वीर (रूट) को ट्रैक करना और अगले छोटे कदम (मूवमेंट) को तय करना। उन्होंने पाया कि जब रोबोट गलती करता था, तो यह बताना मुश्किल होता था कि रोबोट ने निर्देश को गलत समझा था (यह सोचकर कि वह गलत चरण पर है) या वह केवल मूवमेंट को सही ढंग से एक्जीक्यूट करने में विफल रहा था। इसे ठीक करने के लिए, उन्होंने Route2Step नामक एक नया सिस्टम बनाया। इसे एक रोबोट को एक ओवरवर्क्ड दिमाग के बजाय एक दो-सदस्यीय क्रू देने के रूप में सोचें। इसमें एक व्यक्ति, "इंस्ट्रक्शन एनालिस्ट" (Instruction Analyst), एक टूर गाइड की तरह काम करता है जो लगातार मैप चेक करता है और कहता है, "ठीक है, हम अभी 'बेडरूम से बाहर निकलने' के चरण में हैं।" दूसरा व्यक्ति, "एक्शन जनरेटर" (Action Generator), ड्राइवर है जो उस गाइड की बात सुनता है और कहता है, "समझ गया, मैं अब बाएं मुड़ूँगा।" इन कामों को अलग करके, रोबोट अपने ड्राइविंग को खराब किए बिना अपने मानसिक मानचित्र को ठीक कर सकता है, और इसके विपरीत भी।
दो सिरों वाला नेविगेटर (The Two-Headed Navigator)
रोबोट को प्रशिक्षित करने के पुराने तरीके में, सिस्टम एक ऐसे छात्र की तरह था जो केवल अंतिम टेस्ट स्कोर देखकर गणित और इतिहास दोनों एक साथ सीखने की कोशिश कर रहा है। यदि रोबोट रास्ता भटक जाता था, तो शिक्षक केवल यह कहते थे, "गलत चाल, फिर से कोशिश करो," बिना यह बताए कि रोबोट ने क्यों सोचा कि वह सही जगह पर है। शोधकर्ताओं ने पाया कि इससे रोबोट के लिए "मैं खो गया हूँ" और "मैं बस अनाड़ी हूँ" के बीच अंतर करना कठिन हो गया था।
इसे हल करने के लिए, उन्होंने Route2Step पेश किया, एक ऐसा फ्रेमवर्क जो रोबोट के दिमाग को दो अलग-अलग मॉड्यूल में विभाजित करता है जो एक स्पष्ट इंटरफ़ेस के माध्यम से एक-दूसरे से बात करते हैं।
द टूर गाइड (MIA):
पहला मॉड्यूल इंस्ट्रक्शन एनालिसिस मॉड्यूल (MIA) है। MIA को एक बहुत ही चौकस टूर गाइड के रूप में कल्पना करें जिसके पास पूरा निर्देश मैनुअल है और जो रोबोट के वीडियो इतिहास को देखता है। इसका एकमात्र काम इस सवाल का जवाब देना है: "हम अभी निर्देश के किस हिस्से को कर रहे हैं?" क्या यह "बेडरूम से बाहर निकलना" है, या "हॉलवे में नीचे चलना" है? यह यह भी जाँचता है कि क्या रोबोट एक "नॉर्मल" अवस्था (रास्ते का पूरी तरह पालन करना) में है या "रिकवरिंग" अवस्था (एक गलती के बाद वापस पटरी पर आने की कोशिश करना) में है। MIA रोबोट को पैर कैसे चलाने के बारे में नहीं बताता; यह केवल रोबोट के मानसिक मानचित्र को अपडेट करता है।
द ड्राइवर (MAG):
दूसरा मॉड्यूल एक्शन जनरेशन मॉड्यूल (MAG) है। यह ड्राइवर है। यह वर्तमान स्थान, रोबोट की आँखों से प्राप्त हालिया वीडियो फीड और टूर गाइड के विशिष्ट निर्देश ("हम अभी बेडरूम से बाहर निकल रहे हैं") को लेता है। इसके आधार पर, MAG तत्काल भौतिक क्रियाओं का निर्णय लेता है: "बाएं मुड़ें, आगे बढ़ें, रुकें।" क्योंकि MAG केवल तात्कालिक "कैसे" पर ध्यान केंद्रित करता है, इसलिए यह भ्रमित नहीं होता है यदि रोबोट गलती से रास्ते से भटक जाता है; यह बस वर्तमान चरण को यथासंभव अच्छी तरह से निष्पादित करने की कोशिश करता है।
"E-SPA" का जादू
आप सोच सकते हैं: "आप रोबोट को यह कैसे सिखाएंगे कि वह किस चरण पर है यदि आपके पास मानव द्वारा यह नहीं लिखा गया है कि प्रत्येक चरण वास्तव में कब होता है?" यहीं पर शोधकर्ताओं ने रचनात्मकता दिखाई। उन्होंने E-SPA (एनर्जी-मिनिमाइजिंग सिमेंटिक पाथ एलाइनमेंट) नामक एक विधि विकसित की।
E-SPA को एक स्मार्ट पहेली सुलझाने वाले के रूप में समझें। रोबोट को एक इंसान के चलने का एक लंबा, निरंतर वीडियो दिया जाता है, लेकिन निर्देश केवल एक लंबा वाक्य होते हैं। E-SPA वीडियो और टेक्स्ट को देखता है और यह पता लगाता है कि प्राकृतिक ब्रेक कहाँ हैं। यह पूछता है, "'बेडरूम से बाहर निकलना' का निर्देश कहाँ समाप्त होता है और 'रसोई तक जाना' कहाँ शुरू होता है?" यह शब्दों को विजुअल संकेतों (जैसे दरवाजा देखना) और मूवमेंट (जैसे उसके माध्यम से चलना) के साथ मैच करके ऐसा करता है। यह सिस्टम को एक "लॉन्ग-स्टोरी" निर्देश से "स्टेप-बाय-स्टेप" मैप बनाने की अनुमति देता है, बिना किसी मानव द्वारा हर बार बटन दबाने की आवश्यकता के।
उन्होंने क्या पाया
शोधकर्ताओं ने अपने इस दो-सिर वाले रोबोट का परीक्षण R2R-CE नामक एक मानक नेविगेशन चुनौती पर किया। परिणाम उत्साहजनक थे। जब उन्होंने अपने नए सिस्टम का उपयोग किया, तो रोबोट की सफलता दर 48.1% से बढ़कर 55.3% हो गई। SPL (जो मापता है कि रोबोट कितनी अच्छी तरह से लक्ष्य तक पहुँचता है बिना किसी फालतू लंबे चक्कर के) के मामले में, स्कोर 43.3% से सुधरकर 48.2% हो गया।
लेकिन असली जादू यह था कि उन्होंने इसे कैसे हासिल किया। आमतौर पर, रोबोट को अपनी गलतियों से सीखने के लिए, आपको हजारों उदाहरणों की आवश्यकता होती है जहाँ एक इंसान रोबोट द्वारा लिए गए प्रत्येक कदम को सुधारता है। यह महंगा और समय लेने वाला है। हालाँकि, Route2Step ने एक चालाकी भरी ट्रिक का उपयोग किया। इसने "टूर गाइड" (MIA) को यह पहचानने के लिए कि रोबोट कब खो गया था (स्टेट-लेवल सुपरविजन) सिखाने के लिए लगभग 190,000 उदाहरणों का उपयोग किया, लेकिन "ड्राइवर" (MAG) को विशिष्ट गतिविधियों को ठीक करने के लिए सिखाने के लिए केवल 11,500 उदाहरणों का उपयोग किया।
यह सुझाव देता है कि रोबोट को यह बताने में बहुत अधिक महत्वपूर्ण है कि वह कहानी में कहाँ है, बजाय इसके कि उसके हर एक कदम को सूक्ष्मता से नियंत्रित किया जाए। अपने मानसिक मानचित्र को ठीक करके, रोबोट अक्सर खुद ही सही मूवमेंट का पता लगा सकता था।
वास्तविक दुनिया के परीक्षण और भविष्य के कदम
टीम केवल कंप्यूटर सिमुलेशन तक ही सीमित नहीं रही। उन्होंने अपने रोबोट को एक वास्तविक, चार पैरों वाले रोबोट डॉग (एक Unitree GO2) पर लगाया और उसे लैब, पार्क और कैफे सहित वास्तविक इनडोर और आउटडोर वातावरण में भेजा। उन्होंने रोबोट को वास्तविक दुनिया के लिए फिर से प्रशिक्षित नहीं किया; उन्होंने बस इसे सिमुलेशन में सीखी गई स्किल्स का उपयोग करने दिया।
इन वास्तविक दुनिया के परीक्षणों में, रोबोट 33 में से 19 परीक्षणों को सफलतापूर्वक पूरा करने में सफल रहा। 120 शब्दों के एक विशेष रूप से कठिन इनडोर कार्य में, पुराने स्टाइल के रोबोट (StreamVLN) पूरी तरह से विफल रहे, जो औसतन 7 चरणों में से केवल लगभग 2.2 चरण ही पूरा कर पाए। हालाँकि, Route2Step रोबोट ने औसतन 5.0 चरण पूरे किए और 5 में से 3 परीक्षणों में सफल रहा। यह सुझाव देता है कि "टूर गाइड" दृष्टिकोण रोबोट को ट्रैक पर रहने में मदद करता है, भले ही वास्तविक दुनिया अव्यवस्थित और भ्रमित करने वाली हो।
शोधकर्ताओं ने यह भी दिखाया कि यह "टूर गाइड" विचार लचीला है। उन्होंने अपने सिस्टम के "इंस्ट्रक्शन एनालिसिस" भाग को चार अन्य मौजूदा रोबोट नेविगेटर्स में प्लग किया जो पूरी तरह से फ्रीज (बिना किसी ट्रेनिंग के) थे। केवल इन अन्य रोबोटों को यह सलाह देकर कि वे किस चरण पर हैं, वे बेहतर नेविगेट करने में सक्षम हुए, जिससे यह साबित हुआ कि "क्या चरण है" को "कैसे चलें" से अलग करना किसी भी रोबोट के लिए एक उपयोगी विचार है, न कि केवल उनके विशिष्ट डिज़ाइन के लिए।
संक्षेप में, Route2Step यह सुझाव देता है कि बेहतर रोबोट नेविगेशन की कुंजी केवल रोबोट को चलने में स्मार्ट बनाना नहीं है; बल्कि यह है कि वह यह बेहतर जानता हो कि वह कहानी में कहाँ है। प्रगति को ट्रैक करने के काम को चलने के काम से अलग करके, रोबोट अधिक मजबूत बनता है, अधिक कुशलता से सीखता है, और वास्तव में वास्तविक दुनिया की अव्यवस्थित और अप्रत्याशित प्रकृति को संभाल सकता है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।