💻 computer science

BIT-Nav: Brain-Inspired Trajectory Memory for Embodied Navigation

BIT-Nav एक मस्तिष्क-प्रेरित, कॉम्पैक्ट प्रक्षेपवक्र स्मृति (trajectory memory) को पेश करके विजन-लैंग्वेज नेविगेशन में स्पार्स फ्रेम चयन की सीमाओं को संबोधित करता है, जो एक Bi-GRU एनकोडर और कंट्रास्टिव लर्निंग के माध्यम से संरचित गति इतिहास को एक एकल टोकन में संकुचित करता है, जिससे टोकन लागत बढ़ाए बिना प्रभावी दीर्घ-क्षितिज तर्क (long-horizon reasoning) सक्षम होता है।

मूल लेखक: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

प्रकाशित 2026-06-23

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Rithvik Jonna, Aakash Gurram, Man Namgung, Wyatt Mackey, Tinoosh Mohsenin

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक वॉकी-टॉकी के माध्यम से एक विशाल, अपरिचित भूलभुलैया में एक रोबोट का मार्गदर्शन करने की कोशिश कर रहे हैं। आप उसे निर्देश देते हैं जैसे, "आगे बढ़ो, बड़े लाल दरवाजे पर बाएं मुड़ो, फिर तब तक सीधे जाओ जब तक तुम्हें एक सोफा न दिख जाए।"

लंबे समय से, AI रोबोट शब्दों को समझने और अपने वर्तमान कमरे को देखने में बहुत अच्छे रहे हैं। लेकिन उनके पास एक बड़ी कमी है: वे भूल जाते हैं कि वे कहाँ से आए थे।

यदि आप एक रोबोट को 100 कदम चलने के लिए कहते हैं, तो अधिकांश वर्तमान सिस्टम पिछले कुछ कमरों के "फोटो एल्बम" को देखकर याद रखने की कोशिश करते हैं। लेकिन जैसे-जैसे यात्रा लंबी होती जाती है, यह फोटो एल्बम बहुत बड़ा होता जाता है, इसलिए उन्हें अधिकांश फोटो फेंकने पड़ते हैं। यदि वे केवल कुछ बिखरे हुए स्नैपशॉट रखते हैं, तो वे उस "प्रवाह" को खो देते हैं कि वे वहाँ कैसे पहुँचे। वे यह तो जान सकते हैं कि वे सोफे वाले कमरे में हैं, लेकिन उन्हें यह नहीं पता होगा कि वे वहाँ पहुँचने के लिए तीन बार बाएं मुड़े थे या वे एक घेरे में घूम रहे थे।

BIT-Nav एक नया सिस्टम है जिसे इस मेमोरी समस्या को ठीक करने के लिए डिज़ाइन किया गया है। यह कैसे काम करता है, इसके लिए सरल उपमाओं का उपयोग किया गया है:

1. "मानसिक मानचित्र" बनाम "फोटो एल्बम"

वर्तमान रोबोट अपनी यात्रा को याद रखने के लिए फोटो (विजुअल फ्रेम्स) सहेजकर कोशिश करते हैं। शोध का तर्क है कि लंबी यात्राओं के लिए फोटो खराब होते हैं क्योंकि वे बहुत अधिक जगह लेते हैं और गति के "प्रवाह" को मिस कर देते हैं।

BIT-Nav खेल बदल देता है। फोटो बचाने के बजाय, यह स्वयं गति का एक संक्षिप्त सारांश सहेजता है। इसे इस प्रकार सोचें:

पुराना तरीका: पेड़ों और चट्टानों के 100 रैंडम स्नैपशॉट देखकर 10 मील की पैदल यात्रा को याद रखने की कोशिश करना। आप यह मिस कर सकते हैं कि आपने एक बड़ा लूप (घेरा) बनाया था।
BIT-Nav का तरीका: अपनी जेब में एक छोटा सा नोट रखना जिसमें लिखा हो, "मैंने 10 मील की यात्रा की, 4 बार बाएं मुड़ा, और अब उत्तर की ओर देख रहा हूँ।"

2. "मस्तिष्क से प्रेरित" मेमोरी (BITE)

पेपर अपने मेमोरी मॉड्यूल को BITE (Bi-GRU Trajectory Encoder) कहता है। यह इस बात से प्रेरित है कि मानव मस्तिष्क (विशेष रूप से हिप्पोकैम्पस) कैसे काम करता है। जब आप कहीं चलते हैं, तो आपका मस्तिष्क आपके विज़न के हर एक पिक्सेल को रिकॉर्ड नहीं करता है; यह आपके पाथ इंटीग्रेशन (पथ एकीकरण) की गणना करता है। यह आपके कदमों, मोड़ों और दिशा को ट्रैक करता है ताकि एक मानसिक मानचित्र बना सके।

BIT-Nav रोबोट के लिए भी यही करता है:

यह रोबोट के कार्यों (आगे, बाएं मुड़ना, दाएं मुड़ना) को देखता है।
यह गणितीय रूप से रोबोट की स्थिति और दिशा की गणना करता है।
यह पूरी यात्रा के इतिहास को एक एकल "मेमोरी टोकन" में संकुचित (compress) कर देता है।

3. "बड़े दिमाग" के लिए "अनुवादक"

रोबोट निर्देशों को समझने के लिए एक बहुत ही स्मार्ट "बड़ा दिमाग" (Qwen3-VL-8B नामक एक विजन-लैंग्वेज मॉडल) का उपयोग करता है। यह बड़ा दिमाग पढ़ने और देखने में बहुत अच्छा है, लेकिन यह स्वाभाविक रूप से गणित या गति के इतिहास को नहीं समझता है।

BIT-Nav एक अनुवादक के रूप में कार्य करता है। यह उस छोटे से "गति सारांश" (मेमोरी टोकन) को लेता है और इसे उस भाषा में अनुवादित करता है जिसे बड़ा दिमाग समझ सके। फिर यह उस एकल टोकन को वर्तमान कैमरा दृश्य और निर्देश के साथ बड़े दिमाग को सौंप देता है।

4. यह क्यों मायने रखता है: "टोकन" की अर्थव्यवस्था

AI में, "टोकन" शब्दों या डेटा के टुकड़ों की तरह होते हैं जिन्हें कंप्यूटर को प्रोसेस करना होता है।

समस्या: यदि एक रोबोट लंबी यात्रा को याद रखने के लिए बड़े दिमाग को हर पिछले कार्य की सूची भेजता है (जैसे, "चरण 1: आगे, चरण 2: बाएं मुड़ें... चरण 100: आगे"), तो यह हजारों टोकन का उपयोग करता है। यह धीमा, महंगा है, और बड़े दिमाग को डेटा की भारी मात्रा से भ्रम हो जाता है।
BIT-Nav का समाधान: चाहे रोबोट ने 10 कदम चले हों या 1,000 कदम, BIT-Nav केवल एक एकल टोकन भेजता है। यह एक 1,000 पन्नों की डायरी भेजने के बजाय एक एकल, सटीक सारांश वाक्य भेजने जैसा है।

शोध में क्या पाया गया

शोधकर्ताओं ने एक सिम्युलेटेड वातावरण (Isaac Sim) में R2R डेटासेट (एक मानक रोबोट नेविगेशन टेस्ट) के साथ इसका परीक्षण किया।

बेहतर दिशा बोध: जब पूछा गया, "उन सभी मोड़ों के बाद, हम जहाँ से शुरू किए थे उसके मुकाबले बाएं या दाएं देख रहे हैं?", तो BIT-Nav रोबोट ने 83% बार सही उत्तर दिया। इस मेमोरी के बिना, रोबोट रैंडम अनुमान लगाता (लगभग 7% सटीकता)।
दक्षता (Efficiency): BIT-Nav रोबोट ने उन रोबोटों की तुलना में बहुत अधिक सटीकता प्राप्त की जो हर पिछले कदम की सूची बनाकर याद रखने की कोशिश करते थे, और इसने 22 गुना कम डेटा टोकन का उपयोग किया।
निर्देश ट्रैकिंग: रोबोट निर्देशों की एक लंबी सूची में बेहतर तरीके से समझ सका कि वह कहाँ था (जैसे, "मैंने पहला भाग कर लिया है, अब मुझे दूसरा भाग करना है") क्योंकि वह जानता था कि वहाँ पहुँचने के लिए उसने वास्तव में कैसे गति की थी।

सारांश

BIT-Nav रोबोट को पुराने फोटो देखकर यात्रा को याद रखने के बजाय, अपनी गति को समझकर याद रखना सिखाता है। एक लंबे, जटिल पथ को एक एकल, स्मार्ट "मेमोरी टोकन" में संकुचित करके, यह रोबोट को बिना रास्ता भटके या मेमोरी खत्म किए लंबी दूरी तय करने की अनुमति देता है, और यह सब उसके शक्तिशाली AI दिमाग की भाषा में ही करता है।

तकनीकी सारांश: BIT-Nav

समस्या विवरण (Problem Statement)

विज़न-लैंग्वेज मॉडल्स (VLMs) ने विज़ुअल परसेप्शन और नेचुरल लैंग्वेज रीजनिंग को एकीकृत करके एम्बॉडीड नेविगेशन (embodied navigation) को उन्नत किया है। हालांकि, लॉन्ग-होराइजन विज़न-एंड-लैंग्वेज नेविगेशन (VLN) के लिए मौजूदा दृष्टिकोणों में एक गंभीर सीमा है: वे रीजनिंग के स्तर पर प्रभावी रूप से स्टेटलेस (stateless) हैं। NaVILA जैसे वर्तमान तरीके पिछले इमेज फ्रेम्स के एक निश्चित विंडो को सैंपल करके इतिहास को शामिल करते हैं। जैसे-जैसे एपिसोड आगे बढ़ते हैं, यह फिक्स्ड-साइज़ विज़ुअल हिस्ट्री तेजी से विरल (sparse) होती जाती है, जिससे महत्वपूर्ण मध्यवर्ती मोशन स्ट्रक्चर छूट जाते हैं। पूर्व के कार्यों के अनुभवजन्य प्रमाण संकेत देते हैं कि केवल सैंपल किए गए फ्रेम्स की संख्या बढ़ाने (जैसे, 8 से 64 तक) से नेविगेशन सटीकता में सुधार नहीं होता है, जो यह सुझाव देता है कि बाधा फ्रेम की मात्रा में नहीं बल्कि प्रतिनिधित्व (representation) की प्रकृति में है। स्पार्स फ्रेम चयन उन संरचित व्यवहार संकेतों (structured behavioral signals)—जैसे कि टर्निंग पैटर्न, संचयी विस्थापन (cumulative displacement), और पाथ टोपोलॉजी—को कैप्चर करने में विफल रहता है, जो लॉन्ग-होराइजन रीजनिंग के लिए आवश्यक हैं। इसके अलावा, कंट्रोल हेड्स में उपयोग किए जाने वाले लो-लेवल रिकरेंट स्टेट्स आमतौर पर VLM को स्पष्ट, क्वेरी करने योग्य ट्रजेक्टरी रिप्रेजेंटेशन के रूप में एक्सपोज़ नहीं किए जाते हैं।

कार्यप्रणाली (Methodology)

लेखक BIT-Nav (Brain-Inspired Trajectory Memory for Embodied Navigation) का प्रस्ताव करते हैं, जो एक कॉम्पैक्ट, लर्नड ट्रजेक्टरी मेमोरी के साथ मौजूदा VLM पाइपलाइनों को सुदृढ़ करता है। हिप्पोकैम्पल-एंटोरहिनल सिस्टम (hippocampal-entorhinal system) से प्रेरित, जो कच्चे संवेदी पुनरावृत्ति (raw sensory replay) के बजाय संरचित एपिसोडिक ट्रेसेस में स्थानिक अनुभव को संकुचित करता है, BIT-Nav ट्रजेक्टरी हिस्ट्री को एक स्पष्ट मोडैलिटी के रूप में मानता है।

पाइपलाइन चार प्रमुख चरणों से मिलकर बनी है:

ट्रजेक्टरी रिप्रेजेंटेशन और फीचर इंजीनियरिंग:
रॉ एक्शन आईडी फीड करने के बजाय, सिस्टम डिस्क्रीट नेविगेशन एक्शन्स ( $a_{1:T}$ ) को प्रत्येक टाइमस्टेप पर एक 7-डायमेंशनल मोशन फीचर वेक्टर ( $m_t$ ) में बदल देता है। इस वेक्टर में संचयी प्लानर पोजीशन ( $c_x, c_y$ ), संचित हेडिंग ( $\theta$ ), हेडिंग परिवर्तन ( $\Delta\theta$ ), और फॉरवर्ड ट्रांसलेशन तथा रोटेशन के लिए इंडिकेटर वेरिएबल्स शामिल हैं। यह समृद्ध प्रतिनिधित्व स्थानीय कंट्रोल सिग्नल्स और एजेंट की संचित ज्यामितीय स्थिति (geometric state) दोनों को उजागर करता है।
BITE (Bi-GRU ट्रजेक्टरी एनकोडर):
एक 2-लेयर बाइडायरेक्शनल GRU वेरिएबल-लेंथ मोशन सीक्वेंस को एनकोड करता है। केवल अंतिम हिडन स्टेट पर निर्भर रहने वाले तरीकों के विपरीत, BITE पूरे वैध सीक्वेंस पर एक मास्कड मीन-पूलिंग मैकेनिज्म का उपयोग करके एक फिक्स्ड-डायमेंशनल एम्बेडिंग ( $\bar{h} \in \mathbb{R}^{512}$ ) उत्पन्न करता है। यह सुनिश्चित करता है कि एम्बेडिंग केवल अंतिम स्थिति का ही नहीं, बल्कि पूरी पाथ स्ट्रक्चर का सारांश प्रस्तुत करती है। आउटपुट को एक प्रोजेक्शन हेड के माध्यम से पास किया जाता है और 128-डायमेंशनल ट्रजेक्टरी एम्बेडिंग ( $z$ ) बनाने के लिए $\ell_2$ -नॉर्मलाइज़ किया जाता है।
कॉन्ट्रास्टिव लर्निंग ऑब्जेक्टिव:
एनकोडर को ग्रुप-स्ट्रक्चर्ड मिनी-बैचेस पर मल्टी-पॉजिटिव InfoNCE ऑब्जेक्टिव (SimCLR-स्टाइल) का उपयोग करके प्रशिक्षित किया जाता है। डेटासेट को 10 ऑगमेंटेड ट्रजेक्टरीज के समूहों में व्यवस्थित किया गया है जो समान स्टार्ट और एंड पॉइंट्स साझा करते हैं लेकिन उनके मध्यवर्ती स्टेप्स और कुल लंबाई भिन्न होती है। प्रत्येक एंकर ट्रजेक्टरी के लिए, समूह में अन्य 9 ट्रजेक्टरीज पॉजिटिव के रूप में कार्य करती हैं, जबकि अन्य समूहों की ट्रजेक्टरीज नेगेटिव के रूप में कार्य करती हैं। यह ऑब्जेक्टिव एनकोडर को "स्टार्ट-गोल इक्विवेलेंस क्लास" के कॉम्पैक्ट रिप्रेजेंटेशन को सीखने के लिए मजबूर करता है, जो विशिष्ट पथों को याद रखने के बजाय संरचनात्मक अपरिवर्तनीयता (structural invariance) को कैप्चर करता है।
VLM के साथ एकीकरण:
प्रशिक्षित Bi-GRU एनकोडर को फ्रीज कर दिया जाता है। एक लाइटवेट, लर्न करने योग्य मल्टीमॉडल प्रोजेक्टर (MLP) ट्रजेक्टरी एम्बेडिंग को एक प्री-ट्रेंड VLM (विशेष रूप से Qwen3-VL-8B) के टोकन स्पेस में मैप करता है। प्रत्येक निर्णय चरण पर, इस प्रोजेक्टेड वेक्टर को वर्तमान विज़ुअल ऑब्जर्वेशन, स्पार्स हिस्टोरिकल फ्रेम्स और लैंग्वेज इंस्ट्रक्शन के साथ एक एकल "ट्रजेक्टरी मेमोरी टोकन" के रूप में इंजेक्ट किया जाता है। यह VLM को बिना किसी आर्किटेक्चरल मॉडिफिकेशन के, सिंगल फॉरवर्ड पास के भीतर संरचित मोशन हिस्ट्री पर तर्क करने की अनुमति देता है।

मुख्य योगदान (Key Contributions)

इनहेरेंट मोडैलिटी के रूप में ट्रजेक्टरी: यह पेपर VLN के लिए एक विशिष्ट, आवश्यक मोडैलिटी के रूप में ट्रजेक्टरी और पोजीशन को पेश करता है, जो एजेंट मोशन के स्पष्ट प्रतिनिधित्व के साथ विज़ुअल और लिंग्विस्टिक इनपुट्स को पूरक बनाता है।
इमर्जेंट इंस्ट्रक्शन लोकलाइजेशन: फ्रेमवर्क यह प्रदर्शित करता है कि ट्रजेक्टरी मेमोरी को शामिल करने से मॉडल को स्पष्ट पर्यवेक्षण (supervision) के बिना इंस्ट्रक्शन प्रोग्रेस को स्पष्ट रूप से ट्रैक करने में सक्षम बनाता है, जिससे यह पूर्ण किए गए सब-गोल्स को इन्फर करने और शेष स्टेप्स के आधार पर निर्णय लेने में सक्षम होता है।
ट्रजेक्टरी–VLM अलाइनमेंट: लेखक एक लर्नड प्रोजेक्टर के माध्यम से सीखे गए ट्रजेक्टरी एम्बेडिंग्स को एक बड़े VLM के साथ सफलतापूर्वक अलाइन करते हैं, जिससे मॉडल को विज़ुअल ऑब्जर्वेशन के साथ संरचित मोशन हिस्ट्री पर कंडीशन करने की अनुमति मिलती है।
डेटासेट निर्माण: R2R और RxR बेंचमार्क से एक ट्रजेक्टरी-अवेयर डेटासेट बनाया गया है, जिसमें एक ऑगमेंटेशन रणनीति शामिल है जो ज्यामितीय रूप से समकक्ष लेकिन निष्पादन के मामले में विविध ट्रजेक्टरी वेरिएंट्स जेनरेट करती है ताकि सतह-स्तर के एक्शन सीक्वेंस के बजाय मोशन स्ट्रक्चर सीखने के लिए प्रोत्साहित किया जा सके।

परिणाम (Results)

पेपर BIT-Nav का मूल्यांकन दो प्राथमिक अक्षों पर करता है: ट्रजेक्टरी-ग्राउंडेड क्वेरीज पर क्वांटिटेटिव एक्यूरेसी और सिमुलेशन (Isaac Sim) में क्वालिटेटिव रीजनिंग।

क्वांटिटेटिव एक्यूरेसी: संचयी हेडिंग अनुमान (Q1) और एक्शन फ्रीक्वेंसी (Q2) संबंधी क्वेरीज के लिए, जो 15 से 125 स्टेप्स की ट्रजेक्टरी लेंथ तक फैली हुई हैं, BIT-Nav बेसलाइन्स से काफी बेहतर प्रदर्शन करता है।
- संचयी हेडिंग अनुमान के लिए, BIT-Nav सभी ट्रजेक्टरी लेंथ के लिए 0.83 एक्यूरेसी प्राप्त करता है। इसके विपरीत, बेसलाइन्स (Qwen विद टेक्स्ट हिस्ट्री या नो हिस्ट्री) जैसे-जैसे ट्रजेक्टरी बढ़ती है, $\approx 0.07$ पर गिर जाते हैं, क्योंकि वे लंबे इतिहास में साइन्ड टर्न एंगल्स को इंटीग्रेट करने में विफल रहते हैं।
- एक्शन फ्रीक्वेंसी इन्फरेंस के लिए, BIT-Nav टेक्स्ट-हिस्ट्री बेसलाइन्स के प्रदर्शन के बराबर रहता है और निरंतर टोकन कॉस्ट बनाए रखता है।
टोकन एफिशिएंसी: BIT-Nav ट्रजेक्टरी की लंबाई के बावजूद ठीक एक टोकन इंजेक्ट करता है। 124 स्टेप्स पर, एक टेक्स्ट-हिस्ट्री बेसलाइन को 903 टोकन की आवश्यकता होती है, जबकि BIT-Nav केवल 41 टोकन का उपयोग करता है (बेसलाइन लागत का लगभग 4.5%) और साथ ही डेंस मोशन कॉन्टेक्स्ट भी बनाए रखता है।
क्वालिटेटिव इवैल्यूएशन: सिमुलेशन में, BIT-Nav लॉन्ग-होराइजन एपिसोड्स में निष्पादित टर्न दिशाओं और सीक्वेंस को सही ढंग से रिपोर्ट करता है। इसके विपरीत, बेस Qwen मॉडल अक्सर टर्न्स को छोड़ देता है या एपिसोड प्रोग्रेस का गलत अनुमान लगाता है, जिससे उसका रीजनिंग वर्तमान विज़ुअल फ्रेम पर आधारित हो जाता है न कि पूर्ण एक्शन हिस्ट्री पर।

महत्व और दावे (Significance and Claims)

लेखक दावा करते हैं कि BIT-Nav VLM-आधारित नेविगेशन में स्टेटलेस रीजनिंग की मौलिक सीमा को संबोधित करता है। एक कॉम्पैक्ट, स्ट्रक्चर्ड टोकन के रूप में ट्रजेक्टरी हिस्ट्री को एनकोड करके, फ्रेम के रॉ फ्रेम्स के साथ कॉन्टेक्स्ट विंडो को विस्तारित करने के कंप्यूटेशनल ओवरहेड के बिना, यह फ्रेमवर्क स्ट्रक्चर्ड लॉन्ग-होराइजन रीजनिंग को सक्षम बनाता है।

यह पेपर इस बात पर जोर देता है कि यह दृष्टिकोण VLM को इंस्ट्रक्शन लोकलाइजेशन करने की अनुमति देता है—यानी यह निर्धारित करने की क्षमता कि कितना निर्देश निष्पादित किया गया है और क्या शेष है—एजेंट की संचित मोशन हिस्ट्री में निर्णयों को ग्राउंड करके। लेखक नोट करते हैं कि जबकि वर्तमान परिणाम सीखे गए रिप्रेजेंटेशन्स और उनके अलाइनमेंट गुणों को दर्शाते हैं, पूर्ण एंड-टू-एंड बेंचमार्क इवैल्यूएशन (जैसे, R2R/RxR अनसीन स्प्लिट्स पर सक्सेस रेट, SPL) अभी भी जारी कार्य है। प्रस्तावित पद्धति को मौजूदा VLMs के पूरक विस्तार के रूप में प्रस्तुत किया गया है, जो उनकी रीजनिंग क्षमताओं को सुरक्षित रखते हुए उन्हें टेम्पोरली स्ट्रक्चर्ड मोशन हिस्ट्री तक विस्तारित करती है।