💻 computer science

Slow Brain, Fast Planner: Latency-Resilient VLM-Augmented Urban Navigation

यह शोधपत्र एक विलंबता-लचीले (latency-resilient) ढांचे को प्रस्तुत करता है जो एक उत्कृष्ट प्रक्षेपवक्र (trajectory) को उम्मीदवारों के सेट से चुनने के लिए एक धीमे विजन-लैंग्वेज मॉडल को एक तेज़ लर्निंग-आधारित प्लानर के साथ एकीकृत करता है, जो बिना किसी मॉडल रिट्रेनिंग या रियल-टाइम VLM इन्फरेंस के, चुनौतीपूर्ण शहरी वातावरण में नेविगेशन त्रुटियों को काफी कम कर देता है।

मूल लेखक: Zhenghao "Mark'' Peng, Honglin He, Quanyi Li, Yukai Ma, Bolei Zhou

प्रकाशित 2026-06-19

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Zhenghao "Mark'' Peng, Honglin He, Quanyi Li, Yukai Ma, Bolei Zhou

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को शहर के व्यस्त फुटपाथ पर चलना सिखाने की कोशिश कर रहे हैं। उस रोबोट के पास दो बहुत अलग "दिमाग" हैं जो मिलकर काम कर रहे हैं, और यह शोध पत्र इस बारे में है कि कैसे उन्हें एक-दूसरे से टकराए बिना तालमेल बिठाना है।

यहाँ "स्लो ब्रेन, फास्ट प्लानर" (धीमा दिमाग, तेज़ योजनाकार) की कहानी है।

दो दिमाग

फास्ट प्लानर (द रिफ्लेक्सिव एथलीट - त्वरित प्रतिक्रिया देने वाला एथलीट):
इसे एक ऐसे स्प्रिंटर के रूप में सोचें जिसमें अविश्वसनीय रिफ्लेक्स (प्रतिक्रिया शक्ति) है। यह बहुत तेज़ गति से चलता है (एक सेकंड में 5 से 20 बार)। इसका काम रोबोट के ठीक सामने की ज़मीन को देखना और तुरंत कई संभावित रास्ते बनाना है (जैसे "सीधे जाओ," "बाएं मुड़ो," या "धीमे हो जाओ")। यह गणित और भौतिकी (फिजिक्स) में माहिर है; इसे पता है कि रोबोट के पहिए वास्तव में कैसे काम करते हैं और यह सुनिश्चित करता है कि रोबोट भौतिक रूप से किसी दीवार से न टकराए।

कमी: यह दुनिया के बारे में थोड़ा "मूर्ख" है। यह एक ऐसा रास्ता देख सकता है जो भौतिक रूप से संभव तो है लेकिन सामाजिक रूप से बहुत बुरा है, जैसे घास के टुकड़े पर गाड़ी चलाना, लोगों की भीड़ में घुस जाना, या वन-वे सड़क पर गलत दिशा में जाना। यह "सर्वश्रेष्ठ" रास्ता चुनता है, लेकिन गणित के आधार पर, सामान्य समझ (कॉमन सेंस) के आधार पर नहीं।

स्लो ब्रेन (द वाइज़ एल्डर - बुद्धिमान बुजुर्ग):
यह एक विज़न-लैंग्वेज मॉडल (VLM) है। इसे एक बुद्धिमान, अनुभवी मानव पर्यवेक्षक के रूप में सोचें जो एक दृश्य को देख सकता है और उसके संदर्भ (कॉन्टेक्स्ट) को समझ सकता है। इसे पता है कि, "ओह, वह एक पैदल यात्री है, इसलिए हमें रास्ता देना चाहिए," या "वह घास है, फुटपाथ नहीं।"

कमी: यह अविश्वसनीय रूप से धीमा है। सोचने और उत्तर देने में इसे केवल 1 से 3 सेकंड का समय लगता है। यदि रोबोट इस दिमाग के बोलने का इंतज़ार करने के लिए रुक जाता, तो वह चलते हुए संसार में खड़ा रहता, जो कि खतरनाक है।

समस्या: "स्कोरिंग गैप" (अंकों का अंतर)

शोधकर्ताओं ने पाया कि जब फास्ट प्लानर किसी कठिन स्थिति (जैसे भीड़भाड़ वाले चौराहे) का सामना करता है, तो वह अक्सर अपने विकल्पों की सूची में से गलत रास्ता चुन लेता है। यह एक ऐसा रास्ता चुन सकता है जो गणितीय रूप से तो सुगम दिखता है लेकिन रोबंबोट को फुटपाथ से बाहर ले जाता है।

हालाँकि, सही रास्ता वास्तव में फास्ट प्लानर द्वारा बनाई गई विकल्पों की सूची में पहले से ही मौजूद था! समस्या यह नहीं थी कि फास्ट प्लानर एक अच्छा रास्ता बना नहीं सकता था; समस्या यह थी कि इसमें "सामान्य समझ" की कमी थी, इसलिए यह उसे सही ढंग से स्कोर (रैंक) नहीं कर सका।

समाधान: "स्कोर फ्यूजन" सैंडविच

फास्ट प्लानर को स्लो ब्रेन से बदलने के बजाय (जो बहुत धीमा होगा) या स्लो ब्रेन को अनदेखा करने के बजाय (जो बहुत मूर्ख है), लेखकों ने उनके बीच एक पुल बनाया जिसे स्कोर फ्यूजन कहा जाता है।

यह कैसे काम करता है, इसे एक सरल उपमा (एनालॉजी) से समझते हैं:

"स्टेल एडवाइस" (पुरानी सलाह) सैंडविच
कल्पना कीजिए कि आप कार चला रहे हैं (फास्ट प्लानर)। आप पलक झपकते ही स्टीयरिंग के निर्णय ले रहे हैं। आपका बुद्धिमान मित्र (स्लो ब्रेन) पीछे की सीट पर बैठा है, जो नक्शा और ट्रैफिक देख रहा है।

आपका मित्र सोचने में 2 सेकंड लेता है और कहता है, "बाएं मुड़ो!"
जब तक वे बोलते हैं, आप पहले ही 10 मीटर आगे बढ़ चुके होते हैं। उनकी सलाह "पुरानी" (stale) हो चुकी है।
पुराना तरीका: यदि आप बस उनके "बाएं मुड़ो" के आदेश का आँख मूंदकर पालन करते, तो आप दुर्घटनाग्रस्त हो सकते थे क्योंकि अब आप एक अलग जगह पर हैं।
पेपर का तरीका (स्कोर फ्यूजन): आप गाड़ी चलाना नहीं छोड़ते। इसके बजाय, आप अपने मित्र के इरादे (intent) को समझते हैं। आप सोचते हैं, "वे चाहते हैं कि मैं बाएं जाऊं।" फिर आप अपने वर्तमान संभावित मोड़ों को देखते हैं और पूछते हैं, "मेरे वर्तमान विकल्पों में से कौन सा सबसे अधिक उस 'बाएं मोड़' जैसा दिखता है जिसका सुझाव मेरे मित्र ने दिया था?"

सिस्टम स्लो ब्रेन के "पुरानी" पसंद को लेता है और उसे फास्ट प्लानर के "ताज़ा" विकल्पों के साथ मिला देता है। यह उस पथ को बोनस स्कोर देता है जो ज्यामितीय रूप से (geometrically) वैसा ही है जैसा कि स्लो ब्रेन चाहता था। जैसे-जैसे सलाह पुरानी होती जाती है, बोनस कम होता जाता है (एक्सपोनेंशियल डिके), ताकि रोबोट हमेशा पुराने निर्देशों का अंधाधुंध पालन न करे।

यह एक बड़ी बात क्यों है

यह ट्रेनिंग-फ्री है: आपको रोबोट को यह सिखाने में महीनों बिताने की ज़रूरत नहीं है कि वह स्लो ब्रेन से कैसे बात करे। आप किसी भी मानक AI मॉडल (जैसे कि चैटबॉट्स में उपयोग किए जाने वाले मॉडल) को बस प्लग इन कर सकते हैं और यह तुरंत काम करता है।
यह लैग (देरी) को संभालता है: भले ही इंटरनेट धीमा हो और "स्लो ब्रेन" को जवाब देने में 5 सेकंड लगें, रोबमाट सुचारू रूप से चलता रहता है। यह रुकता नहीं है; यह बस उपलब्ध सर्वोत्तम सलाह का उपयोग करके अपने निर्णयों को थोड़ा दिशा देता है।
वास्तविक परिणाम: एक विश्वविद्यालय परिसर में, जहाँ वास्तविक पैदल यात्री और बाधाएं थीं:
- फास्ट प्लानर की तुलना में जटिल स्थितियों में रोबोट ने 30% कम गलतियाँ कीं।
- इसने उन मामलों की संख्या को बहुत कम कर दिया जहाँ किसी इंसान को हस्तक्षेप करना पड़ा या रोबोट को रोकना पड़ा।
- नियमित, साधारण स्थितियों में (जैसे एक लंबा सीधा रास्ता), फास्ट प्लानर अकेले ही ठीक से काम कर रहा था, इसलिए सिस्टम भ्रमित नहीं हुआ।

निष्कर्ष

यह शोध पत्र सिद्ध करता है कि आपको "तेज़ लेकिन मूर्ख" और "स्मार्ट लेकिन धीमा" में से किसी एक को चुनने की आवश्यकता नहीं है। फास्ट रोबोट को गाड़ी चलाने देकर और स्लो AI का उपयोग केवल स्टीयरिंग व्हील को सही इरादे की ओर धीरे से धकेलने के लिए करके, आपको एक ऐसा रोबोट मिलता है जो सुरक्षित भी है और सामाजिक रूप से जागरूक भी, भले ही "स्मार्ट" हिस्सा थोड़ा पीछे चल रहा हो।

तकनीकी सारांश: स्लो ब्रेन, फास्ट प्लानर (Slow Brain, Fast Faster)

समस्या विवरण

शहरी फुटपाथ नेविगेशन के लिए लर्निंग-आधारित लोकल प्लानर्स (local planners) वास्तविक समय (5–20 Hz) में विविध, डायनेमिकली व्यवहार्य (dynamically feasible) कैंडिडेट ट्राजेक्टरीज उत्पन्न करने में उत्कृष्ट हैं। हालांकि, वे ट्राजेक्टरी स्कोरिंग (trajectory scoring) में संघर्ष करते हैं: यानी जब कई विकल्प ज्यामितीय रूप से व्यवहार्य दिखते हैं, तो उनमें से इष्टतम (optimal) कैंडिडेट का चयन करना। इन प्लानर्स में अक्सर उच्च-स्तरीय सिमेंटिक समझ की कमी होती है, जिससे अस्पष्ट स्थितियों में त्रुटियां होती हैं, जैसे कि जंक्शनों पर वैध पथों के बीच अंतर करना, पैदल यात्रियों के आसपास सामाजिक मानदंडों का पालन करना, या इलाके की सीमाओं (जैसे घास बनाम फुटपाथ) को पहचानना।

लेखक इसे एक "ट्राजेक्टरी स्कोरिंग गैप" के रूप में परिमाणित करते हैं। चुनौतीपूर्ण वास्तविक दुनिया के परिदृश्यों में, प्लानर का शीर्ष-रैंक वाला विकल्प उसी सेट के सर्वश्रेष्ठ उपलब्ध कैंडिडेट की तुलना में काफी अधिक औसत विस्थापन त्रुटि (Average Displacement Error - ADE) प्रदर्शित कर सकता है (जैसे, 1.64 मीटर बनाम 0.39 मीटर ADE)। जबकि विजन-लैंग्वेज मॉडल्स (VLMs) के पास इस अंतर को पाटने के लिए आवश्यक सिमेंटिक तर्क क्षमता है, वे उच्च इन्फरेंस लेटेंसी (1–3 सेकंड) से ग्रस्त हैं। एंड-टू-एंड विजन-लैंग्वेज-एक्शन (VLA) मॉडल्स के माध्यम से या पुराने (stale) VLM ट्राजेक्टरीज को निष्पादित करके इन्हें सीधे कंट्रोल लूप में एकीकृत करना, गतिशील बाधाओं के तहत असुरक्षित व्यवहार की ओर ले जाता है या इसके लिए व्यापक रिट्रेनिंग और सिस्टम घटकों के कड़े जुड़ाव की आवश्यकता होती है।

कार्यप्रणाली (Methodology)

यह शोध पत्र स्लो ब्रेन, फास्ट प्लानर का प्रस्ताव करता है, जो एक हाइब्रिड आर्किटेक्चर है जो लेटेंसी-रेज़िलिएंट फ्यूजन लेयर (latency-resilient fusion layer) के माध्यम से फास्ट रिएक्टिव प्लानर को स्लो सिमेंटिक VLM से अलग करता है।

1. सिस्टम आर्किटेक्चर

फास्ट लूप (प्लानर): एक लोकल प्लानर (विशेष रूप से S2E, एक एंकर-आधारित मॉडल) 5–20 Hz पर $K$ कैंडिडेट ट्राजेक्टरीज उत्पन्न करता है। ये कैंडिडेट निर्माण के आधार पर काइनेमैटिक रूप से व्यवहार्य और टकराव-मुक्त होते हैं। प्लानर प्रत्येक के लिए एक कॉन्फिडेंस स्कोर $S_1(\tau_i)$ असाइन करता है।
स्लो लूप (VLM): एक ऑफ-द-शेल्फ VLM (जैसे Gemini, GPT-5, Qwen) एक विजुअल क्वेरी प्राप्त करता है जिसमें वर्तमान कैमरा इमेज के ऊपर $K$ कैंडिडेट ट्राजेक्टरीज को रंगीन पॉलीलाइन्स के रूप में ओवरले किया गया होता है। VLM एक चयनित इंडेक्स $k^*$ और एक रीजनिंग ट्रेस आउटपुट करता है। इस प्रक्रिया में $\Delta t \approx 1\text{--}2$ सेकंड का समय लगता है।
फ्यूजन लेयर: VLM की पुरानी (stale) ट्राजेक्टरी को सीधे निष्पादित करने के बजाय, सिस्टम VLM के सिमेंटिक इरादे (intent) को प्लानर की रियल-टाइम स्कोरिंग में फ्यूज करता है।

2. मुख्य तकनीकी घटक

ट्रेनिंग-फ्री सिलेक्शन: VLM को जीरो-शॉट प्रॉम्ट किया जाता है ताकि वह प्लानर के कैंडिडेट सेट से एक इंडेक्स चुन सके। यह VLA ट्रेनिंग डेटा की आवश्यकता को समाप्त करता है और सिस्टम को फाउंडेशन मॉडल्स में होने वाले सुधारों का लाभ उठाने की अनुमति देता है।
होराइजन अवेयरनेस के साथ ज्योमेट्रिक सिमिलैरिटी: समय की देरी को संभालने के लिए, सिस्टम पुरानी VLM ट्राजेक्टरी को वर्तमान रोबोट फ्रेम में मोशन-कंपनसेट (motion-compensate) करता है। यह केवल शेष होराइजन (ट्राजेक्टरी का वह हिस्सा जिसे रोबोट ने अभी तक पार नहीं किया है) पर सिमिलैरिटी की गणना करता है, "फैंटम" पिछले हिस्से को अनदेखा करते हुए।
$\text{Sim}(\tau_i, \tau_{vlm}) = -\frac{1}{d_{scale}} \cdot \frac{1}{N_{use}} \sum_{n=1}^{N_{use}} \|\tau_i[n] - \hat{\tau}_{vlm}[n]\|^2$
स्टेलेनेस डिके (Staleness Decay): कंट्रोल लूप पर पुराने सलाह के प्रभुत्व को रोकने के लिए, VLM चयन का प्रभाव समय ( $\Delta t$ ) के साथ तेजी से (exponentially) घटता है:
$w(\Delta t) = \exp\left(-\frac{\Delta t}{\tau_{decay}}\right)$
फ्यूजन रणनीतियाँ:
- स्कोर फ्यूजन: प्लानर के स्कोर में एक वेटेड सिमिलैरिटी टर्म जोड़ता है: $S_{fused} = S_1 + \lambda \cdot w(\Delta t) \cdot \text{Sim}$ ।
- प्रोबेबिलिटी फ्यूजन: प्लानर स्कोर और VLM सिमिलैरिटीज के सॉफ्टमैक्स डिस्ट्रीब्यूशन को मिक्स करता है। यह VLM के प्रभाव को सीमित करता ( $\alpha \le 1$ ), जिससे हाइपरपैरामीटर संवेदनशीलता के विरुद्ध अधिक स्थिरता मिलती है।
VLM स्ट्रीमिंग: क्वेरीज़ को एक निश्चित कैडेंस (जैसे, 1 Hz) पर सबमिट किया जाता है, बिना पिछले रिस्पॉन्स का इंतजार किए। सिस्टम नवीनतम उपलब्ध रिस्पॉन्स को फ्यूज करता है, जिससे यह सुनिश्चित होता है कि कंट्रोल लूप कभी बाधित न हो।

मुख्य योगदान

VLM-ऑगमेंटेड नेविगेशन का फॉर्मूलेशन: लेखक समस्या को एंड-टू-एंड एक्शन जनरेशन के बजाय प्लानर कैंडिडेट्स के ऊपर सिलेक्शन के रूप में फ्रेम करते हैं। यह ऑफ-द-शेल्फ VLMs के ट्रेनिंग-फ्री परिनियोजन को सक्षम बनाता है।
लेटेंसी-रेज़िलिएंट फ्यूजन: उन्होंने स्कोर फ्यूजन और प्रोबेबिलिटी फ्यूजन तंत्र प्रस्तावित किए हैं जो पुरानी (stale) VLM चयनों को उच्च-आवृत्ति वाले कंट्रोल लूप्स के लिए उपयोगी संकेतों में बदल देते हैं। यह निरंतर रोबोट मोशन के बावजूद निरंतरता सुनिश्चित करता है।
अनुभवजन्य सत्यापन (Empirical Validation): सिस्टम को कैंपस फुटपाथ पर नेविगेट करने वाले एक मोबाइल रोबोट पर प्रदर्शित किया गया है, जो दिखाता है कि VLM ऑगमेंटेशन प्लानर की रिएक्टिव क्षमताओं को बनाए रखते हुए मानवीय हस्तक्षेप को कम करता है।

परिणाम

ऑफलाइन ट्राजेक्टरी सिलेक्शन

~2,000 सिमेंटिक रूप से चुनौतीपूर्ण वास्तविक दुनिया के परिदृश्यों (जंक्शन, पैदल यात्री मुठभेड़) के डेटासेट पर:

हार्ड सिनेरियो: VLM सेलेक्टर ने प्लानर के argmax (1.64 मीटर) की तुलना में 30% ADE कमी (1.16 मीटर) हासिल की, जो ऑरेकल-बेस्ट (oracle-best) कैंडिडेट (0.39 मीटर) के करीब पहुँच गई।
रूटीन सिनेरियो: प्लानर का सीखा हुआ स्कोरिंग, VLM की तुलना में प्रतिस्पर्धी या बेहतर रहा, जो फ्यूजन दृष्टिकोण की आवश्यकता की पुष्टि करता है।

सिमुलेशन (क्लोज्ड-लूप लेटेंसी)

एक सिम्युलेटर में जहाँ एक करप्टेड प्लानर और नियंत्रित VLM विलंब (delay) था:

स्कोर फ्यूजन ने 5 सेकंड तक की देरी के साथ >80% सफलता दर बनाए रखी।
प्रोबेबिलिटी फ्यूजन ने इसी तरह के प्रदर्शन (~5s पर 78%) को बनाए रखा।
"VLM Hold" जैसे बेसलाइन (जो पुरानी ट्राजेक्टरीज को निष्पादित करते हैं) 2 सेकंड के विलंब के बाद सफलता दर में ढह गए।

वास्तविक दुनिया का परिनियोजन

एक चार पहियों वाले डिलीवरी रोबोट पर तैनात किया गया जिसमें 1.5–3.0 सेकंड की नेटवर्क लेटेंसी थी:

सुरक्षा: प्रोबेबिलिटी फ्यूजन विद स्ट्रीमिंग ने मानवीय टेकओवर को 0.87 प्रति 100 मीटर तक कम कर दिया, जो प्लानर-ओनली बेसलाइन की तुलना में 75% की कमी और नेइव "VLM Hold" निष्पादन की तुलना में 89% की कमी है।
स्वायत्तता: सिस्टम ने बिना किसी हस्तक्षेप के सबसे लंबा स्वायत्त खंड (111.7 मीटर) हासिल किया।
गुणात्मक (Qualitative): मानव पर्यवेक्षकों ने नोट किया कि रोबोट का व्यवहार "भ्रमित" होने के बजाय "इरादतन" (intentional) प्रतीत हुआ, विशेष रूप से इलाके की सीमाओं और पैदल यात्रियों को रास्ता देने वाले मामलों में।

महत्व और दावे

यह पेपर दावा करता है कि VLM-ऑगमेंटेड नेविगेशन में प्राथमिक बाधा ट्राजेक्टरीज उत्पन्न करना नहीं है (जो प्लानर्स अच्छी तरह से संभालते हैं), बल्कि सही ट्राजेक्टरी का संदर्भ-आधारित चयन (context-dependent selection) है। VLM को सीधे नियंत्रण देने के बजाय एक "स्लो ब्रेन" के रूप में उपयोग करके, जो सिमेंटिक बायस प्रदान करता है, सिस्टम "सर्वश्रेष्ठ के दोनों दुनिया" (best of both worlds) वाला परिदृश्य प्राप्त करता है:

यह एज केस को संभालने के लिए फाउंडेशन मॉडल्स की सिमेंटिक तर्क क्षमता का लाभ उठाता है जहाँ पारंपरिक प्लानर विफल हो जाते हैं।
यह रूटीन स्थितियों के लिए सीखे हुए प्लानर्स की रिएक्टिव सुरक्षा और गति को बरकरार रखता है।
यह ट्रेनिंग-फ्री है, जो कंट्रोल स्टैक को फिर से प्रशिक्षित किए बिना नए VLMs के तत्काल परिनियोजन की अनुमति देता है।

लेखक अपने दृष्टिकोण के दायरे के संबंध में विनम्र (modest) होने पर जोर देते हैं: यह प्लानर के कैंडिडेट सेट पर निर्भर करता है (यदि कोई अच्छा कैंडिडेट मौजूद नहीं है, तो VLM मदद नहीं कर सकता) और यह स्वीकार करता है कि VLMs रूटीन परिदृश्यों में "जरूरत से ज्यादा सोच" (overthink) सकते हैं, जिसके लिए उनके प्रभाव को संतुलित करने हेतु फ्यूजन तंत्र की आवश्यकता होती है। यह कार्य दर्शाता है कि उच्च-स्तरीय सिमेंटिक समझ को वास्तविक समय के प्रदर्शन या सुरक्षा से समझौता किए बिना लो-लेवल कंट्रोल लूप्स में एकीकृत किया जा सकता है।