💻 computer science

Dynamic Control Barrier Function Regulation with Vision-Language Models for Safe, Adaptive, and Realtime Visual Navigation

यह शोध पत्र AlphaAdj प्रस्तुत करता है, जो एक वास्तविक समय का विजुअल नेविगेशन फ्रेमवर्क है जो एगोसेंट्रिक (egocentric) RGB इनपुट के आधार पर कंट्रोल बैरियर फंक्शन (Control Barrier Function) सुरक्षा फिल्टर की रूढ़िवादिता (conservativeness) को गतिशील रूप से समायोजित करने के लिए एक विजन-लैंग्वेज मॉडल का लाभ उठाता है, जिससे गतिशील वातावरण में फिक्स्ड-पैरामीटर दृष्टिकोणों की तुलना में सुरक्षा और दक्षता के बीच एक बेहतर संतुलन प्राप्त होता है।

मूल लेखक: Jeffrey Chen, Rohan Chandra

प्रकाशित 2026-03-24

📖 5 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jeffrey Chen, Rohan Chandra

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को भीड़भाड़ वाले, अप्रत्याशित जनसमूह के बीच से चलना सिखा रहे हैं। रोबोट को बिंदु A से बिंदु B तक जितनी जल्दी हो सके पहुँचना है, लेकिन उसे कभी किसी से टकराना नहीं चाहिए।

यह चुनौती है जिसे "AlphaAdj" नामक शोध पत्र (paper) हल करता है। यहाँ बताया गया है कि उन्होंने इसे कैसे हल किया, बिना भारी गणित के।

समस्या: रोबोट का "सेफ्टी डायल" (Safety Dial)

पारंपरिक रूप से, रोबोट सुरक्षा प्रणालियाँ रेडियो पर एक फिक्स्ड-वॉल्यूम नॉब (fixed-volume knob) की तरह काम करती हैं।

यदि नॉब बहुत कम घुमाया गया है (बहुत अधिक रूढ़िवादी/conservative): तो रोबोट एक घबराए हुए बुजुर्ग की तरह व्यवहार करता है। वह हर साये पर रुक जाता है, घोंघे की गति से चलता है, और सुरक्षित रहने के लिए बहुत लंबा चक्कर लगाता है। यह सुरक्षित तो है, लेकिन बेहद अक्षम है।
यदि नॉब बहुत अधिक घुमाया गया है (बहुत अधिक आक्रामक/aggressive): तो रोबोट एक लापरवाह किशोर की तरह व्यवहार करता है। वह संकरी जगहों से तेजी से गुजरता है और कोनों को काटता है। यह तेज़ तो है, लेकिन अक्सर टकराकर दुर्घटनाग्रस्त हो जाता है।

समस्या यह है कि "सही" सेटिंग हर सेकंड बदलती रहती है। एक खाली गलियारे में, रोबोट को साहसी होना चाहिए। एक भीड़भाड़ वाले दरवाजे में, उसे सतर्क होना चाहिए। लेकिन अधिकांश रोबोट उस नॉब को इतनी तेज़ी से नहीं बदल सकते क्योंकि वे धीमी, पूर्व-निर्धारित नियमों पर निर्भर होते हैं।

समाधान: रोबोट का "स्मार्ट को-पायलट" (Smart Co-Pilot)

लेखकों ने एक सिस्टम बनाया जिसे AlphaAdj कहा जाता है। इसे एक स्मार्ट को-पायलट के रूप में समझें जो माहौल को पढ़ने में माहिर है।

आंखें (कैमरा): रोबोट एक कैमरे (RGB इनपुट) के माध्यम से दुनिया को देखता है।
दिमाग (VLM): यह कैमरा एक "विज़न-लैंग्वेज मॉडल" (VLM) में जाता है। सोचिए कि VLM एक सुपर-इंटेलिजेंट ऑब्जर्वर है जो केवल "एक वस्तु" को नहीं देखता, बल्कि उसके संदर्भ (context) को समझता है। वह देखता है कि कोई व्यक्ति तेज़ी से चल रहा है, एक संकरा रास्ता है, या एक अराजक भीड़ है।
सिग्नल: VLM कोई जटिल मानचित्र नहीं देता; यह केवल एक सरल रिस्क स्कोर (Risk Score) (0 से 1) देता है।
- 0 = "सब कुछ ठीक है, आगे बढ़ो!"
- 1 = "खतरा! रुक जाओ और बहुत सावधान रहो!"
एडजस्टमेंट (समायोजन): रोबोट इस स्कोर को लेता है और तुरंत अपने "सेफ्टी डायल" (जिसे $\alpha$ पैरामीटर कहा जाता है) को घुमाता है।
- कम जोखिम? डायल ऊपर की ओर घूमता है, और रोबोट तेज़ी से और बाधाओं के करीब चलता है।
- उच्च जोखिम? डायल नीचे की ओर घूमता है, और रोबोट धीमा हो जाता है और अतिरिक्त जगह छोड़ देता है।

पेच: "स्लो इंटरनेट" की समस्या

यहाँ पेचीदा बात यह है। "स्मार्ट को-पायलट" (VLM) बहुत बुद्धिमान है, लेकिन वह धीमा भी है। उसे सोचने और रिस्क स्कोर वापस भेजने में समय लगता है।

यदि रोबोट चलने से पहले को-पायलट के बोलने का इंतज़ार करता है, तो वह हर बार कई सेकंड के लिए स्थिर खड़ा रहेगा। यह वास्तविक समय (real-time) नेविगेशन के लिए बेकार है।
यदि रोबोट केवल आखिरी रिस्क स्कोर का उपयोग करता है जो उसने सुना था, तो यह खतरनाक हो सकता है। कल्पना कीजिए कि को-पायलट ने पाँच सेकंड पहले कहा था "सुरक्षित!", लेकिन तभी एक व्यक्ति रोबोट के सामने से दौड़कर निकल गया। यदि रोबोट अभी भी सोचता है कि यह सुरक्षित है, तो वह टकरा जाएगा।

सेफ्टी नेट: "जियोमेट्रिक कैप" (Geometric Cap)

इस "स्लो इंटरनेट" की समस्या को हल करने के लिए, लेखकों ने एक जियोमेट्रिक कैप जोड़ा।

इसे एक सीटबेल्ट या गार्डरेल के रूप में समझें।

भले ही स्मार्ट को-पायलट धीमा हो या गलत उत्तर दे, रोबोट के पास केवल दूरी और गति पर आधारित एक बैकअप नियम होता है।
नियम: "यदि आप किसी वस्तु के बहुत करीब हैं, तो आप तेज़ नहीं जा सकते, चाहे को-पायलट कुछ भी कहे।"
फ्यूजन (विलय): रोबोट को-पायलट की सलाह को इस सीटबेल्ट के साथ जोड़ता है।
- यदि को-पायलट ताज़ा और अपडेटेड है: "ठीक है, मैं तुम्हारी बात मानूँगा, लेकिन मैं इस स्पीड लिमिट से तेज़ नहीं जाऊँगा।"
- यदि को-पायलट "पुराना/स्टेल" (stale) है: "मैं कुछ समय के लिए तुम्हें अनदेखा कर दूँगा और केवल सख्त स्पीड लिमिट का पालन करूँगा जब तक कि मैं दोबारा तुमसे संपर्क न कर लूँ।"

परिणाम: पूर्ण संतुलन

टीम ने चलती बाधाओं और भीड़ के साथ एक वर्चुअल वेयरहाउस में इसका परीक्षण किया।

पुराना तरीका (फिक्स्ड सेटिंग्स): रोबोट या तो बहुत धीमा था (समय बर्बाद करना) या बहुत तेज़ था (टकराव होना)।
AlphaAdj: रोबोट ने सीखा कि कब सुरक्षित होने पर आक्रामक होना है (खुले हॉलों से तेज़ी से निकलना) और कब ज़रूरत पड़ने पर सतर्क होना है (तंग कोनों से धीरे-धीरे निकलना)।

मुख्य बात:
AlphaAdj एक रोबोट को उसके मूवमेंट में मानव जैसा (human-like) होने की अनुमति देता है। वह केवल एक कठोर स्क्रिप्ट का पालन नहीं करता; वह वातावरण को "महसूस" करता है, अपनी धारणा को वास्तविक समय में समायोजित करता है, और एक सेफ्टी नेट का उपयोग करता है ताकि यह सुनिश्चित हो सके कि वह कभी भी बहुत लापरवाह न हो जाए जब तक कि उसका "दिमाग" उसकी गति के साथ तालमेल न बिठा ले।

संक्षेप में: यह एक ऐसे रोबोट के बीच का अंतर है जो अंधे होकर नक्शे का पालन करता है और एक ऐसे रोबोट के बीच का अंतर है जो एक कुशल मानव ड्राइवर की तरह गाड़ी चलाता है—यह जानता है कि कब गति बढ़ानी है, कब धीमी करनी है, और हमेशा सावधानी के तौर पर ब्रेक पर हाथ रखना।

यहाँ शोध पत्र "Dynamic Control Barrier Function Regulation with Vision-Language Models for Safe, Adaptive, and Realtime Visual Navigation" (AlphaAdj) का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

गतिशील और असंरचित वातावरण (unstructured environments) में काम करने वाले स्वायत्त रोबोटों को सुरक्षा (safety) और दक्षता (efficiency) के बीच एक महत्वपूर्ण संतुलन बनाए रखना पड़ता है।

चुनौती: पारंपरिक कंट्रोल बैरियर फंक्शन्स (CBFs) गणितीय रूप से गारंटीकृत टक्कर बचाव (collision avoidance) प्रदान करते हैं, लेकिन वे आमतौर पर निश्चित मापदंडों (fixed parameters) पर निर्भर करते हैं। इससे उप-इष्टतम (suboptimal) व्यवहार होता है:
- अत्यधिक रूढ़िवादी (Over-conservative): अनुकूल दृश्यों (जैसे, खुले गलियारे) में, निश्चित मापदंडों के कारण रोबोट बहुत धीरे चलता है या अनावश्यक रूप से झिझकता है।
- अत्यधिक उदार (Over-permissive): जटिल खतरों के पास, निश्चित मापदंड पर्याप्त सावधानी बरतने में विफल हो सकते हैं, जिससे टक्कर हो सकती है।
विलंबता की बाधा (The Latency Bottleneck): जबकि विजन-लैंग्वेज मॉडल्स (VLMs) दृश्यों की बेहतर सिमेंटिक समझ प्रदान करते हैं, उनका इन्फरेंस लेटेंसी (inference latency) उच्च होता है। उन्हें सिंक्रोनस रूप से उपयोग करना (कार्य करने से पहले प्रतिक्रिया की प्रतीक्षा करना) रियल-टाइम कंट्रोल को असंभव बना देता है। पुराने (outdated) VLM जोखिम अनुमानों को एसिंक्रोनस रूप से लागू करना सुरक्षा उल्लंघन का कारण बन सकता है यदि रोबोट पुराने डेटा पर कार्य करता है।

2. कार्यप्रणाली: AlphaAdj

लेखक AlphaAdj का प्रस्ताव करते हैं, जो केवल एगोजेंट्रिक RGB इनपुट और एक VLM का उपयोग करके, इन्फरेंस लेटेंसी को कम करते हुए, एक CBF सेफ्टी फिल्टर की रूढ़िवादिता (conservativeness) को रियल-टाइम में अनुकूलित (tune) करता है।

A. मुख्य नियंत्रण आर्किटेक्चर (Core Control Architecture)

CBF सुरक्षा फ़िल्टर: रोबोट नाममात्र के लक्ष्य-खोजने वाले कमांड्स को फ़िल्टर करने के लिए एक मानक CBF-QP (Quadratic Program) का उपयोग करता है। सुरक्षा बाधा एक पैरामीटर $\alpha$ $α$ द्वारा नियंत्रित होती है।
- छोटा $\alpha$ : सख्त सुरक्षा लागू करता है (रूढ़िवादी व्यवहार, बाधाओं के पास धीमी गति)।
- बड़ा $\alpha$ : अधिक आक्रामक गति की अनुमति देता है (निकट पहुंच, तेज गति)।
गतिशील अनुकूलन (Dynamic Adaptation): एक निश्चित $\alpha$ के बजाय, सिस्टम वर्तमान दृश्य के जोखिम के आधार पर एक समय-परिवर्तनीय $\alpha(t)$ की गणना करता है।

B. विजन-लैंग्वेज मॉडल (VLM) एकीकरण

जोखिम अनुमान (Risk Estimation): प्रत्येक $N$ स्टेप्स (जैसे, 0.5s) के बाद, सिस्टम एक RGB फ्रेम कैप्चर करता है और एक VLM (LLaVA-1.5 7B) को एक स्केलर जोखिम स्कोर $r \in [0, 1]$ आउटपुट करने के लिए क्वेरी करता है।
प्रॉम्प्ट इंजीनियरिंग: VLM को इमेज और कॉन्टेक्स्ट (वर्तमान गति, न्यूनतम बैरियर दूरी) के साथ प्रॉम्प्ट किया जाता है ताकि वह एक सख्त JSON जोखिम स्कोर आउटपुट कर सके।
रिस्क-टू-पैरामीटर मैपिंग: जोखिम स्कोर $r$ को एक मोनोटोन घटते पावर-लॉ फंक्शन का उपयोग करके एक कैंडिडेट $\alpha_{vlm}$ में मैप किया जाता है:
$\alpha_{vlm}(r) = \alpha_{min} + (\alpha_{max} - \alpha_{min})(1 - r)^\gamma$
यह सुनिश्चित करता है कि उच्च जोखिम का अर्थ कम $\alpha$ (अधिक रूढ़िवादी) है।

C. लेटेंसी-अवेयर मजबूती तंत्र (Latency-Aware Robustness Mechanisms)

VLM इन्फरेंस की एसिंक्रोनस प्रकृति (औसत लेटेंसी ~695ms) को संभालने और पुराने डेटा के कारण सुरक्षा विफलताओं को रोकने के लिए, AlphaAdj दो प्रमुख तंत्रों का उपयोग करता है:

स्टेलनेस-गेटेड फ्यूजन (Staleness-Gated Fusion):
- सिस्टम अंतिम वैध VLM अपडेट ( $t_{vlm}$ ) से बीते समय को ट्रैक करता है।
- यदि अपडेट ताज़ा (fresh) है, तो सिस्टम एक "सॉफ्ट कैप" फ्यूजन का उपयोग करता है: $\alpha_{final} = \min(\alpha_{vlm}, \alpha_{cap})$ ।
- यदि अपडेट पुराना (stale) है (एक थ्रेशोल्ड से अधिक देरी), तो सिस्टम $\alpha_{vlm}$ को अनदेखा कर देता है और एक "हार्ड कैप" (अधिक रूढ़िवादी फॉलबैक) पर डिफ़ॉल्ट हो जाता है।
जियोमेट्रिक डायनेमिक कैप ( $\alpha_{cap}$ ):
- भले ही VLM कम जोखिम का सुझाव दे, एक ज्यामितीय सुरक्षा घेरा (geometric safety envelope) यह सुनिश्चित करता है कि रोबोट भौतिक रूप से बाधाओं के करीब होने पर बहुत आक्रामक न हो।
- कैप, क्लियरेंस मार्जिन ( $m$ ) और गति ( $v$ ) का एक फंक्शन है।
- दूरी घटक: जैसे-जैसे रोबोट किसी बाधा के करीब आता है, कैप सख्त हो जाता है ( $\alpha$ कम हो जाता है)।
- गति घटक: उच्च गति कैप को और अधिक सख्त बनाती है।
- फ्यूजन लॉजिक:
  - ताज़ा VLM: $\alpha_{final} = \min(\alpha_{vlm}, \alpha_{soft\_cap})$ (VLM को सुरक्षित होने पर कम रूढ़िवादी होने की अनुमति देता है, लेकिन कभी भी सॉफ्ट कैप से अधिक नहीं)।
  - पुराना VLM: $\alpha_{final} = \alpha_{hard\_cap}$ (अधिकतम रूढ़िवादिता को मजबूर करता है)।

D. कार्यान्वयन अनुकूलन (Implementation Optimizations)

एसिंक्रोनस निष्पादन: कंट्रोल लूप लगातार 60 Hz पर चलता है। VLM क्वेरी बैकग्राउंड में (प्रत्येक 30 स्टेप्स में) चलती है बिना रोबोट को रोके।
लेटेंसी में कमी: एंड-टू-एंड लेटेंसी को ~1.4s से घटाकर 695ms करने के लिए 4-bit क्वांटाइजेशन, सख्त JSON आउटपुट बाधाएं और लोकल होस्टिंग (FastAPI) का उपयोग किया गया।

3. मुख्य योगदान (Key Contributions)

RGB से रियल-टाइम एडेप्टिव मोबिलिटी: सीधे उच्च-स्तरीय सिमेंटिक VLM जोखिम अनुमानों से लो-लेवल CBF सुरक्षा मापदंडों को मॉड्युलेट करने की विधि प्रदर्शित की गई, जो कंट्रोलर संरचना को बदले बिना सुरक्षा-दक्षता ट्रेड-ऑफ में सुधार करती है।
लेटेंसी-अवेयर मजबूती: एक नवीन फ्यूजन पॉलिसी पेश की गई जो ज्यामितीय डायनेमिक कैप और स्टेलनेस डिटेक्शन को जोड़ती है। यह सुनिश्चित करता है कि VLM अपडेट विलंबित या विसंगत होने पर भी सुरक्षा बनी रहे, जो मौजूदा VLM-आधारित नेविगेशन में एक महत्वपूर्ण कमी है।
व्यावहारिक रिस्क-टू- $\alpha$ मैपिंग: एक विशिष्ट ज्यामितीय और स्पीड-अवेयर मैपिंग रणनीति प्रस्तावित की गई जो सिस्टम को खुले स्थानों में आक्रामक होने लेकिन तंग या उच्च-गति वाले परिदृश्यों में स्वचालित रूप से रूढ़िवादी होने की अनुमति देती है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस ढांचे का मूल्यांकन NVIDIA IsaacSim में 8 परिदृश्यों (4 वातावरण $\times$ 2 परिदृश्य प्रकार: स्थिर/गतिशील बाधाएं) में किया गया।

सुरक्षा: AlphaAdj ने 100% सफलता दर (8/8) के साथ 0 टक्कर (collisions) हासिल की।
- तुलना: फिक्स्ड $\alpha_{max}$ (आक्रामक) के परिणामस्वरूप 6 टक्करें हुईं। फिक्स्ड $\alpha_{min}$ (रूढ़िवादी) अत्यधिक हिचकिचाहट के कारण गतिशील परिदृश्यों में लक्ष्यों तक पहुँचने में विफल रहा।
दक्षता:
- AlphaAdj ने फिक्स्ड कंजर्वेटिव बेसलाइन ( $\alpha_{min}$ ) की तुलना में पथ की लंबाई और लक्ष्य तक पहुँचने के समय में 18.5% तक सुधार किया।
- "नो कैप" एडेप्टिव बेसलाइन की तुलना में, AlphaAdj ने औसत रूप से लक्ष्य तक पहुँचने के समय में 4.5% का सुधार किया और साथ ही टक्कर के जोखिम को काफी कम कर दिया।
लेटेंसी हैंडलिंग: सिस्टम ने 60 Hz कंट्रोल लूप को बिना रुके बनाए रखा, जबकि सिंक्रोनस दृष्टिकोणों के विपरीत, जहाँ रोबोट को रुकना और VLM इन्फरेंस (अक्सर >1 सेकंड) की प्रतीक्षा करनी पड़ती।

5. महत्व (Significance)

अंतर को पाटना: AlphaAdj सफलतापूर्वक उच्च-स्तरीय सिमेंटिक समझ (VLMs) और लो-लेवल सुरक्षा-क्रिटिकल कंट्रोल (CBFs) के बीच के अंतर को पाटता है, जो "लेटेंसी बनाम सुरक्षा" की दुविधा को संबोधित करता है जिसने VLM एडॉप्शन को बाधित किया है।
व्यावहारिक तैनाती: ज्यामितीय फॉलबैक के माध्यम से यह सिद्ध करके कि एसिंक्रोनस VLM अपडेट को सुरक्षित रूप से एकीकृत किया जा सकता है, यह पेपर वास्तविक दुनिया के रोबोटों पर महंगे, लो-लेटेंसी क्लाउड इंफ्रास्ट्रक्चर की आवश्यकता के बिना या सुरक्षा से समझौता किए बिना फाउंडेशन मॉडल्स को तैनात करने का एक ब्लूप्रिंट प्रदान करता है।
अनुकूल व्यवहार: यह स्थिर सुरक्षा नीतियों से आगे बढ़ता है, जिससे रोबोट को तत्काल दृश्य संदर्भ के आधार पर अपनी "पर्सनैलिटी" (सावधान बनाम आक्रामक) को गतिशील रूप से समायोजित करने में सक्षम बनाता है, जो नेविगेशन में मानव जैसी अनुकूलन क्षमता की नकल करता है।