← नवीनतम पेपर
💻 computer science

Can Vision-Language Models Assess Proxemic Risk from Egocentric Robot Images?

यह अध्ययन एगोसेंट्रिक रोबोट छवियों से प्रॉक्सिमिक जोखिम (proxemic risk) के आकलन के लिए ओपन-सोर्स विजन-लैंग्वेज मॉडलों का मूल्यांकन करता है, जिसमें यह पाया गया है कि जबकि फाइन-ट्यूनिंग केवल मामूली समग्र लाभ प्रदान करती है, उन्नत प्रॉम्प्टिंग (advanced prompting) Qwen-VL जैसे विशिष्ट मॉडलों में उच्च-खतरे का पता लगाने में महत्वपूर्ण सुधार करती है, हालांकि सही सुरक्षा वर्गीकरण का सटीक स्थानिक ग्राउंडिंग (spatial grounding) के साथ आवश्यक रूप से सहसंबंध नहीं होता है।

मूल लेखक: Vladyslava Rudas, Dmytro Kuzmenko

प्रकाशित 2026-08-14
📖 7 मिनट में पढ़ें🧠 गहराई से पढ़ें

मूल लेखक: Vladyslava Rudas, Dmytro Kuzmenko

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक रोबोट को एक व्यस्त कॉफी शॉप में चलना सिखा रहे हैं। आप केवल यह नहीं चाहते कि वह एक मेज को देखे; आप चाहते हैं कि वह अपने आस-पास के स्थान को महसूस करे। यह प्रॉक्सिमिक्स (proxemics) की दुनिया है, जो एक फैंसी शब्द है उस अध्ययन के लिए कि मनुष्यों को सहज महसूस करने के लिए कितने व्यक्तिगत स्थान की आवश्यकता होती है। इसे अदृश्य बुलबुलों की तरह समझें: एक सबसे अच्छे दोस्त के लिए एक छोटा बुलबुला, एक सहकर्मी के लिए एक मध्यम बुलबुला, और एक अजनबी के लिए एक बड़ा बुलबुला। यदि कोई रोबोट बिना पूछे आपके छोटे बुलबुले में घुस जाता है, तो यह बदतमीजी है और संभावित रूप से खतरनाक भी है।

अब, कल्पना कीजिए कि आप उस रोबोट के सिर पर एक कैमरा (एक "एगोसेंट्रिक" दृश्य) देते हैं ताकि वह दुनिया को ठीक वैसे ही देख सके जैसे हम देखते हैं। बड़ा सवाल वैज्ञानिकों के लिए यह है: क्या हम एक रोबोट को एक तस्वीर देखकर तुरंत यह जानने के लिए सिखा सकते हैं कि, "ओह नहीं, मैं उस व्यक्ति के बहुत करीब हूँ!" या "फू, मेरे पास पर्याप्त जगह है"? यहीं पर विज़न-लैंग्वेज मॉडल्स (VLMs) काम आते हैं। ये सुपर-स्मार्ट AI प्रोग्राम हैं जो एक छवि को देख सकते हैं और उसके बारे में बात कर सकते हैं, जैसे कि एक रोबोट जो एक चित्र वाली किताब पढ़ सकता है और आपको उसकी कहानी सुना सकता है। शोधकर्ता उत्साहित हैं क्योंकि यदि ये AI केवल देखकर व्यक्तिगत स्थान को समझ सकते हैं, तो हमें हर रोबोट पर महंगे, भारी सेंसर लगाने की आवश्यकता नहीं होगी। हम बस उन्हें एक कैमरा और एक दिमाग दे सकते हैं।

लेकिन यहाँ एक मोड़ है: भले ही एक AI किसी तस्वीर का वर्णन कर सकता है, इसका मतलब यह नहीं है कि वह वास्तव में 3D स्पेस में चीजों के स्थान को समझता है। यह शोध पत्र तीन अलग-अलग AI "मस्तिष्क" को यह देखने के लिए टेस्ट करता है कि क्या वे रोबोट के लिए एक सुरक्षा गार्ड के रूप में कार्य कर सकते हैं।

प्रयोग: क्या AI खतरे को पहचान सकता है?

शोधकर्ताओं ने वास्तविक दुनिया के परिवेश में एक रोबोट के दृष्टिकोण से ली गई 1,243 तस्वीरों का उपयोग करके एक विशेष प्रशिक्षण सेट बनाया। उन्होंने हर फोटो को इस आधार पर एक "खतरे के स्तर" के साथ लेबल किया कि लोग रोबोट के कितने करीब थे:

  • उच्च खतरा (High Danger): कोई रोबोट के बिल्कुल चेहरे के सामने है (टक्कर तय है!)।
  • मध्यम खतरा (Moderate Danger): कोई पास है, और रोबोट को सावधानी से चलने की आवश्यकता है।
  • कम खतरा (Low Danger): कोई पास में है, लेकिन रोबोट को बस उन पर नज़र रखने की आवश्यकता है।
  • न्यूनतम खतरा (Minimum Danger): रास्ता साफ है।

उन्होंने तीन अलग-अलग ओपन-सोर्स AI मॉडल का परीक्षण किया: InternVL, SmolVLM, और Qwen-VL। उन्होंने इन मॉडल्स को दो तरीकों से सिखाने की कोशिश की: पहले, उन्हें अलग-अलग शैलियों में प्रश्न पूछकर (जैसे एक सरल कमांड बनाम एक जटिल, चरण-दर-चरण तर्क पहेली), और दूसरा, उन्हें 200 विशिष्ट छवियों पर थोड़ा अतिरिक्त प्रशिक्षण (जिसे "फाइन-ट्यूनिंग" कहा जाता है) देकर।

परिणाम: एक नायक, दो संघर्ष करने वाले

निष्कर्ष "बुरा नहीं है" और "पर्याप्त अच्छा नहीं है" का मिश्रण थे।

1. "रैंडम गेस" (अंदाजे से अनुमान) की समस्या
बिना किसी विशेष प्रशिक्षण के, तीनों मॉडल्स ने लगभग उसी तरह प्रदर्शन किया जैसे कोई छात्र बहुविकल्पीय परीक्षा में अंदाजे लगा रहा हो। उनकी समग्र सटीकता सिक्का उछालने से मुश्किल से बेहतर थी। विशेष प्रशिक्षण के बाद भी, सभी चार खतरे के स्तरों को सही ढंग से वर्गीकृत करने की सामान्य क्षमता में अधिक सुधार नहीं हुआ। ऐसा लग रहा था जैसे मॉडल कॉफी शॉप का वर्णन करने में तो अच्छे थे लेकिन यह जानने में खराब थे कि कब रुकना है।

2. Qwen अपवाद
हालाँकि, एक उभरता हुआ नायक था: Qwen-VL। जबकि अन्य दो मॉडल्स (InternVL और SmolVLM) बुनियादी रूप से सबसे खतरनाक स्थितियों को पहचानने में विफल रहे (लगतः सभी को मिस कर दिया), Qwen-VL वास्तव में "उच्च खतरा" वाले परिदृश्यों को पहचानने में बेहतर रहा।

  • महत्वपूर्ण रूप से, यह सुधार एक विशिष्ट संयोजन से आया कि प्रश्न कैसे पूछा गया था और मॉडल को कैसे प्रशिक्षित किया गया था। सबसे अच्छे परिणाम तब प्राप्त हुए जब एक बहुत ही विशिष्ट, जटिल प्रॉम्प्ट का उपयोग किया गया जिसमें AI को "चरण-दर-चरण सोचने" के लिए कहा गया था साथ ही एक पहले दौर की फाइन-ट्यूनिंग का उपयोग किया गया। इस सेटअप के साथ, Qwen-VL लगभग 79% उच्च-खतरे की स्थितियों को पकड़ने में सफल रहा।
  • अन्य मॉडल्स, समान जटिल प्रॉम्प्ट और प्रशिक्षण के बावजूद, लगभग सब कुछ मिस कर गए।
  • दिलचस्प बात यह है कि Qwen-VL को अतिरिक्त प्रशिक्षण (फाइन-ट्यूनिंग का दूसरा दौर) देने से ज्यादा मदद नहीं मिली; सबसे बड़ा उछाल उस विशिष्ट "सोचने वाले" प्रॉम्प्ट और शुरुआती फाइन-ट्यूनिंग दौर के संयोजन से आया था।

3. "ब्लाइंड स्पॉट" (अंध बिंदु) का आश्चर्य
यहाँ सबसे दिलचस्प हिस्सा है। शोधकर्ताओं ने यह जांचा कि क्या AI वास्तव में खतरे का निर्णय लेने के लिए व्यक्ति को देख रहा था। उन्होंने AI को उस व्यक्ति के चारों ओर एक बॉक्स बनाने के लिए कहा जिससे उसे डर था।

  • सदमा: भले ही Qwen-VL ने सही ढंग से "खतरा!" चिल्लाया, लेकिन वह अक्सर सही व्यक्ति के चारों ओर बॉक्स नहीं बना पाता था। कभी-कभी वह फर्श की ओर इशारा करता, कभी दीवार की ओर, और कभी सही व्यक्ति की ओर।
  • निष्कर्ष: पेपर सुझाव देता है कि मॉडल शायद पूरी छवि के "एहसास" या पैटर्न के आधार पर खतरे के स्तर का अनुमान लगा रहा है, न कि वास्तव में व्यक्ति की विशिष्ट दूरी को समझकर। यह एक ऐसे छात्र की तरह है जो गणित की परीक्षा में सही उत्तर तो देता है लेकिन वह काम नहीं दिखा पाता या उन नंबरों की ओर इशारा नहीं कर पाता जिनका उसने उपयोग किया था।

रोबोट सुरक्षा के लिए इसका क्या अर्थ है

पेपर निष्कर्ष निकालता है कि हालांकि ये AI मॉडल स्मार्ट हो रहे हैं, वे अभी भी भीड़ में चलते हुए रोबोट के एकमात्र सुरक्षा गार्ड बनने के लिए तैयार नहीं हैं।

  • उन पर अभी भरोसा नहीं किया जा सकता: यदि आप उन पर निर्भर रहते हैं, तो आप टक्कर होने से चूक सकते हैं क्योंकि मॉडल सोचता है कि यह सुरक्षित है जबकि वह नहीं है, या वह घबरा सकता है जब स्थिति सुरक्षित हो।
  • प्रॉम्प्टिंग और विशिष्ट प्रशिक्षण मायने रखते हैं: मॉडल्स को थोड़ा अतिरिक्त प्रशिक्षण देने से Qwen-VL को केवल थोड़ा ही मदद मिली, लेकिन इसने अन्य मॉडल्स को ठीक नहीं किया। सबसे बड़े लाभ तब मिले जब सावधानी से तर्क करने के लिए पूछने और एक विशिष्ट फाइन-ट्यूनिंग कॉन्फ़िगरेशन को एक साथ जोड़ा गया।
  • "अंध" खतरा: सबसे बड़ी सीख यह है कि सही लेबल (उच्च खतरा) प्राप्त करने का मतलब यह नहीं है कि रोबोट जानता है कि वह क्यों खतरनाक है। वह गलत कारणों से भी सही हो सकता है।

संक्षेप में, ये विज़न-लैंग्वेज मॉडल्स बहुत बातूनी पर्यटकों की तरह हैं जो एक दृश्य का खूबसूरती से वर्णन कर सकते हैं लेकिन जब उन्हें नेविगेट करने के लिए कहा जाता है तो अक्सर खो जाते हैं। वे आशा जगाते हैं, विशेष रूप से Qwen मॉडल जो सावधानी से सोचने के लिए कहने और सही ढंग से प्रशिक्षित होने पर, लेकिन उन्हें मानव निगरानी के बिना एक व्यस्त सड़क पर रोबोट चलाने के लिए अभी भी बहुत अभ्यास की आवश्यकता है।

अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?

आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।

Digest आज़माएँ →