Decoding Pedestrian Crossing Intention from Egocentric Vision via Vision Language Models
यह शोध पत्र इस कार्य को विजुअल क्वेश्चन अनस्वर्सिंग (VQA) के रूप में फ्रेम करके एगोसेंट्रिक वीडियो से पैदल यात्री क्रॉसिंग की मंशा को डिकोड करने का प्रस्ताव देता है, जो यह प्रदर्शित करता है कि विजन लैंग्वेज मॉडल्स (VLMs) का पैरामीटर-कुशल फाइन-ट्यूनिंग—विशेष रूप से जब आई गेज़ और मोशन जैसे प्रासंगिक संकेतों के साथ संवर्धित हो—जीरो-शॉट VLMs और विशिष्ट ट्रांसफार्मर बेसलाइन्स दोनों से काफी बेहतर प्रदर्शन करता है ताकि एक नया स्टेट ऑफ द आर्ट स्थापित किया जा सके।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक व्यस्त क्रॉसिंग पर किसी अजनबी के अगले कदम का अनुमान लगाने की कोशिश कर रहे हैं। आमतौर पर, ट्रैफिक कैमरे किनारे से देखते हैं (जैसे एक सुरक्षा गार्ड), लेकिन यह शोध पत्र एक अलग सवाल पूछता है: क्या होगा अगर हम दुनिया को पैदल यात्री की आँखों से देख सकें?
शोधकर्ता एक सुपर-स्मार्ट कंप्यूटर (एक AI) को यह सिखाना चाहते थे कि पैदल यात्री के दृष्टिकोण (point of view) से एक छोटा वीडियो क्लिप देखकर यह अनुमान लगाया जाए: "क्या यह व्यक्ति सड़क पर कदम रखने वाला है, या वह इंतज़ार करेगा?"
इसे सरल भाषा में यहाँ समझाया गया है:
1. "स्मार्ट असिस्टेंट" बनाम "स्पेशलिस्ट"
टीम ने दो प्रकार के AI का उपयोग करने का प्रयास किया:
- "जनरलिस्ट" (विज़न-लैंग्वेज मॉडल्स): इन्हें उन अत्यधिक शिक्षित पुस्तकालयाध्यक्षों (librarians) के रूप में सोचें जिन्होंने लाखों किताबें पढ़ी हैं और अरबों तस्वीरें देखी हैं। वे दुनिया के बारे में बहुत कुछ जानते हैं, लेकिन उन्होंने विशेष रूप से यातायात नियमों का अध्ययन नहीं किया है। शोधकर्ताओं ने उनसे पूछा, "इस वीडियो के आधार पर, क्या व्यक्ति सड़क पार करेगा?" बिना उन्हें कोई विशेष प्रशिक्षण दिए।
- "स्पेशलिस्ट" (पारंपरिक AI): यह एक ट्रैफिक पुलिसकर्मी की तरह है जिसने केवल क्रॉसवॉक का अध्ययन किया है। यह एक विशेष कंप्यूटर प्रोग्राम है जिसे विशेष रूप से इसी एक काम के लिए बनाया गया है।
परिणाम: "जनरलिस्ट" पुस्तकालयाध्यक्ष अनुमान लगाने में ठीक-ठाक थे (सिक्का उछालकर अनुमान लगाने से बेहतर), लेकिन वे यातायात के जटिल तर्क को समझने में सक्षम नहीं थे। वे सूक्ष्म संकेतों को अक्सर चूक जाते थे। "स्पेशलिस्ट" बहुत बेहतर था।
2. "ट्यूशन" सत्र (फाइन-ट्यूनिंग)
चूंकि पुस्तकालयाध्यक्ष बुद्धिमान तो थे लेकिन इस विशिष्ट कार्य के लिए अप्रशिक्षित थे, इसलिए शोधकर्ताओं ने उन्हें एक क्रैश कोर्स दिया। उन्होंने पुस्तकालयाध्यक्षों को फिर से शून्य से नहीं बनाया; इसके बजाय, उन्होंने "फाइन-ट्यूनिंग" (Fine-Tuning) नामक तकनीक का उपयोग किया।
इसे एक प्रतिभाशाली छात्र को "पैदल यात्री सुरक्षा" पर एक विशिष्ट पाठ्यपुस्तक देने और उन्हें केवल प्रासंगिक अध्यायों का अध्ययन करने देने के रूप में समझें।
- परिणाम: इस त्वरित प्रशिक्षण के बाद, "जनरलिस्ट" AI एक स्टार स्टूडेंट बन गया। इसने वास्तव में "स्पेशलिस्ट" ट्रैफिक पुलिसकर्मी को एक महत्वपूर्ण अंतर से हरा दिया (लग लगभग 9% अधिक सटीक)। इसने वीडियो में जो देखा उसे अपने सामान्य ज्ञान के साथ जोड़कर बेहतर अनुमान लगाना सीख लिया।
3. अतिरिक्त सुराग जोड़ना (कॉन्टेक्स्ट)
शोधकर्ताओं को एहसास हुआ कि केवल वीडियो देखना पर्याप्त नहीं था। इंसान केवल देखते नहीं हैं; हम अपनी गति और हम कहाँ देख रहे हैं, इसे भी महसूस करते हैं। इसलिए, उन्होंने AI को कुछ अतिरिक्त "संवेदी" डेटा दिया:
- ईगो मोशन (Ego Motion): पैदल यात्री कितनी तेज़ी से चल रहा है?
- व्हीकल मोशन (Vehicle Motion): कार कितनी तेज़ी से आ रही है?
- आई गेज़ (Eye Gaze): पैदल यात्री कहाँ देख रहा है? (क्या उसने कार की ओर देखा? क्या उसने फुटपाथ की ओर देखा?)
आई गेज़ (नज़र) का जादू:
कल्पना कीजिए कि AI ने स्मार्ट चश्मा पहना हुआ है। शोधकर्ताओं ने वीडियो पर एक छोटा लाल बिंदु बनाया ताकि यह दिखाया जा सके कि पैदल यात्री ठीक कहाँ देख रहा था।
- जब AI ने देखा कि पैदल यात्री कहाँ देख रहा था, और इसे उसकी चलने की गति के साथ जोड़ा, तो यह भविष्य बताने में बहुत बेहतर हो गया।
- यह वैसा ही है जैसे यदि आप किसी को सड़क के किनारे से उतरने से पहले कार की ओर घबराहट में देखते हुए देखें; वह नज़र एक बड़ा सुराग है। AI ने उस सुराग को पहचानना सीख लिया।
4. क्या काम नहीं आया?
शोधकर्ताओं ने कुछ "ट्रिक्स" आज़माईं जो आमतौर पर AI की मदद करती हैं, लेकिन वे यहाँ विफल रहीं:
- AI को "कदम-दर-कदम सोचने" के लिए कहना: उन्होंने AI को उत्तर देने से पहले अपने तर्क को लिखने के लिए कहा (जैसे एक गणित का छात्र अपना काम दिखाता है)। आश्चर्यजनक रूप से, इससे AI और भी खराब और धीमा हो गया। ऐसा लगता है कि इस विशिष्ट दृश्य कार्य के लिए, शब्दों में बहुत अधिक सोचना उसके विजुअल (दृश्य) मस्तिष्क को भ्रमित कर देता है।
- वस्तुओं पर बॉक्स बनाना: उन्होंने AI को सही चीज़ों पर ध्यान केंद्रित करने में मदद करने के लिए वीडियो स्क्रीन पर कार और क्रॉसवॉक को हाइलाइट करने की कोशिश की। इससे ज्यादा मदद नहीं मिली, संभवतः इसलिए क्योंकि AI पहले से ही सही चीज़ों को देख रहा था, और अतिरिक्त चित्र केवल शोर (noise) की तरह थे।
निष्कर्ष
यह शोध पत्र सिद्ध करता है कि यदि आप एक शक्तिशाली, सामान्य उद्देश्य वाले AI को थोड़ा सा विशिष्ट प्रशिक्षण (फाइन-ट्यूनिंग) और कुछ अतिरिक्त सुराग (जैसे व्यक्ति कहाँ देख रहा है) देते हैं, तो वह पैदल यात्री के दृष्टिकोण से उनके व्यवहार की भविष्यवाणी करने में विशेषज्ञ बन सकता है।
विजेता: उनके सिस्टम का सबसे अच्छा संस्करण Qwen3-VL-2B नामक मॉडल था, जिसने पैदल यात्री की चलने की गति और आंखों की गतिविधियों के मार्गदर्शन में, इस विशिष्ट कार्य के लिए अब तक का उच्चतम सटीकता स्तर प्राप्त किया।
एक कमी: शोधकर्ताओं ने इसका परीक्षण वर्चुअल रियलिटी (VR) सिमुलेशन में किया। हालांकि परिणाम आशाजनक हैं, लेकिन वास्तविक दुनिया एक VR गेम की तुलना में अधिक अव्यवस्थित और जटिल है, इसलिए वास्तविक सड़कों पर इसके उपयोग से पहले अभी भी बहुत काम किया जाना बाकी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।