SENSE-VAD: Sentient and Semantic Video Anomaly Detection for Autonomous Driving
यह शोध पत्र SENSE-VAD को प्रस्तुत करता है, जो स्वायत्त ड्राइविंग (ऑटोनॉमस ड्राइविंग) के लिए पहला सिंथेटिक बेंचमार्क है जो विशेष रूप से सामाजिक रूप से जटिल वीडियो विसंगतियों—जैसे कि वे अंतर-एजेंट संबंध जो गति-आधारित पहचान को चुनौती देते हैं—को लक्षित करता है, और यह विविध परिदृश्यों को उत्पन्न करने के लिए CARLA और Unreal Engine का लाभ उठाता है तथा यह प्रदर्शित करता है कि वर्तमान अत्याधुनिक विधियाँ इस विशिष्ट चुनौती का समाधान करने में विफल रहती हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक सेल्फ-ड्राइविंग कार को एक अच्छा ड्राइवर बनने के लिए सिखा रहे हैं। वर्तमान में, ये कारें "भौतिक" खतरों को पहचानने में उत्कृष्ट हैं: सड़क के बीच में खड़ी एक कार, लाल बत्ती, या फुटपाथ से नीचे उतरता हुआ एक पैदल यात्री। वे एक सुरक्षा गार्ड की तरह हैं जो केवल उन लोगों को देखता है जो बहुत तेज़ दौड़ रहे हैं या गलत जगह पर खड़े हैं।
लेकिन खतरों की एक पूरी दुनिया है जो गति या स्थिति के बारे में नहीं है; यह संबंधों के बारे में है।
समस्या: "सामाजिक अंधापन" (The Social Blind Spot)
पेपर का तर्क है कि वर्तमान सेल्फ-ड्राइविंग कारें "सामाजिक रूप से अंधी" हैं। वे देख सकती हैं कि एक बच्चा दौड़ रहा है, लेकिन वे अंतर नहीं कर सकतीं कि:
- सामान्य: एक बच्चा खुशी-खुशी अपने माता-पिता की ओर फुटपाथ पर दौड़ रहा है।
- खतरनाक: एक बच्चा अपने माता-पिता से दूर, ट्रैफिक की ओर दौड़ रहा है।
एक मानक कैमरे के लिए, दोनों बच्चे बस "तेज़ी से दौड़ते हुए एक बच्चे" के समान हैं। खतरा बच्चे की गति में नहीं है; खतरा उस कहानी में है जो माता-पिता और बच्चे के बीच घटित हो रही है। यदि कार उस कहानी को नहीं पढ़ सकती, तो वह तब तक ब्रेक नहीं लगाएगी जब तक कि दुर्घटना न हो जाए।
लेखक इसे ड्राइविंग समस्याओं का "लॉन्ग टेल" (long tail) कहते हैं। आप कार को हर उस विशिष्ट दुर्घटना को संभालने के लिए प्रोग्राम नहीं कर सकते जो आपने कभी देखी हो। इसके बजाय, आपको एक ऐसे सिस्टम की आवश्यकता है जो कह सके, "रुको, यह स्थिति अजीब लग रही है क्योंकि ये लोग आपस में कैसे व्यवहार कर रहे हैं," और दुर्घटना होने से पहले नियंत्रण मानव को सौंप दे।
समाधान: SENSE-VAD
इसे ठीक करने के लिए, शोधकर्ताओं ने एक नया प्रशिक्षण उपकरण बनाया जिसे SENSE-VAD कहा जाता है। इसे एक "सोशल ड्रामा सिम्युलेटर" के रूप में समझें।
- यह एक टेस्ट ट्रैक नहीं, बल्कि एक मूवी स्टूडियो है: वास्तविक कारों को क्रैश करने के बजाय, उन्होंने हजारों नकली लेकिन यथार्थवादी वीडियो बनाने के लिए एक वीडियो गेम इंजन (CARLA) का उपयोग किया।
- "सामाजिक" स्क्रिप्ट: उन्होंने केवल कारों को टकराया नहीं। उन्होंने सामाजिक परिदृश्यों के लिए स्क्रिप्ट लिखी:
- किसी व्यक्ति को किसी दूसरे व्यक्ति द्वारा उठाया जा रहा है (शायद वह घायल है या उसका अपहरण किया गया है)।
- लोगों का एक समूह एक-दूसरे का पीछा कर रहा है (क्या यह पुलिस का पीछा है या कोई खेल?)।
- मालिक का ध्यान भटकने के दौरान एक कुत्ता खुला घूम रहा है।
- सड़क पर छोड़ा गया एक बैग जो संदिग्ध लग रहा है।
- ट्विस्ट: इनमें से कई वीडियो में, हलचल बिल्कुल सामान्य दिखती है। एक व्यक्ति का चलना बस चलना ही है। लेकिन क्योंकि वे किसके साथ हैं या वे क्या कर रहे हैं, यह वास्तव में एक आपात स्थिति है।
प्रयोग: "स्मार्ट" कारों का परीक्षण
शोधकर्ताओं ने वर्तमान में उपलब्ध 11 सबसे स्मार्ट और उन्नत AI सिस्टम (जिनमें वे सिस्टम भी शामिल हैं जो दृश्य के बारे में "सोचने" के लिए विशाल लैंग्वेज मॉडल का उपयोग करते हैं) को ये वीडियो देखने और खतरे को पहचानने के लिए कहा।
परिणाम चौंकाने वाले थे:
- "मोशन" विशेषज्ञ विफल रहे: जो सिस्टम तेज़ कारों या अजीब प्रक्षेप पथ (trajectories) को पहचानने में माहिर हैं, वे भ्रमित हो गए। उन्होंने लोगों को सामान्य रूप से चलते देखा और कहा, "सब कुछ ठीक है।"
- "सोचने वाले" विशेषज्ञ भी विफल रहे: यहाँ तक कि वे सिस्टम भी जो दृश्य को "पढ़ने" के लिए उन्नत AI का उपयोग करते हैं (जैसे कि एक रोबोट जो चित्र का वर्णन कर सकता है), ज्यादातर विफल रहे। वे लोगों को देख सकते थे, लेकिन वे उनके बीच के संबंध को नहीं समझ सके।
- स्कोर: सबसे अच्छे सिस्टम ने केवल लगभग 57% उत्तर सही दिए। यह सिक्का उछालकर अनुमान लगाने से भी मुश्किल से बेहतर है।
"क्यों": एक टूटा हुआ दिशा-सूचक (A Broken Compass)
यह समझने के लिए कि AI क्यों विफल हुआ, शोधकर्ताओं ने एक बहुत ही स्मार्ट AI (एक विज़न-लैंग्वेज मॉडल) के साथ "20 सवाल" का खेल खेला। उन्होंने इस तरह के प्रश्न पूछे:
- "आप क्या देखते हैं?"
- "कार को क्या करना चाहिए?"
- "क्या यहाँ कोई खतरा है?"
AI का उत्तर:
AI ने लोगों को बिल्कुल ठीक देखा। वह उनका वर्णन कर सकता था। लेकिन जब खतरे के बारे में पूछा गया, तो उसने या तो:
- हर चीज़ के लिए कहा, "हाँ, खतरा है!" (यहाँ तक कि सामान्य दृश्यों में भी), या
- कहा "कोई खतरा नहीं" भले ही एक बच्चा व्यस्त सड़क की ओर दौड़ रहा था।
यह एक ऐसे व्यक्ति की तरह है जो किसी फिल्म के दृश्य का विस्तार से वर्णन कर सकता है लेकिन पूरी कहानी का ट्विस्ट मिस कर देता है। वे अभिनेताओं को देखते हैं, लेकिन वे कहानी को नहीं समझते।
निष्कर्ष
पेपर निष्कर्ष निकालता है कि हम केवल वर्तमान सॉफ़्टवेयर को पैच करके इसे ठीक नहीं कर सकते। समस्या मौलिक है: वर्तमान AI इस पर ध्यान देता है कि क्या चल रहा है, लेकिन यह नहीं समझता कि वह क्यों चल रहा है।
SENSE-VAD पहला उपकरण है जिसे विशेष रूप से कारों को सड़क के "सामाजिक स्क्रिप्ट" को पढ़ना सिखाने के लिए डिज़ाइन किया गया है। यह साबित करता है कि जब तक हम कारों को रिश्तों (जैसे माता-पिता और बच्चा, या पीछा करने वाला और पीड़ित) को समझना नहीं सिखाते, वे वास्तविक दुनिया के खतरों की एक बड़ी श्रेणी के प्रति अंधी रहेंगी।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।