💻 computer science

Two-Pass Zero-Shot Temporal-Spatial Grounding of Rare Traffic Events in Surveillance Video

यह शोध पत्र एक ज़ीरो-शॉट, नो-फाइन-ट्यूनिंग पाइपलाइन प्रस्तुत करता है जो निगरानी वीडियो में दुर्लभ यातायात दुर्घटनाओं के स्टेट-ऑफ-द-आर्ट टेम्पोरल-स्पेशियल ग्राउंडिंग को प्राप्त करने के लिए एक टू-पास कोर्स-टू-फाइन रणनीति और विशिष्ट विजन-लैंग्वेज मॉडल रोल असाइनमेंट का लाभ उठाता है, जो ACCIDENT@CVPR 2026 बेंचमार्क पर मौजूदा बेसलाइनों से 12.7% बेहतर प्रदर्शन करता है।

मूल लेखक: Jiantang Huang

प्रकाशित 2026-05-26

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC BY 4.0

मूल लेखक: Jiantang Huang

मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक जासूस हैं जो एक व्यस्त शहर के चौक पर हुई एक घटना को सुलझाने की कोशिश कर रहे हैं, लेकिन आपके पास केवल एक सिंगल, धुंधली सुरक्षा कैमरा फीड है जो 30 सेकंड लंबी है। आपका काम तीन विशिष्ट चीजों को खोजना है: बिल्कुल कब दुर्घटना हुई, स्क्रीन पर वह बिल्कुल कहाँ हुई, और वह किस तरह की दुर्घटना थी (जैसे, पीछे से टक्कर या साइडस्वैप)।

समस्या क्या है? आप हर वीडियो को देखने के लिए विशेषज्ञों की एक टीम को काम पर नहीं रख सकते और आपको दुर्घटनाओं को पहचानने के लिए वास्तविक क्रैश वीडियो का "अध्ययन" करने की अनुमति नहीं है (क्योंकि गोपनीयता कानून हैं)। आपको इसे केवल "ऑफ-द-शेल्फ" एआई टूल्स का उपयोग करके हल करना होगा जिन्हें विशेष रूप से दुर्घटनाओं के लिए प्रशिक्षित नहीं किया गया है।

यह पेपर इस पहेली को हल करने के लिए दो अलग-अलग प्रकार के एआई "जासूसों" का उपयोग करके एक चतुर, दो-चरणीय रणनीति प्रस्तुत करता है।

समस्या: "वन-शॉट" की गलती

यदि आप एक मानक एआई से पूरे 30 सेकंड के वीडियो को देखने और एक ही बार में दुर्घटना का समय, स्थान और प्रकार बताने के लिए कहते हैं, तो वह अक्सर भ्रमित हो जाता है। यह एक व्यक्ति से पूरी फिल्म देखने और फिर यह बताने जैसा है कि किसी विशिष्ट अभिनेता ने ठीक किस सेकंड में छींका था, साथ ही उसे स्क्रीन पर सटीक स्थान भी बताना है और छींक के प्रकार का नाम भी लेना है। वे शायद सही फिल्म का अनुमान लगा लेंगे, लेकिन समय गलत हो सकता है या वे छींक को खाँसी समझ सकते हैं।

लेखकों ने पाया कि पिछले एआई प्रयास अक्सर बहुत बड़े अंतरों से चूक जाते थे (जैसे यह अनुमान लगाना कि दुर्घटना वास्तव में होने के 21 सेकंड बाद हुई) या दुर्घटना के प्रकार को पूरी तरह से गलत बताते थे।

समाधान: "टू-पास" डिटेक्टिव टीम

लेखकों ने एक पाइपलाइन बनाई है जो दो अलग-अलग प्रकार के एआई मॉडल को एक विशिष्ट क्रम में एक साथ काम करने के लिए उपयोग करती है, जैसे एक वरिष्ठ जासूस और एक विशेषज्ञ।

पास 1: "वाइड-एंगल" स्कैन (सामान्यज्ञ)

सबसे पहले, वे एक शक्तिशाली एआई (Qwen3-VL) का उपयोग वीडियो को धीमी गति (1 फ्रेम प्रति सेकंड) पर देखते हैं।

उपमा: कल्पना कीजिए कि एक जासूस अपराध स्थल के माध्यम से तेजी से घूम रहा है, पूरे कमरे को देख रहा है। वे अभी हर उंगली के निशान की जांच नहीं कर रहे हैं। उन्हें बस एक "अंतर्ज्ञान" मिल जाता है कि कार्रवाई कहाँ हुई और लगभग कब हुई।
आउटपुट: यह एआई एक "खुरदरा" (coarse) अनुमान देता है: "दुर्घटना संभवतः 15वें सेकंड के आसपास हुई, स्क्रीन के बीच के पास, और यह एक एकल-कार दुर्घटना लगती है।"
सुरक्षा जाल: यदि एआई भ्रमित हो जाता है या एपीआई (एआई से इंटरनेट कनेक्शन) विफल हो जाता है, तो सिस्टम के पास सरल भौतिकी नियमों (जैसे कारों की गति को ट्रैक करना) का उपयोग करके एक बैकअप योजना है, ताकि वीडियो कभी खाली न रहे।

पास 2: "ज़ूम-इन" रिफाइनमेंट (विशेषज्ञ)

इसके बाद, सिस्टम उस खुरदरे अनुमान को लेता है और संदिग्ध दुर्घटना समय के आसपास का एक छोटा, हाई-डेफिनिशन "ज़ूम-इन" क्लिप बनाता है।

उपमा: अब, जासूस आवर्धक लेंस (magnifying glass) पहनता है और उन 6 सेकंड को स्लो मोशन में देखता है। वे प्रभाव के सटीक क्षण और उस सटीक स्थान को देखते हैं जहाँ कारें आपस में टकराई थीं।
सुरक्षा द्वार: सिस्टम में दो "सुरक्षा जाँच" हैं।
1. समय की जाँच: यदि ज़ूम-इन किया गया एआई कहता है, "मैं इस विशिष्ट 6-सेकंड की विंडो में कोई दुर्घटना नहीं देख पा रहा हूँ," या यदि वह एक ऐसा समय बताता है जो विंडो के बिल्कुल किनारे पर है (जिसका अर्थ है कि वह केवल अनुमान लगा रहा है), तो सिस्टम नए अनुमान को अनदेखा कर देता है और पास 1 से मिले मूल "अंतर्ज्ञान" पर टिक जाता है।
2. स्थान की जाँच: यदि ज़ूम-इन किया गया एआई स्क्रीन के बिल्कुल किनारे पर कोई बिंदु दिखाता है (जो अक्सर एक गलती होती है), तो सिस्टम उसे अनदेखा कर देता है और पास 1 के मूल स्थान का उपयोग करता है।

दुर्घटना के प्रकारों के लिए "विशेषज्ञ"

अंत में, सिस्टम को एहसास होता है कि पहला एआई दुर्घटना के प्रकार (जैसे, "साइडस्वैप" और "रियर-एंड" के बीच भ्रमित होना) को पहचानने में बहुत अच्छा नहीं है।

उपमा: इसलिए, वे उस छोटे, ज़ूम-इन किए गए क्लिप को दूसरे, अलग एआई विशेषज्ञ (Gemini 3.1) को सौंप देते हैं जो दुर्घटना के प्रकारों को पहचानने में विशेषज्ञ है। यह विशेषज्ञ केवल दुर्घटना के क्षण को देखता है और कहता है, "यह निश्चित रूप से एक साइडस्वैप है।"

परिणाम: प्रतिस्पर्धा को पछाड़ना

लेखकों ने वास्तविक दुनिया के एक बेंचमार्क पर इस "टू-पास" टीम का परीक्षण किया जिसमें 2,000 से अधिक वास्तविक सीसीटीवी वीडियो शामिल थे।

स्कोर: उन्होंने 0.539 का स्कोर प्राप्त किया।
तुलना: यह पिछले सर्वोत्तम प्रयासों (जिन्होंने लगभग 0.412 स्कोर किया था) से काफी बेहतर था और केवल एक एआई मॉडल का उपयोग करने की तुलना में बहुत बेहतर था।
लागत: सभी 2,000 वीडियो चलाने के लिए पूरी प्रक्रिया की लागत लगभग $20 थी (लगभग 1 सेंट प्रति वीडियो), जिससे यह सिद्ध होता है कि अच्छे परिणाम प्राप्त करने के लिए आपको सुपरकंप्यूटर की आवश्यकता नहीं है।

उन्होंने क्या पाया (विफलता विश्लेषण)

पेपर यह भी स्वीकार करता है कि सिस्टम अभी भी कहाँ संघर्ष करता है, एक ईमानदार जासूस की तरह अपनी सीमाओं की रिपोर्ट करता है:

देरी का पूर्वाग्रह (Late Bias): एआई का अनुमान लगाने का रुझान होता है कि दुर्घटना वास्तव में होने के थोड़ा बाद (लगभग 1.5 सेकंड बाद) हुई थी। वे अक्सर प्रभाव के क्षण के बजाय मलबे को देखते हैं।
प्रकारों में भ्रम: सिस्टम "हेड-ऑन" दुर्घटना और "टी-बोन" दुर्घटना, या "साइडस्वैप" और "रियर-एंड" के बीच अंतर करने में अभी भी बुरा है। वे लगभग 40-80% बार इनके बीच भ्रमित हो जाते हैं।
वीडियो की लंबाई: वीडियो जितना लंबा होगा, एआई के लिए सटीक क्षण खोजना उतना ही कठिन होगा, ठीक वैसे ही जैसे 10 मिनट के बजाय 1 घंटे के ढेर में सुई ढूंढना कठिन होता है।

सारांश

संक्षेप में, यह पेपर दिखाता है कि दुर्लभ यातायात दुर्घटनाओं को खोजने के लिए आपको शून्य से नया एआई प्रशिक्षित करने की आवश्यकता नहीं है। इसके बजाय, आप एक स्मार्ट "टू-पास" रणनीति का उपयोग कर सकते हैं: पहले व्यापक रूप से स्कैन करें, फिर सावधानी से ज़ूम इन करें, और दुर्घटना के प्रकार का नाम देने के लिए एक अलग विशेषज्ञ का उपयोग करें। यह दृष्टिकोण, सरल सुरक्षा जाँचों के साथ मिलकर जो खराब अनुमानों से बचने में मदद करते हैं, इस प्रणाली को पिछले तरीकों की तुलना में बहुत अधिक सटीक बनाता है, और यह सब कम लागत में और गोपनीयता नियमों का सम्मान करते हुए किया जाता है।

तकनीकी सारांश: दुर्लभ यातायात घटनाओं के लिए टू-पास ज़ीरो-शॉट टेम्पोरल-स्पेशियल ग्राउंडिंग

समस्या विवरण
यह शोध पत्र वास्तविक दुनिया के CCTV फुटेज में यातायात दुर्घटनाओं को ग्राउंड करने की चुनौती को संबोधित करता है, जो विशेष रूप से समय (time), स्थानिक निर्देशांक (spatial coordinates) और टकराव के प्रकार (collision type) के संयुक्त स्थानीयकरण (joint localization) को लक्षित करता है। इसे एक "दुर्लभ-घटना" (rare-event) समस्या के रूप में फ्रेम किया गया है जहाँ आधुनिक सुपरवइज्ड लर्निंग के लिए आवश्यक लेबल किए गए दुर्घटना फुटेज की मात्रा उपलब्ध नहीं है। इसके अलावा, गोपनीयता और उत्तरदायित्व संबंधी चिंताएं अक्सर वास्तविक घटनाओं के डेटा पर प्रशिक्षण लेने से रोकती हैं। यह कार्य ACCMENT@CVPR 2026 बेंचमार्क पर केंद्रित है, जो विकास के लिए 2,211 सिंथेटिक CARLA वीडियो प्रदान करता है, लेकिन 2,027 वास्तविक CCTV क्लिप्स पर प्रशिक्षण लेने को कड़ाई से प्रतिबंधित करता है। मूल्यांकन मीट्रिक ACCS है, जो टेम्पोरल (T), स्पेशियल (S), और कोलिजन टाइप (C) सटीकता के स्कोर का हार्मोनिक मीन (harmonic mean) है, जो उन प्रणालियों को दंडित करता है जिनमें किसी भी एकल उप-कार्य में कमजोरी होती है।

कार्यप्रणाली (Methodology)
लेखक एक नो-फाइन-ट्यूनिंग पाइपलाइन का प्रस्ताव करते हैं जो टू-पास डिकम्पोजिशन और स्पेशलिस्ट रोल असाइनमेंट के माध्यम से फ्रोजन विजन-लैंग्वेज मॉडल्स (VLMs) का लाभ उठाती है। यह सिस्टम वास्तविक दुर्घटना डेटा पर प्रशिक्षण के बिना संचालित होता है, और प्री-ट्रेंड मॉडल्स की मूल क्षमताओं पर निर्भर करता है।

कोर्स-टू-फाइन टू-पास डिकम्पोजिशन (Coarse-to-Fine Two-Pass Decomposition):
- पास 1 (कोर्स ग्राउंडिंग): पूरे वीडियो को 1 fps (30 फ्रेम तक) पर सैंपल किया जाता है और Qwen3-VL-Plus द्वारा प्रोसेस किया जाता है। मॉडल को इम्पैक्ट टाइम, लोकेशन और टाइप को दर्शाने वाले एक कोर्स टुपल $(t_1, x_1, y_1, c_1)$ आउटपुट करने के लिए प्रॉम्प्ट किया जाता है। टेम्पोरल एलाइनमेंट में सहायता के लिए, फ्रेम्स को स्पष्ट [Frame at t.ts] टैग के साथ सीरियलाइज किया जाता है, जिससे मॉडल को समय स्थानीयकरण को निरंतर रिग्रेशन के बजाय एक फ्रेम-नेमिंग टास्क के रूप में ट्रीट करने की अनुमति मिलती है।
- पास 2 (फाइन रिफाइनमेंट): कोर्स टाइम एस्टीमेट $t_1$ के आसपास $\pm 3$ सेकंड का विंडो निकाला जाता है और 5 fps (1024px रेजोल्यूशन पर 30 फ्रेम तक) पर सैंपल किया जाता है। Qwen3-VL-Plus 0.1s की सटीकता के साथ समय ( $t_2$ ) और लोकेशन ( $x_2, y_2$ ) को रिफाइन करने के लिए इस विंडो का पुनर्मूल्यांकन करता है।
- कॉन्फिडेंस गेट्स (Confidence Gates): दो डिटर्मिनिस्टिक गेट्स यह निर्धारित करते हैं कि क्या रिफाइंड पास 2 एस्टीमेट्स को स्वीकार किया जाए या पास 1 के रोबस्ट एस्टीमेट्स पर वापस लौटा जाए:
  - टेम्पोरल गेट: यदि पास 2 एक नेगेटिव टाइम या विंडो बाउंड्री के पास का समय लौटाता है (जो कम कॉन्फिडेंस दर्शाता है), तो सिस्टम $t_1$ पर वापस चला जाता है।
  - स्पेशियल गेट: यदि पास 2 के कोऑर्डिनेट्स "एज-क्लैम्प्ड" (नॉर्मलाइज्ड ग्रिड के 0 या 1000 बाउंड्री के पास) हैं, तो सिस्टम $(x_1, y_1)$ पर वापस चला जाता है।
स्पेशलिस्ट रोल असाइनमेंट (Specialist Role Assignment):
- यह पहचानते हुए कि एक एकल VLM सभी उप-कार्यों में उत्कृष्ट नहीं हो सकता है, पाइपलाइन जिम्मेदारियों को विभाजित करती है। Qwen3-VL-Plus टेम्पोरल और स्पेशियल ग्राउंडिंग (T+S) को संभालता है।
- Gemini 3.1 Flash-Lite को विशिष्ट भूमिका कोलिजन टाइप क्लासिफिकेशन (C) सौंपी गई है। फाइनल टाइम एस्टीमेट के केंद्र पर आधारित एक 5-सेकंड का क्लिप (पास 1 सेंटर के चारों ओर 2.5x ज़ूम) क्रॉप किया जाता है और पांच कोलिजन टाइप्स को सूचीबद्ध करने वाले क्लोज्ड-वर्ल्ड प्रॉम्प्ट के साथ Gemini को भेजा जाता है। यह विशेषज्ञता सभी कार्यों के लिए एकल मॉडल का उपयोग करने की तुलना में टाइप सटीकता में महत्वपूर्ण सुधार करती है।
फालबैक मैकेनिज्म (Fallback Mechanism):
- API विफलता के मामलों में (लगभग 17% वीडियो में देखी गई), सिस्टम एक फ्रोजन डिटेक्टर पाइपलाइन (YOLO26x + ByteTrack) के साथ मिलकर काम करता है जो रूल-बेस्ड फिजिक्स स्कोरिंग का उपयोग करता है। यह सुनिश्चित करता है कि कोई भी वीडियो अनप्रोसेस्ड न रहे।

प्रमुख योगदान (Key Contributions)

नो-फाइन-ट्यूनिंग पाइपलाइन: एक विधि जो फ्रोजन VLMs से संयुक्त T+S+C आउटपुट प्राप्त करती है, जिससे लेबल किए गए वास्तविक-दुनिया के दुर्घटना डेटा की आवश्यकता समाप्त हो जाती है।
गेट्स के साथ टू-पास डिकम्पोजिशन: एक रणनीति जो हाई-सेलिएन्स नेबरहुड्स को रिफाइन करती है जबकि दूसरे पास से होने वाली एरर प्रोपेगेशन को रोकने के लिए डिटर्मिनिस्टिक कॉन्फिडेंस चेक का उपयोग करती है।
स्पेशलिस्ट रोल स्प्लिट: यह प्रदर्शित करना कि दूसरे स्पेशलाइज्ड VLM (Gemini) को टाइप क्लासिफिकेशन सौंपने से टाइप सटीकता 0.474 से बढ़कर 0.591 हो जाती है, जो हार्मोनिक मीन स्कोर के लिए एक महत्वपूर्ण सुधार है।
सिस्टमैटिक फेल्योर डायग्नोसिस: पेपर में विफलता के मोड का विस्तृत निदान दिया गया है, जिसमें टेम्पोरल ग्राउंडिंग में +1.55s का लेट बायस, लेंथ-डिपेंडेंट डिग्रेडेशन, और फिजिक्स-VLM ऑरेकल एनालिसिस शामिल है।

परिणाम (Results)
ACCIDENT@CVPR 2026 टेस्ट सेट (2,027 वीडियो) पर, प्रस्तावित पाइपलाइन 0.539 का ACCS प्राप्त करती है (95% CI [0.525, 0.553])।

तुलनात्मक प्रदर्शन: यह बेंचमार्क पेपर के बेस्ट-ऑफ-बेसलाइन्स ऑरेकल (0.412) की तुलना में +0.127 का सुधार और सबसे मजबूत सिंगल-VLM बेसलाइन, Molmo-7B (0.396) की तुलना में +0.143 का सुधार है।
सबटास्क ब्रेकडाउन: विधि T=0.50, S=0.54, और C=0.59 प्राप्त करती है। विशेष रूप से, टाइप सटीकता (C) उच्चतम रिपोर्ट की गई है, जबकि स्पेशियल सटीकता (S) बेस्ट सिंगल-VLM बेसलाइन से थोड़ा पीछे है।
लागत दक्षता: पूरे टेस्ट सेट के लिए पूर्ण रन की लागत लगभग ** $20** (लगभग$ 0.01 प्रति वीडियो) है, जिसमें प्रति वीडियो अधिकतम तीन API कॉल का उपयोग किया जाता है।
विफलता डायग्नोस्टिक्स: विश्लेषण एक औसत टेम्पोरल लेट बायस (mean temporal late bias) के रूप में +1.55s प्रकट करता है (मॉडल अक्सर संपर्क क्षण के बजाय टक्कर के बाद के मलबे की पहचान करता है) और "हेड-ऑन" एवं "टी-बोन" टक्करों के बीच महत्वपूर्ण भ्रम दिखाता है।

महत्व और दावे (Significance and Claims)
पेपर का दावा है कि दुर्लभ-घटना ग्राउंडिंग में सुपरवाइज्ड ट्रेनिंग के बिना मानव प्रदर्शन (Human ACCS = 0.843) के अंतर को पाटने के लिए हैंड-क्राफ्टेड प्रिमिटिव्स और सिंगल-शॉट प्रॉम्प्टिंग से आगे बढ़ना आवश्यक है। लेखक तर्क देते हैं कि उनका दृष्टिकोण यह प्रदर्शित करता है कि जहाँ डेटा की कमी और गोपनीयता प्राथमिक बाधाएं हैं, वहां ट्रेनिंग-फ्री, ज़ीरो-शॉट VLM पाइपलाइन्स की व्यवहार्यता क्या है।

लेखक वर्तमान सिस्टम के प्रति विनम्र बने हुए हैं, यह नोट करते हुए कि अवशिष्ट टेम्पोरल अस्पष्टता (मीडियन 1.1s एरर) और विशिष्ट टाइप कन्फ्यूजन (हेड-ऑन/साइडस्वैप) अभी भी बिना ह्यूमन-इन-द-लूप गेट्स के पूरी तरह से ऑटोमेटेड फर्स्ट-नोटिस-ऑफ-लॉस (FNOL) सिस्टम के लिए स्वीकार्य नहीं हैं। वे निष्कर्ष निकालते हैं कि भविष्य के सुधार केवल मॉडल साइज को बढ़ाने के बजाय एडैप्टिव सैंपलिंग और फिजिक्स-VLM फ्यूजन पर केंद्रित होने चाहिए। यह कार्य स्थापित करता है कि स्पेशलाइज्ड रोल असाइनमेंट और कोर्स-टू-फाइन रिफाइनमेंट जटिल, वास्तविक दुनिया के निगरानी परिदृश्यों में ज़ीरो-शॉट ग्राउंडिंग में सुधार के लिए प्रभावी लीवर हैं।