💻 computer science

GridVAD: Open-Set Video Anomaly Detection via Spatial Reasoning over Stratified Frame Grids

GridVAD एक ट्रेनिंग-मुक्त, ओपन-सेट वीडियो विसंगति पहचान (anomaly detection) पाइपलाइन है जो स्टेट-ऑफ-द-आर्ट पिक्सेल-लेवल प्रदर्शन प्राप्त करने के लिए डोमेन-विशिष्ट प्रशिक्षण के बिना विजन-लैंग्वेज मॉडल्स को विसंगति प्रस्तावक (anomaly proposers) के रूप में उपयोग करती है, जिसे सेल्फ-कंसिस्टेंसी कंसोलिडेशन द्वारा परिष्कृत और डिटेक्शन-सेगमेंटेशन मॉडल्स द्वारा ग्राउंडेड किया जाता है।

मूल लेखक: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

प्रकाशित 2026-03-27

📖 6 मिनट में पढ़ें🧠 गहराई से पढ़ें

CC0 1.0

मूल लेखक: Mohamed Eltahir, Ahmed O. Ibrahim, Obada Siralkhatim, Tabarak Abdallah, Sondos Mohamed

मूल पेपर CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/) के तहत सार्वजनिक डोमेन को समर्पित है। ✨ नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें

कल्पना कीजिए कि आप एक विशाल, व्यस्त शहर के चौक के सुरक्षा प्रमुख (Head of Security) हैं। आपका काम किसी भी अजीब चीज़ को पकड़ना है—जैसे कोई गलत दिशा में भाग रहा हो, कोई कार फुटपाथ पर गाड़ी चला रही हो, या कहीं लड़ाई हो रही हो।

अतीत में, सुरक्षा प्रणालियाँ प्रशिक्षित कुत्तों की तरह थीं। आपको उन्हें विशेष रूप से यह सिखाना पड़ता था कि "बुरा" क्या दिखता है (जैसे, "कुत्ता भौंकना")। यदि एक बिल्ली बाड़ के ऊपर से कूद जाती, तो कुत्ते को नहीं पता होता कि क्या करना है क्योंकि उसे बिल्लियों के लिए प्रशिक्षित नहीं किया गया था।

फिर, हमें विज़न-लैंग्वेज मॉडल्स (VLMs) मिले। इन्हें सुपर-इंटेलिजेंट, विद्वान लाइब्रेरियन के रूप में सोचें जिन्होंने दुनिया की हर किताब पढ़ी है और हर फिल्म देखी है। वे किसी भी चीज़ का सटीक अंग्रेजी में वर्णन कर सकते हैं। "वह एक दौड़ता हुआ व्यक्ति है," या "वह घास पर चलती हुई कार है।"

समस्या: लाइब्रेरियन बहुत अधिक बातें करता है (और भ्रमित भी होता है)

शोधकर्ताओं ने महसूस किया कि यदि आप लाइब्रेरियन से बस पूछते हैं, "क्या यह एक आपात स्थिति है?" तो वे अक्सर गलत होते हैं।

क्यों? लाइब्रेरियन ने फुटपाथ पर दौड़ते लोगों के लाखों वीडियो देखे हैं (जो सामान्य है) और फिल्मों में दौड़ते लोगों के लाखों वीडियो देखे हैं (जो एक आपात स्थिति हो सकती है)। उन्हें आपके शहर के चौक के विशिष्ट नियमों का पता नहीं है।
परिणाम: यदि आप लाइब्रेरियन से हर सेकंड के वीडियो का निर्णय लेने के लिए कहते हैं, तो वे हर बार जब कोई जॉगिंग करता है, या यहाँ तक कि जब कोई छाया हिलती है, तो चिल्लाकर कहेंगे "आपात स्थिति!" वे बहुत अधिक संवेदनशील हैं और ऐसी चीजें बना लेते हैं जो वहां मौजूद ही नहीं हैं (Hallucinations)।

समाधान: GridVAD ("प्रपोज-ग्राउंड-प्रोपैगेट" टीम)

लाइब्रेरियन को जज बनाने के बजाय, लेखकों ने एक नया वर्कफ़्लो बनाया जिसे GridVAD कहा जाता है। उन्होंने इस काम को तीन अलग-अलग भूमिकाओं में विभाजित किया है, जो एक सुव्यवस्थित मशीन की तरह काम करते हैं:

1. लाइब्रेरियन "विचार जनरेटर" (प्रपोजर) बनता है

लाइब्रेरियन से "हाँ/ना" कहने के बजाय, हम उनसे केवल विचारों की सूची बनाने के लिए कहते हैं।

ट्रिक: वे लाइब्रेरियन को एक-एक सेकंड का वीडियो नहीं दिखाते। यह बहुत अधिक काम और भ्रमित करने वाला है।
ग्रिड (Grid): वे 10 सेकंड के क्लिप को एक 9-पैनल वाले कॉमिक स्ट्रिप (एक ग्रिड) में काट देते हैं। वे पूरे कॉमिक स्ट्रिप को एक साथ लाइब्रेरियन को दिखाते हैं।
पूछना: "इस कॉमिक स्ट्रिप को देखें। जो कुछ भी अजीब लग रहा है उसकी एक सूची लिखें, और मुझे बताएं कि वह कब हुआ।"
लाभ: लाइब्रेरियन अजीब चीजों का वर्णन करने में बहुत अच्छा है ("एक व्यक्ति नो-स्केट ज़ोन में स्केटबोर्डिंग कर रहा है"), लेकिन यह तय करने में बुरा है कि क्या यह वास्तव में एक आपात स्थिति है। इसलिए, हम उन्हें बस सूची लिखने देते हैं।

2. "वास्तविकता की जाँच" (सेल्फ-कंसिस्टेंसी कंसोलिडेशन)

यही असली जादू है। लाइब्रेरियन थोड़ा अस्थिर हो सकता है। यदि आप उनसे एक ही सवाल 5 बार पूछते हैं, तो वे 5 थोड़े अलग उत्तर दे सकते हैं। कभी-कभी वे सही होते हैं; कभी-कभी वे कोई काल्पनिक चीज़ बना लेते हैं।

रणनीति: सिस्टम लाइब्रेरियन को एक ही वीडियो क्लिप को 5 अलग-अलग बार देखने के लिए कहता है (थोड़े अलग रैंडम फ्रेम्स का उपयोग करके)।
फ़िल्टर: यदि लाइब्रेरियन 5 में से 4 बार कहता है, "मुझे एक स्केटबोर्डर दिख रहा है!" तो सिस्टम कहता है, "ठीक है, वह शायद वास्तविक है।" यदि वे केवल एक बार कहते हैं, "मुझे एक उड़ता हुआ यूनिकॉर्न दिख रहा है!" तो सिस्टम कहता है, "नहीं, वह केवल एक भ्रम था। उसे अनदेखा करें।"
उपमा: यह 5 अलग-अलग गवाहों से अपराध का वर्णन करने के लिए पूछने जैसा है। यदि 4 लोग कहते हैं "लाल कार," तो आप उस पर भरोसा करते हैं। यदि एक व्यक्ति कहता है "बैंगनी ड्रैगन," तो आप जानते हैं कि वह मनगढ़ंत बात कर रहा है।

3. "डिटेक्टिव और पेंटब्रश" (ग्राउंडिंग और प्रोपेगेशन)

अब जब हमारे पास अजीब घटनाओं की एक विश्वसनीय सूची है (जैसे, "2:00 से 2:15 तक स्केटबोर्डर"), तो हमें उन्हें स्क्रीन पर ढूंढना है।

डिटेक्टिव (Grounding DINO): हम उस विवरण ("स्केटबोर्डर") को लेते हैं और एक विशेष डिटेक्टिव मॉडल से पूछते है कि उस वीडियो में स्केटबोर्डर के चारों ओर सटीक बॉक्स ढूंढे।
पेंटब्रश (SAM2): एक बार जब डिटेक्टिव उस स्केटबोर्डर को एक फ्रेम में ढूंढ लेता है, तो हम एक "स्मार्ट पेंटब्रश" (SAM2) का उपयोग करते हैं जो उस क्षण से पहले और बाद के हर फ्रेम में स्केटबोर्डर के आकार को स्वचालित रूप से ट्रेस करता है। यह एक सटीक, चलता-फिरता मास्क बनाता है जो ठीक उसी व्यक्ति को हाइलाइट करता है जो अजीब हरकत कर रहा है।

यह एक बड़ी बात क्यों है?

प्रशिक्षण की आवश्यकता नहीं: आपको सिस्टम को "बुरी चीजों" के हजारों वीडियो खिलाकर सिखाने की आवश्यकता नहीं है। यह आउट ऑफ द बॉक्स (Zero-Shot) काम करता है क्योंकि यह लाइब्रेरियन के सामान्य ज्ञान का उपयोग करता है।
पैसे की बचत: लाइब्रेरियन से हर फ्रेम को देखने के लिए कहने के बजाय (जिसमें बहुत अधिक कंप्यूटर समय और पैसा खर्च होगा), GridVAD केवल एक वीडियो क्लिप के लिए 5 या 6 बार ही पूछता है, चाहे वीडियो कितना भी लंबा क्यों न हो। यह 2.7 गुना अधिक कुशल है।
बेहतर सटीकता: UCSD Ped2 टेस्ट (एक मानक सुरक्षा वीडियो डेटासेट) पर, इस पद्धति ने किसी भी अन्य विधि की तुलना में बेहतर तरीके से पिक्सेल-लेवल विसंगतियों (anomalies) को खोजा, यहाँ तक कि उन विधियों की भी जो विशेष रूप से उस डेटा पर प्रशिक्षित थीं।

कमी

यह सिस्टम सटीकता (Precision) में बहुत अच्छा है (जब यह कुछ पाता है, तो वह लगभग निश्चित रूप से वास्तविक होता है और पूरी तरह से रेखांकित होता है)। हालाँकि, यदि लाइब्रेरियन ने सबसे पहले ही उनका उल्लेख करने के बारे में नहीं सोचा, तो यह कभी-कभी कुछ चीज़ों को मिस कर देता है। हजारों गलत सूचनाओं के बजाय कुछ सटीक अलर्ट होना बेहतर है।

संक्षेप में: GridVAD AI को "जज" बनाने की कोशिश करना बंद करता है और उसे एक "गवाह" में बदल देता है। यह कई गवाहों के विवरण एकत्र करता है, झूठ बोलने वालों को फ़िल्टर करता है, और फिर वास्तविक उपद्रवियों को खोजने और हाइलाइट करने के लिए एक विशेष टीम भेजता है।

यहाँ शोध पत्र "GridVAD: Stratified Frame Grids पर Spatial Reasoning के माध्यम से Open-Set Video Anomaly Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

वीडियो विसंगति पहचान (Video Anomaly Detection - VAD) का लक्ष्य उन घटनाओं की पहचान करना और उन्हें स्थानीयकृत (localize) करना है जो सामान्य दृश्य गतिकी (scene dynamics) से विचलित होती हैं। यह स्वाभाविक रूप से एक ओपन-सेट, असंतुलित समस्या (open-set, unbalanced problem) है क्योंकि विसंगतियाँ दुर्लभ, विविध और संदर्भ-निर्भर होती हैं (जैसे, फुटपाथ पर दौड़ना सामान्य है लेकिन एक कारखाने में यह असामान्य है)।

वर्तमान सीमाएँ: पारंपरिक VAD विधियाँ प्रशिक्षण डेटा (supervised, weakly supervised, या one-class) पर निर्भर करती हैं, जो अनदेखी विसंगति प्रकारों तक सामान्यीकरण करने की उनकी क्षमता को सीमित करती हैं।
VLM की चुनौती: जबकि विज़न-लैंग्वेज मॉडल्स (VLMs) में व्यापक दृश्य ज्ञान होता है और वे नवीन अवधारणाओं के बारे में तर्क कर सकते हैं, उन्हें सीधे विसंगति डिटेक्टर के रूप में उपयोग करना नाजुक (fragile) है। VLMs को इंटरनेट-स्केल डेटा पर प्रशिक्षित किया जाता है जहाँ विसंगतियाँ दुर्लभ या व्यवस्थित रूप से लेबल की गई नहीं होती हैं। फलस्वरूप, वे अनकलिब्रेटेड विसंगति स्कोर (uncalibrated anomaly scores) उत्पन्न करते हैं, जिससे उच्च दर पर फाल्स अलार्म (hallucinations) और बाइनरी "विसंगति बनाम सामान्य" निर्णय लेने में चूक होती है।

2. कार्यप्रणाली: "प्रपोज़-ग्राउंड-प्रोपैगेट" पाइपलाइन (Methodology: The "Propose-Ground-Propagate" Pipeline)

लेखक एक प्रतिमान परिवर्तन (paradigm shift) प्रस्तावित करते हैं: VLMs को सीधे डिटेक्टर के रूप में उपयोग करने के बजाय, उन्हें ओपन-सेट प्रपोज़र (open-set proposers) के रूप में कार्य करना चाहिए। यह पाइपलाइन, जिसे GridVAD कहा जाता है, ट्रेनिंग-फ्री (विसंगति डेटा पर कोई फाइन-ट्यूनिंग नहीं) है और चार चरणों में विभाजित है:

A. स्ट्रैटिफाइड ग्रिड सैंपलिंग (Stratified Grid Sampling)

प्रत्येक फ्रेम को व्यक्तिगत रूप से प्रोसेस किए बिना टेम्पोरल कॉन्टेक्स्ट को कुशलतापूर्वक संभालने के लिए:

एक वीडियो क्लिप को $K$ समान-चौड़ाई वाले टेम्पोरल बिन्स (temporal bins) में विभाजित किया जाता है।
क्लिप को $K$ फ्रेम्स के एक स्ट्रैटिफाइड स्पेशियल ग्रिड (stratified spatial grid) के रूप में दर्शाया जाता है (जैसे, $3 \times 3$ ग्रिड = 9 फ्रेम्स)।
$M$ स्वतंत्र सैंपलिंग की जाती है। प्रत्येक सैंपलिंग में, प्रत्येक बिन से एक फ्रेम यादृच्छिक रूप से लिया जाता है और उसे एक एकल छवि में टाइल किया जाता है। यह सुनिश्चित करता है कि प्रत्येक टेम्पोरल बिन का प्रतिनिधित्व हो और साथ ही क्लिप के विविध दृश्य भी मिलें, जो नगण्य कम्प्यूटेशनल लागत पर संभव है।

B. ओपन-सेट विसंगति प्रस्ताव (Open-Set Anomaly Proposal - VLM)

प्रत्येक स्ट्रैटिफाइड ग्रिड इमेज को एक संरचित प्रॉम्प्ट के साथ VLM (जैसे, Qwen3-VL) में फीड किया जाता है।
VLM संभावित विसंगतियों के मुक्त-रूप प्राकृतिक भाषा विवरण (free-form natural language descriptions) उत्पन्न करता है, जिसमें टेम्पोरल अंतराल ( $t_s, t_e$ ) और कॉन्फिडेंस स्कोर शामिल होते हैं।
महत्वपूर्ण रूप से, VLM से यह निर्णय नहीं मांगा जाता कि कुछ विसंगति है या नहीं; यह केवल यह बताता है कि वह क्या असामान्य देख रहा है।

C. सेल्फ-कंसिस्टेंसी कंसोलिडेशन (Self-Consistency Consolidation - SCC)

यह शोर (noise) को फ़िल्टर करने के लिए मुख्य नवाचार है:

$M$ प्रस्तावों (proposals) को एकत्रित किया जाता है।
एक टेक्स्ट-ओनली LLM एक सेमेंटिक कंसोलिडेटर (semantic consolidator) के रूप में कार्य करता है, जो उन प्रस्तावों को समूहित करता है जो विभिन्न सैंपलिंग के दौरान एक ही ऑब्जेक्ट/इवेंट को संदर्भित करते हैं।
फ़िल्टरिंग तंत्र: केवल वे प्रस्ताव जिन्हें कम से कम $\tau$ स्वतंत्र सैंपलिंग में देखा गया है (सपोर्ट काउंट $\sigma_j \geq \tau$ ), उन्हें ही रखा जाता है।
तर्क: वास्तविक विसंगतियाँ दृश्य रूप से सुसंगत होती हैं और विभिन्न सैंपलिंग में बार-बार दिखाई देंगी; जबकि मतिभ्रम (hallucinations) स्टोकेस्टिक होते हैं और संभवतः केवल एक बार ही दिखाई देंगे। यह एक शोर वाले प्रपोज़र को एक विश्वसनीय सिग्नल में बदल देता है।

D. स्पेशियल ग्राउंडिंग और टेम्पोरल प्रोपेगेशन (Spatial Grounding and Temporal Propagation)

ग्राउंडिंग: जीवित बचे हुए प्रस्ताव के प्राकृतिक भाषा विवरण को Grounding DINO (एक ज़ीरो-शॉट ओपन-वोकैबुलरी डिटेक्टर) को पास किया जाता है ताकि सबसे सूचनात्मक एंकर फ्रेम में बाउंडिंग बॉक्स बनाया जा सके।
प्रोपेगेशन: बाउंडिंग बॉक्स का उपयोग टेम्पोरल विंडो के माध्यम से मास्क को आगे और पीछे प्रोपेगेट करने के लिए SAM2 (Segment Anything Model 2) के लिए एक प्रॉम्प्ट के रूप में किया जाता है, जिससे सघन (dense), पिक्सेल-स्तरीय विसंगति मास्क उत्पन्न होते हैं।

3. प्रमुख योगदान (Key Contributions)

VLM-as-Proposer सिद्धांत: यह पेपर स्पष्ट करता है कि VLMs का उपयोग बाइनरी स्कोर के बजाय ओपन-सेट विवरण उत्पन्न करने के लिए किया जाना चाहिए। यह "पहचान/विवरण" (VLM की ताकत) को "निर्णय/स्थानीयकरण" (विशेषीकृत मॉडल्स द्वारा संभाला गया) से अलग करता है।
सेल्फ-कंसिस्टेंसी कंसोलिडेशन (SCC): एक हल्का, पैरामीटर-फ्री तंत्र जो VLM को एक स्टोकेस्टिक सेंसर के रूप में मानता है। यह मतिभ्रम (hallucinations) को फ़िल्टर करके केवल सांख्यिकीय रूप से समर्थित प्रस्तावों को बनाए रखता है, जिससे सटीक-रिकॉल (precision-recall) ट्रेडऑफ को नियंत्रित किया जा सकता है।
स्ट्रैटिफाइड ग्रिड रिप्रेजेंटेशन: टेम्पोरल डिटेक्शन को एक सिंगल-पास स्पेशियल रीजनिंग कार्य में बदल देता है। यह बजट-नियंत्रित VLM क्वेरीइंग (प्रति क्लिप $M+1$ कॉल) की अनुमति देता है, जो इसे वीडियो की लंबाई के बावजूद अत्यधिक कुशल बनाता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन UCSD Ped2 और ShanghaiTech Campus बेंचमार्क पर किया गया।

UCSD Ped2 पर प्रदर्शन:
- तुलना की गई सभी विधियों में उच्चतम Pixel-AUROC (77.59) प्राप्त किया, जो आंशिक रूप से फाइन-ट्यून की गई स्टेट-ऑफ-द-आर्ट विधि TAO (75.11) से भी बेहतर है।
- ऑब्जेक्ट-लेवल मेट्रिक्स (RBDC) पर अन्य ज़ीरो-शॉट दृष्टिकोणों से 5 गुणा से अधिक बेहतर प्रदर्शन किया।
दक्षता (Efficiency):
- GridVAD, यूनिफॉर्म प्रति-फ्रेम VLM क्वेरीइंग की तुलना में 2.7 गुणा अधिक कॉल-कुशल (call-efficient) है।
- यह सघन पिक्सेल-स्तरीय विसंगति मास्क उत्पन्न करता है, जबकि यूनिफॉर्म सैंपलिंग में अक्सर टेम्पोरल कॉन्टेक्स्ट की कमी होती है या इसके लिए API कॉल्स का रैखिक स्केलिंग (linear scaling) आवश्यक होता है।
एब्लेशन स्टडीज (Ablation Studies):
- SCC को हटाने ( $M=1$ ) से ऑब्जेक्ट-लेवल रिकॉल (RBDC/TBDC) बढ़ जाता है लेकिन पिक्सेल-लेवल प्रिसिजन (मतिभ्रम मास्क के कारण) काफी कम हो जाता है।
- SCC प्रभावी रूप से शोर को फ़िल्टर करता है, जिससे ऑब्जेक्ट-लेवल रिकॉल की कीमत पर Pixel-AUROC में ~7.3 अंक और Pixel-F1 में ~13.8 अंक का सुधार होता है।

5. महत्व और सीमाएं (Significance and Limitations)

महत्व:

ट्रेनिंग-फ्री: GridVAD बिना किसी डेटासेट-विशिष्ट फाइन-ट्यूनिंग या क्लोज्ड-सेट कैटेगरी लिस्ट के स्टेट-ऑफ-द-आर्ट प्रदर्शन प्राप्त करता है।
मजबूती (Robustness): प्रपोज़-ग्राउंड-प्रोपैगेट अपघटन (decomposition) डिटेक्शन के लिए उपयोग किए जाने वाले VLMs में अंतर्निहित "मतिभ्रम" (hallucination) की समस्या को प्रभावी ढंग से कम करता है।
स्केलेबिलिटी: प्रति क्लिप निश्चित बजट इसे लंबे वीडियो निगरानी के लिए व्यावहारिक बनाता है जहाँ प्रति-फ्रेम प्रोसेसिंग कम्प्यूटेशनल रूप से महंगी होती है।

सीमाएं:

प्रपोजल रिकॉल बॉटलनेक (Proposal Recall Bottleneck): सिस्टम केवल उन्हीं विसंगतियों का पता लगा सकता है जिन्हें VLM सफलतापूर्वक प्रपोज़ करता है। यदि VLM सभी $M$ सैंपलिंग में किसी घटना को मिस कर देता है, तो वह अनडिटेक्टेड रह जाएगी।
ऑब्जेक्ट-लेवल मेट्रिक्स: जबकि पिक्सेल-लेवल मेट्रिक्स बेहतर हैं, ऑब्जेक्ट-लेवल रिकॉल (RBDC/TBDC) TAO जैसी व्यापक ट्रैकिंग विधियों की तुलना में कम है क्योंकि GridVAD पिक्सेल-लेवल प्रिसिजन को व्यापक रिकॉल पर प्राथमिकता देता है।
क्लिप स्वतंत्रता (Clip Independence): क्लिप सीमाओं को पार करने वाली विसंगतियाँ छूट सकती हैं या डुप्लिकेट हो सकती हैं, क्योंकि पाइपलाइन क्लिप्स को स्वतंत्र रूप से प्रोसेस करती है।

निष्कर्षतः, GridVAD यह प्रदर्शित करता है कि VLMs को ओपन-सेट प्रपोज़र्स के रूप में पुनर्गठित करके और शोर को फ़िल्टर करने के लिए सांख्यिकीय निरंतरता (statistical consistency) का उपयोग करके, सघन पिक्सेल-लेवल लोकलाइजेशन के साथ अत्यधिक सटीक, ट्रेनिंग-फ्री वीडियो विसंगति पहचान प्राप्त करना संभव है।