Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection

यहाँ शोध पत्र "Action Hints: Semantic Typicality and Context Uniqueness for Generalizable Skeleton-based Video Anomaly Detection" का विस्तृत तकनीकी सारांश दिया गया है।

1. समस्या विवरण (Problem Statement)

जीरो-शॉट वीडियो विसंगति पहचान (Zero-Shot Video Anomaly Detection - ZS-VAD) का लक्ष्य लक्षित डोमेन (target domain) से किसी भी प्रशिक्षण डेटा का उपयोग किए बिना निगरानी वीडियो में असामान्य घटनाओं को समयबद्ध रूप से स्थानीयकृत (temporally localize) करना है। यह उन परिदृश्यों के लिए महत्वपूर्ण है जहाँ डेटा गोपनीयता या नए निगरानी डिप्लॉयमेंट शामिल हैं जहाँ लक्षित डेटा उपलब्ध नहीं होता है।

• वर्तमान सीमाएँ:
  • फ्रेम/ऑब्जेक्ट-आधारित विधियाँ: नए दृश्यों में जाने पर बैकग्राउंड और मानव उपस्थिति के कारण डोमेन शिफ्ट (domain shifts) से ग्रस्त होती हैं।
  • मौजूदा स्केलेटन-आधारित विधियाँ: हालांकि वे बैकग्राउंड/उपस्थिति के अंतर को समाप्त कर देती हैं, लेकिन वे स्व-पर्यवेक्षण (self-supervision) के माध्यम से सीखे गए निम्न-स्तरीय स्केलेटन प्रतिनिधित्व (जैसे, समन्वय भविष्यवाणी, पुनर्निर्माण) पर निर्भर करती हैं। उनमें अर्थपूर्ण समझ (semantic understanding) की कमी होती है, जिससे वे उन नवीन विसंगतियों (novel anomalies) के बीच अंतर करने में असमर्थ होती हैं जो सामान्य पैटर्न के समान दिखती हैं।
  • डोमेन-सीमित सीमाएँ (Domain-Limited Boundaries): मौजूदा विधियाँ स्रोत प्रशिक्षण डेटा द्वारा परिभाषित सामान्यता सीमाओं (normality boundaries) पर अंधाधुंध भरोसा करती हैं, जिससे नए दृश्यों में अनदेखी सामान्य घटनाओं को विसंगति के रूप में गलत वर्गीकृत किया जाता है।

2. कार्यप्रणाली (Methodology)

लेखक एक नया ढांचा प्रस्तावित करते हैं जो सामान्यीकरण योग्य ZS-VAD प्राप्त करने के लिए एक्शन सेमेंटिक टिपिकैलिटी (Action Semantic Typicality) और कॉन्टेक्स्ट यूनिकनेस (Context Uniqueness) का लाभ उठाता है। यह दृष्टिकोण दो मुख्य मॉड्यूल से बना है:

A. भाषा-निर्देशित विशिष्टता मॉडलिंग (प्रशिक्षण चरण)

इस मॉड्यूल का उद्देश्य निम्न-स्तरीय निर्देशांकों के बजाय क्रियाओं की उच्च-स्तरीय अर्थपूर्ण समझ सीखना है।

1. स्केलेटन-टेक्स्ट संरेखण (Skeleton-Text Alignment): मॉडल VAD-विशिष्ट डेटा के बजाय एक बाहरी एक्शन रिकग्निशन डेटासेट (Kinect-400) का उपयोग करता है। यह एक स्केलेटन एनकोडर ($E_s$) और एक टेक्स्ट एनकोडर ($E_t$) का उपयोग करके स्केलेटन स्निपेट्स को टेक्स्ट लेबल के साथ संरेखित करता है, जिससे स्केलेटन को भाषा-संरेखित अर्थपूर्ण स्थान (language-aligned semantic space) में प्रोजेक्ट किया जाता है।
2. टिपिकैलिटी नॉलेज सिलेक्शन (LLM डिस्टिलेशन):
   • एक लार्ज लैंग्वेज मॉडल (LLM) को 400 एक्शन क्लास में से 20 सबसे विशिष्ट सामान्य क्रियाओं (जैसे, चलना, पढ़ना) और 20 सबसे विशिष्ट असामान्य क्रियाओं (जैसे, लड़ना, स्काईडाइविंग) की पहचान करने के लिए प्रॉम्प्ट किया जाता है।
   • इन चयनित "विशिष्ट" क्लासों से संबंधित उच्च-गुणवत्ता वाले स्केलेटन स्निपेट्स को स्केलेटन-टेक्स्ट समानता के आधार पर फ़िल्टर किया जाता है।
3. टिपिकैलिटी डिस्ट्रीब्यूशन लर्निंग:
   • एक नॉर्मलाइजिंग फ्लो (Normalizing Flow - NF) को इन चयनित विशिष्ट सामान्य और असामान्य फीचर्स पर प्रशिक्षित किया जाता है।
   • NF इन व्यवहारों के संभाव्यता वितरण (probability distribution) को मॉडल करता है। अनुमान (inference) के दौरान, विसंगति स्कोर ($S^t$) सीखे गए "सामान्य" वितरण के तहत नेगेटिव लॉग-लाइक्लीहुड से प्राप्त किया जाता है। यह मॉडल को विशिष्ट डेटा सांख्यिकी के बजाय अर्थपूर्ण पूर्वग्रहों (semantic priors) के आधार पर नए दृश्यों में सामान्य होने की क्षमता देता है।

B. टेस्ट-टाइम कॉन्टेक्स्ट यूनिकनेस एनालिसिस (अनुमान चरण)

उन परिदृश्यों को संभालने के लिए जहाँ क्रियाएं पूरी तरह से "विशिष्ट" नहीं होती हैं (जैसे, एक सामान्य क्रिया जो एक विशिष्ट संदर्भ में असामान्य है), मॉडल स्थानिक-कालिक संदर्भ (spatio-temporal context) का विश्लेषण करता है।

1. कॉन्टेक्स ग्राफ निर्माण: प्रत्येक स्केलेटन स्निपेट के लिए, दो ग्राफ बनाए जाते हैं:
   • क्रॉस-पर्सन ग्राफ ($G_c$): वर्तमान व्यक्ति को स्थान में आस-पास के अन्य व्यक्तियों से जोड़ता है।
   • सेल्फ-इंस्पेक्शन ग्राफ ($G_s$): वर्तमान व्यक्ति को समय में उसके अपने पिछले/भविष्य के राज्यों से जोड़ता है (अनावश्यकता से बचने के लिए तत्काल पड़ोसियों को छोड़कर)।
2. यूनिकनेस स्कोरिंग: मॉडल दोनों ग्राफों में क्वेरी स्निपेट और उसके पड़ोसियों के बीच फीचर दूरी की गणना करता है। चूंकि विसंगतियाँ दुर्लभ और अद्वितीय होती हैं, इसलिए उच्च दूरी एक विसंगति का संकेत देती है। यूनिकनेस स्कोर ($S^u$) क्रॉस-पर्सन और सेल्फ-इंस्पेक्शन दूरियों का अधिकतम मान है।
3. होलिस्टिक स्कोरिंग: अंतिम विसंगति स्कोर टिपिकैलिटी स्कोर ($S^t$) और यूनिकनेस स्कोर ($S^u$) का एक सामान्यीकृत संयोजन है:
   $$S_i = \frac{S^t_i - \mu_t}{\sigma_t} + \frac{S^u_i - \mu_u}{\sigma_u}$$
   यह अर्थपूर्ण पूर्वग्रहों (क्या सामान्य/असामान्य होना चाहिए) को प्रासंगिक साक्ष्यों (वास्तव में क्या अद्वितीय है) के साथ एकीकृत करता है।

3. प्रमुख योगदान (Key Contributions)

1. नया ढांचा: एक स्केलेटन-आधारित ZS-VAD ढांचा जो निम्न-स्तरीय प्रतिनिधित्व सीखने से आगे बढ़कर सेमेंटिक टिपिकैलिटी और कॉन्टेक्स्ट यूनिकनेस की ओर बढ़ता है।
2. भाषा-निर्देशित टिपिकैलिटी मॉड्यूल: एक विधि पेश करता है जो LLM के ज्ञान को स्केलेटन एनकोडर में डिस्टिल करती है, जिससे बिना लक्षित डोमेन प्रशिक्षण के एक सामान्यीकरण योग्य अर्थपूर्ण स्थान बनाया जाता है।
3. टेस्ट-टाइम यूनिकनेस एनालिसिस: एक गतिशील, दृश्य-अनुकूल सीमा तंत्र (scene-adaptive boundary mechanism) प्रस्तावित करता है जो व्यक्तियों और समय चरणों के बीच स्थानिक-कालिक अंतरों का विश्लेषण करता है ताकि संदर्भ-विशिष्ट विसंगतियों का पता लगाया जा सके।
4. स्टेट-ऑफ-द-आर्ट प्रदर्शन: चार बड़े पैमाने के डेटासेट (ShanghaiTech, UBnormal, NWPU, UCF-Crime) पर उत्कृष्ट परिणाम प्राप्त करता है, जो 100 से अधिक अनदेखे निगरानी दृश्यों को कवर करते हैं, और फुल-शॉट एवं अन्य ज़ीरो-शॉट विधियों से बेहतर प्रदर्शन करता है।

4. प्रयोगात्मक परिणाम (Experimental Results)

इस पद्धति का मूल्यांकन चार डेटासेट पर लक्षित डोमेन से किसी भी प्रशिक्षण डेटा के बिना किया गया था:

• प्रदर्शन: प्रस्तावित विधि ने सभी डेटासेट पर स्टेट-ऑफ-द-आर्ट (SOTA) परिणाम प्राप्त किए।
  • ShanghaiTech: 84.1% AUC (बनाम 85.9% फुल-शॉट STG-NF, लेकिन यह 0-शॉट है)।
  • UBnormal: 74.5% AUC (ज़ीरो-शॉट बेसलाइन STG-NF की तुलना में +5.7% का महत्वपूर्ण सुधार)।
  • NWPU: 62.1% AUC (+4.2% बेसलाइन से अधिक)।
  • UCF-Crime: 62.7% AUC (+10.8% बेसलाइन से अधिक)।
• फुल-शॉट के साथ तुलना: उल्लेखनीय रूप से, इस पद्धति का ज़ीरो-शॉट प्रदर्शन, लक्षित डेटा पर प्रशिक्षित फुल-शॉट विधियों के प्रदर्शन के बराबर है, और कुछ मामलों में उनसे बेहतर भी है।
• दक्षता: मॉडल हल्का (~5.0M पैरामीटर्स) है, जो लार्ज विजन-लैंग्वेज मॉडल (LVLM) आधारित दृष्टिकोणों (जैसे, 13B+ पैरामीटर्स वाला LAVAD) की तुलना में काफी छोटा है। अनुमान की गति स्केलेटन निष्कर्षण (extraction) द्वारा नियंत्रित होती है, न कि विसंगति स्कोरिंग लॉजिक द्वारा।

5. महत्व और प्रभाव (Significance and Impact)

• गोपनीयता-संरक्षण निगरानी: स्थानीय वीडियो डेटा एकत्र करने या प्रशिक्षण दिए बिना नए वातावरण में विसंगति पहचान को तैनात करने की क्षमता डेटा गोपनीयता संबंधी चिंताओं को संबोधित करती है।
• सामान्यीकरण (Generalization): "डेटा से सामान्यता सीखने" के बजाय "अर्थपूर्ण अवधारणाओं और संदर्भ से सामान्यता सीखने" की ओर स्थानांतरित होकर, यह मॉडल डोमेन गैप को दूर करता है जो पारंपरिक VAD सिस्टम को प्रभावित करता है।
• व्यावहारिक डिप्लॉयमेंट: यह ढांचा कम्प्यूटेशनल रूप से कुशल है और इसे अनुमान (inference) के दौरान जटिल बहु-चरणीय तर्क या विशाल LLMs की आवश्यकता नहीं होती है, जो इसे वास्तविक दुनिया के एज डिप्लॉयमेंट के लिए उपयुक्त बनाता है।
• प्रतिमान परिवर्तन (Paradigm Shift): यह शोध पत्र प्रदर्शित करता है कि स्केलेटन डेटा, जब अर्थपूर्ण पूर्वग्रहों और प्रासंगिक विश्लेषण के साथ जोड़ा जाता है, तो ज़ीरो-शॉट विसंगति पहचान के लिए एक अत्यधिक प्रभावी मोडैलिटी है, जो क्रॉस-परिदृश्य सेटिंग्स में फ्रेम-आधारित और ऑब्जेक्ट-आधारित दृष्टिकोणों से बेहतर प्रदर्शन करती है।