Frame-Level Evaluation in Weakly Supervised Video Anomaly Detection Mostly Measures Video-Level Ranking

कंप्यूटर विज़न की दुनिया में, मशीनों को वीडियो फीड देखना और मुसीबत को पहचानना सिखाने की एक निरंतर दौड़ लगी हुई है। कल्पना कीजिए कि एक सुरक्षा कैमरा एक व्यस्त सड़क, एक रेलवे स्टेशन या एक कारखाने के फर्श की निगरानी कर रहा है। लक्ष्य यह है कि सॉफ्टवेयर यह नोटिस करे कि कब कुछ गलत हुआ है—जैसे कि कोई लड़ाई शुरू होना, किसी व्यक्ति का गिरना, या किसी वाहन का गलत दिशा में गाड़ी चलाना—और ठीक उसी समय और स्थान को चिह्नित करे जहाँ यह घटना हुई है। वर्षों से, शोधकर्ता इन प्रणालियों को 'वीक सुपरविज़न' (कमजोर पर्यवेक्षण) नामक एक विधि का उपयोग करके प्रशिक्षित करते रहे हैं। हर एक सेकंड को दिखाने और वीडियो में घटना के सटीक क्षण को लेबल करने के बजाय, वे बस कंप्यूटर को यह बताते हैं कि क्या पूरे वीडियो में कोई विसंगति (anomaly) है या नहीं। यह एक व्यावहारिक शॉर्टकट है, बिल्कुल वैसा ही जैसे एक शिक्षक छात्र को यह बताए कि "इस निबंध में एक गलती है" बिना यह बताए कि वह गलती किस विशिष्ट वाक्य में है। इन प्रणालियों की प्रभावशीलता देखने के लिए, वैज्ञानिक एक मानक परीक्षण का उपयोग करते हैं जो डेटाबेस के प्रत्येक वीडियो के प्रत्येक फ्रेम को सबसे संदिग्ध से लेकर सबसे सामान्य तक रैंक करता है, और यह जाँचता है कि सिस्टम बुरे क्षणों को अच्छे क्षणों से कितनी अच्छी तरह अलग करता है।

दक्षिण कोरिया के सुंगक्युनक्वान विश्वविद्यालय के दो शोधकर्ताओं, इनप्यो सोंग और जेंगवोन ली ने इस मानक परीक्षण को करीब से देखने का निर्णय लिया। उन्होंने एक सरल लेकिन गहन प्रश्न पूछा: जब एक कंप्यूटर इस रैंकिंग परीक्षण पर उच्च स्कोर प्राप्त करता है, तो क्या वह वास्तव में जानता है कि मुसीबत कब हुई थी, या वह केवल यह अनुमान लगाने में अच्छा है कि किन वीडियो में मुसीबत है? उनका शोध, जो हाल ही में प्रकाशित एक अध्ययन में सामने आया है, इन प्रणालियों के मूल्यांकन के बारे में एक चौंकाने वाला सच उजागर करता है। उन्होंने पाया कि यह मानक परीक्षण विभिन्न वीडियो की आपस में तुलना करने की ओर इतना अधिक झुका हुआ है कि एक कंप्यूटर किसी वीडियो के भीतर एक भी विशिष्ट क्षण की पहचान किए बिना भी लगभग पूर्ण स्कोर प्राप्त कर सकता है। यह वैसा ही है जैसे कोई छात्र इतिहास की परीक्षा में इसलिए पास हो जाए क्योंकि उसने सही ढंग से अनुमान लगा लिया कि किन पाठ्यपुस्तकों में त्रुटियाँ हैं, बिना कभी एक भी पन्ना पढ़े कि टाइपो कहाँ है।

शोधकर्ताओं ने इस मानक रैंकिंग स्कोर के पीछे के गणित को तोड़कर शुरुआत की। उन्होंने महसूस किया कि यह स्कोर दो अलग-अलग प्रकार की तुलनाओं से बना है। पहला प्रकार एक ही वीडियो के एक बुरे क्षण की तुलना उसी वीडियो के एक अच्छे क्षण से करता है; यह वास्तविक स्थानीयकरण (true localization) का परीक्षण है, जो यह जाँचता है कि क्या सिस्टम एक सुरक्षित सेकंड और एक खतरनाक सेकंड के बीच अंतर जानता है। दूसरा प्रकार एक वीडियो के एक बुरे क्षण की तुलना पूरी तरह से दूसरे वीडियो के एक अच्छे क्षण से करता है। यह वीडियो-स्तर के वर्गीकरण (video-level sorting) का परीक्षण है, जो यह जाँचता है कि क्या सिस्टम यह बता सकता है कि वीडियो A, वीडियो B की तुलना में अधिक खतरनाक है। जब उन्होंने गिना कि इनमें से कितने वास्तविक तुलनाएँ एक ही वीडियो के भीतर हुईं, तो संख्या चौंकाने वाली रूप से कम थी। तीन प्रमुख डेटासेट्स में से, 0.4 प्रतिशत से भी कम तुलनाएँ एक ही वीडियो के फ्रेमों के बीच थीं। अधिकांश स्कोर अलग-अलग वीडियो के बीच तुलना करने से आता है।

यह असंतुलन एक ऐसी स्थिति पैदा करता है जिसे लेखक "टेम्पोरल डाइल्यूशन" (सामयिक तनुकरण) कहते हैं। जैसे-जैसे टेस्ट सेट में वीडियो की संख्या बढ़ती है, सिस्टम के किसी घटना के सटीक क्षण को खोजने की क्षमता पर परीक्षण करने की संभावना तेजी से घटती जाती है। सिस्टम को मुख्य रूप से उस वीडियो को उच्च समग्र स्कोर देने के लिए पुरस्कृत किया जा रहा है जिसमें विसंगति है और उस वीडियो को कम स्कोर देने के लिए जो विसंगति रहित है। यह साबित करने के लिए कि यही मामला था, शोधकर्ताओं ने नियंत्रित प्रयोगों की एक श्रृंखला चलाई। उन्होंने साधारण कंप्यूटर मॉडल को केवल यह करने के लिए प्रशिक्षित किया कि वे किसी वीडियो के प्रत्येक फ्रेम को एक स्थिर स्कोर प्रदान करें, जो इस आधार पर हो कि उस वीडियो को खतरनाक या सुरक्षित के रूप में लेबल किया गया है। इन मॉडलों में एक घटना को समय के अनुसार पहचानने की कोई क्षमता नहीं थी; वीडियो के पहले सेकंड का स्कोर अंतिम सेकंड के समान ही था। एक घटना को समय के अनुसार पहचानने की शून्य क्षमता होने के बावजूद, इन सरल मॉडलों ने डेटासेट के आधार पर 81 प्रतिशत से 97 प्रतिशत के बीच बहुत उच्च स्कोर प्राप्त किया।

इसके बाद शोधकर्ताओं ने वर्तमान में उपलब्ध सबसे उन्नत, जटिल प्रणालियों के आउटपुट को लिया और एक "वीडियो-मीन रिप्लेसमेंट" (वीडियो-औसत प्रतिस्थापन) किया। उन्होंने इन जटिल प्रणालियों द्वारा उत्पन्न विस्तृत, प्रति-सेकंड स्कोर लिए और प्रत्येक सेकंड के स्कोर को उस पूरे वीडियो के औसत स्कोर से बदल दिया। इस प्रक्रिया ने सभी सूक्ष्म समय संबंधी जानकारी को मिटा दिया, जिससे केवल समग्र वीडियो रेटिंग ही शेष रह गई। यदि मानक परीक्षण वास्तव में विसंगति के सटीक क्षण को खोजने की क्षमता को मापता, तो इस बदलाव से स्कोर गिर जाना चाहिए था। इसके बजाय, स्कोर में बहुत मामूली बदलाव आया। 72 में से 69 नियंत्रित रन में, सिस्टम ने सभी सूक्ष्म समय विवरणों को हटा दिए जाने के बाद भी अपने मूल स्कोर का 90 प्रतिशत से अधिक हिस्सा बनाए रखा। यही पैटर्न अन्य अग्रणी विधियों के लेखकों द्वारा जारी किए गए आधिकारिक परिणामों में भी देखा गया। यहाँ तक कि जब शोधकर्ताओं ने एक वीडियो के भीतर फ्रेमों के क्रम को उलट दिया, जिससे टाइमलाइन बदल गई लेकिन स्कोर का सेट वही रहा, तब भी रैंकिंग प्रदर्शन काफी हदक बरकरार रहा।

निष्कर्ष बताते हैं कि इन प्रणालियों के मूल्यांकन के लिए वर्तमान मानक वह नहीं माप रहा है जो शोधकर्ता इसे माप रहे हैं। एक 'पूल की गई रैंकिंग टेस्ट' पर उच्च स्कोर यह सिद्ध नहीं करता कि सिस्टम घटना को खोजने में सक्षम है; यह मुख्य रूप से यह सिद्ध करता है कि सिस्टम वीडियो को उनके समग्र जोखिम के आधार पर रैंक कर सकता है। शोधकर्ता कहते हैं कि वास्तविक दुनिया के अनुप्रयोगों के लिए यह अंतर अत्यंत महत्वपूर्ण है। यदि एक सुरक्षा गार्ड को अलर्ट मिलता है कि एक वीडियो में कोई विसंगति है, तो उसे यह जानने की आवश्यकता है कि कब देखना है, न कि केवल यह कि कौन सा वीडियो देखना है। वर्तमान मूल्यांकन प्रोटोकॉल सही वीडियो चुनने की क्षमता को तो पुरस्कृत करता है, लेकिन सही क्षण को खोजने की क्षमता को सत्यापित करने में विफल रहता है। लेखक प्रस्ताव देते हैं कि क्षेत्र को परिणाम रिपोर्ट करने के तरीके को बदलना चाहिए। वे अनुशंसा करते हैं कि शोधकर्ताओं को हमेशा एक अलग स्कोर रिपोर्ट करना चाहिए जो यह मापता है कि सिस्टम एक ही वीडियो के भीतर फ्रेमों को कितनी अच्छी तरह व्यवस्थित करता है, साथ ही मानक वीडियो-स्तरीय रैंकिंग भी। वे यह भी सुझाव देते हैं कि भविष्य के परीक्षणों के डिजाइन में यह सुनिश्चित किया जाना चाहिए कि वीडियो की संख्या घटना के सटीक क्षण को खोजने के महत्व को कम न कर दे।

यह कार्य यह दावा नहीं करता कि वर्तमान प्रणालियाँ बेकार हैं या वे घटनाओं को स्थानीयकृत करना नहीं सीख सकतीं। यह केवल यह दिखाता है कि जिस स्कोरबोर्ड पर वे खेल रहे हैं, वह उन्हें ऐसा करने के लिए मजबूर नहीं करता है। हाल के वर्षों में देखे गए उच्च स्कोर काफी हद तक सिस्टम की वीडियो को वर्गीकृत करने की क्षमता का प्रतिबिंब हैं, जो एक उपयोगी क्षमता है लेकिन समय के सटीक बिंदु को खोजने की क्षमता से भिन्न है। मूल्यांकन प्रक्रिया में इन दो कौशलों को अलग करके, क्षेत्र यह सुनिश्चित कर सकता है कि भविष्य की प्रणालियाँ न केवल यह अनुमान लगाने में अच्छी हों कि कौन से वीडियो खतरनाक हैं, बल्कि वे घड़ी की निगरानी करने और उस सटीक सेकंड को खोजने में भी वास्तव में सक्षम हों जब कुछ गलत होता है। आगे का रास्ता एक बदलाव की मांग करता है, जो एक एकल, एकत्रित संख्या से हटकर, जो इन अंतरों को छिपा देती है, एक स्पष्ट चित्र की ओर जाता है जो घटना की पहचान के साथ-साथ समय की सटीकता को भी महत्व देता है।