RS-Prune: Read-Sparse, Store-Sparse Token Pruning for Video Object Segmentation
RS-Prune वीडियो ऑब्जेक्ट सेगमेंटेशन के लिए एक ट्रेनिंग-फ्री टोकन प्रूनिंग विधि है जो क्रॉस-फ्रेम अटेंशन क्वेरीज़ और मेमोरी बैंक एंट्रीज़ को ज्यामितीय रूप से प्रासंगिक टोकन तक चुनिंदा रूप से प्रतिबंधित करके इन्फरेंस लेटेंसी और पीक मेमोरी उपयोग को कम करता है, जिससे सटीकता से समझौता किए बिना मेमोरी-बाधित हार्डवेयर पर लंबी अवधि के वीडियो का कुशल प्रसंस्करण सक्षम होता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कंप्यूटर विजन की दुनिया में, वीडियो ऑब्जेक्ट सेगमेंटेशन (video object segmentation) नामक एक कार्य है। कल्पना कीजिए कि आप एक होम वीडियो देख रहे हैं और कंप्यूटर से हर फ्रेम में दौड़ते हुए कुत्ते के चारों ओर एक सटीक रूपरेखा खींचने के लिए कह रहे हैं, जो घास, आकाश और पृष्ठभूमि में मौजूद लोगों से उस जानवर को अलग कर सके। लंबे समय तक, इस काम के लिए सबसे अच्छे कंप्यूटर प्रोग्राम वह काम करते थे जो उन्होंने सब कुछ देखा होता था, उसे याद रखते थे। जैसे-जैसे वीडियो चलता, सॉफ्टवेयर दृश्य विवरणों का एक विशाल, बढ़ता हुआ पुस्तकालय बनाता था, जिसमें प्रत्येक फ्रेम के प्रत्येक पिक्सेल के लिए जानकारी का एक छोटा सा हिस्सा संग्रहीत किया जाता था। इस पुस्तकालय ने कंप्यूटर को कुत्ते को पहचानने में सक्षम बनाया, भले ही वह किसी पेड़ के पीछे चला गया हो या अपनी दिशा बदल ली हो। हालांकि, इस दृष्टिकोण में एक गंभीर दोष है: वीडियो जितना लंबा होगा, पुस्तकालय उतना ही बड़ा होता जाएगा। अंततः, कंप्यूटर की मेमोरी खत्म हो जाती है, जिससे वह रुक जाता है या बहुत धीमा हो जाता है। यह इस उन्नत प्रणाली को लंबी फिल्मों या स्मार्टफोन जैसे छोटे उपकरणों पर उपयोग करना लगभग असंभव बना देता है, जिनमें सीमित स्टोरेज होता है।
शोधकर्ताओं की एक टीम ने इस बाधा को बिना कंप्यूटर की सटीकता कम किए तोड़ने का एक तरीका खोज निकाला है। उन्होंने एक नई विधि विकसित की है जो यह बदल देती है कि सॉफ्टवेयर क्या याद रखेगा और क्या अनदेखा करेगा। हर फ्रेम से हर विवरण को इकट्ठा करने के बजाय, अब सिस्टम एक सतर्क संग्रहकर्ता (archivist) की तरह काम करता है जो केवल सबसे आवश्यक दस्तावेजों को ही रखता है। दो विशिष्ट फिल्टर लागू करके—एक जो यह तय करता है कि वर्तमान क्षण में क्या देखना है, और दूसरा जो यह तय करता है कि बाद के लिए क्या बचाना है—शोधकर्ताओं ने कंप्यूटर द्वारा आवश्यक मेमोरी की मात्रा को काफी कम कर दिया। उनका काम यह दर्शाता है कि एक वीडियो सेगमेंटेशन सिस्टम मूल, अपरिवर्तित प्रणालियों के समान उच्च सटीकता के साथ वस्तुओं को ट्रैक करते हुए, बहुत तेजी से चल सकता है और बहुत कम मेमोरी का उपयोग कर सकता है।
शोधकर्ताओं, अवीलाशा मंडल और सर्वेश शशिकुमार ने "मेमोरी-बैंक" नेटवर्क के रूप में ज्ञात एक विशिष्ट प्रकार के वीडियो विश्लेषण सिस्टम पर ध्यान केंद्रित किया। ये सिस्टम दो मुख्य चरणों में काम करते हैं। पहले, वे वीडियो के एक नए फ्रेम को देखते हैं और उसे छोटे-छोटे टुकड़ों के ग्रिड में तोड़ देते हैं, जिन्हें 'टोकन' कहा जाता है, जो दृश्य जानकारी का प्रतिनिधित्व करते हैं। दूसरे, वे इन नए टुकड़ों की तुलना पिछले फ्रेमों के बढ़ते हुए मेमोरी बैंक से करते हैं ताकि यह पता लगाया जा सके कि वस्तुएं कहां हैं। समस्या तब उत्पन्न होती है क्योंकि आधुनिक सिस्टम वर्तमान फ्रेम के प्रत्येक टोकन की तुलना मेमोरी बैंक के प्रत्येक टोकन से करने का प्रयास करते हैं। जैसे-जैसे वीडियो लंबा होता जाता, यह मेमोरी बैंक फूलता जाता है, और कंप्यूटर को हर नए फ्रेम के लिए गणित का एक विशाल कार्य करना पड़ता है, जिससे उसके संसाधन जल्दी ही समाप्त हो जाते हैं।
इस समस्या को हल करने के लिए, टीम ने एक तकनीक पेश की जिसे वे RS3-Prune कहते हैं। नाम "Read-Sparse, Store-Sparse" (रीड-स्पार्स, स्टोर-स्पार्स) से लिया गया है, जो उन दो स्थानों का वर्णन करता है जहाँ वे डेटा को कम करते हैं। पहला कट तब होता है जब कंप्यूटर मेमोरी को पढ़ रहा होता है। वर्तमान छवि के हर हिस्से के बारे में मेमोरी बैंक से पूछने के बजाय, सिस्टम अब केवल उन हिस्सों के बारे में पूछता है जिनमें उस वस्तु के होने की संभावना होती है जिसे वह ट्रैक कर रहा है। यह वस्तु के ज्ञात स्थान के आधार पर एक सरल नियम का उपयोग करता है: यदि छवि का कोई हिस्सा वस्तु के स्थान से दूर है, तो सिस्टम उसे अनदेखा कर देता है। इसका मतलब है कि कंप्यूटर गणनाओं के एक बड़े अनावश्यक हिस्से को छोड़ देता है, जिससे प्रक्रिया काफी तेज हो जाती है।
दूसरा कट तब होता है जब कंप्यूटर अपने मेमोरी बैंक में नई जानकारी लिख रहा होता है। पुराने सिस्टम में, प्रत्येक फ्रेम बैंक में डेटा का एक पूर्ण सेट जोड़ देता था, चाहे वह डेटा उपयोगी हो या नहीं। नई विधि कुछ भी सहेजने से पहले एक अलग प्रश्न पूछती है: "क्या इस छवि का यह हिस्सा उस वस्तु से संबंधित है जिसे हम ट्रैक कर रहे हैं?" यदि उत्तर 'नहीं' है, तो उस जानकारी को तुरंत हटा दिया जाता है और कभी भी संग्रहीत नहीं किया जाता है। यह मेमोरी बैंक को आकाश या दीवारों जैसे बैकग्राउंड नॉइज़ (background noise) से भरने से रोकता है, जिससे यह सुनिश्चित होता है कि घंटों के वीडियो के बाद भी बैंक छोटा और प्रबंधनीय बना रहे।
शोधकर्ताओं ने इस पद्धति का परीक्षण पांच अलग-अलग वीडियो डेटासेट्स पर किया, जो छोटी क्लिप से लेकर बहुत लंबे अनुक्रमों तक विस्तृत थे, और इसे पांच अलग-अलग अत्याधुनिक वीडियो सेगमेंटेशन मॉडल्स पर लागू किया। उन्होंने पाया कि नया दृष्टिकोण सिस्टम को बहुत तेजी से चलाता है। औसतन, गति में लगभग 39 प्रतिशत की वृद्धि हुई, जिसका अर्थ है कि कंप्यूटर प्रति सेकंड लगभग 40 प्रतिशत अधिक फ्रेम प्रोसेस कर सकता है। साथ ही, सॉफ्टवेयर चलाने के लिए आवश्यक मेमोरी की मात्रा लगभग 13 प्रतिशत कम हो गई। शायद सबसे आश्चर्यजनक बात यह है कि ट्रैकिंग की सटीकता पर कोई बुरा प्रभाव नहीं पड़ा। वास्तव में, पृष्ठभूमि की अव्यवस्था वाले कुछ कठिन वीडियो में, सिस्टम ने वास्तव में बेहतर प्रदर्शन किया क्योंकि यह अप्रासंगिक विवरणों से भ्रमित नहीं हो रहा था।
इस खोज का एक सबसे महत्वपूर्ण पहलू यह है कि इसके लिए कंप्यूटर मॉडल को फिर से प्रशिक्षित (retraining) करने की आवश्यकता नहीं है। शोधकर्ताओं ने बस निर्देशों का एक छोटा समूह जोड़ा है जो एक गेटकीपर की तरह काम करता है, जो मौजूदा सॉफ्टवेयर के सामने बैठता है। उन्हें कंप्यूटर को कुछ नया सिखाने या उसके मूल मस्तिष्क को बदलने की आवश्यकता नहीं पड़ी। यह इस समाधान को उपयोग करने में बहुत आसान बनाता है; इसे किसी भी आधुनिक वीडियो सेगमेंटेशन सिस्टम पर लागू किया जा सकता है जो मेमोरी बैंक का उपयोग करता है, जिससे एक निश्चित, महंगी आवश्यकता को एक लचीली सेटिंग में बदल दिया गया है जिसे समायोजित किया जा सकता है।
टीम ने यह भी पता लगाया कि यह विधि इतनी अच्छी तरह से क्यों काम करती है। उन्होंने महसूस किया कि ट्रैक की जाने वाली वस्तुओं का आमतौर पर एक विशिष्ट आकार और बनावट होती है, जबकि बैकग्राउंड अक्सर चिकना और एकसमान होता है। केवल उन टोकन पर ध्यान केंद्रित करके जो सबसे अधिक दृश्य ऊर्जा (visual energy) ले जाते हैं और वस्तु की सीमाओं के भीतर स्थित होते हैं, सिस्टम स्वाभाविक रूप से शोर (noise) को फ़िल्टर कर देता है। यह वैसा ही है जैसे कोई व्यक्ति फिल्म देखते समय अभिनेताओं पर ध्यान केंद्रित करता है और थिएटर की खाली सीटों को अनदेखा कर देता है; कंप्यूटर भी स्वचालित रूप से यही करना सीख जाता है।
हालांकि यह विधि अत्यधिक प्रभावी है, शोधकर्ता स्वीकार करते हैं कि यह हर स्थिति के लिए एकदम सही नहीं है। यदि कोई वस्तु वहां से बहुत दूर चली जाती है जहां उसे पहली बार देखा गया था, तो यदि मेमोरी बैंक बहुत अधिक प्रतिबंधात्मक है, तो सिस्टम उसे ट्रैक करने में संघर्ष कर सकता है। हालांकि, उन्होंने एक सुरक्षा तंत्र बनाया है जो यदि वस्तु कुछ फ्रेमों के लिए गायब हो जाती है तो खोज क्षेत्र को विस्तृत कर देता है, जिससे यह सुनिश्चित होता है कि उसे फिर से खोजा जा सके। सख्त फ़िल्टरिंग और लचीले रिकवरी के बीच का यह संतुलन सिस्टम को मानवीय हस्तक्षेप के बिना अधिकांश वास्तविक दुनिया के वीडियो को संभालने की अनुमति देता है।
इस कार्य के निहितार्थ केवल सॉफ्टवेयर को तेज़ बनाने से कहीं अधिक हैं। मेमोरी और प्रोसेसिंग पावर की आवश्यकता को कम करके, ये सिस्टम उन उपकरणों के लिए भी व्यवहार्य हो जाते हैं जो पहले इन्हें संभालने के लिए बहुत कमजोर थे। यह स्मार्टफोन, ड्रोन या पहनने योग्य कैमरों (wearable cameras) पर रीयल-टाइम वीडियो विश्लेषण को सक्षम कर सकता है, जिससे उन अनुप्रयोगों के लिए नए अवसर खुल सकते हैं जिन्हें लंबे समय तक वस्तुओं को ट्रैक करने की आवश्यकता होती है। शोधकर्ताओं ने प्रदर्शित किया कि इन प्रणालियों की सीमा एल्गोरिदम की बुद्धिमत्ता नहीं थी, बल्कि डेटा की भारी मात्रा थी जिसे उन्हें प्रोसेस करने के लिए मजबूर किया गया था। उस डेटा को बुद्धिमानी से छाँटकर (pruning), उन्होंने दक्षता का एक नया स्तर अनलॉक किया है, यह साबित करते हुए कि कभी-कभी, यह जानना कि क्या भूलना है, यह जानने जितना महत्वपूर्ण है कि क्या याद रखना है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।