HiResNets: Native Full-HD Video Recognition with Foveal Residual Streams

आँख की गुप्त महाशक्ति

कल्पना कीजिए कि आप एक भीड़भाड़ वाले स्टेडियम में अपने किसी मित्र को पहचानने की कोशिश कर रहे हैं। यदि आप स्टैंड में मौजूद हर व्यक्ति को उसी तीक्ष्ण, क्रिस्टल-क्लियर फोकस के साथ देखने का प्रयास करेंगे, तो आपका मस्तिष्क अभिभूत (overwhelmed) हो जाएगा। यह एक पुस्तकालय की हर किताब को एक ही समय में पढ़ने की कोशिश करने जैसा होगा। इसके बजाय, आपकी आँखों के पास एक चतुर तकनीक है: उनके केंद्र में एक छोटा, अत्यंत तीक्ष्ण बिंदु होता है जिसे "फोविया" (fovea) कहा जाता है, जबकि बाकी का दृश्य धुंधला और कम विवरण वाला होता है। आप एक ही स्थान पर हमेशा के लिए नहीं देखते; आपकी आँखें तेजी से इधर-उधर घूमती हैं, दृश्य के विभिन्न हिस्सों की उच्च-रिज़ॉल्यूशन वाली तस्वीरें लेती हैं और उन्हें अपने मन में जोड़ती हैं। इसी तरह मनुष्य कुशलतापूर्वक दुनिया को देखते हैं, जिससे ऊर्जा बचती है और साथ ही वे महत्वपूर्ण छोटे विवरणों पर भी ध्यान दे पाते हैं।

द दशकों से, कंप्यूटर वैज्ञानिकों ने मशीनों को उसी तरह देखने के लिए प्रशिक्षित करने का प्रयास किया है। उन्होंने "न्यूरल नेटवर्क" बनाए—कंप्यूटर प्रोग्राम जो छवियों को पहचानने के लिए सीखते हैं—उन्हें पिक्सेल के विशाल ग्रिड खिलाकर। लेकिन यहाँ एक समस्या है: जैसे-जैसे छवियाँ बड़ी और स्पष्ट होती जाती हैं (जैसे मानक टीवी से 4K अल्ट्रा एचडी स्क्रीन पर स्विच करना), कंप्यूटर की मेमोरी और मस्तिष्क शक्ति विस्फोटक रूप से बढ़ने की आवश्यकता होती है। यह एक ऐसे कमरे को साफ करने की कोशिश करने जैसा है जहाँ फर्श की टाइलें छोटी और अधिक संख्या में होती जा रही हैं; काम दोगुना और फिर से दोगुना होता जाता है जब तक कि कंप्यूटर थक न जाए। यह "क्वाड्रेटिक ग्रोथ" (quadratic growth) एक बड़ी बाधा है। इसका अर्थ है कि सूक्ष्म वस्तुओं को देखने या हाई-डेफिनिशन वीडियो देखने के लिए, कंप्यूटर अक्सर अविश्वसनीय रूप से धीमे या विशाल होने पड़ते हैं। बड़ा सवाल यह रहा है: क्या हम एक ऐसा कंप्यूटर विजन सिस्टम बना सकते हैं जो मानव आँख की तरह काम करे, यानी केवल वहीं अपनी शक्ति केंद्रित करे जहाँ उसकी आवश्यकता है, बिना बड़े परिदृश्य को खोए?

पेपर का बड़ा विचार: HiResNets

इस शोध पत्र में, शोधकर्ताओं ने HiResNets (हाई-रिज़ॉल्यूशन नेटवर्क) नामक एक नया आर्किटेक्चर पेश किया है। उनका लक्ष्य उस मेमोरी बाधा को हल करना था जिसे केवल एक अतिरिक्त चरण के रूप में जोड़ने के बजाय, मानव आँख की "फोवियल" (foveal) रणनीति को सीधे कंप्यूटर के मस्तिष्क में समाहित करके हल किया जा सके।

एक मानक कंप्यूटर विज़न मॉडल को एक ऐसे कार्यकर्ता के रूप में सोचें जो एक विशाल भित्ति चित्र (mural) बनाने की कोशिश करता है और दीवार के हर एक वर्ग इंच को समान प्रयास के साथ सावधानी से पेंट करता है, चाहे वह आकाश हो या एक छोटा फूल। यह थकाऊ और बर्बादी भरा है। दूसरी ओर, HiRes-Nets एक स्मार्ट कलाकार की तरह कार्य करता है जो अपनी मेमोरी में एक विशाल, उच्च-रिज़ॉल्यूशन वाला कैनवास (जिसे "रेसिड्यूअल स्ट्रीम" कहा जाता है) रखता है, लेकिन अपने महंगे, उच्च-विवरण वाले ब्रश का उपयोग एक बार में दीवार के एक छोटे, विकृत (warped) हिस्से पर ही करता है।

यह वास्तविक दुनिया में इस प्रकार काम करता है:

1. जादुई विकृति (The Magic Warp): नेटवर्क एक विशेष गणितीय तकनीक का उपयोग करता है जिसे "लॉग-पोलर वार्प" (log-polar warp) कहा जाता है। कल्पना कीजिए कि आप एक फोटो लेते हैं और उसके केंद्र को इतना खींच देते हैं कि वह विशाल और विस्तृत हो जाए, जबकि किनारों को सिकोड़ देते हैं ताकि वे छोटे और धुंधले हो जाएं। यह एक फिश-आई लेंस की तरह है, लेकिन कंप्यूटर सीखता है कि केंद्र कहाँ होना चाहिए।
2. स्मार्ट फोकस: नेटवर्क के भीतर, एक छोटा "सेंटर प्रेडिक्टर" (center predictor) यह तय करता है कि छवि के किस हिस्से को करीब से देखने की आवश्यकता है। यह फोकस पॉइंट को स्थानांतरित करता है, ठीक वैसे ही जैसे आपकी आँखें किसी नई वस्तु की ओर झपटती हैं।
3. कुशल प्रक्रिया: भारी काम (कन्वोल्यूशनल ब्लॉक्स) केवल इस छोटे, विकृत, उच्च-विवरण वाले केंद्र पर ही होता है। शेष छवि को बहुत कम रिज़ॉल्यूशन पर प्रोसेस किया जाता है।
4. मेमोरी बफर: महत्वपूर्ण बात यह है कि नेटवर्क बाकी छवि को फेंक नहीं देता है। यह जो विवरण पाता है, उन्हें वापस एक उच्च-रिज़ॉल्यूशन "बफर" (रेसिड्यूअल स्ट्रीम) में लिख देता है। समय के साथ, जैसे-जैसे नेटवर्क अलग-अलग स्थानों पर अपना ध्यान केंद्रित करता है, वह अपनी मेमोरी में टुकड़ों में एक पूर्ण, हाई-डेफिनिशन चित्र बनाता है, ठीक वैसे ही जैसे आपका मस्तिष्क एक कमरे को स्कैन करते समय करता है।

उन्होंने क्या पाया

शोधकर्ताओं ने कई चुनौतीपूर्ण कार्यों पर HiResNets का परीक्षण किया, विशेष रूप से "एगोसेंट्रिक" (egocentric) वीडियो पर—जो किसी व्यक्ति के दृष्टिकोण से रिकॉर्ड किए गए फुटेज हैं, जैसे हेलमेट पर लगा गोप्रो (GoPro)। ये वीडियो अव्यवस्थित, हिलते-डुलते और फोन के बटन या औजारों जैसी छोटी वस्तुओं से भरे होते हैं।

• छोटी चीजों में बेहतर: जब कार्य छोटे ऑब्जेक्ट्स या सूक्ष्म विवरणों (जैसे किसी वस्तु के विशिष्ट भाग को पहचानना) को खोजने का था, तो HiResNets ने मानक मॉडलों की तुलना में काफी बेहतर प्रदर्शन किया। उदाहरण के लिए, EgoObjects नामक डेटासेट पर, जब उन्होंने रिज़ॉल्यूशन बढ़ाया, तो मॉडल की सटीकता लगभग 10% बढ़ गई, जबकि मानक मॉडल अधिक सुधार नहीं कर पाए क्योंकि वे अतिरिक्त डेटा को कुशलतापूर्वक संभालने में असमर्थ थे।
• गति बनाम आकार: सबसे रोमांचक खोज गति के बारे में थी। जैसे-जैसे इमेज रिज़ॉल्यूशन बढ़ता गया, मानक मॉडल "क्वाड्रेटिक" तरीके से धीमे होते गए (यदि आप आकार को दोगुना करते हैं, तो काम चार गुना हो जाता है)। हालाँकि, HiResNets का विकास बहुत धीमी गति से हुआ। जबकि मुख्य कन्वोल्यूशन ऑपरेशन्स रिज़ॉल्यूशन के संबंध में लॉग-स्क्वायर (logarithmic-square) संबंध के साथ स्केल करते हैं, समग्र प्रोसेसिंग समय (लेटेंसी) लगभग रैखिक (linearly) रूप से बढ़ता है। इसका अर्थ है कि वे फुल एचडी वीडियो (और उससे भी अधिक) को प्रोसेस कर सकते थे बिना कंप्यूटर के क्रैश हुए या धीमे हुए।
• देखना सीखना: नेटवर्क ने केवल काम ही नहीं किया; इसने एक इंसान की तरह देखना भी सीखा। "सेंटर प्रेडिक्टर" ने क्लोज-अप दृश्यों में हाथों और वस्तुओं पर ध्यान केंद्रित करना शुरू कर दिया, और वाइड पैनोरमिक शॉट्स में विभिन्न क्षेत्रों को स्कैन करना शुरू किया, जो प्राकृतिक नेत्र गतिविधियों की नकल करता है।

वे किसके विरुद्ध तर्क देते हैं

यह पेपर इस बात को लेकर बहुत स्पष्ट है कि क्या काम नहीं करता है। वे इस विचार के विरुद्ध तर्क देते हैं कि केवल एक मानक नेटवर्क को एक "ग्लिम्प्स" (glimpse) या "ज़ूम" मॉड्यूल में लपेट दिया जाए जो मुख्य मस्तिष्क के बाहर स्थित हो। उन्होंने पाया कि यदि मुख्य नेटवर्क को अभी भी पूरी छवि को पूर्ण रिज़ॉल्यूशन पर प्रोसेस करना पड़ता है, तो मेमोरी की बाधा बनी रहती है, और सिस्टम अभी भी बहुत धीमा होता है। फोवेशन (फोकसिंग) मुख्य प्रोसेसिंग ब्लॉक्स के अंदर होना चाहिए, न कि केवल एक प्री-स्टेप के रूप में।

उन्होंने देखने के स्थान की भविष्यवाणी करने के विभिन्न तरीकों का भी परीक्षण किया। उन्होंने पाया कि नेटवर्क के प्रत्येक चरण के लिए एक नया फोकस पॉइंट प्रेडिक्ट करना आवश्यक था। यदि उन्होंने पूरे नेटवर्क के लिए केवल एक निश्चित फोकस पॉइंट का उपयोग करने का प्रयास किया, या यदि उन्होंने एक साथ कई उच्च-रिज़ॉल्यूशन वाले स्थानों को देखने का प्रयास किया, तो प्रदर्शन गिर गया या कंप्यूटर बहुत धीमा हो गया। "झपटती आँख" (darting eye) वाला दृष्टिकोण ही कुंजी थी।

निष्कर्ष

लेखकों का सुझाव है कि HiResNets एक आशाजनक मार्ग प्रदान करते हैं। उन्होंने साबित किया है कि कंप्यूटर के मेमोरी बफर को एक उच्च-रिज़ॉल्यूशन वाले कैनवास के रूप में मानकर और केवल देखे जा रहे विशिष्ट स्थान पर ही महंगी प्रोसेसिंग शक्ति का उपयोग करके, हम सुपर कंप्यूटर की आवश्यकता के बिना हाई-डेफिनिशन वीडियो में सूक्ष्म विवरणों को पहचान सकते हैं। परिणाम बताते हैं कि यह दृष्टिकोण केवल एक सैद्धांतिक विचार नहीं है; यह व्यवहार में काम करता है, जो कठिन कार्यों के लिए बेहतर सटीकता और इमेज साइज बढ़ने पर बहुत बेहतर दक्षता प्रदान करता है। यह मशीनों को उसी कुशल, झपटती दृष्टि देने की दिशा में एक कदम है जो मनुष्यों के पास लाखों वर्षों से रही है।