Compressive Sensing - Introduction and Relations to Deep Learning
यह लेख कंप्रेसिव सेंसिंग के बुनियादी सिद्धांतों का परिचय देता है और डीप लर्निंग के साथ इसके उभरते संबंधों का अन्वेषण करता है, जो विशेष रूप से स्पार्स रिकवरी के लिए अनरोल्ड न्यूरल नेटवर्क और ओवरपैरामीटराइज्ड मॉडल्स में स्पर्सिटी (sparsity) की ओर ग्रेडिएंट डिसेंट के इम्पलिसिट बायस (implicit bias) पर केंद्रित है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
आधुनिक तकनीक की दुनिया में, हम लगातार संकेतों (signals) से घिरे रहते हैं: रेडियो तरंगें जो एक कार के स्पीकर तक गाना पहुँचाती हैं, वे चुंबकीय स्पंदन (magnetic pulses) जो मानव मस्तिष्क की एक विस्तृत छवि बनाते हैं, या एक दूरबीन द्वारा पकड़ी गई धुंधली तारों की रोशनी। दशकों तक, इन संकेतों को संभालने का मानक तरीका यह था कि पहले हर एक डेटा बिंदु को कैप्चर किया जाए, जिससे एक विशाल, पूर्ण चित्र बन सके, और उसके बाद स्थान बचाने के लिए उसे कंप्रेस (compress) किया जाए। यह बिल्कुल वैसा ही था जैसे किसी विशाल परिदृश्य की तस्वीर एक ऐसे कैमरे से लेना जो रेत के हर एक कण को रिकॉर्ड करता है, केवल इसलिए कि बाद में फोन पर फ़ाइल फिट करने के लिए उनमें से अधिकांश को हटा दिया जाए। यह दृष्टिकोण काम तो करता था, लेकिन यह अक्सर धीमा, महंगा और बर्बादी भरा था, विशेष रूपकर तब जब डेटा कैप्चर करना कठिन या खतरनाक हो।
कुछ दशक पहले, एक नए विचार ने सामने आकर इस प्रक्रिया को पूरी तरह उलट दिया। वैज्ञानिकों ने महसूस किया कि कई वास्तविक दुनिया के संकेत उतने जटिल नहीं होते जितने वे दिखाई देते हैं; उनमें छिपे हुए पैटर्न और अतिरेक (redundancies) होते हैं जो उन्हें "स्पार्स" (sparse) बनाते हैं, जिसका अर्थ है कि अधिकांश जानकारी वास्तव में शून्य या खाली होती है। यदि आप जानते हैं कि एक संकेत 'स्पार्स' है, तो आपको पूरे को समझने के लिए उसके हर हिस्से को मापने की आवश्यकता नहीं है। आप केवल कुछ यादृच्छिक (random) माप ले सकते हैं और, चतुर गणितीय युक्तियों का उपयोग करके, पूरे मूल संकेत को पूरी तरह से पुनर्गठित कर सकते हैं। यह खोज, जिसे 'कंप्रेसिव सेंसिंग' (compressive sensing) के रूप में जाना जाता है, ने मेडिकल इमेजिंग और खगोल विज्ञान जैसे क्षेत्रों में क्रांति ला दी, जिससे शोधकर्ताओं को कम में अधिक देखने की अनुमति मिली। हालाँकि, हाल ही में एक नया प्रश्न उठा है: यह पुरानी गणितीय थ्योरी आधुनिक आर्टिफिशियल इंटेलिजेंस, विशेष रूप से डीप लर्निंग (deep learning) के विस्फोट से कैसे जुड़ती है?
गणितज्ञों और कंप्यूटर वैज्ञानिकों की एक टीम ने अब इन दो क्षेत्रों के बीच एक आश्चर्यजनक सेतु का मानचित्र तैयार किया है। उनका कार्य प्रकट करता है कि वे सिद्धांत जो हमें कुछ ही मापों से संकेतों को पुनः प्राप्त करने की अनुमति देते हैं, वे उसी तरह से काम करते हैं जैसे कंप्यूटर डेटा से सीखते हैं। डीप लर्निंग की दुनिया में, न्यूरल नेटवर्क अक्सर प्रशिक्षण डेटा बिंदुओं की तुलना में बहुत अधिक समायोज्य (adjustable) भागों के साथ बनाए जाते हैं। यह विफलता का एक नुस्खा लगता है, क्योंकि कंप्यूटर को केवल प्रशिक्षण डेटा को याद करना चाहिए और किसी भी नई चीज़ को समझने में विफल होना चाहिए। फिर भी, व्यवहार में, ये विशाल नेटवर्क अक्सर नई स्थितियों में खूबसूरती से सामान्यीकरण (generalize) करते हैं। शोधकर्ताओं ने पाया कि जिस तरह से ये नेटवर्क सीखते हैं—विशेष रूप से वह गणितीय पथ जो वे समाधान खोजने के लिए लेते हैं—वे स्वाभाविक रूप से सरल, स्पार्स उत्तरों की ओर बढ़ते हैं, ठीक वैसे ही जैसे कंप्रेसिव सेंसिंग में उपयोग किए जाने वाले एल्गोरिदम।
लेख इसकी मुख्य कार्यप्रणाली की व्याख्या करते हुए शुरू होता है। कल्पना कीजिए कि आप घास के ढेर में एक विशिष्ट सुई खोजने की कोशिश कर रहे हैं, लेकिन आपको केवल कुछ त्वरित झलकियाँ लेने की अनुमति है। यदि आप जानते हैं कि सुई एकमात्र धातु की वस्तु है, तो आप बहुत कम जाँचों के साथ उसे पा सकते हैं। इसी तरह, यदि एक संकेत ज्ञात रूप से 'स्पार्स' है, तो एक यादृच्छिक सेट मापों का एक सेट ही सटीक समाधान खोजने के लिए पर्याप्त है। शोधकर्ता विस्तार से बताते हैं कि यह गणितीय रूप से कैसे काम करता है, यह दिखाते हुए कि जबकि सबसे सरल समाधान खोजना आमतौर पर कंप्यूटरों के लिए एक कठिन समस्या है, फिर भी कुशल शॉर्टकट मौजूद हैं जो यादृच्छिक मापों के साथ विश्वसनीय रूप से काम करते हैं। वे यह भी चर्चा करते हैं कि यह न केवल संख्याओं की सरल सूचियों पर, बल्कि छवियों या मैट्रिसेस (matrices) जैसी जटिल संरचनाओं पर कैसे लागू होता है, जहाँ लक्ष्य न्यूनतम विवरणों वाली एक तस्वीर या न्यूनतम जटिलता वाला एक ग्रिड खोजना है।
कहानी फिर डीप लर्निंग के साथ मिलन की ओर बढ़ती है। इस क्षेत्र में सबसे रोमांचक विकासों में से एक "अनरोलिंग" (unrolling) नामक तकनीक है। यहाँ, शोधकर्ता एक चरण-दर-चरण एल्गोरिदम लेते हैं जिसे स्पार्स रिकवरी समस्या को हल करने के लिए डिज़ाइन किया गया है और प्रत्येक चरण को न्यूरल नेटवर्क की एक परत में बदल देते हैं। प्रत्येक चरण के लिए एक निश्चित गणितीय सूत्र का उपयोग करने के बजाय, नेटवर्क प्रशिक्षण डेटा को देखकर उन चरणों के लिए सर्वोत्तम सेटिंग्स सीखता है। लेखक दिखाते हैं कि ये सीखे गए नेटवर्क वास्तविक दुनिया के अनुप्रयोगों में पारंपरिक तरीकों से बेहतर प्रदर्शन करते हैं। इससे भी महत्वपूर्ण बात यह है कि वे एक सैद्धांतिक स्पष्टीकरण प्रदान करते हैं कि यह क्यों काम करता है, यह सिद्ध करते हुए कि ये नेटवर्क नए डेटा पर अच्छी तरह से सामान्यीकरण कर सकते हैं, बशर्ते उन्हें पर्याप्त उदाहरणों के साथ प्रशिक्षित किया गया हो। यह उस चीज़ को एक ठोस गणितीय आधार देता है जो पहले केवल एक सफल इंजीनियरिंग ट्रिक थी।
पेपर की सबसे गहन अंतर्दृष्टि "इम्प्लिसिट बायस" (implicit bias) की घटना से संबंधित है। डीप लर्निंग में, जब एक नेटवर्क में डेटा बिंदुओं की तुलना में अधिक पैरामीटर होते हैं, तो प्रशिक्षण डेटा को पूरी तरह से फिट करने के अनंत तरीके होते हैं। शास्त्रीय सांख्यिकी भविष्यवाणी करेगी कि नेटवर्क एक जटिल, अस्त-व्यस्त समाधान चुनेगा जो नए डेटा पर विफल हो जाएगा। हालाँकि, शोधकर्ता प्रदर्शित करते हैं कि इन नेटवर्कों को प्रशिक्षित करने के लिए उपयोग की जाने वाली मानक विधि, जिसे 'ग्रेडिएंट डिसेंट' (gradient descent) कहा जाता है, केवल कोई भी समाधान नहीं चुनती है। इसमें एक छिपा हुआ झुकाव होता है। जब नेटवर्क बहुत छोटे प्रारंभिक सेटिंग्स के साथ शुरू होता है, तो वह जिस पथ का अनुसरण करता है वह स्वाभाविक रूप से सरलता की ओर झुकता है। सरल रैखिक नेटवर्कों के मामले में, यह पूर्वाग्रह समाधान को 'स्पार्सिटी' (sparsity) की ओर धकेलता है, जो प्रभावी रूप से एक फिल्टर के रूप में कार्य करता है जो डेटा के लिए सबसे सरल संभव स्पष्टीकरण का चयन करता है।
यह निष्कर्ष बताता है कि आधुनिक आर्टिफिशियल इंटेलिजेंस की सफलता आकस्मिक नहीं है। प्रशिक्षण प्रक्रिया स्वयं एक नियामक (regulator) के रूप में कार्य करती है, जो सिस्टम को कम-जटिलता वाले मॉडलों की ओर निर्देशित करती है, भले ही सिस्टम अत्यधिक जटिल मॉडल बनाने में सक्षम हो। लेखक इसे सरल मॉडलों का उपयोग करके तलाशते हैं, जैसे कि ऐसे नेटवर्क जहाँ वेट्स (weights) को छोटी संख्याओं के उत्पादों में विभाजित किया जाता है। वे दिखाते हैं कि जैसे-जैसे नेटवर्क प्रशिक्षित होता है, यह जटिलता को कम करने वाले समाधान की ओर अभिसरित (converge) होता है, जो कंप्रेसिव सेंसिंग के लक्ष्यों को दर्शाता है। वे यह भी जांचते हैं कि नेटवर्क की गहराई के साथ यह व्यवहार कैसे बदलता है, यह पाते हुए कि गहरे नेटवर्क इस सरलता को अधिक प्रभावी ढंग से प्राप्त कर सकते हैं, बशर्ते शुरुआती स्थितियाँ सही हों।
पेपर गैर-रेखीय (non-linear) नेटवर्कों से जुड़े अधिक जटिल परिदृश्यों को भी छूता है, जो आधुनिक AI की रीढ़ हैं। हालाँकि इन मामलों में गणित को हल करना बहुत कठिन हो जाता है, प्रारंभिक संकेत बताते हैं कि एक समान घटना घटित होती है। प्रशिक्षण के प्रारंभिक चरण के दौरान, नेटवर्क में न्यूरॉन्स कुछ प्रमुख दिशाओं के साथ संरेखित (align) होते हैं, जो प्रभावी रूप से मॉडल की जटिलता को कम कर देते हैं। यह "अर्ली अलाइनमेंट" (early alignment) संकेत देता है कि सरलता की ओर यह झुकाव सीखने के तरीके का एक मौलिक गुण है, न कि केवल सरल मॉडलों की एक विचित्रता।
अंततः, यह शोध दो स्पष्ट रूप से भिन्न क्षेत्रों का एक एकीकृत दृष्टिकोण प्रदान करता है। यह दिखाता है कि अधूरे डेटा से संकेतों को पुनः प्राप्त करने के लिए विकसित गणितीय उपकरण, डेटा से न्यूरल नेटवर्क के सीखने के तरीके से गहराई से जुड़े हुए हैं। सरल समाधानों की ओर प्रशिक्षण एल्गोरिदम का 'इम्प्लिसिट बायस', यह समझाने के लिए एक सम्मोहक आधार प्रदान करता है कि डीप लर्निंग इतना अच्छा क्यों काम करता है, भले ही मॉडल बहुत अधिक शक्तिशाली हों। हालाँकि कई प्रश्न अभी भी शेष हैं कि ये सिद्धांत सबसे जटिल, वास्तविक दुनिया के न्यूरल नेटवर्क पर कैसे लागू होते हैं, यहाँ स्थापित संबंध यह सुझाव देता है कि आर्टिफिशियल इंटेलिजेंस को समझने का मार्ग उन्हीं गणितीय परिदृश्यों में निहित है जो स्पार्स संकेतों की रिकवरी को नियंत्रित करते हैं। यह कार्य यह दावा नहीं करता है कि इसने हर रहस्य को सुलझा लिया है, लेकिन यह उस क्षेत्र का एक स्पष्ट, कठोर मानचित्र प्रदान करता है जहाँ ये दो शक्तिशाली विचार मिलते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।