Learning from almost nothing: How neural networks survive heavy input corruption
यह शोध पत्र यह प्रदर्शित करता है कि न्यूरल नेटवर्क 90% से अधिक इनपुट भ्रष्टाचार (corruption) के बावजूद एक सार्वभौमिक "नियरेस्ट-क्लास-मीन" (nearest-class-mean) प्रोटोटाइप नियम को प्रभावी ढंग से लागू करके मजबूत वर्गीकरण सटीकता बनाए रखते हैं, जो एक ऐसी प्रणाली है जो विभिन्न आर्किटेक्चर में बनी रहती है और जिसे अनंत-चौड़ाई वाले नेटवर्क सिद्धांत (infinite-width network theory) का उपयोग करके विश्लेषणात्मक रूप से व्युत्पन्न किया गया है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक रोबोट को विभिन्न प्रकार के फल पहचानना सिखाने की कोशिश कर रहे हैं। आमतौर पर, आप उसे सेब, केले और संतरे की स्पष्ट और साफ़ तस्वीरें दिखाते हैं। लेकिन इस शोध पत्र में, शोधकर्ताओं ने कुछ अजीब करने का निर्णय लिया: उन्होंने उन तस्वीरों को लिया और उन्हें इतने अधिक स्टैटिक (static), धुंधलेपन और रैंडम पिक्सल से ढक दिया कि रोबोट फल को मुश्किल से ही देख पा रहा था। वास्तव में, वे चित्र इतने खराब हो गए थे कि एक इंसान उन्हें देखने पर केवल एक बिखरा हुआ धूसर गोला (gray blob) ही देखेगा।
बड़ा सवाल यह था: क्या रोबोट अभी भी एक सेब को केले से अलग पहचान सकता है जब तस्वीरें लगभग पूरी तरह से नष्ट हो चुकी हों?
जवाब, आश्चर्यजनक रूप से, हाँ है। भले ही 90% छवि को रैंडम शोर (noise) से बदल दिया गया था, न्यूरल नेटवर्क (रोबोट का मस्तिष्क) उच्च सटीकता के साथ साफ टेस्ट इमेजेस को वर्गीकृत करने में सक्षम था।
यहाँ बताया गया है कि यह जादू कैसे काम करता है, सरल उपमाओं का उपयोग करते हुए:
1. "भीड़भाड़ वाला कमरा" वाली उपमा
कल्पना कीजिए कि आप एक बहुत बड़े, शोर वाले कमरे में हैं जहाँ हर कोई रैंडम बड़बड़ा रहा है। आप एक भी शब्द स्पष्ट रूप से नहीं सुन सकते। हालाँकि, यदि आप जानते हैं कि लोगों का एक समूह "सेब" बोलने की कोशिश कर रहा है और दूसरा समूह "केला" बोलने की कोशिश कर रहा है, तो आप शब्दों को तो नहीं सुन पाएंगे, लेकिन आप शोर की सामान्य दिशा को सुन सकते हैं।
शोधकर्ताओं ने पाया कि जब इनपुट डेटा अत्यधिक खराब होता है, तो न्यूरल नेटवर्क इमेज को "साफ करने" या विशिष्ट विवरणों (जैसे सेब की डंठल) को खोजने की कोशिश करना बंद कर देता है। इसके बजाय, वह विवरणों को छोड़ देता है और प्रत्येक समूह की औसत आवाज़ सुनने लगता है।
- पुराना तरीका: "मुझे एक लाल गोला और एक हरी डंठल दिख रही है; इसलिए, यह एक सेब है।"
- नया तरीका (भारी शोर में): "सेब वाले समूह से आने वाला शोर, केले वाले समूह से आने वाले शोर से थोड़ा अलग है। मैं बस इस आधार पर अनुमान लगाऊंगा कि मेरा वर्तमान इनपुट किस समूह के औसत शोर पैटर्न से सबसे अधिक मेल खाता है।"
2. "निकटतम पड़ोसी" (Nearest Neighbor) वाली ट्रिक
शोध पत्र इसे "नियरस्ट-क्लास-मीन" (Nearest-Class-Mean) या "सेंट्रॉइड" (Centroid) नियम कहता है।
इसे ऐसे सोचें: कल्पना कीजिए कि आपके पास समुद्र तट पर रेत के दो ढेर हैं। एक ढेर पर "सेब" लिखा है और दूसरे पर "केला"। भले ही आप दोनों ढेरों पर बाल्टी भर रैंडम मिट्टी डाल दें, फिर भी "सेब" के ढेर का केंद्र "केले" के ढेर के केंद्र से थोड़ा अलग ही रहेगा।
जब नेटवर्क एक नई, बिखरी हुई टेस्ट इमेज देखता है, तो वह इमेज को फिर से बनाने की कोशिश नहीं करता। वह बस पूछता है: "क्या यह बिखरा हुआ गोला औसत 'सेब' के ढेर जैसा दिखता है या औसत 'केले' के ढेर जैसा?"
यह पता चला है कि भले ही इमेज 90% कचरा हो, सेब के लिए कचरे का "औसत" अभी भी केलों के कचरे के औसत से अलग है। नेटवर्क बस इन दो औसतों की तुलना करता है और विजेता को चुन लेता है।
3. यह क्यों मायने नहीं रखता कि नेटवर्क कितना "स्मार्ट" है
आप सोच सकते हैं कि इस तरह की समस्या को हल करने के लिए एक अत्यंत जटिल, गहरे न्यूरल नेटवर्क को बहुत चतुर होने की आवश्यकता होगी। लेकिन शोध पत्र दिखाता है कि इस विशिष्ट "भारी शोर" वाली स्थिति में, नेटवर्क की जटिलता वास्तव में मायने नहीं रखती।
चाहे नेटवर्क 3 लेयर्स गहरा हो या 100 लेयर्स गहरा, या चाहे वह एक प्रकार के गणितीय फंक्शन का उपयोग करे या दूसरे का, यह सब एक ही सरल नियम में सिमट जाता है: "इनपुट की तुलना क्लास एवरेज (वर्ग औसत) से करें।"
यह कहने जैसा है कि चाहे आपकी कार कितनी भी शानदार क्यों न हो, यदि आप घने कोहरे में गाड़ी चला रहे हैं जहाँ आप सड़क नहीं देख सकते, तो एकमात्र सुरक्षित रणनीति बस लेन के केंद्र की ओर सीधे गाड़ी चलाना है। कार की शानदार विशेषताएं काम नहीं आतीं; सरल नियम ही आपको बचाता है।
4. "मैचिंग नॉइज़" (Matching Noise) का आश्चर्य
शोधकर्ताओं ने यह भी परीक्षण किया कि क्या होता है जब टेस्ट इमेजेस (जिनका अनुमान रोबोट को लगाना है) भी शोर भरी होती हैं।
- यदि आप साफ डेटा पर प्रशिक्षण लेते हैं, लेकिन शोर वाले डेटा पर टेस्ट करते हैं, तो आपको कठिनाई होती है।
- यदि आप शोर वाले डेटा पर प्रशिक्षण लेते हैं और साफ डेटा पर टेस्ट करते हैं, तो आप बहुत अच्छा प्रदर्शन करते हैं।
- ट्विस्ट: यदि आप शोर वाले डेटा पर प्रशिक्षण लेते हैं और उतने ही शोर वाले डेटा पर टेस्ट करते हैं, तो आप साफ डेटा पर प्रशिक्षण लेने की तुलना में बेहतर प्रदर्शन करते हैं!
उपमा: कल्पना कीजिए कि आप एक वीडियो गेम खेलना सीख रहे हैं।
- यदि आप बिना किसी ग्लिच (glitch) वाली स्क्रीन पर अभ्यास करते हैं, लेकिन बाद में जो गेम आप खेलते हैं उसमें ग्लिच होते हैं, तो आप भ्रमित हो जाएंगे।
- यदि आप ग्लिच वाली स्क्रीन पर अभ्यास करते हैं, और बाद में जो गेम आप खेलते हैं उसमें भी वही ग्लिच होते हैं, तो आप उस अराजकता के लिए पूरी तरह से अनुकूलित हैं। आप उस विशेष प्रकार के बिखराव के बीच नेविगेट करना सीख जाते हैं।
सारांश
यह शोध पत्र एक विपरीत तथ्य प्रकट करता है: न्यूरल नेटवर्क खराब डेटा के प्रति अविश्वसनीय रूप से मजबूत होते हैं। जब इनपुट पूरी तरह से शोर (noise) हो, तो नेटवर्क एक जासूस बनने की कोशिश नहीं करता; वह एक सांख्यिकीविद (statistician) बन जाता है। वह दूषित छवियों के व्यक्तिगत विवरणों को अनदेखा कर देता है और बस प्रत्येक श्रेणी के "औसत आकार" को सीख लेता है। जब तक श्रेणियों के औसत अलग-अलग होते हैं, नेटवर्क उन्हें अलग कर सकता है, भले ही छवियां मानवीय आंखों के लिए केवल स्टैटिक (static) की तरह दिखें।
ऐसा इसलिए नहीं होता क्योंकि नेटवर्क छवियों को "डी-नॉइज़" (denoising) कर रहा है, बल्कि इसलिए होता है क्योंकि नेटवर्क का गणित इसे इन औसतों पर निर्भर रहने के लिए मजबूर करता है जब सिग्नल इतना कमजोर होता है कि कुछ और करना संभव न हो।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।