Emergent Sparsity in Frozen Random CNN Feature Extractors for Deep Reinforcement Learning
यह शोध पत्र प्रदर्शित करता है कि फ्रोजन, रैंडमली इनिशियलाइज्ड सीएनएन फीचर एक्सट्रैक्टर्स के साथ प्रशिक्षित डीप रीइन्फोर्समेंट लर्निंग एजेंट्स स्वतः ही अत्यंत स्पार्स फुली-कनेक्टेड रिप्रेजेंटेशन्स विकसित कर लेते हैं जो कार्य की जटिलता के साथ स्केल करते हैं और प्रभावी रूप से प्राप्त करने योग्य प्रदर्शन को सीमित करते हैं, जो बिना किसी स्पष्ट स्पैरसिटी-इंड्यूसिंग ऑब्जेक्टिव के अंतर्निहित समस्या की इंट्रिन्सिक डाइमेंशनलिटी को प्रकट करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए एक ऐसी दुनिया की जहाँ कंप्यूटर गेम खेलना इसलिए नहीं सीखते कि उन्होंने कोई मैनुअल पढ़ा है, बल्कि इसलिए सीखते हैं क्योंकि वे स्क्रीन को घूर रहे हैं और अंदाज़ा लगा रहे हैं कि आगे क्या करना है। यह डीप रिइन्फोर्समेंट लर्निंग (DRL) का क्षेत्र है। इसे एक कुत्ते को प्रशिक्षित करने जैसा समझें: आप कुत्ते को यह नहीं बताते कि फ्रिसबी कैसे पकड़नी है; आप बस उसे तब इनाम देते हैं जब वह ऐसा करता है, और जब नहीं करता तो "ना" कहते हैं। समय के साथ, कुत्ता वह ट्रिक सीख जाता है। कंप्यूटर की दुनिया में, वह "कुत्ता" एक न्यूरल नेटवर्क है—गणितीय कनेक्शनों का एक विशाल जाल जो मस्तिष्क की नकल करता है। आमतौर पर, इन कंप्यूटरों को स्मार्ट बनाने के लिए, हम उन्हें इस जाल के हर एक कनेक्शन को बदलने देते हैं, इस उम्मीद में कि वे दुनिया को देखने का सबसे अच्छा तरीका समझ लेंगे। लेकिन यहाँ एक पेंच है: ये कंप्यूटर दिमाग अक्सर अत्यधिक बढ़े हुए होते हैं। इनमें लाखों कनेक्शन होते हैं, जैसे बहुत सारे पेड़ों वाला एक जंगल, जिससे यह देखना मुश्किल हो जाता है कि कौन से कनेक्शन वास्तव में काम कर रहे हैं और कौन से केवल बाधा डाल रहे हैं। वैज्ञानिक लंबे समय से सोचते आए हैं: क्या ये विशाल दिमाग इतने बड़े होने चाहिए, या क्या इन समस्याओं को हल करने का कोई सरल, अधिक कुशल तरीका है?
यहीं पर स्कॉट एम. नॉर्टन नामक एक जिज्ञासु शोधकर्ता एक बहुत ही अजीब प्रयोग के साथ सामने आए। कंप्यूटर की "आँखों" (जो स्क्रीन को देखती हैं) को सीखने और बदलने देने के बजाय, उन्होंने उन्हें फ्रीज (स्थिर) कर दिया। उन्होंने एक रैंडम, अप्रशिक्षित कैमरा लेंस लिया और उसे वहीं लॉक कर दिया, उसे कुछ भी नया सीखने से मना कर दिया। फिर उन्होंने कंप्यूटर को केवल इस जमे हुए, रैंडम लेंस का उपयोग करके एटाari (Atari) गेम खेलने के लिए कहा। उम्मीद यह थी कि कंप्यूटर बुरी तरह विफल होगा, या कम से कम रैंडम छवियों को समझने में संघर्ष करेगा। लेकिन कुछ जादुई और अप्रत्याशित हुआ। कंप्यूटर ने न केवल सीखा; बल्कि उसने अविश्वसनीय रूप से कुशल होना सीखा। बिना किसी के बताए कि इसे सरल होना है, इसने स्वतः ही अपनी खुद की मस्तिष्क शक्ति का 95% हिस्सा अनदेखा करने का निर्णय लिया। इसने अपने लगभग सभी न्यूरॉन्स को बंद कर दिया और केवल कुछ मुट्ठी भर न्यूरॉन्स का उपयोग करके गेम को हल कर लिया। यह ऐसा था जैसे किसी छात्र को, जिसे रैंडम पन्नों से चिपकी हुई एक किताब दी गई हो, उसने केवल तीन वाक्यों को याद करके परीक्षा में टॉप कर लिया हो।
द फ्रोजन लेंस एक्सपेरिमेंट (द जमे हुए लेंस का प्रयोग)
इस अध्ययन में, शोधकर्ता ने पोंग (Pong) (डिजिटल टेनिस गेम जहाँ आप गेंद को इधर-उधर मारते हैं) गेम का उपयोग करके एक क्लासिक वीडियो गेम परिदृश्य बनाया। उन्होंने एक मानक AI एजेंट बनाया, लेकिन एक ट्विस्ट के साथ: AI का वह हिस्सा जो वीडियो छवियों को प्रोसेस करता है (कन्वोल्यूशनल न्यूरल नेटवर्क, या CNN), उसे रैंडम नंबरों के साथ शुरू किया गया था और फिर फ्रीज (स्थिर) कर दिया गया था। इसे कभी भी कुछ नया सीखने की अनुमति नहीं दी गई। केवल AI का वह हिस्सा ही सीख सकता था जो अंतिम निर्णय लेने वाली परत (fully connected layer) थी, जो इमेज डेटा लेती है और तय करती है कि पैडल को ऊपर, नीचे ले जाना है या स्थिर रहना है।
आमतौर पर, जब हम इन AI एजेंटों को प्रशिक्षित करते हैं, तो हम पूरे सिस्टम को एक साथ सीखने देते हैं। "आँखें" गेंद को पहचानना सीखती हैं, और "मस्तिष्क" पैडल को हिलाना सीखता है। लेकिन इस प्रयोग में, AI की "आँखें" दुनिया के एक रैंडम, अप्रशिक्trained दृश्य के साथ फंसी हुई थीं। शोधकर्ताओं को उम्मीद थी कि AI अनाड़ी होगा। इसके बजाय, उन्होंने पाया कि AI के मस्तिष्क ने स्वतः ही एक स्पार्स रिप्रेजेंटेशन (sparse representation) विकसित कर लिया।
"स्पारसिटी" (Sparsity) एक फैंसी शब्द है जिसका अर्थ है "बहुत कम उपयोग करना"। कल्पना कीजिए कि आपके पास 64 लाइट स्विच वाला एक कमरा है। एक सामान्य, पूरी तरह से प्रशिक्षित AI में, लगभग सभी 64 स्विच गेम खेलते समय चालू और बंद होंगे, जिससे एक जटिल, शोर भरा पैटर्न बनेगा। लेकिन इस फ्रीज किए गए प्रयोग में, AI ने 64 उपलब्ध स्विचों में से केवल 1 से 3 स्विच चालू किए। उसने बाकी 61 स्विचों को पूरी तरह से अनदेखा कर दिया। उसे उनकी जरूरत नहीं थी। AI ने समझ लिया कि उस रैंडम, फ्रीज किए गए लेंस में जानकारी के ठीक सही कुछ "चैनल" मौजूद थे जिनसे गेम हल किया जा सकता था, इसलिए उसने ऊर्जा बचाने और ध्यान केंद्रित करने के लिए बाकी सब कुछ बंद कर दिया।
द "जस्ट एनफ" रूल (पर्याप्त का नियम)
इस खोज का सबसे दिलचस्प हिस्सा यह है कि AI ने कितने स्विचों का उपयोग किया वह रैंडम नहीं था; यह गेम की कठिनाई के अनुरूप था।
- पोंग (Pong): यह एक सरल गेम है जिसमें केवल एक गेंद और दो पैडल हैं। इसे मास्टर करने के लिए AI को केवल 1 से 3 न्यूरॉन्स (मस्तिष्क में छोटे प्रोसेसिंग यूनिट) की आवश्यकता थी।
- ब्रेकआउट (Breakout): इस गेम में एक गेंद, एक पैडल और ईंटों की एक दीवार शामिल है। यह अधिक जटिल है। AI को 19 से 26 न्यूरॉन्स की आवश्यकता थी।
- स्पेस इनवेडर्स (Space Invaders): यह एलियंस, गोलियों और शील्ड्स वाला एक अराजक गेम है। AI को लगभग 42 न्यूरॉन्स की आवश्यकता थी।
शोधकर्ताओं ने AI के मस्तिष्क को और चौड़ा करके (उसे चुनने के लिए अधिक स्विच देकर) इसका परीक्षण किया। यहाँ तक कि जब उन्होंने AI को 64 के बजाय 128 स्विच दिए, तब भी इसने गेम को हल करने के लिए लगभग उसी छोटी संख्या (3 से 14) का ही उपयोग किया। उपलब्ध होने के बावजूद इसने अधिक का उपयोग नहीं किया। ऐसा लगता है कि AI गेम की "वास्तविक जटिलता" को महसूस कर रहा था और केवल उतना ही मस्तिष्क बल उपयोग कर रहा था जितना कि सख्ती से आवश्यक था।
यह क्यों महत्वपूर्ण है (और क्या नहीं है)
आप सोच सकते हैं, "क्या AI सिर्फ भाग्यशाली था?" शोधकर्ताओं ने इसकी गहन जांच की। उन्होंने पाया कि यदि वे उन विशिष्ट न्यूरॉन्स को ले लेते जिनका AI उपयोग कर रहा था और उन्हें बंद कर देते (एक प्रक्रिया जिसे एब्लेशन/ablation कहा जाता है), तो AI तुरंत खेलना भूल जाता और पूरी तरह से रैंडम व्यवहार करने लगता। इससे सिद्ध हुआ कि वे कुछ न्यूरॉन्स ही सारा भारी काम कर रहे थे। बाकी मस्तिष्क उस विशिष्ट कार्य के लिए वास्तव में बेकार था।
हालाँकि, पेपर इस बात का दावा करने में सावधान है कि यह हर स्थिति के लिए एक जादुई समाधान नहीं है। शोधकर्ताओं ने पाया कि यह "फ्रोजन लेंस" वाला तरीका तब सबसे अच्छा काम करता है जब गेम में एक स्पष्ट, प्रतिक्रियाशील संरचना (जैसे पोंग या ब्रेकआउट) होती है। कुछ मामलों में, जैसे कि गेम फ्रीवे (Freeway) में, AI एक "चीट" ढूंढ सकता है जो हर बार ऊपर जाने से मिलता है, जिसके लिए किसी वास्तविक सीखने की आवश्यकता नहीं थी। उन मामलों में, "स्पारसिटी" बुद्धिमत्ता का संकेत नहीं थी; यह एक शॉर्टकट का संकेत था। लेकिन जहाँ वास्तविक कौशल की आवश्यकता थी, वहाँ फ्रीज किए गए रैंडम लेंस ने AI को सबसे कुशल पथ खोजने के लिए मजबूर किया।
बड़ी तस्वीर: शोर में सिग्नल खोजना
यह कहानी दक्षता (Efficiency) के बारे में है। हम अक्सर सोचते हैं कि एक कठिन समस्या को हल करने के लिए, आपको एक विशाल, जटिल मशीन की आवश्यकता होती है। लेकिन यह पेपर सुझाव देता है कि यदि आप किसी मशीन को उपकरणों का एक निश्चित, रैंडम सेट देते हैं, तो वह स्वाभाविक रूप से उनका उपयोग करने का सबसे सरल तरीका ढूंढ लेगी। यह किसी को लाखों रैंडम टूल्स वाले एक विशाल टूलबॉक्स देने जैसा है। सभी का उपयोग करने की कोशिश करने के बजाय, एक समझदार व्यक्ति जल्दी से समझ जाएगा, "ओह, मुझे इस कुर्सी को ठीक करने के लिए केवल इस एक पेचकस और इस एक हथौड़े की आवश्यकता है।"
शोधकर्ताओं ने यह भी देखा कि यह कब होता है। AI ने बहुत जल्दी अपने प्रशिक्षण के दौरान तय कर लिया कि उसे किन न्यूरॉन्स का उपयोग करना है—कभी-कभी पहले 15 मिलियन स्टेप्स के भीतर। उसने उन विकल्पों को बहुत पहले ही लॉक कर दिया था, गेम में वास्तव में अच्छा होने से बहुत पहले। यह ऐसा था जैसे AI ने पहले ही दिन अपनी टीम के सदस्यों को चुन लिया हो, और फिर अगले 100 मिलियन स्टेप्स केवल उसी विशिष्ट टीम के साथ अभ्यास करने में बिताए।
एक चंचल उपमा: रेडियो ट्यूनर
कल्पना कीजिए कि फ्रीज किया गया CNN एक रेडियो की तरह है जो एक विशिष्ट, रैंडम फ्रीक्वेंसी पर अटक गया है। आने वाला सिग्नल स्टैटिक (शोर) और संगीत का मिश्रण है। अधिकांश लोग सोचेंगे, "यह रेडियो खराब है; मुझे एंटीना ठीक करने की जरूरत है।" लेकिन यह AI अलग है। यह एंटीना ठीक करने की कोशिश नहीं करता है। इसके बजाय, यह स्टैटिक को सुनता है और महसूस करता है, "हे, अगर मैं बस स्टैटिक के इस एक छोटे से हिस्से को ट्यून कर लूँ, तो मैं संगीत को पूरी तरह से सुन सकता हूँ।" यह बाकी शोर को अनदेखा कर देता है।
AI की दुनिया में, हम आमतौर पर बेहतर एंटीना बनाने की कोशिश करते हैं (पूरे नेटवर्क को प्रशिक्षित करना)। यह पेपर दिखाता है कि कभी-कभी, यदि आप केवल AI को एक रैंडम एंटीना सुनने दें, तो वह स्वाभाविक रूप से सिग्नल के उस एक छोटे से हिस्से को ढूंढ लेगा जो मायने रखता है और बाकी को अनदेखा कर देगा। यह एक अनुस्मारक है कि कभी-कभी, कम ही अधिक होता है, और प्रकृति (या इस मामले में, एक फ्रीज किया गया रैंडम नेटवर्क) के पास सरल समाधान खोजने का एक तरीका होता है यदि हम बस उसके रास्ते में आना बंद कर दें।
शोधकर्ता सुझाव देते हैं कि यह घटना हमें भविष्य में स्मार्ट, छोटे AI सिस्टम बनाने में मदद कर सकती है। विशाल, अपव्ययी नेटवर्क बनाने के बजाय, शायद हम AI को किसी समस्या के "इंट्रिंसिक डायमेंशन" (intrinsic dimension)—उन वास्तविक, छोटे वेरिएबल्स को खोजने में मदद करने के लिए फ्रीज किए गए, रैंडम फीचर्स का उपयोग कर सकते हैं जो वास्तव में मायने रखते हैं। यह ऐसे AI बनाने की दिशा में एक कदम है जो न केवल शक्तिशाली है, बल्कि सुंदर और कुशल भी है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।