On the Infinite Width and Depth Limits of Predictive Coding Networks
यह शोध पत्र प्रेडिक्टिव कोडिंग नेटवर्क्स की अनंत चौड़ाई और गहराई की सीमाओं की जांच करता है, जो प्रशिक्षण विस्फोटों को रोकने के लिए स्थिर पैरामीटराइजेशन को व्युत्पन्न करता है और यह प्रदर्शित करता है कि प्रेडिक्टिव कोडिंग ग्रेडिएंट्स चौड़े नेटवर्क्स में बैकप्रोपैगेशन ग्रेडिएंट्स की ओर अभिसरित होते हैं, जिससे वे गहरे आर्किटेक्चर के लिए एक जैविक रूप से प्रशंसनीय स्थानीय शिक्षण तंत्र प्रदान करते हैं।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप रोबोटों की एक विशाल, बहु-स्तरीय टीम को एक पहेली सुलझाना सिखाने की कोशिश कर रहे हैं। आर्टिफिशियल इंटेलिजेंस की दुनिया में, इसे करने का मानक तरीका है जिसे "बैकप्रोपैगेशन" (backpropagation) कहा जाता है। यह एक सख्त मैनेजर की तरह है जो असेंबली लाइन के बिल्कुल अंत में खड़ा होता है, अंतिम गलती को देखता है, और फिर वापस शुरुआत तक दौड़कर जाता है, हर एक रोबोट को चिल्लाकर विशिष्ट निर्देश देता है कि उन्होंने वास्तव में कहाँ गलती की। यह कंप्यूटरों के लिए अविश्वसनीय रूप से अच्छा काम करता है, लेकिन यह एक ऐसी विधि है जो इस बात से अलग है कि प्रकृति कैसे काम करती है। वास्तविक मस्तिष्क ऐसे केंद्रीय मैनेजर के बिना काम नहीं करते जो समय में पीछे जाकर निर्देश चिल्लाता रहे; इसके बजाय, प्रत्येक न्यूरॉन केवल यह जानता है कि उसके तत्काल पड़ोसी क्या कर रहे हैं।
यहाँ "प्रेडिक्टिव कोडिंग" (Predictive Coding) का प्रवेश होता है, जो एक सिद्धांत है जो यह सुझाव देता है कि मस्तिष्क मौसम का अनुमान लगाने की कोशिश करने वाले दोस्तों के एक समूह की तरह सीखते हैं। प्रत्येक व्यक्ति (न्यूरॉन) अपने पड़ोसियों की बातों के आधार पर एक भविष्यवाणी करता है, यदि उसका अनुमान गलत होता है तो थोड़ा "त्रुटि" (error) महसूस करता है, और बेहतर तालमेल बिठाने के लिए अपनी गतिविधि को समायोजित करता है। एक बार जब सभी बहस करना बंद कर देते हैं और एक शांत सहमति पर पहुँच जाते हैं (equilibrium), तो वे अगली बार बेहतर करने के लिए अपने कनेक्शनों को थोड़ा ट्यून करते हैं। यह विधि जैविक रूप से यथार्थवादी है क्योंकि हर कोई केवल अपने पड़ोसियों से बात करता है, लेकिन लंबे समय तक वैज्ञानिक अनिश्चित थे कि क्या यह आधुनिक एआई के लिए आवश्यक विशाल, गहरे नेटवर्क को संभाल सकती है। क्या यह स्थानीय, "चैटी" (chatty) विधि एक सुपरकंप्यूटर के आकार तक स्केल कर पाएगी, या यह बिखर जाएगी?
यह शोध पत्र इसी सटीक प्रश्न की जांच करता है कि क्या होता है जब आप इन प्रेडिक्टिव कोडिंग नेटवर्कों को अनंत रूप से चौड़ा (बगल में बहुत सारे न्यूरॉन्स जोड़कर) और अनंत रूप से गहरा (एक के ऊपर एक बहुत सारी परतें जोड़कर) बनाते हैं। शोधकर्ता, फ्रांसेस्को इनोकेंटी, एल मेहदी अचौर और राफेल बोगैज़ यह जानना चाहते थे: क्या हम इन प्रेडिक्टिव कोडिंग नेटवर्कों के "नॉब्स" (knobs) को इस तरह ट्यून कर सकते हैं कि वे स्थिर रहें और प्रभावी ढंग से सीख सकें, ठीक वैसे ही जैसे आज के मानक बैकप्रोपैगेशन नेटवर्क काम करते हैं?
उनकी जांच एक आश्चर्यजनक मोड़ प्रकट करती है। उन्होंने पाया कि बड़े पैमाने पर प्रेडिक्टिव कोडिंग के काम करने के लिए, इसे ठीक उन्हीं सेटिंग्स और स्केलिंग नियमों का उपयोग करना चाहिए जो मानक बैकप्रोपैगेशन विधि का उपयोग करते हैं। यदि आप उन "मानक" सेटिंग्स का उपयोग करने का प्रयास करते हैं जिनका उपयोग अधिकांश लोग पायटॉर्च (PyTorch) जैसे सॉफ़्टवेयर में करते हैं, तो प्रेडिक्टिव कोडिंग नेटवर्क का आउटपुट अराजकता में बदल जाएगा, ठीक वैसे ही जैसे स्पीकर के बहुत करीब रखा गया माइक्रोफ़ोन। हालाँकि, यदि आप एक विशिष्ट, गणितीय रूप से सटीक सेट नियमों (जिसे "मीन-फील्ड" या "मैक्सिमल अपडेट" पैरामीटराइजेशन के रूप में जाना जाता है) पर स्विच करते हैं, तो नेटवर्क स्थिर हो जाता है।
इन स्थिर स्थितियों के तहत, यह शोध पत्र दिखाता है कि जैसे-जैसे नेटवर्क अविश्वसनीय रूप से चौड़ा होता जाता है, प्रेडिक्टिव कोडिंग के सीखने का तरीका बैकप्रोपैगेशन के लगभग अविभाज्य हो जाता है। वास्तव में, उन नेटवर्कों के लिए जो अपनी गहराई की तुलना में बहुत अधिक चौड़े हैं (एक ऊंचे, पतले टॉवर के बजाय एक चौड़े, उथले पैनकेक की तरह), प्रेडिक्टिव कोडिंग के "स्थानीय" अपडेट, बैकप्रोपैगेशन के "वैश्विक" अपडेट के साथ पूरी तरह से संरेखित होते हैं। लेखकों ने सरल रैखिक नेटवर्कों के लिए इसे गणितीय रूप से सिद्ध किया और कन्वेशनल न्यूरल नेटवर्क (CNNs) और ट्रांसफॉर्मर जैसे जटिल, गैर-रैखिक मॉडलों पर प्रयोगों के साथ इसकी पुष्टि की।
यह अध्ययन कुछ रोमांचक संभावनाओं को भी खारिज करता है। यह सुझाव देता है कि कुछ शोधकर्ताओं ने गहरे-से-चौड़े नेटवर्कों में देखी गई "तेज़" सीखने की गति वास्तव में अस्थिरता के कारण हुआ एक भ्रम था; वे सेटिंग्स जैसे-जैसे नेटवर्क बढ़ता है, टूट जाती हैं। इसके अलावा, जबकि यह पेपर सुझाव देता है कि मस्तिष्क बैकप्रोपैगेशन की शक्ति प्राप्त करने के लिए प्रेडिक्टिव कोडिंग के समान एक स्थानीय शिक्षण नियम का उपयोग कर सकता है, यह नोट करता है कि यह केवल तभी कुशलता से काम करता है जब मस्तिष्क "चौड़ाई में गहराई से अधिक" हो—एक परिकल्पना जो कॉर्टेक्स की वर्तमान जैविक समझ के अनुरूप है।
अंततः, यह कार्य केवल यह नहीं कहता कि "प्रेडिक्टिव कोडिंग काम करती है"; बल्कि यह एक सख्त सीमा खींचता है कि यह कैसे काम कर सकती है। यह हमें बताता है कि इस जैविक रूप से प्रशंसनीय विधि को आधुनिक एआई के आकार तक स्केल करने के लिए, हम इसे बेतरतीब ढंग से ट्यून नहीं कर सकते; हमें उसी कठोर गणितीय स्केलिंग को अपनाना होगा जो मानक एआई को काम करने में सक्षम बनाती है। यह एक महत्वपूर्ण कदम है, जो यह सुझाव देता है कि मस्तिष्क वास्तव में उन्हीं जटिल समस्याओं को हल करने के लिए एक स्थानीय, ऊर्जा-न्यूनतम करने वाले नृत्य का उपयोग कर रहा होगा जिन्हें हमारे वैश्विक, बैकप्रोपैगेशन-प्रशिक्षित कंप्यूटर आज हल करते हैं।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।