A projection-based framework for gradient-free and parallel learning
यह शोध पत्र PJAX को प्रस्तुत करता है, जो एक JAX-आधारित फ्रेमवर्क है जो पुनरावृत्ति प्रोजेक्शन ऑपरेटरों (iterative projection operators) का उपयोग करके न्यूरल नेटवर्क प्रशिक्षण को एक समानांतर करने योग्य (parallelizable), ग्रेडिएंट-मुक्त व्यवहार्यता समस्या के रूप में पुनर्गठित करता है, जो गैर-विभेद्य (non-differentiable) ऑपरेशन्स को संभालने और व्यापक समानांतरता (massive parallelism) सक्षम करने के लाभों के साथ पारंपरिक ग्रेडिएंट-आधारित अनुकूलन का एक सम्मोहक विकल्प प्रदान करता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक विशाल, जटिल पहेली को हल करने की कोशिश कर रहे हैं, जैसे कि एक विशाल 3D जिग्सॉ या रूबिक क्यूब, लेकिन आपको अंतिम चित्र का पता नहीं है।
पुराना तरीका (ग्रेडिएंट-आधारित लर्निंग)
वर्तमान में, अधिकांश AI मॉडल "बैकप्रोपैगेशन" नामक विधि का उपयोग करके सीखते हैं। इसे इस तरह समझें जैसे एक हाइकर (पगडंडी पर चलने वाला) धुंधली घाटी के निचले हिस्से (सर्वश्रेष्ठ समाधान) को खोजने की कोशिश कर रहा हो। हाइकर अपने पैरों के नीचे ढलान (ग्रेडिएंट) को महसूस करता है और नीचे की ओर एक कदम बढ़ाता है। वह तब तक ऐसा करता रहता है, कदम दर कदम, जब तक कि वह एक निचले बिंदु तक नहीं पहुँच जाता।
- समस्या: कभी-कभी हाइकर एक छोटे गड्ढे (लोकल मिनिमम) में फंस जाता है जो वास्तविक तल नहीं है। कभी-कभी रास्ता इतना खड़ा या सपाट होता है कि हाइकर या तो भटक जाता है या बहुत धीरे चलता है। साथ ही, यह जानने के लिए कि "नीचे" की दिशा कौन सी है, हाइकर को घाटी के निचले हिस्से से ऊपर तक एक संकेत भेजना पड़ता है, जो धीमा है और इसके लिए एक बहुत ही विशिष्ट, सममित पथ की आवश्यकता होती है।
नया तरीका (प्रोजेक्शन-आधारित लर्निंग)
इस शोध पत्र के लेखक एक बिल्कुल अलग रणनीति प्रस्तावित करते हैं। ढलान के नीचे जाने की कोशिश करने के बजाय, वे प्रशिक्षण को एक व्यवहार्यता समस्या (feasibility problem) के रूप में देखते हैं।
कल्पना कीजिए कि आपके पास दीवारों से भरा एक कमरा है, जिनमें से प्रत्येक का एक विशिष्ट नियम है।
- दीवार A कहती है: "लाल ब्लॉक नीले ब्लॉक के बगल में होना चाहिए।"
- दीवार B कहती है: "हरा ब्लॉक लाल ब्लॉक के ऊपर होना चाहिए।"
- दीवार C कहती है: "कुल वजन 50 किलोग्राम के बराबर होना चाहिए।"
आपका लक्ष्य किसी पहाड़ी से नीचे फिसलना नहीं है; बल्कि यह एक एकल व्यवस्था (arrangement) खोजना है जहाँ हर एक दीवार के नियम एक ही समय में संतुष्ट हों।
यह कैसे काम करता है: "प्रोजेक्शन" रूपक
लेखक अपनी विधि को "प्रोजेक्शन-आधारित" कहते हैं। यहाँ बताया गया है कि यह कैसे काम करता है:
- इसे विभाजित करें: वे विशाल पहेली (न्यूरल नेटवर्क) को "प्रिमिटिव फंक्शन्स" (सरल गणितीय संचालन, जैसे संख्याओं को जोड़ना, उन्हें गुणा करना, या यह तय करना कि संख्या धनात्मक है या नहीं) नामक छोटे, सरल टुकड़ों में तोड़ देते हैं।
- स्थानीय सुधार (The Local Fix): पूरी पहेली को देखने के बजाय, वे केवल एक दीवार (एक नियम) को देखते हैं। यदि ब्लॉक उस दीवार के नियम में फिट नहीं होते हैं, तो वे ब्लॉकों को उस दीवार पर "प्रोजेक्ट" करते हैं। कल्पना करें कि आप ब्लॉकों पर रोशनी डाल रहे हैं; दीवार पर उनके द्वारा डाली गई छाया उस नियम के लिए "सही" स्थिति है।
- समानांतर शक्ति (Parallel Power): यही जादू वाला हिस्सा है। क्योंकि प्रत्येक दीवार केवल अपने निकटतम पड़ोसियों की परवाह करती है, आप दीवार A, दीवार B और दीवार C को एक ही समय में ठीक कर सकते हैं। आपको दीवार B शुरू करने से पहले दीवार A के खत्म होने का इंतजार करने की आवश्यकता नहीं है। यह 100 लोगों की एक टीम की तरह है जो एक-एक करके छत, फिर रसोई, फिर बाथरूम को ठीक करने के बजाय, एक साथ घर के विभिन्न हिस्सों को ठीक कर रही है।
- दोहराएं: वे इसे बार-बार करते हैं। हर बार, वे ब्लॉकों को स्थानीय नियमों के अनुसार बेहतर ढंग से फिट होने के लिए थोड़ा सा हिलाते हैं। अंततः, ब्लॉक एक ऐसी स्थिति में स्थिर हो जाते हैं जहाँ वे एक साथ सभी नियमों को संतुष्ट करते हैं। यही आपका प्रशिक्षित AI है।
यह क्यों शानदार है (पेपर के अनुसार)
- "ढलान" की आवश्यकता नहीं: आपको "ढलान" (ग्रेडिएंट) की गणना करने की आवश्यकता नहीं है। इसका मतलब है कि आप "बंपी" या टूटे हुए (नॉन-डिफरेंशिएबल) नियमों का उपयोग कर सकते हैं, जैसे कि एक स्विच जो या तो चालू है या बंद। पुराना तरीका इनके साथ संघर्ष करता है; यह नया तरीका इन्हें आसानी से संभाल लेता है।
- जैविक रूप से प्रशंसनीय (Biological Plausibility): मस्तिष्क में, न्यूरॉन्स पूरे विचार के अंत से शुरुआत तक एक वैश्विक "त्रुटि संकेत" (error signal) नहीं भेजते हैं। वे केवल अपने तत्काल पड़ोसियों के आधार पर खुद को समायोजित करते हैं। यह विधि उसी स्थानीय, पड़ोसी-से-पड़ोसी समायोजन की नकल करती है।
- गति: क्योंकि हर कोई समानांतर में काम करता है, यह आधुनिक कंप्यूटर चिप्स (GPUs/TPUs) पर बहुत तेज़ हो सकता है जो एक साथ कई काम करने के लिए डिज़ाइन किए गए हैं।
समझौता (The Trade-Off): "मेमोरी" की लागत
पेपर स्वीकार करता है कि इसमें एक कमी है। ऐसा करने के लिए, कंप्यूटर को हर चरण में पहेली के प्रत्येक "किनारे" (edge) की स्थिति को याद रखना होगा।
- रूपक: पुराने तरीके में, आपको केवल हाइकर का वर्तमान स्थान याद रखना होता है। इस नए तरीके में, आपको कमरे में मौजूद हर एक ब्लॉक की स्थिति और उनके बीच के हर एक संबंध को याद रखना होगा, और वह भी आपकी टीम के हर एक व्यक्ति के लिए।
- परिणाम: यह बहुत अधिक कंप्यूटर मेमोरी (RAM) का उपयोग करता है। लेखकों को अपने टेस्ट मॉडल को अपने कंप्यूटर की मेमोरी में फिट करने के लिए उन्हें छोटा करना पड़ा, जबकि पुराना तरीका बड़े मॉडलों को अधिक आसानी से संभाल सकता था।
परिणाम
लेखकों ने इसे टेस्ट करने के लिए PJAX (प्रोजेक्शन JAX) नामक एक सॉफ्टवेयर टूल बनाया। उन्होंने विभिन्न प्रकार की पहेलियों पर इसे आजमाया:
- सरल पैटर्न (MLPs)
- इमेज रिकग्निशन (CNNs)
- भाषा भविष्यवाणी (RNNs)
उन्होंने पाया कि हालांकि "पुराना तरीका" (Adam या SGD ऑप्टिमाइज़र का उपयोग करना) अभी भी कच्ची गति और अंतिम सटीकता के लिए चैंपियन है, लेकिन यह नया "प्रोजेक्शन" तरीका आश्चर्यजनक रूप से अच्छा काम करता है। यह एक व्यवहार्य विकल्प है जो:
- बिना ग्रेडिएंट की आवश्यकता के सीखता है।
- उन "बंपी" नियमों को संभालता है जो अन्य तरीकों को भ्रमित कर देते हैं।
- समानांतर हार्डवेयर पर बहुत कुशलता से सीखता है, विशेष रूप से भाषा मॉडलिंग जैसे कार्यों के लिए जहाँ पुराना तरीका "वैनिशिंग ग्रेडिएंट्स" (वाक्य की शुरुआत को भूल जाना) के साथ संघर्ष करता है।
सारांश में
पेपर कहता है: "उत्तर खोजने के लिए पहाड़ी से नीचे फिसलने की कोशिश करना बंद करें। इसके बजाय, समस्या को स्थानीय नियमों के सेट के रूप में मानें। प्रत्येक नियम को स्थानीय रूप से और एक साथ ठीक करें, और अंततः, पूरा सिस्टम सही जगह पर आ जाएगा।" यह AI को प्रशिक्षित करने का एक नया तरीका है जो अधिक समानांतर, अधिक लचीला है, लेकिन वर्तमान में इसके लिए अधिक मेमोरी की आवश्यकता होती है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।