Gate-Zero Growth: A Geometric Framework for Function-Preserving Continual Learning
यह शोध पत्र "गेट-ज़ीरो ग्रोथ" (gate-zero growth) प्रस्तुत करता है, जो एक फंक्शन-प्रिजर्विंग कॉन्टिनुअल लर्निंग फ्रेमवर्क है जो फंक्शनल जैकोबियन में रैंक सेपरेशनेशन को प्रेरित करने के लिए ज़ीरो-इनिशियलाइज़्ड गेट्स का उपयोग करता है, जिससे लगभग शून्य विस्मृति (near-zero forgetting) और नियंत्रित फंक्शनल ड्रिफ्ट के साथ सुरक्षित क्षमता विस्तार संभव हो पाता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
कल्पना कीजिए कि आप एक मास्टर शेफ हैं जिसने वर्षों तक एक ही स्वादिष्ट रेसिपी को निखारने में बिताया है। आप जानते हैं कि इसे बिल्कुल सही स्वाद देने के लिए कैसे बनाया जाता है। अब, कल्पना कीजिए कि कोई आपसे एक हज़ार लोगों के लिए एक विशाल भोज बनाने के लिए कहता है, लेकिन आपके पास केवल एक छोटे से रात्रिभोज के लिए सामग्री है। स्पष्ट समाधान यह है कि आप एक बड़ा किचन खरीदें और अधिक रसोइये काम पर रखें, लेकिन यहाँ एक पेंच है: यदि आप बस नए लोगों को किचन में डाल देते हैं और खाना बनाना शुरू कर देते हैं, तो मूल रेसिपी खराब हो सकती है। नए रसोइये अनजाने में पुराने व्यंजन के मसालों को बदल सकते हैं, या नए बर्तन पुराने बर्तनों से टकरा सकते हैं, और अचानक, आपका प्रसिद्ध व्यंजन कीचड़ जैसा लगने लगेगा। यह आर्टिफिशियल इंटेलिजेंस में "कंटीन्यूअल लर्निंग" (Continually Learning) का दैनिक संघर्ष है। एआई मॉडल उन मास्टर शेफ की तरह हैं; वे डेटा से सीखते हैं, लेकिन जब हम उन्हें नई चीजें सिखाने की कोशिश करते हैं या उन्हें बड़ा बनाने की कोशिश करते हैं, तो वे अक्सर "कैटास्ट्रोफिक फॉरगेटिंग" (catastrophic forgetting) का शिकार होते हैं, जहाँ वे वह सब कुछ भूल जाते हैं जो वे पहले जानते थे। वैज्ञानिक एक तरीका खोजने की कोशिश कर रहे हैं जिससे वे इन एआई दिमागों को पुराने वाले को फेंकने या शून्य से शुरुआत करने के बजाय, बिना पुराने हिस्सों को तोड़े, स्मार्ट सिस्टम बना सकें।
यह पेपर उस किचन की तबाही को हल करने के लिए "गेट-ज़ीरो ग्रोथ" (Gate-Zero Growth) नामक एक चतुर नए तरीके का परिचय देता है। एआई मॉडल को एक बहु-परतीय केक (multi-layered cake) के रूप में सोचें। आमतौर पर, यदि आप केक को लंबा करना चाहते हैं, तो आप बस उसके ऊपर और परतें रख देते हैं। लेकिन यदि आप बस एक नई परत रख देते हैं, तो वह नीचे के केक को कुचल सकती है या पूरे स्वाद को बदल सकती है। लेखक एक अलग तरीका प्रस्तावित करते हैं: वे नई परतें जोड़ते हैं, लेकिन वे उन्हें एक विशेष "गेट" (gate) के साथ जोड़ते हैं जो पूरी तरह से बंद (शून्य पर सेट) होता है। क्योंकि गेट बंद है, नई परतें केक के लिए अदृश्य हैं; वे स्वाद या बनावट को बिल्कुल भी नहीं छूती हैं। केक पहले जैसा ही स्वाद देता है, भले ही अब वह बहुत बड़ा हो गया है। इसे "फंक्शन-प्रिजर्विंग" (function-preserving) ग्रोथ कहा जाता है क्योंकि मूल फंक्शन (स्वाद) पूरी तरह से सुरक्षित रहता है।
शोधकर्ताओं ने इस विचार का परीक्षण करने के लिए एक मध्यम आकार के एआई मॉडल (लगभग 300 मिलियन पैरामीटर्स) को एक विशाल मॉडल (लगभग 857 मिलियन पैरामीटर्स) में बदलकर किया। उन्होंने इन "ज़ीरो गेट्स" का उपयोग करके नई परतें जोड़ीं और फिर उस विशाल मॉडल को एक नई भाषा कार्य (language task) सिखाने की कोशिश की। परिणाम प्रभावशाली थे: जब उन्होंने अपने विशेष "गेट-ज़ीरो" तरीके का उपयोग किया, तो मॉडल ने अपने पुराने ज्ञान को लगभग पूरी तरह से याद रखा, जिसमें लगभग शून्य भूलने की दर देखी गई। वास्तव में, पुराना ज्ञान इतना सुरक्षित रहा कि पुराने कार्य पर मॉडल का प्रदर्शन लगभग अपरिवर्तित रहा।
हालाँकि, यह पेपर हमें इस बारे में भी चेतावनी देता है कि क्या होता है यदि आप इस ट्रिक का उपयोग नहीं करते हैं। उन्होंने एक "नाइव" (naive) पद्धति का परीक्षण किया जहाँ उन्होंने ज़ीरो गेट्स के बिना बस नई परतें जमा दी थीं (जिसे वे "जीस्टैक" या Gstack कहते हैं)। यह केक की एक नई परत जोड़ने जैसा था जो तुरंत पुराने को कुचलने लगती है। परिणाम विनाशकारी था: मॉडल ने अपने पुराने ज्ञान को लगभग पूरी तरह से भुला दिया, और नया केक बेस्वाद हो गया। यह साबित करता है कि केवल अधिक हिस्से जोड़ना ही काफी नहीं है; पुराने हिस्सों को सुरक्षित रखने के लिए आपको सही "गेट" तंत्र की आवश्यकता होती है।
पेपर ने यह भी खोजा कि इन नए, विशाल मॉडलों को प्रशिक्षित करने के बारे में क्या दिलचस्प है। उन्होंने प्रशिक्षण चलाने के दो मुख्य तरीके खोजे। पहला है "आइसोलेशन" (Isolation), जहाँ आप मॉडल के पुराने हिस्सों को पूरी तरह से फ्रीज कर देते हैं और केवल नए हिस्सों को सीखने देते हैं। यह सबसे सुरक्षित दांव है, जो गारंटी देता है कि मूल रेसिपी बिल्कुल वैसी ही रहेगी। दूसरा तरीका है "फ्रीज़-नथिंग" (Freeze-Nothing), जहाँ आप पूरे मॉडल को एक साथ सीखने देते हैं। आश्चर्यजनक रूप से, इस दूसरे तरीके ने वास्तव में मॉडल को नए कार्य में बेहतर बनाया, और इसने पुराने कार्य को भी बर्बाद नहीं किया—इसने बस स्वाद को थोड़ा बदला, जो वास्तव में एक सुधार था, न कि कोई गलती।
लेखक बताते हैं कि यह एआई के पीछे के गणित में एक छिपे हुए ज्यामितीय संरचना (geometric structure) के कारण काम करता है। जब गेट शून्य होते हैं, तो मॉडल के नए हिस्से गणितीय रूप से "फ्लैट" होते हैं और पुराने हिस्सों के साथ हस्तक्षेप नहीं करते हैं। यह एक घर में नया कमरा जोड़ने जैसा है जो वर्तमान में सील किया गया है; आप नया कमरा कैसे भी बना सकते हैं, और जब तक आप दरवाजा खोलने का निर्णय नहीं लेते, तब तक यह पुराने कमरों के लेआउट को नहीं बदलेगा। पेपर दिखाता है कि यह "गेट-ज़ीरो" विचार केवल एक वन-ऑफ ट्रिक नहीं है; यह कई अन्य लोकप्रिय एआई तकनीकों के पीछे का वही अंतर्निहित सिद्धांत है, जो इसे एआई दिमागों को सुरक्षित रूप से बढ़ाने के लिए एक मौलिक नियम बनाता है।
संक्षेप में, यह पेपर हमें दिखाता है कि यदि हम बड़े, स्मार्ट एआई मॉडल बनाना चाहते हैं, तो हमें केवल पुराने पर नए हिस्से नहीं थोपने चाहिए। इसके बजाय, हमें उन्हें एक "ज़ीरो गेट" के साथ जोड़ना चाहिए जो उन्हें तैयार होने तक दूर रखता है। यह एआई को एक पेड़ की तरह बढ़ने की अनुमति देता है जो अपनी जड़ों को हिलाए बिना नई शाखाएं जोड़ता है, यह सुनिश्चित करते हुए कि अतीत का ज्ञान बरकरार रहे जबकि भविष्य का निर्माण हो रहा है।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।