Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
यह शोध पत्र 'डिफरेंशियल सर्किट वल्नरेबिलिटी' नामक एक हेड-लेवल मीट्रिक प्रस्तुत करता है यह प्रदर्शित करने के लिए कि जबकि सुपरवाइज्ड फाइन-ट्यूनिंग मॉडल्स को नए कार्यों के अनुकूल बनाने में तेज़ होता है, सुदृढीकरण सीखना (रीइन्फोर्समेंट लर्निंग) आंतरिक कम्प्यूटेशनल सर्किट्स को बेहतर ढंग से संरक्षित करता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग के प्रति इसके बेहतर प्रतिरोध का एक यांत्रिक स्पष्टीकरण मिलता है।
मूल पेपर CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) के तहत लाइसेंस किया गया है। नीचे दिए गए पेपर की यह व्याख्या AI से तैयार की गई है। इसे लेखकों ने न तो लिखा है, न इसका समर्थन किया है। तकनीकी सटीकता के लिए मूल पेपर देखें। पूरा डिस्क्लेमर पढ़ें
यहाँ सरल भाषा और रचनात्मक उपमाओं का उपयोग करके शोध पत्र की व्याख्या दी गई है।
बड़ा सवाल: AI मॉडल "भूल" क्यों जाते हैं?
कल्पना कीजिए कि आपके पास एक प्रतिभाशाली छात्र (AI मॉडल) है जो पहले से ही कविता लिखना, गणित की समस्याएँ हल करना और चुटकुले सुनाना जानता है। आप उन्हें एक नया कौशल सिखाना चाहते हैं: विज्ञान।
आपके पास उन्हें सिखाने के दो तरीके हैं:
- SFT (सुपरवाइज्ड फाइन-ट्यूनिंग): आप उन्हें एक पाठ्यपुस्तक देते हैं और कहते हैं, "इन उत्तरों को ठीक वैसे ही याद कर लो।"
- RL (रीइन्फोर्समेंट लर्निंग): आप उन्हें विज्ञान के प्रश्नों के उत्तर देने के लिए छोड़ देते हैं, और आप उन्हें उत्तर कितना अच्छा है इसके आधार पर "थम्स अप" (शाबाशी) या "थम्स डाउन" (निराशा) देते हैं, जिससे वे सीखने का सबसे अच्छा तरीका खुद खोज सकें।
समस्या: जब आप छात्र को नया कौशल सिखाते हैं, तो वे अक्सर अपने पुराने कौशल (जैसे कविता या गणित) भूलने लगते हैं। इसे कैटास्ट्रोफिक फॉरगेटिंग (विनाशकारी विस्मृति) कहा जाता है।
खोज: हाल के अध्ययनों ने दिखाया कि "थम्स अप/डाउन" वाला तरीका (RL) पुराने कौशल को जीवित रखने में "पाठ्यपुस्तक याद करने" वाले तरीके (SFT) की तुलना में बेहतर है। लेकिन क्यों? यह शोध पत्र AI के मस्तिष्क के भीतर जाकर इसके यांत्रिक कारण को खोजता है।
उपमा: विचार सर्किट की लाइब्रेरी
AI के मस्तिष्क को केवल मेमोरी के एक ब्लॉक के रूप में नहीं, बल्कि छोटे, विशिष्ट कामगारों की एक विशाल लाइब्रेरी (जिन्हें "सर्किट" या "अटेंशन हेड्स" कहा जाता है) के रूप में सोचें।
- कुछ कामगार गणित में माहिर हैं।
- कुछ व्याकरण में माहिर हैं।
- कुछ चुटकुले सुनाने में माहिर हैं।
जब AI कुछ नया सीखता है, तो उसे इन कामगारों को पुनर्व्यवस्थित करना पड़ता है। प्रश्न यह है: क्या वह सभी को काम से निकाल देता है और नए लोगों को काम पर रखता है, या वह पुरानी टीम को बनाए रखता है और बस उन्हें नए निर्देश देता है?
प्रयोग: क्या हुआ?
शोधकर्ताओं ने एक विशिष्ट AI (Qwen2.5-3B) लिया और उसे विज्ञान के प्रश्नों के उत्तर देने के लिए दोनों तरीकों से सिखाया। फिर, उन्होंने यह देखने के लिए "लाइब्रेरी" के अंदर झाँका कि कौन से कामगार अभी भी काम कर रहे हैं और वे कैसा व्यवहार कर रहे हैं।
1. "पाठ्यपुस्तक" विधि (SFT) = अति-अनुकूलनकर्ता (Over-Optimizer)
- यह क्या करता है: यह नए विज्ञान कार्य को बहुत तेज़ी से सीखता है। यह जल्दी से उच्च स्कोर प्राप्त कर लेता है।
- कीमत: उन उच्च स्कोर को पाने के लिए, यह आक्रामक रूप से पुराने कामगारों को निकाल देता है और उन्हें "विज्ञान विशेषज्ञों" की एक छोटी, विशिष्ट टीम से बदल देता है।
- परिणाम: लाइब्रेरी सिकुड़ जाती है। यह मूल कामगारों में से केवल लगभग 52% को ही रखती है। पुराने कामगार (कविता, गणित, चुटकुले) बाहर कर दिए जाते हैं। AI एक महान वैज्ञानिक तो बन जाता है लेकिन एक बुरा कवि।
- उपमा: यह एक जनरल कॉन्ट्रैक्टर की तरह है जो, एक नया किचन बनाने के लिए, पूरे घर की वायरिंग और प्लंबिंग को उखाड़ देता है ताकि वह नए डिज़ाइन में फिट हो सके। किचन तो परफेक्ट है, लेकिन बेडरूम की लाइटें अब काम नहीं करतीं।
2. "थम्स अप/डाउन" विधि (RL) = सावधान नवीनीकरणकर्ता (Careful Renovator)
- यह क्या करता है: यह नए विज्ञान कार्य को धीरे-धीरे सीखता है। समान स्कोर तक पहुँचने में इसे अधिक समय लगता है।
- लाभ: पुरानी टीम को निकालने के बजाय, यह उन्हें धीरे से मार्गदर्शन करता है। यह लगभग सभी मूल कामगारों को बनाए रखता है (लगभग 72%) और बस उन्हें अपने मौजूदा कौशल को विज्ञान में कैसे लागू करना है, यह सिखाता है।
- परिणाम: लाइब्रेरी बड़ी और विविध बनी रहती है। AI विज्ञान सीख जाता है, लेकिन वह चुटकुले सुनाना और गणित करना भी याद रखता है।
- उपमा: यह उस ठेकेदार की तरह है जो मौजूदा फर्नीचर और वायरिंग को सावधानीपूर्वक व्यवस्थित करके नया किचन बनाता है। इसे पूरा करने में अधिक समय लगता है, लेकिन बेडरूम की लाइटें अभी भी काम करती हैं और घर वैसा ही महसूस होता है।
मुख्य निष्कर्ष (यांत्रिक प्रमाण)
शोध पत्र ने "डिफरेंशियल सर्किट वल्नरेबिलिटी" नामक एक नया तरीका पेश किया। उन्होंने यह पाया:
- SFT एक "कंप्रेसर" है: यह AI के मस्तिष्क को एक छोटे, विशिष्ट आकार में दबा देता है। यह कुछ "सुपर-वर्कर्स" बनाता है जो नए कार्य के लिए सब कुछ करते हैं, लेकिन ऐसा करने में, यह उन नाजुक नेटवर्क को तोड़ देता है जो पुराने कार्यों को संभालते थे।
- RL एक "डिस्ट्रीब्यूटेड अडैप्टर" है: यह नई सीख को पूरे मस्तिष्क में फैला देता है। कोई भी एक कामगार बोझिल नहीं होता। मूल "सर्किट" (वे मार्ग जिनका उपयोग AI अपने पुराने कौशल के लिए करता था) बरकरार रहते हैं और कार्य करते रहते हैं।
- ट्रेड-ऑफ (समझौता):
- SFT: तेज़ सीखना, लेकिन आप अपना पुराना व्यक्तित्व और कौशल खो देते हैं।
- RL: धीमा सीखना, लेकिन आप अपना पुराना व्यक्तित्व और कौशल बनाए रखते हैं।
यह क्यों महत्वपूर्ण है
शोध पत्र निष्कर्ष निकालता है कि RL भूलने के प्रति अधिक मजबूत है क्योंकि यह AI की आंतरिक "मशीनरी" को सुरक्षित रखता है।
जब हम SFT का उपयोग करते हैं, तो हम अनिवार्य रूप से एक नए आकार में फिट होने के लिए AI के आंतरिक कोड को ओवरराइट (overwrite) कर रहे होते हैं, जिससे पुराना कोड टूट जाता है। जब हम RL का उपयोग करते हैं, तो हम मौजूदा कोड को थोड़ा बदलते हैं, जिससे AI पुराने को डिलीट किए बिना नए कौशल विकसित कर पाता है।
संक्षेप में: यदि आप एक ऐसा AI चाहते हैं जो तेज़ी से सीखता है लेकिन बाकी सब कुछ भूल जाता है, तो "पाठ्यपुस्तक" विधि का उपयोग करें। यदि आप एक ऐसा AI चाहते हैं जो निरंतर सीखता है और अपने मूल व्यक्तित्व और कौशल को बनाए रखता है, तो "थम्स अप/डाउन" विधि का उपयोग करें।
अपने क्षेत्र के पेपरों की भीड़ में उलझे हुए हैं?
आपके रिसर्च कीवर्ड से मेल खाने वाले सबसे नए और अलग सोच वाले पेपरों का रोज़ाना Digest पाएँ—तकनीकी सारांश के साथ, आपकी भाषा में।