Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?
यह शोध पत्र 'डिफरेंशियल सर्किट वल्नरेबिलिटी' नामक एक हेड-लेवल मीट्रिक प्रस्तुत करता है यह प्रदर्शित करने के लिए कि जबकि सुपरवाइज्ड फाइन-ट्यूनिंग मॉडल्स को नए कार्यों के अनुकूल बनाने में तेज़ होता है, सुदृढीकरण सीखना (रीइन्फोर्समेंट लर्निंग) आंतरिक कम्प्यूटेशनल सर्किट्स को बेहतर ढंग से संरक्षित करता है, जिससे कैटास्ट्रोफिक फॉरगेटिंग के प्रति इसके बेहतर प्रतिरोध का एक यांत्रिक स्पष्टीकरण मिलता है।