Self-Consolidating Language Models: Continual Knowledge Incorporation from Context
यह शोध पत्र सेल्फ-कंसोलिडेटिंग लैंग्वेज मॉडल्स (SCoL) का प्रस्ताव करता है, जो एक पोस्ट-ट्रेनिंग फ्रेमवर्क है जो मेटा-रीइन्फोर्समेंट लर्निंग के माध्यम से स्पार्स, लेयर-विशिष्ट अपडेट निर्देशों को जेनरेट करके LLMs को अपने वेट्स में नए ज्ञान को निरंतर शामिल करने में सक्षम बनाता है, जिससे मौजूदा बेसलाइन्स की तुलना में सूचना प्रतिधारण (इन्फॉर्मेशन रिटेंशन) में सुधार होता है और इंटरफेरेंस कम होता है।