💬 NLP
Can a Language Model Learn Facts Continually in Its Weights?
यह शोध पत्र यह प्रदर्शित करता है कि जबकि व्यापक प्रशिक्षण डेटा भाषा मॉडलों को नग्न कथनों की तुलना में अपने भार (weights) में नए तथ्यों को अधिक प्रभावी ढंग से संग्रहीत करने में सक्षम बनाता है, निरंतर भार-आधारित सीखना अपरिहार्य रूप से विनाशकारी विस्मृति (catastrophic forgetting) और हस्तक्षेप का कारण बनता है, जिससे संदर्भ (context) क्रमिक अपडेट के माध्यम से ज्ञान को संरक्षित करने और संयोजित करने के लिए एकमात्र विश्वसनीय माध्यम बन जाता है।