Countering Catastrophic Forgetting of Large Language Models for Better Instruction Following via Weight-Space Model Merging
यह शोध पत्र एक वेट-स्पेस मॉडल मर्जिंग फ्रेमवर्क का प्रस्ताव करता है जो कैटास्ट्रोफिक फॉरगेटिंग (विस्मृति) का प्रभावी ढंग से मुकाबला करके सामान्य प्रयोजन वाले LLMs को चिकित्सा डोमेन के अनुकूल बनाने में सफल होता है, जिससे नैदानिक विशेषज्ञता और निर्देश-अनुपालन क्षमताओं दोनों को सुरक्षित रखते हुए पूर्ण फाइन-ट्यूनिंग के तुलनीय प्रशिक्षण दक्षता प्राप्त की जा सकती है।