A Data-Efficient Path to Multilingual LLMs: Language Expansion via Post-training PARAM Integration into Upcycled MoE
यह शोध पत्र \method नामक एक डेटा-कुशल विधि प्रस्तुत करता है जो डेंस मॉडल्स को मिक्सचर-ऑफ-एक्सपर्ट्स आर्किटेक्चर में अपसाइकिल करता है और बहुभाषी क्षमताओं के विस्तार के लिए पोस्ट-ट्रेनिंग पैरामीटर डेल्टा को एकीकृत करता है, जिससे महंगी निरंतर प्री-ट्रेनिंग या जटिल अलाइनमेंट की आवश्यकता के बिना, नई भाषा अधिग्रहण और मूल मॉडल क्षमताओं के संरक्षण के बीच प्रभावी ढंग से संतुलन बनाया जा सके।