Can Muon Fine-tune Adam-Pretrained Models?
यह शोध पत्र प्री-ट्रेन्ड मॉडल्स की फाइन-ट्यूनिंग के लिए Adam से Muon पर स्विच करने के कारण होने वाले प्रदर्शन ह्रास (performance degradation) की जांच करता है, जो यह प्रदर्शित करता है कि परिणामी ऑप्टिमाइज़र मिसमैच (optimizer mismatch) सीखे गए ज्ञान को बाधित करता है और इसे LoRA जैसे तरीकों के माध्यम से अपडेट स्ट्रेंथ को सीमित करके प्रभावी ढंग से कम किया जा सकता है।