Reassessing Muon for Matrix Factorization
यह शोध पत्र लो-रैंक मैट्रिक्स फैक्टराइजेशन पर म्यूऑन (Muon) ऑप्टिमाइज़र का पुनर्मूल्यांकन करता है ताकि इसके अपडेट नियम को भ्रमित करने वाले कारकों से अलग किया जा सके, जिससे यह प्रकट होता है कि यह लगातार एडमडब्ल्यू (AdamW) से बेहतर प्रदर्शन नहीं करता है और इसके रिपोर्ट किए गए लाभ अक्सर हाइपरपैरामीटर के चयन के प्रति संवेदनशील होते हैं।