DeMuon: A Decentralized Muon for Matrix Optimization over Graphs
यह शोधपत्र DeMuon को प्रस्तुत करता है, जो Muon ऑप्टिमाइज़र का पहला विकेंद्रीकृत विस्तार है जो संचार ग्राफ़ (communication graphs) पर मैट्रिक्स अनुकूलन के लिए न्यूटन-शुल्ज़ ऑर्थोगोनालाइज़ेशन (Newton-Schulz orthogonalization) को ग्रेडिएंट ट्रैकिंग के साथ जोड़ता है ताकि भारी-पूंछ वाले शोर (heavy-tailed noise) की स्थितियों में भी प्रमाणित अभिसरण (provable convergence) और उत्कृष्ट प्रदर्शन प्राप्त किया जा सके।