Gradient Alignment Dynamics in Mixture-of Experts: The Gaussian Attractor, Laminar Flow Regime, and Output-Space Isolation
यह शोध पत्र मिक्सचर-ऑफ-एक्सपर्ट्स (MoE) के लिए एक एकीकृत सैद्धांतिक ढांचा स्थापित करता है जो क्रॉस-एक्सपर्ट ग्रेडिएंट अलाइनमेंट को एक्सपर्ट कोलैप्स के मूल कारण के रूप में पहचानता है, इन गतिकी को चित्रित करने के लिए ग्रेडिएंट पाथवे हाइपोथेसिस और रेनॉल्ड्स नंबर डायग्नोस्टिक्स पेश करता है, और यह प्रदर्शित करता है कि मोज़ेक टाइल हार्ड रूटिंग के माध्यम से आर्किटेक्चरल आउटपुट-स्पेस आइसोलेशन विजन और लैंग्वेज कार्यों में कैटास्ट्रोफिक फॉरगेटिंग और एक्सपर्ट कोलैप्स को प्रभावी ढंग से समाप्त करता है।