When Are Experts Misrouted? Counterfactual Routing Analysis in Mixture-of-Experts Language Models
यह शोध पत्र प्रकट करता है कि Mixture-of-Experts मॉडलों में मानक top- राउटर अक्सर उन टोकन के लिए इष्टतम विशेषज्ञ पथों (expert paths) का चयन करने में विफल रहते हैं जिन्हें जटिल तर्क की आवश्यकता होती है, लेकिन केवल राउटर में एक न्यूनतम अपडेट विशेषज्ञों को पुनप्रशिक्षित किए बिना इन गलत आवंटनों को सुधारकर चुनौतीपूर्ण बेंचमार्क पर प्रदर्शन में महत्वपूर्ण सुधार कर सकता है।