Mixture-of-Experts under Finite-Rate Gating: Communication--Generalization Trade-offs
تقدم هذه الورقة إطاراً معلوماتياً لنماذج "خليط الخبراء" (Mixture-of-Experts) يعامل آلية البوابات كقناة اتصال ذات معدل محدود، مستنتجةً حداً للتعميم يحدد طبيعة المقايضة بين معدل البوابة، والقدرة التعبيرية للنموذج، وأداء التعميم.