Three Phases of Expert Routing: How Load Balance Evolves During Mixture-of-Experts Training
يُنمذج هذا البحث توجيه الرموز في نماذج "خليط من الخبراء" (Mixture-of-Experts) باعتباره لعبة ازدحام للكشف عن مسار تدريب ثلاثي الأطوار غير رتيب، حيث يعطي الموجه الأولوية في البداية لموازنة الحمل، ثم ينتقل إلى تخصص الخبراء، وفي النهاية يقايض التوازن بالجودة، وهي عملية ديناميكية لا تظهر في النماذج المتقاربة ولكنها حاسمة لفهم كيفية تطور درجة حرارة التوجيه.