Eigenvectors of Experts are Training-free Non-collapsing Routers
تقدم هذه الورقة البحثية SSMoE، وهو إطار عمل لا يتطلب تدريباً يستفيد من المتجهات الذاتية لمصفوفات أوزان الخبراء عبر تحليل القيم المفردة (SVD) لمعالجة مشكلة انهيار الخبراء في نماذج خليط الخبراء المتفرقة بفعالية وتعزيز أدائها عبر المهام المتنوعة.