RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models
تقدم الورقة البحثية إطار العمل RARE، وهو إطار عمل غير مرتبط بالموجّه (router-agnostic) يعمل على فصل توجيه التمثيل (representation steering) عن توجيه الخبراء في نماذج خليط الخبراء (Mixture-of-Experts)، وذلك عبر إسقاط الاضطرابات السلوكية على الفضاء الصفري (null space) للموجّه، مما يحسن بشكل كبير من فعالية التوجيه فيما يتعلق بالضررية، والصدقية، والتعديل الحقائقي، مع الحفاظ على فائدة النموذج.