Expert Threshold Routing for Autoregressive Language Modeling with Dynamic Computation Allocation and Load Balancing
تقدم هذه الورقة البحثية توجيه عتبة الخبير (Expert Threshold - ET)، وهو آلية سببية بالكامل تعمل على تخصيص الحوسبة ديناميكيًا وموازنة الحمل عبر الخبراء دون خسائر مساعدة من خلال توجيه الرموز بشكل مستقل بناءً على عتبات الدرجات، مما يؤدي إلى تفوقها على نموذج "خليط الخبراء باختيار الرمز" التقليدي في نمذجة اللغات ذات التوليد الذاتي.