🤖 machine learning

Spend Experts Where You Are Unsure: Confidence-Adaptive Routing for Mixture-of-Experts LoRA

تقدم الورقة البحثية CARE، وهي آلية توجيه جاهزة للاستخدام وخالية من المعلمات لنموذج Mixture-of-Experts LoRA، تعمل على ضبط عدد الخبراء النشطين لكل رمز (token) ديناميكيًا بناءً على إشارات ثقة الموجه والاختلاف لتحسين كفاءة الحوسبة مع مطابقة أو تجاوز أداء النماذج المرجعية ذات الـ k الثابتة.

المؤلفون الأصليون: Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

نُشر 2026-07-29

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Tom Saliencro, Rohan Desai, Priya Nair, Maya Lindqvist, Daniel Whitmore

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك قائد أوركسترا ضخمة، ذكية للغاية، مكونة من آلاف الموسيقيين الصغار. هذه الأوركسترا هي "نموذج لغوي كبير" (LLM)، وهو نوع من أدمغة الكمبيوتر التي تقرأ وتكتب مثل البشر. لكي نجعل هذا الدماغ جيدًا في مهام محددة — مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية — لا نقوم بتعليم الأوركسترا بأكملها أغاني جديدة؛ بل بدلاً من ذلك، نضيف قسمًا صغيرًا خاصًا من موسيقيي "الخبراء" الذين يعرفون تمامًا ما يجب فعله. هذا ما يسمى بـ LoRA (التكيف منخفض الرتبة). إنه يشبه إدخال بعض العازفين المنفردين الخبراء في جوقة ضخمة لإصلاح أغنية معينة دون إعادة كتابة النوتة الموسيقية بالكامل.

الآن، تخيل أن هؤلاء العازفين المنفردين منظمون في نظام خليط من الخبراء (Mixture-of-Experts - MoE). عندما تعزف الأوركسترا نوتة (أو كلمة في جملة)، يقرر "الموجه" (Router) أي من العازف المنفردين يجب أن يعزف. الطريقة القديمة في القيام بذلك كانت جامدة للغاية: كان الموجه يختار دائمًا نفس العدد بالضبط من العازفين المنفردين (على سبيل المثال، أربعة) لكل نوتة، بغض النظر عن مدى سهولة أو صعوبة تلك النوتة. الأمر يشبه استئجار أربعة طهاة عالميين لإعداد وعاء بسيط من الحبوب (سيريال)، لكنك تستأجر اثنين فقط لإعداد مأدبة معقدة مكونة من خمس وجبات. هذا يهدر الطاقة في المهام السهلة ويترك المهام الصعبة دون دعم كافٍ. السؤال الكبير الذي يسأله الباحثون هو: هل يمكننا جعل الموجه أكثر ذكاءً؟ هل يمكنه النظر إلى نوتة، وإدراك أنها صعبة، ثم يقول: "مهلاً، نحن بحاجة إلى المزيد من الطهاة لهذه النوتة!" دون إبطاء الأوركسترا بأكملها؟

تقدم هذه الورقة البحثية قاعدة جديدة ذكية تسمى CARE (التوجيه التكيفي للخبراء بناءً على الثقة) لحل هذه المشكلة تحديدًا. وجد المؤلفون أن الموجه لديه بالفعل إشارة سرية مخفية في عملية اتخاذ القرار الخاصة به. فعندما يكون الموجه واثقًا جدًا من كلمة ما، فإنه يختار عازفًا أو اثنين بثقة هائلة. وعندما يكون مرتبكًا، فإنه يوزع أصواته بين العديد من الخبراء. تستخدم CARE هذه "إشارة الثقة" لتقرر عدد الخبراء الذين سيتم استئجارهم لكل كلمة. إذا كان الموجه واثقًا، توظف CARE عددًا قليلًا فقط. أما إذا كان الموجه غير متأكد، أو إذا بدأ الخبراء المستأجرون في الجدال مع بعضهم البعض، فإن CARE توظف المزيد.

اختبر الباحثون ذلك على عقلين حاسوبيين قويين (LLaMA-3.1-8B و Qwen2.5-7B) عبر ثمانية أنواع مختلفة من التحديات، بما في ذلك المنطق العام، والرياضيات، والبرمجة، والمعرفة العامة. وجدوا أن CARE هي خدعة سحرية للكفاءة. فمن خلال إنفاق "قوة الدماغ" فقط حيث تشتد الحاجة إليها، حسنت CARE الدقة في المهام الصعبة مع استخدام نفس مقدار القوة الحوسبية الإجمالية للطريقة القديمة الجامدة. في الواقع، للحصول على نفس مستوى الدقة الذي توفره الطريقة القديمة، استخدمت CARE عددًا أقل من الخبراء بنسبة 12% في المتوسط. إنه يشبه الحصول على نفس الوجبة اللذيذة ولكن مع إهدار كمية أقل من الطعام.

علاوة على ذلك، لا تكتفي CARE بتوفير المال فحسب؛ بل تعمل أيضًا كجهاز كشف كذب مدمج. لأنها تعرف متى يكون الموجه مرتبكًا أو متى يختلف الخبراء فيما بينهم، يمكنها رصد متى يواجه الكمبيوتر سؤالًا لا يفهمه (حدث خارج التوزيع). تُظهر الورقة أن CARE ترصد هذه اللحظات المحيرة بشكل أفضل من الطرق الأخرى التي تتطلب تشغيل نفس السؤال عبر دماغ الكمبيوتر عدة مرات للتحقق من عمله. تقوم CARE بكل هذا في تمريرة واحدة، دون الحاجة إلى تدريب إضافي، ببساه تغيير القاعدة الخاصة بكيفية توظيف الخبراء. إنها تحول نظامًا جامدًا يناسب الجميع إلى نظام مرن وذكي يعرف بالضبط متى ينفق طاقته.

ملخص تقني: CARE (التوجيه التكيفي مع الثقة للخبراء)

بيان المشكلة

تستخدم متغيرات Mixture-of-Experts (MoE) في تقنية Low-Rank Adaptation (LoRA) حالياً آلية توجيه ثابتة بنظام (top- $k$ )، حيث يتم تفعيل نفس عدد الخبراء لكل رمز (token) بغض النظر عن مدى صعوبة هذا الرمز. هذا النهج غير فعال لأن الرموز تتباين بشكل كبير في درجة عدم اليقين لديها:

الرموز السهلة (مثل كلمات الربط أو الاستمراريات الواضحة): تتطلب قدر ضئيل من التكيف، ومع ذلك فإن آلية (fixed- $k$ ) تستهلك ميزانية حوسبة زائدة عليها.
الرموز الصعبة (مثل المدخلات الغامضة أو المدخلات خارج نطاق التوزيع): غالباً ما تتطلب سعة أكبر، ومع ذلك فإن آلية (fixed- $k$ ) لا تخدمها بالشكل الكافي، مما يحد من الدقة.

تعتمد الطرق الحالية لتقدير عدم اليقين في النماذج اللغوية الكبيرة (LLMs) عادةً على المجموعات (ensembles)، أو إسقاط مونت كارلو (Monte Carlo dropout)، أو التقريبات البايزية (Bayesian approximations)، والتي تتطلب عمليات تمرير أمامي متعددة أو معاملات إضافية، مما يضاعف تكاليف الاستدلال. يتساءل البحث: هل يمكننا تكييف عدد الخبراء النشطين لكل رمز بناءً على إشارة عدم يقين متاحة ضمن تمريرة أمامية واحدة، دون إضافة أي معاملات؟

المنهجية: CARE

يقترح المؤلفون CARE (التوجيه التكيفي مع الثقة للخبراء)، وهو بديل مباشر (drop-in replacement) لآلية التوجيه (top- $k$ ) الثابتة في أي هيكل MoE-LoRA. يعمل CARE في تمريرة أمامية واحدة وبدون أي معاملات إضافية.

الآليات الجوهرية

إشارات عدم اليقين: يستخدم CARE إشارتين مستمدتين مباشرة من توزيع مخرج الموجه (router) $p$ والخبراء المختارين:
- الثقة (Aleatoric): تُقاس بمدى تركيز توزيع الموجه. التوزيع المركز (كتلة عالية على الخبير الأول) يشير إلى الثقة، بينما التوزيع المسطح يشير إلى الغموض.
- الاختلاف (Epistemic): يُقاس بالتباين في المخرجات بين الخبراء المقبولين. حتى لو كان الموجه واثقاً (مركزاً)، فقد يختلف الخبراء الأوائل في المخرجات، مما يشير إلى وجود عدم يقين متبقٍ.
قبول الخبراء بالنواة (Nucleus Expert Admission):
- استلهاماً من أسلوب "أخذ عينات النواة" (nucleus sampling)، يقبل CARE الخبراء بترتيب تنازلي حسب وزن الموجه حتى تصل كتلتهم التراكمية إلى عتبة $\tau$ .
- التمديد المعرفي (Epistemic Extension): إذا اختلف الخبراء المقبولون بما يتجاوز العتبة $\delta$ ، يقوم CARE بقبول ما يصل إلى $\gamma$ من الخبراء الإضافيين لحل هذا الغموض.
- يتم حصر العدد النهائي $k(h)$ بين $k_{min}$ و $k_{max}$ .
منظم الميزانية (Budget Thermostat):
- لضمان مقارنة عادلة مع خطوط الأساس ذات الـ (fixed- $k$ )، يتم معايرة العتبة العالمية $\tau$ على مجموعة بيانات صغيرة محتجزة.
- يقوم هذا "المنظم" بتعديل $\tau$ بحيث يتوافق متوسط عدد الخبراء النشطين عبر مجموعة البيانات مع ميزانية مستهدفة $B$ (على سبيل المثال، $B=4$ ). وهذا يسمح لـ CARE بإعادة تخصيص الحوسبة من الرموز السهلة إلى الرموز الصعبة مع الحفاظ على نفس إجمالي العمليات الحسابية (FLOPs).
قراءة عدم اليقين (Uncertainty Read-out):
- يولد CARE درجة عدم يقين على مستوى التسلسل $u(x)$ عن طريق دمج إنتروبيا التوجيه ومتوسط اختلاف الخبراء. تُستخدم هذه الدرجة للكشف عن البيانات خارج النطاق (OOD) والتنبؤ الانتقائي (الامتناع عن الإجابة) دون تكلفة استدلال إضافية.

المساهمات الرئيسية

تحديد الإشارات: حدد المؤلفون أن توزيع مخرج الموجه في MoE-LoRA هو إشارة صالحة لعدم اليقين لكل رمز، مما يلغي الحاجة إلى مقدرات خارجية لعدم اليقين.
تصميم الخوارزمية: قدم CARE قاعدة قبول قائمة على النواة مع تمديد للاختلاف المعرفي ومنظم للميزانية. وهي خوارزمية لا تتطلب معاملات وتتطلب تمريرة أمامية واحدة فقط.
الدعم النظري: توفر الورقة ضمانات نظرية تشمل:
- دقة النواة (Nucleus Fidelity): وضع حدود لخطأ التقريب لمجموعة الخبراء المقتطعة.
- ترتيب الثقة (Confidence Ranking): إثبات أن تركيز التوجيه هو درجة مثالية بايزياً (Bayes-optimal) للتصنيف الانتقائي تحت فرضيات الرتابة.
- مثالية الميزانية (Budget Optimality): إظهار أن قاعدة العتبة تنفذ تخصيصاً مثالياً لميزانية الحوسبة تحت منحنيات الدقة والحوسبة المقعرة.
- تفسير الاختلاف (Disagreement Interpretation): تأطير اختلاف الخبراء كمقدر لعدم اليقين المعرفي (تباين المجموعة/Ensemble variance).

النتائج التجريبية

قيم المؤلفون CARE على نماذج LLaMA-3.1-8B و Qwen2.5-7B عبر أربع عائلات من المهام: الاستنتاج المنطقي العام، الاستنتاج الرياضي، توليد الكود، ومهام المعرفة.

الدقة مقابل الحوسبة: عند ميزانية متوسطة متساوية (على سبيل المثال، 4 خبراء)، يتفوق CARE على خطوط الأساس لـ fixed top- $k$ MoE-LoRA (مثل FlyLoRA و MixLoRA) بنسبة +0.5% في اختبارات المنطق العام و +0.9% في مهام الرياضيات/الكود/المعرفة.
كفاءة الحوسبة: يحقق CARE نفس دقة خط الأساس (fixed- $k=4$ ) مع تفعيل 12% أقل من الخبراء في المتوسط.
الكشف عن البيانات خارج النطاق (OOD): يحسن CARE بشكل كبير من الكشف عن البيانات خارج النطاق (AUROC 0.668) مقارنة بخطوط الأساس ذات التمريرة الواحدة مثل Max-Softmax Probability (AUROC ~0.640)، بل ويتفوق حتى على النماذج البديلة متعددة التمريرات مثل MC-dropout والمجموعات العميقة (deep ensembles)، رغم أنه يتطلب تمريرة أمامية واحدة فقط.
المتانة: في ظل تغير التوزيع (المدخلات الأصعب/الأكثر غموضاً)، يحافظ CARE على دقة أعلى (53.1%) مقارنة بـ fixed- $k$ (50.3%) عند نفس ميزانية الحوسبة، حيث يخصص ديناميكياً المزيد من الخبماء للمدخلات الصعبة.

الأهمية والادعاءات

تدعي الورقة أن CARE تمثل تحولاً من التخصيص الساكن للموارد إلى التخصيص المدفوع بعدم اليقين في عملية الضبط الدقيق الموفر للمعلمات. تكمن أهميته في:

الكفاءة: يحسن أداء النموذج أو يقلل من متطلبات الحوسبة دون إعادة تدريب الهيكل الأساسي أو إضافة معاملات.
البساភាព: هو قاعدة "جاهزة للاستخدام" (drop-in) تستبدل آلية البوابة (gating mechanism) في أي نموذج MoE-LoRA موجود.
المنفعة المزدوجة: يقوم بتحسين أداء المهمة وفي الوقت نفسه يوفر تقديرات عالية الجودة لعدم اليقين (للكشف عن OOD والامتناع عن الإجابة) كمنتج ثانوي لقرار التوجيه.

يشير المؤلفون إلى أن CARE يكون أكثر فعالية عندما يكون عدم اليقين لكل رمز غير متجانس (أي مزيج من الرموز السهلة والصعبة) وعندما يكون منحنى الدقة والحوسبة مقعراً. كما يقرون ببعض القيود المتعلقة بالمعالجة الثابتة للدفعات (static batching) في نوى التشغيل (kernels) والافتراض بأن توزيع الموجه ذو معنى (حيث قد تضعف الموجهات المتدهورة الإشارة).