🤖 machine learning

Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models

تُثبت هذه الورقة أن الضبط الدقيق خفيف الوزن باستخدام المهايئات ذات الكفاءة في المعلمات يمكن أن يحدد بفعالية ويقص الخبراء منخفضي الحساسية في نماذج خليط الخبراء، مما يحقق تخفيضات كبيرة في الذاكرة وزمن الاستجابة مع الحفاظ على دقة تنافسية عبر مهام متنوعة.

المؤلفون الأصليون: Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

نُشر 2026-08-11

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ali Janati, Kaoutar El Maghraoui, Xinyi Luo, Wenyuan Shen, Owen Zou, Yankai Mao

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الصورة الكبيرة: لماذا نحتاج إلى عقول ذكاء اصطناعي أكثر ذكاءً

تخيل أن لديك مكتبة ضخمة من المعرفة، ولكن في كل مرة تسأل فيها سؤالاً، يتعين على أمين المكتبة إخراج كل كتاب من الرفوف للعثور على الإجابة. سيكون ذلك بطيئاً للغاية وسيشغل مساحة هائلة. هذه هي المشكلة التي تواجه أحدث نماذج الذكاء الاصطناعي وأكثرها قوة. هذه النماذج، التي تسمى "خليط الخبراء" (Mixture-of-Experts - MoE)، مصممة مثل فريق من المتخصصين. فبدلاً من وجود عقل واحد عملاق يقوم بكل العمل، لديها العديد من العقول "الخبيرة" الأصغر حجماً. عندما تسأل سؤالاً، يقرر "موجه" (router) ذكي أي عدد قليل من الخبراء مطلوب لهذه المهمة المحددة، متجاهلاً البقية. هذا يجعل الذكاء الاصطناعي سريعاً في التفكير، ولكن هناك مشكلة: لتشغيل الذكاء الاصطناعي، لا يزال يتعين عليك الاحتفاظ بجميع الخبراء في ذاكرة حاسوبك، حتى أولئك الذين لا يتم استخدامهم. الأمر يشبه توظيف فريق من 100 طباخ ولكن السماح لاثنين فقط بالطهي في كل مرة، ومع ذلك لا يزال عليك دفع الإيجار وتوفير المآزر لجميع المئة.

السؤال الكبير الذي يطرحه العلماء هو: هل يمكننا الاستغناء عن الخبراء الذين لا نحتاجهم لتوفير المساحة والمال، دون جعل الذكاء الاصطناعي ينسى كيفية الطبخ؟ عادةً، يكون تحديد من سيتم الاستغناء عنه كابوساً. إذا خمنت فقط، فقد يفقد الذكاء الاصطناً قدرته على الرياضيات أو كتابة القصص. وإذا حاولت تدريب الذكاء الاصطناعي بأكما له ليتعلم من سيتم الاستغناء عنه، فإن ذلك سيكلف الكثير من المال والوقت لدرجة تلغي الغرض من توفير الموارد في المقام الأول. تأتي هذه الورقة البحثية لتملأ هذه الفجوة، متسائلة عما إذا كانت هناك طريقة رخيصة وسريعة لمعرفة أي الخبراء ضروريون حقاً وأيهم يشغلون مساحة فحسب.

الاكتشاف: "اختبار جهد" سريع لتحديد الخبراء غير المستغلين

وجد الباحثون في هذه الورقة خدعة ذكية ومنخفضة التكلفة لتحديد الخبراء "غير المستغلين" في فرق الذكاء الاصطناعي هذه. بدلاً من تدريب الذكاء الاصطناعي بأكمله (وهو ما يشبه جعل الفريق بأكمله يتدرب لمدة شهر ليروا من هو الجيد)، استخدموا "محولاً" (adapter) صغيراً وفعالاً — فكر فيه كدليل تدريب خفيف الوزن يغير أشياء قليلة فقط لفترة قصيرة جداً. لقد طبقوا هذا الدليل على "الموجه" (router) الخاص بالذكاء الاصطناعي (صانع القرار) وراقبوا مدى تغير تفضيلات الموجه.

إليك السحر: الخبراء الذين تغيرت تفضيلات الموجه لديهم أقل قدر خلال هذا الاختبار السريع هم الذين لم يكن الذكاء الاصطناعي بحاجة إليهم حقاً للمهمة الجديدة. أما الخبراء الذين تغيرت تفضيلاتهم كثيراً فهم الذين اعتمد عليهم الذكاء الاصطناعي بكثافة. من خلال الاستغناء عن الخبراء "غير المتغيرين"، استطاعوا تقليل استخدام الذاكرة للذكاء الاصطناعي بنسبة تقارب النصف (49%) وجعلوه أسرع بنسبة 37%، مع الحفاظ على قدرته على الإجابة على الأسئلة الصعبة بشكل جيد تقريباً كما كان من قبل.

كيف فعلوا ذلك وماذا وجدوا:
اختبر الفريق هذه الطريقة على نموذج ذكاء اصطناعي شهير يسمى Mixtral-8×7B. استخدموا طريقة تسمى LoRA (التكيف منخفض الرتبة) ولكن طبقوها فقط على أوزان الموجه، حيث دربوا 0.002% فقط من معاملات النموذج. هذا يشبه إعطاء الفريق خطاب تحفيزي لمدة 5 دقائق بدلاً من معسكر تدريبي لمدة شهر.

النتيجة: عندما استغنوا عن نصف الخبراء بناءً على اختبار "حساسية الموجه" هذا، حافظ الذكاء الاصطناعي على دقة بلغت 27.54% في اختبار استدلال صعب (MMLU-Pro).
المقارنة: لو قاموا بالاستغناء عن الخبماء عشوائياً، لانهارت الدقة إلى حوالي 16%. ولو استغنوا عن الخبراء ذوي "الوزن" الأصغر (وهو تخمين شائع)، لانهارت أيضاً. لكن طريقتهم حافظت على ذكاء النموذج.
التكلفة: انخفضت الذاكرة من 24.2 جيجابايت إلى 12.3 جيجابايت، وانخفض الوقت المستغرق لإنشاء كل كلمة بشكل كبير.

ما استبعدوه:
تظهر الورقة البحثية بوضوح أنك لا تحتاج لتدريب الذكاء الاصطناعي بأكمله للعثور على هؤلاء الخبراء. في الواقع، تدريب النموذج بأكمله هو إضاعة للوقت والجهد لهذه المهمة المحددة. كما وجدوا أن توزيع دليل التدريب عبر الذكاء الاصطناعي بأكمله (تدريب الموجه، وأجزاء الانتباه، وعقول الخبراء جميعاً في وقت واحد) جعل الإشارة أسوأ. الأمر يشبه محاولة معرفة من هو أفضل طباخ من خلال جعل المطبخ بأكمله يطبخ في آن واحد؛ الضجيج يغرق الإشارة. أفضل النتائج جاءت من تركيز الجهد التدريبي الصغير فقط على الموجه.

مدى ثقتهم؟
المؤلفون واثقون جداً من هذه القياسات. لقد اختبروا طريقتهم على نماذج مختلفة (بما في ذلك Qwen1.5-MoE) ومهام مختلفة (مثل الرياضيات). في كل حالة، صمدت طريقة "حساسية الموجه" بينما أدى التقليم العشوائي إلى انهيار الذكاء الاصطناعي إلى دقة من خانة الآحاد. لقد قاسوا النتائج عدة مرات ووجدوا أن الاتجاهات كانت ثابتة. لم يتكهنوا فحسب؛ بل أجريوا الحسابات، وأظهرت البيانات انخفاضاً ثابتاً ومتوقعاً في الأداء مع إزالة المزيد من الخبراء، بدلاً من الانهيار المفاجئ. وهذا يشير إلى أن الطريقة موثوقة للاستخدام في العالم الحقيقي.

الخلاصة:
تثبت هذه الورقة البحثية أنه يمكنك جعل نماذج الذكاء الاصطناعي العملاقة أصغر وأسرع دون كسرها. كل ما تحتاجه هو إعطاء "صانع القرار" دفعة صغيرة وسريعة ومراقبة أي الخبراء يستيقظ وأيهم يظل نائماً. أولئك الذين يظلون نائمين هم من يمكنك الاستغناء عنهم بأمان. إنها طريقة عملية، رخيصة، وفعالة بشكل مدهش لتقليص الزوائد من أذكى حواسيب العالم.

ملخص تقني: حساسية الموجه تحت الضبط الدقيق الخفيف يحدد الخبراء القابلين للتقليم في نماذج خليط الخبراء (MoE)

بيان المشكلة

تعمل نماذج خليط الخبراء (MoE) على فصل عدد المعلمات عن الحوسبة لكل رمز (token)، مما يتيح نماذج لغوية رائدة بعدد هائل من المعلمات (مثل Mixtral-8×7B الذي يبلغ 46.7 مليار معلمة) مع الحفاظ على كفاءة الاستنتاج. ومع ذلك، يظل النشر مقيدًا بتكاليف الذاكرة، حيث يجب أن يتواجد كل خبير في الذاكرة حتى لو كان جزء فرعي فقط هو النشط لكل رمز. ويعد تقليم الخبراء (expert pruning)—أي إزالة خبراء بأكملهم—حلاً مباشرًا لذلك.

التحدي المركزي هو تحديد أي الخبراء يجب إزالتهم دون حدوث تدهور كارثي في الأداء. غالبًا ما تفشل الاستدلالات الحالية (مثل حجم الأوزان أو تكرار التنشيط) لأنها تتجاهل الأدوار الوظيفية أو مقادير المساهمة. اقترح العمل النظري الأخير من قبل تشودري وآخرون [3] معيارًا فعالًا بشكل مثبت: تقليم الخبراء الذين تتغير أوزان الموجه (router weights) لديهم بأقل قدر أثناء الضبط الدقيق يحافظ على دقة الاختبار. ومع ذلك، فإن هذا الضمان يعتمد على الضبط الدقيق الكامل (full fine-tuning)، وهو أمر مكلف حاسوبيًا لنماذج MoE الضخمة (يكلف أكثر من المدخرات التي يوفرها النشر نفسه). تبحث الورقة فيما إذا كان يمكن استخراج إشارة "حساسية الموجه" هذه عبر الضبط الدقيق الفعال للمعلمات (PEFT) لجعل المعيار عمليًا على نطاق واسع.

المنهجية

يقترح المؤلفون إطار عمل للتقليم بـ "المرة الواحدة" (one-shot) حيث يعمل أسلوب PEFT ليس كتقنية تدريب لإنتاج نموذج نهائي، بل كـ أداة قياس لتحديد الخبراء القابلين للتقليم.

التكيف كقياس: يخضع النموذج لعملية ضبط دقيق وجيزة باستخدام محول (adapter) فعال في المعلمات. الهدف الوحيد هو إحداث تغيير قابل للقياس في سلوك الموجه بالنسبة للمهمة.
تسجيل الحساسية:
- القائم على الوزن (الموجه غير مجمد): بالنسبة للطرق التي تُحدّث أوزان الموجه (مثل LoRA على الموجه)، يكون التسجيل $s_e$ هو مقدار تغير معيار $\ell_2$ لمتجه البوابة الخاص بالخبير: $s_e = |\|w_e^{(T)}\|_2 - \|w_e^{(0)}\|_2|$ . يتم تقليم الخبراء الذين لديهم أصغر التغييرات.
- القائم على اللوجيت (الموجه مجمد): بالنسبة للطرق التي تترك أوزان الموجه مجمدة (مثل IA3، أو محولات Houlsby)، يكون التسجيل هو جذر متوسط مربع الإزاحة في لوجيتات الموجه لهذا الخبير عبر دفعة (batch) محجوزة للاختبار: $s_e^{logit} = \frac{1}{\sqrt{N}} \|\Delta L_{:,e}\|_2$ .
إجراء التقليم: يتم ترتيب الخبراء وإزالتهم بشكل مستقل لكل طبقة. التقليم هيكلي (حذف المعلمات من نقطة التحقق/checkpoint) ويتم لمرة واحدة (one-shot) (لا يتبع ذلك إعادة تدريب أو تقطير/distillation). يتم التخلص من المحول بعد عملية الترتيب.
متغيرات التجربة: تدرس الدراسة بشكل منهجي التباين في:
- الوحدات المستهدفة: ربط المحولات بالموجه فقط مقابل (الموجه + الانتباه + أوزان الخبراء).
- رتبة المحول (Adapter Rank): تغيير رتبة LoRA ( $r \in \{2, 4, 8, 16\}$ ).
- هندسة الاضطراب: مقارنة التحديثات منخفضة الرتبة الجمعية (LoRA)، وإعادة القياس الضربِي (IA3)، والبواقي الجمعية غير المقيدة (Houlsby).
النماذج والمعايçات: التقييم الأساسي على Mixtral-8×7B-Instruct باستخدام MMLU-Pro (وهو معيار غني بالاستدلال). تم اختبار القابلية للنقل على Qwen1.5-MoE (الاستدلال الرياضي) وعبر معايض أخرى (GSM8K, ARC-Challenge, BIG-Bench Hard, BoolQ).

المساهمات الرئيسية

التحقق من صحة حساسية الموجه على نطاق واسع: يوفر هذا العمل أول تحقق من معيار تغير معيار الموجه الخاص بـ تشودري وآخرون [3] على نماذج اللغة من نوع MoE، ممتدًا من تصنيف الرؤية الحاسوبية إلى النماذج المضبوطة تعليميًا والمنفذة على معايض الاستدلال.
فك الارتباط عن الضبط الدقيق الكامل: تثبت الورقة أن إشارة التقليم لا تتطلب ضبطًا دقيقًا كاملًا. إن استخدام LoRA للموجه فقط، والذي يدرب حوالي 0.002% من المعلمات (تحديدًا 0.0022% عند الرتبة 8)، يستعيد الإشارة بنجاح. وتؤدي توسعة المحول إلى وحدات أخرى إلى تدهور جودة الإشارة.
توصيف هندسة التكيف: تعزل الدراسة كيف تؤثر "هندسة" الاضطراب على دقة الإشارة:
- مقيد مقابل غير مقيد: الاضطرابات المقيدة (LoRA على الموجه، IA3) تعطي ترتيبًا أفضل من الاضطرابات الجمعية غير المقيدة (Houlsby).
- مباشر مقابل غير مباشر: الطرق التي لا تكتب أبدًا في أوزان الموجه (IA3) تؤدي أداءً مشابهًا لتلك التي تفعل ذلك (LoRA)، بشرط أن يكون الاضطراب مقيدًا.
حساسية الرتبة: تزداد دقة إشارة التقليم بشكل رتيب مع زيادة رتبة LoRA، وإن كان ذلك بعوائد متناقصة. الرتبة 8 تلتقط معظم الإشارة المتاحة.
الارتباط بالمهمة: الإشارة مشروطة بمتن التكيف (adaptation corpus). التكيف على متن عام يحافظ على القدرات الواسعة، بينما التكيف على مجال محدد (مثل الرياضيات) يحمي الخبراء المتخصصين في ذلك المجال.
الأسس المرجعية التجريبية: تقدم الورقة أول تقييمات MMLU-Pro و BIG-Bench Hard لنموذج Mixtral المقلم، مما يثبت منحنى اضمحلال شبه خطي للتقليم الموجه بواسطة الموجه، على عكس الانهيار الكارثي الذي يحدث في التقليم القائم على الحجم أو العشوائي.

النتائج

جودة الإشارة: في نموذج Mixtral-8×7B-Instruct، يحقق قصر LoRA على الموجه (تدريب 0.0022% من المعلمات عند الرتبة 8) دقة 27.54% في MMLU-Pro بعد إزالة 50% من الخبراء. وهذا يتفوق بشكل كبير على تكييف جميع الوحدات (24.42%) ويتجاوز بكثير التقليم القائم على الحجم (15.88%) أو التقليم العشوائي (16.31%).
خصائص الاضمحلال: يظهر التقليم الموجه بواسطة الموجه اضمحلالًا شبه خطي في الدقة مع إزالة الخبراء، مما يجعل تكلفة الضغط قابلة للتنبؤ. في المقابل، ينهار التقليم القائم على الحجم أو العشوائي فجأة بعد إزالة خبير واحد أو اثنين.
القابلية للنقل: في نموذج Qwen1.5-MoE (المضبوط دقيقًا بالكامل على الرياضيات)، يحتفظ التقليم الموجه بواسطة الموجه بمتوسط دقة قدره 49.7% على 11 معيارًا رياضيًا مع تقليم 50%، بينما ينهار التقليم العشوائي إلى خانة الآحاد (4.4%).
كفاءة النشر: يؤدي تقليم 4 خبراء (تقليل بنسبة 50%) إلى تقليل استخدام الذاكرة بنسبة 49% وتقليل زمن الوصول لكل رمز بنسبة 37% على وحدات GPU من نوع A100. وتتوسع وفورات زمن الوصول والذاكرة بشكل قريب من الخطية مع عدد الخبماء المزالين.
المقارنة مع أحدث التقنيات (SOTA): عند ضغط بنسبة 25%، تكون حساسية الموجه منافسة للطرق التي تستخدم إحصائيات التنشيط الكاملة أو البحث القابل للتفاضل (مثل REAP، DiEP)، رغم تدريب عدد أقل بمراحل من المعلمات.

الأهمية والادعاءات

تجادل الورقة بأن حساسية الموجه المقاسة تحت الضبط الدقيق الخفيف تجعل تقليم الخبراء المدفوع نظريًا عمليًا على نطاق واسع.

الجدوى الاقتصادية: تحول هذه الطريقة إشارة التقليم من ناتج ثانوي للضبط الدقيق الكامل المكلف إلى ناتج ثانوي لـ PEFT الرخيص. إذا كان الممارس يقوم بالفعل بعملية PEFT لأغراض النشر، فإن ترتيب التقليم يصل بـ تكلفة هامشية صفرية.
الرؤية الأداتية لـ PEFT: يعيد هذا العمل صياغة طرق PEFT كأدوات لقياس ديناميكيات النموذج الداخلية بدلاً من كونها مجرد تقنيات تدريب. ويؤكد أن التكوين "الأفضل" للتدريب (التكيف الواسع) هو غالبًا "الأسوأ" لقياس إشارات التقليم (إشارة مخففة)، والعكس صحيح.
القابلية للتنبؤ: على عكس التقليم العشوائي أو القائم على الحجم الذي يؤدي إلى انهيارات غير متوقعة في الأداء، توفر حساسية الموجه مقايضة شبه خطية وقابلة للتنبؤ بين الضغط والدقة، مما يسم يسمح للممارسين بـ "تسعير" هدف الضغط مسبقًا.
التواضع: يقر المؤلفون بأن الإشارة تنافسية وليست مهيمنة على المعايير الخالية من التدريب في جميع النطاقات. ويشيرون إلى أن المعيار يكون أكثر فعالية عندما تتطابق مهمة التكيف مع مجال النشر، وأن النتائج الحالية هي "مرة واحدة" (غير معايرة)، مما يترك مجالاً للاسترداد المستقبلي عبر التقطير أو إعادة التدريب، خاصة في البنى دقيقة التفاصيل.

تخلص الورقة إلى أنه من خلال تركيز التكيف على الموجه واستخدام هندسات اضطراب مقيدة، يمكن للممارسين تحديد وإزالة الخبراء الزائدين عن الحاجة بشكل موثوق، مما يقلل بشكل كبير من بصمة الذاكرة وزمن الوصول لنماذج MoE دون الحاجة إلى ضبط دقيق كامل.