🤖 machine learning

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models

تقترح الورقة البحثية HELLoRA، وهي طريقة لضبط النماذج بكفاءة في المعلمات لنماذج خليط الخبراء (Mixture-of-Experts)، حيث تقوم بإلحاق وحدات تكييف منخفضة الرتبة (Low-Rank Adaptation) بالخبراء الأكثر تفعيلاً فقط، مما يقلل من المعلمات القابلة للتدريب والتكاليف الحسابية مع تحسين الأداء في المهام اللاحقة بشكل كبير مقارنة بطريقة LoRA القياسية.

المؤلفون الأصليون: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

نُشر 2026-05-20

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Jia Wei, Zhonghao Zhang, Ping Chen, Qianyang li, Yancheng Pan, Shaoxun Wang, Ziyi Qiu, Longxiang Wang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مطبخاً ضخماً ومتخصصاً للغاية يضم 64 طباخاً مختلفاً (هؤلاء هم "الخبراء" في نموذج الذكاء الاصطناعي "خليط من الخبراء" - Mixture-of-Experts). عندما يطلب أحد الزبائن طبقاً معيناً، لا يطلب رئيس الطهاة من الـ 64 طباخاً جميعاً البدء في الطهي؛ بل يختار أفضل 8 طهاة مناسبين لهذا الطلب تحديداً. هذا يجعل المطبخ فعالاً للغاية لأن عدداً قليلاً فقط من الأشخاص يعملون في أي وقت محدد.

الآن، تخيل أنك تريد تعليم هذا المطبخ وصفة جديدة ومحددة (مثل "كيفية خبز خبز الساوردو المثالي"). تسمى هذه العملية "الضبط الدقيق" (Fine-tuning).

المشكلة: نهج "الكل يشارك"

الطريقة القياسية لتعليم هذه المطابخ (باستخدام طريقة تسمى LoRA) هي إعطاء كل طباخ بطاقة وصفة جديدة ودفتر ملاحظات للتدرب عليه، حتى أولئك الذين لن يُطلب منهم أبداً طهي خبز الساوردو.

الهدر: أنت تهدر الوقت والذاكرة في تدريب طهاة لن يستخدموا هذه الوصفة الجديدة أبمة.
المخاطرة: إذا أجبرت طباخاً متخصصاً في "السوشي" على التدرب على "الساوردو" لمجرد أنه قد يُطلب منه ذلك، فقد تفسد مهاراته الأصلية في صنع السوشي. أنت بذلك تضعف خبرته.

الحل: HELLoRA (التكيف منخفض الرتبة على مستوى طبقة الخبراء الساخنة)

يقترح المؤلفون طريقة أكثر ذكاءً تسمى HELLoRA. بدلاً من تدريب الجميع، يقومون بما يلي:

"اختبار التذوق" (التحمية): قبل بدء التدريب الفعلي، يقومون بجلسة تدريبية سريعة وصغيرة. يراقبون المطبخ ليروا أي طهاة محددين يتم استدعاؤهم بالفعل لطهي الساوردو.
"القائمة الساخنة": يحددون "الخبراء الساخنين" (Hot Experts)—وهم الطهاة القلائل الذين يقومون بـ 90% من العمل لهذا المهمة المحددة.
التدريب المستهدف: يعطون فقط هؤلاء "الخبراء الساخنين" بطاقات الوصفة الجديدة ودفاتر الملاحظات. أما الطهاة الـ 56 الآخرون ("الخبراء الباردين")، فيُطلب منهم الانتظار، والحفاظ على مهاراتهم الأصلية حادة، وعدم فعل أي شيء.

لماذا ينجح هذا (السر السحري)

يدعي البحث أن هذه الحيلة البسيطة تحقق ثلاثة أشياء مذهلة في آن واحد:

إنه أسرع: بما أنك لا تدرب 56 طباخاً غير مفيدين، فإن العملية برمتها تعمل بسرعة أكبر بنحو مرتين. الأمر يشبه إخلاء المطبك من الأشخاص الذين لا يطبخون لكي يتحرك الطهاة الحقيقيون بشكل أسرع.
إنه أرخص: تحتاج لتذكر معلومات أقل بكثير (معاملات أقل). تستخدم HELLoRA حوالي 16% إلى 30% فقط من الذاكرة التي استخدمتها الطريقة القديمة.
إنه أذكى: من خلال ترك "الخبراء الباردين" وشأنهم، فإنك تحمي مهاراتهم الأصلية المدربة مسبقاً. إنه يشبه عدم إجبار طباخ سوشي على ممارسة الخبز، حتى لا ينسى بالخطأ كيفية تقطيع السمك. وهذا يجعل الذكاء الاصطناعي يؤدي بشكل أفضل في المهمة الجديدة مقارنة بما لو كنت قد دربت الجميع.

ترقية "HELLoRI"

ابتكر المؤلفون أيضاً نسخة خفيفة للغاية تسمى HELLoRI. تخيل أنه حتى بالنسبة لـ "الخبراء الساخنين"، فإنك تسمح لهم بالكتابة على 10% فقط من صفحات دفاتر ملاحظاتهم. هذا يقلل تكلفة التدريب إلى لا شيء تقريباً (أقل من 1% من الحجم الأصلي) مع الحفاظ على ذكاء الذكاء الاصطناعي.

النتائج

اختبر الفريق هذه الطريقة على ثلاثة أنواع مختلفة من مطابخ الذكاء الاصطناعي (OlMoE، وMixtral، وDeepSeekMoE) وثلاث مهام مختلفة (الرياضيات، والبرمجة، والسلامة).

الحكم النهائي: تفوقت HELLoRA باستمرار على الطرق القديمة. كانت أسرع، وتستخدم ذاكرة أقل، وحصلت على درجات أعلى في اختبارات الرياضيات والبرمجة.
التشبيه: إنه الفرق بين محاولة تعليم حشد من الناس كيفية التلاعب بالكرات (إضاعة الوقت على أشخاص لن يتلاعبوا بها أبداً) وبين العث_ور على 5 أشخاص من الحشد المهرة بالفعل وإعطائهم درساً احترافياً.

باختصار: HELLoRA توقف إضاعة الوقت في تدريب "الخبراء الباردين" الذين لا يقومون بالعمل، وتركز كل الطاقة على "الخبراء الساخنين" الذين يقومون به، وبذلك تجعل الذكاء الاصطناعي أسرع، وأرخص، وأذكى.

ملخص تقني: HELLoRA

بيان المشكلة

بينما أصبح التكيف منخفض الرتبة (LoRA) هو المعيار للضبط الدقيق فعال المعلمات (PEFT) للنماذج اللغوية الكبيرة (LLMs) كثيفة المعاملات، فإن تطبيقه على نماذج خليط الخبراء (MoE) يفرض تحديات فريدة. تعمل نماذج MoE على توسيع سعة المعلمات مع الحفاظ على حسابات قريبة من الثبات لكل رمز (token) عبر تفعيل مجموعة فرعية متفرقة من الخبراء لكل رمز. ومع ذلك، فإن تطبيق LoRA بشكل ساذج على جميع الخبراء في نموذج MoE يؤدي إلى عبء كبير في الذاكرة والإنتاجية، حيث يتم إلحاق المهايئات (adapters) بخبراء نادراً ما يتم تفعيلهم لمهام محددة لاحقة. علاوة على ذلك، فإن تكييف هذه الخبراء "الباردة" قد يضخ ضجيج التدرج (gradient noise) في المعلمات التي تحمل معرفة مسبقة متخصصة، مما قد يؤدي إلى تعطيل تخصص الخبير وتدهور الأداء.

المنهجية

يقترح البحث HELLoRA (التكيف منخفض الرتبة على مستوى طبقة الخبراء الساخنة)، وهي طريقة تستفيد من التشتت المتأصل في أنماط تفعيل MoE لتحسين وضع المهايئات.

الآلية الجوهرية

يعمل HELLoRA بناءً على ملاحظة أن تفعيل الخبراء يكون منحرفاً للغاية داخل كل طبقة لمهام معينة: عدد قليل من الخبراء "الساخنة" يتعامل مع غالبية معالجة الرموز، بينما يوجد ذيل طويل من الخبراء "الباردة" التي نادراً ما تُستخدم. وتتم العملية في مرحلتين:

التنميط خفيف الوزن (الإحماء): قبل الضبط الدقيق الكامل، يخضع النموذج لمرحلة إحماء قصيرة (تصل افتراضياً إلى 10% من بيانات التدريب) باستخدام LoRA القياسي. خلال هذه المرحلة، يقوم النظام بتسجيل تكرار التفعيل لكل خبير في كل طبقة MoE.
إلحاق المهايئ الانتقائي: بناءً على إحصائيات التنميط، يحدد HELLoRA أعلى $k$ من الخبراء الأكثر تفعيلاً ("الخبراء الساخنة") لكل طبقة. يتم إلحاق مهايئات LoRA فقط بهؤلاء الخبراء الساخنة، بالإضافة إلى إسقاطات الانتباه وشبكات البوابة (gating networks). تظل جميع الخبراء "الباردة" مجمدة تماماً.

متغير HELLoRI

لمعالجة ميزانيات المعلمات القصوى، يدمج المؤلفون HELLoRA مع LoRI (LoRA بالتحديثات المتفرقة). هذا المتغير، المسمى HELLoRI، يقوم بتجميد مصفوفة الإسقاط العلوي ( $A$ ) ويحدث فقط أعلى 10% من المدخلات في مصفوفة الإسقاط السفلي ( $B$ ) ضمن مهايئات الخبراء الساخنة، مما يقلل من المعلمات القابلة للتدريب بشكل أكبر.

المنطق النظري

يفترض المؤلفون فائدتين متكاملتين لهذا النهج:

الكفاءة: من خلال إزالة المهايئات من الخبراء الباردة تماماً، يلغي HELLoRA عمليات التمرير الأمامي والخلفي الخاصة بها. وعلى عكس الطرق القائمة على القناع (مثل LoRI) التي تحتفظ بالمعلمات في الرسم البيفي للحساب، يقلل HELLoRA من عمليات الفاصلة العائمة (FLOPs) وحركة مرور الذاكرة الفعلية.
التنظيم (Regularization): يحافظ تجميد الخبراء الباردة على تخصصهم المسبق. إن تكييف الخبراء الباردة باستخدام مجموعات رموز متفرقة وغير ممثلة يمكن أن يدخل تدرجات ضوضائية تشوه القدرات المتعلمة. يعمل تقييد التكيف بالخبراء الساخنة كنوع من التنظيم الهيكلي.

المساهمات الرئيسية

تحديد التشتت المزدوج: حدد المؤلفون أن ضبط MoE الدقيق يستفيد من التأثير التراكمي لتنشيط الخبراء المتفرق وهيكل التحديث منخفض الرتبة لـ LoRA.
إطار عمل HELLoRA: يقترحون استراتيجية لوضع مهايئ الخبير الساخن على مستوى الطبقة تتطلب فقط خطوة تنميط بسيطة بمرة واحدة قبل التدريب.
تقييم شامل: تم تقييم الطريقة عبر ثلاثة هياكل خلفية مختلفة لـ MoE (OlMoE-1B-7B، Mixtral-8×7B، DeepSeekMoE) وثلاث عائلات مهام (الاستدلال الرياضي، توليد الكود، ومحاذاة السلامة).
التحسين المتزامن: يثبت البحث أن HELLoRA يحسن في آن واحد دقة المهام اللاحقة، وكفاءة المعلمات، وFLOPs الناجمة عن المهايئ، وإنتاجية وقت الجدار (wall-clock throughput)—وهو مزيج لم تحققه الطرق السابقة القائمة على القناع أو المهايئات الكثيفة.

النتائج التجريبية

يسلط التقييم الضوء على مكاسب ثابتة مقارنة بالنماذج المرجعية لـ PEFT (مثل LoRA، DoRA، LoRI) وطرق MoE المحددة (مثل LoRAMoE):

كفاءة المعلمات: يستخدم HELLoRA معلمات قابلة للتدريب أقل بكثير مع مطابقة أو تجاوز أداء LoRA الكامل.
- في OlMoE-1B-7B، يستخدم HELLoRA فقط 0.7% من المعلمات (حوالي 6 أضعاف أقل من LoRA) مع تحقيق دقة أعلى في GSM8K (29.49 مقابل 26.37) وHumanEval.
- في Mixtral-8×7B، يستخدم 0.31% من المعلمات (30% من ميزانية LoRA) مع دقة محسنة.
- في DeepSeekMoE، يستخدم 0.82% من المعلمات (23% من ميزانية LoRA) مع أداء مماثل أو أفضل.
الإنتاجية وFLOPs: يحقق HELLoRA حوالي 1.9 $\times$ إنتاجية تدريب LoRA ويقلل من FLOPs الناجمة عن المهايئ بنسبة 33–39% عبر الهياكل الخلفية. يُعزى هذا التسريع إلى الإزالة الكاملة لنواة (kernels) مهايئ الخبير البارد من الرسم البيفي للحساب.
دراسات الاستئصال (Ablation Studies):
- استراتيجية الاختيار: يتفوق اختيار الخبير الساخن على مستوى الطبقة على الاختيار على مستوى النموذج (العالمي)، والاختيار العشوائي، واختيار الخبير البارد. حتى الاختيار العشوائي يتفوق قليلاً على LoRA الكامل، مما يشير إلى أن تقييد النطاق يوفر تنظيماً في حد ذاته.
- الإحماء: استخدام 10% من البيانات للتنميط يستعيد 87.5% من الخبراء الساخنة التي حددها التنميط بكامل البيانات، مع تكبد 9.2% فقط كزيادة في وقت التدريب.
- الحفاظ على المهام المتقاطعة: الضبط الدقيق لمهمة معينة يحافظ إلى حد كبير على الأداء في المهام غير المستهدفة، مما يدعم استخدام HELLoRA في السيناريوهات المتتالية أو متعددة المهام.

الأهمية والادعاءات

يدعي البحث أن وضع المهايئ الواعي بالتفعيل هو مبدأ عملي وفعال لتوسيع نطاق PEFT للنماذج اللغوية الكبيرة من نوع MoE. من خلال مواءمة قدرة التكيف مع توزيع الحوسبة الأصلي للنموذج، يحل HELLoRA عدم كفاءة تكييف المعلمات غير المستخدمة وخطر تعطيل المعرفة المسبقة.

يؤكد المؤلفون أن HELLoRA هو النهج الأول الذي يقلل في آن واحد من المعلمات القابلة للتدريب، ويخفض FLOPs، ويزيد من إنتاجية وقت الجدار، ويحسن دقة المهام اللاحقة لنماذج MoE. ويشيرون إلى أنه بينما تعتمد الطريقة على تمثيل بيانات الإحماء، إلا أنها تقدم حلاً قوياً للضبط الدقيق المحدود الموارد دون الحاجة إلى تغييرات معمارية معقدة أو تعديلات رتبة عبر الإنترنت. ويشير العمل إلى أنه بالنسبة لهياكل MoE القياسية، فإن ضبط عدد الخبراء الساخنة ( $k$ ) ليتطابق مع ميزانية التوجيه (routing budget) لكل خطوة يعد نقطة انطلاق موثوقة، مع الحاجة إلى تعديلات للهياكل التي تحتوي على خبراء مشتركين.