ملخص تقني: توجيه المحسن الموجه بالتدرج لتكييف النماذج اللغوية الكبيرة (MoLF)

1. بيان المشكلة

تواجه عملية الضبط الدقيق (Fine-tuning) للنماذج اللغوية الكبيرة (LLMs) مقايضة هيكلية جوهرية بين الضبط الدقيق الكامل (FFT) والتكيف منخفض الرتبة (LoRA).

• يوفر الضبط الدقيق الكامل (FFT) مرونة تمثيلية عالية، وهي ضرورية لحقن المعرفة ذات الإنتروبيا العالية (مثل التحديثات الواقعية)، ولكنه يخاطر بحدوث نسيان كارثي لقدرات الاستدلال سابقة التدريب بسبب التحسين العدواني.
• يعمل LoRA كمنظم ضمني، مما يحافظ على المنطق السابق التدريب ويمنع الإفراط في التخصيص (Overfitting)، ولكنه يعاني من اختناق في السعة عندما تتطلب المهام تحديثات ذات رتبة عالية (مثل حفظ الارتباطات الواقعية المعقدة).

تشير الأدلة التجريبية إلى أنه لا يوجد هيكل ثابت مثالي عالميًا؛ فالخيار الأفضل يعتمد على الأبعاد الجوهرية للمهمة والنموذج المحدد. تفشل الحلول الحالية، مثل LoRA ذو الرتبة التكيفية أو خليط الخبراء (MoE) الذي يوجه الرموز (Tokens)، في حل هذا التوتر لأنها إما تقيد مساحة البحث في فضاءات فرعية منخفضة الرتبة أو تفتت إحصائيات التدرج عن طريق توجيه المدخلات، مما يؤدي إلى ديناميكيات تدريب غير مستقرة ومشكلات "البداية الباردة" (Cold-start) عندما تتغير الرتب.

2. المنهجية: MoLF و MoLF-Efficient

يقترح المؤلفون خليط الضبط الدقيق لـ LoRA والكامل (MoLF)، وهو إطار عمل يوحد FFT و LoRA ضمن نظام تدريب واحد دون تغيير هيكل التمرير الأمامي (Forward Pass).

الهيكل الأساسي

يعامل MoLF أوزان النموذج الأساسي ($W_{base}$) كـ "خبير FFT" ويحقن عدة محولات LoRA مستقلة كـ "خبراء LoRA". وعلى عكس MoE التقليدي، يشارك جميع الخبراء في كل عملية تمرير أمامي وخلفي. التمرير الأمامي هو تراكب غير مشروط:
$$y = W_{base}x + \sum_{i=1}^{N} \alpha_i \frac{1}{\sqrt{r_i}} B_i(A_i(\text{Dropout}(x)))$$
حيث أن $\alpha_i$ هو عامل قياس Rank-Stabilized LoRA (RS-LoRA).

التوجيه الموجه بالتدرج للمحسن

تكمن حداثة MoLF في تخفيف عملية تحديث المعلمات (Parameter Update) بدلاً من التمرير الأمامي. يستخدم الإطار محسن Sparse AdamW مخصصًا مع آلية توجيه ثلاثية المراحل:

1. تتبع الزخم الشامل (Universal Momentum Tracking): يتلقى جميع الخبراء (FFT و LoRA) تدرجات الدفعة الكاملة (Full-batch gradients) ويحدثون تقديرات العزم الأول ($m_t$) والثاني ($v_t$) لـ Adam. يضمن ذلك احتفاظ كل خبير بحالة زخم ناضجة وغير منحازة، مما يتجنب وضع فشل "البداية الباردة" الذي تظهره طرق الرتبة التكيفية.
2. تقييم الخبير (النزول المسبق المعاير المتوقع - EPD): بدلاً من التوجيه بناءً على معايير التدرج الخام، يحسب MoLF درجة EPD ($S_t^{(i)}$) لكل خبير. تقدر هذه الدرجة خفض الخسارة المتوقع لكل معلمة إذا تم تحديث هذا الخبير، مقسومة على عدد المعلمات ($N_{params}^{(i)}$):
   $$S_t^{(i)} = \frac{\eta_t^{(i)}}{N_{params}^{(i)}} \sum_{\theta \in \Theta_i} \frac{(m_t^{(i)})^2}{\sqrt{v_t^{(i)} + \epsilon}}$$
   يأخذ هذا المقياس في الاعتبار كلاً من حجم الخطوة المقصود للمحسن وطوبولوجيا الخسارة المحلية، مما يسمح بمقارنة عادلة بين هيكل FFT الضخم ومحولات LoRA خفيفة الوزن.
3. تحديث Top-K المتناثر (Top-K Sparse Update): فقط أفضل $K$ من الخبراء (عادة $K=1$) الذين لديهم أعلى درجات EPD يتلقون تحديثات فعلية للأوزان عبر خطوة AdamW القياسية. تحتفظ الخبراء الخاسرة بأوزانها السابقة ولكنها تستمر في تجميع إحصائيات التدرج.

MoLF-Efficient (MoLF-E)

بالنسبة للبيئات ذات الذاكرة المحدودة، يقوم MoLF-E بإزالة خبير FFT تمامًا. فهو يوجه التحديثات بين زوج من خبراء LoRA برتب متفاوتة (على سبيل المثال، $r$ و $128$). يزيل هذا المتغير أوزان النموذج الأساسي والمعلمات غير الخطية، مما يقلل من استهلاك الذا "Memory Overhead" مع الاحتفاظ بفائدة البحث الديناميكي في الفضاء الفرعي.

الاستدلال (Inference)

بعد التدريب، يسمح MoLF باستدلال بدون تكلفة إضافية (Zero-overhead inference). يتم إسقاط جميع خبراء LoRA المدربة مباشرة في الأوزان الأساسية ($W_{final} = W_{base} + \sum \Delta W_i$)، مما يدمج رسم الخبراء المتعدد في نموذج كثيف قياسي مطابق لهيكل نموذج LLM الأساسي.

3. المساهمات الرئيسية

1. التوصيف التجريبي لأنظمة الضبط الدقيق: يقيم المؤلفون بشكل منهجي FFT و LoRA عبر ثلاثة مجموعات بيانات (CounterFact، MedMCQA، Text-to-SQL) وثلاثة نماذج (Gemma-3-1B، Qwen2.5-1.5B، Qwen2.5-3B). وقد حددوا ثلاثة أنظمة متميزة:
   • الحقائق (اختناق السعة): يهيمن FFT؛ حيث يفشل LoRA في التقاط الأطياف القيمية المفردة عالية الإنتروبيا وذات الذيول الثقيلة.
   • الطب (التنظيم الطيفي): يتفوق LoRA عالي الرتبة على FFT؛ حيث يعمل قيد الرتبة المنخفضة كمنظم يمنع النسيان الكارثي للاستدلال.
   • SQL (البعد الجوهري المنخفض): يؤدي كلاهما أداءً متشابهًا؛ حيث يلتقط LoRA الطيف القيمي المركز بكفاءة.
2. إطار عمل MoLF: طريقة موحدة تتنقل ديناميكيًا بين أنظمة التدريب، وتنتقل بين FFT و LoRA على مستوى المحسن، مما يضمن استقرار ديناميكيات التدريب من خلال إبقاء جميع الخبراء نشطين في تجميع التدرج.
3. MoLF-E: متغير فعال من حيث الذاكرة يتفوق على طرق PEFT التكيفية الموجودة (AdaLoRA، AdaMix) من خلال الحفاظ على خبراء LoRA متوازيين برتب مختلفة دون مسار FFT.

4. النتائج التجريبية

• MoLF مقابل الخطوط المرجعية الثابتة: عبر 9 إعدادات (3 نماذج $\times$ 3 مهام)، يطابق MoLF باستمرار أو يتجاوز أفضل خط مرجعي ثابت (FFT أو الرتبة المثلى لـ LoRA). يظل ضمن 1.5% من أفضل خط مرجعي في جميع الحالات ويحقق أفضل نتيجة مطلقة في 3 تكوينات. ومن الملاحظ أنه يستعيد سعة مستوى FFT في مهام الحقائق (Fact) بينما يتفوق على FFT بنسبة تصل إلى 3.25% في المهام الطبية (Med).
• MoLF-E مقابل PEFT التكيفي: يتفوق MoLF-E على AdaLoRA و AdaMix في 8 من أصل 9 إعدادات. التحسن أكثر وضوحًا في مهام الحقائق، حيث يحقق MoLF-E دقة أعلى بنسبة تصل إلى 20% من أدنى خط مرجعي أداءً (AdaMix) من خلال تخصيص التحديثات بفعالية للفضاءات الفرعية ذات الرتبة الأعلى عندما تكون السعة هي العائق.
• دراسات الاستئصال (Ablation Studies):
  • التحديثات المتناثرة: يؤدي تحديث جميع الخبراء في وقت واحد (التحديث الكثيف) إلى تدهور شديد في الأداء في مهام Med بسبب تذبذبات التحسين بين قدرات التمثيل المتنافسة.
  • الاستدلال التوجيهي (Routing Heuristic): تفوقت درجة EPD على معيار PFN في مهام Med، مما يثبت أن دمج معدل التعلم وحجم الخطوة أمر بالغ الأهمية لموازنة الخبراء من أحجام مختلفة.
  • استقرار الموجه: يتقارب الموجه بسرعة (خلال ~500 خطوة) إلى تعيين هيكلي مستقر، حيث تلتزم وحدات معينة بشكل نهائي بمسارات FFT أو LoRA بدلاً من التذبذب.

5. الأهمية والادعاءات

يزعم البحث أن الاعتماد على بنية ثابتة واحدة محدود هيكليًا لتكييف النماذج اللغوية الكبيرة. يحل MoLF التوتر بين المرونة التمثيلية والتنظيم الضمني من خلال فصل التمرير الأمامي عن آلية التحديث.

يؤكد المؤلفون أن MoLF يوفر "ملاحة مستمرة" بين أنظمة التدريب، مما يسمح للنموذج بالاستفادة من سعة FFT العالية لحقن المعرفة وتنظيم LoRA للحفاظ على الاستدلال دون ضبط يدوي للمعلمات أو بحث مكثف عن الرتبة. علاوة على ذلك، فإن القدرة على دمج النموذج بعد التدريب تضمن أن هذه المكاسب لا تترتب عليها عقوبات في زمن استدلال (Inference Latency)، مما يجعل النهج عمليًا للنشر. تشير هذه الدراسة إلى أن الحفاظ على بنية قابلة للتدريب مع جعل تحديثات مستوى الخبير متناثرة فقط هو استراتيجية فعالة لالتقاط فوائد أنواع الخبراء المتنوعة.