ملخص تقني: LoRA الميزانياتي (Budgeted LoRA)

بيان المشكلة

تحقق النماذج اللغوية الكبيرة (LLMs) أداءً قويًا من خلال التوسع، ولكن هذا يأتي مع تكالين نشر كبيرة. وبينما تقدم عملية تقطير المعرفة (Knowledge Distillation - KD) حلاً عبر نقل المعرفة من نماذج المعلم الكبيرة إلى نماذج الطالب الأصغر، فإن خطوط الأنابيب الحالية غالبًا ما تفشل في إنتاج نماذج فعالة هيكليًا عند وقت الاستنتاج.

يكمن القصور الأساسي في الاستخدام الواسع لأساليب الضبط الدقيق الموفرة للمعلمات مثل LoRA (التكيف منخفض الرتبة). فبينما يقلل LoRA عدد المعلمات القابلة للتدريب عن طريق تجميد العمود الفقي الكثيف وإضافة تحديثات منخفضة الرتبة، فإنه يترك العمود الفقري الكثيف دون تغيير. وبناءً على ذلك، فإن التقطير القائم على LoRA ينتج نماذج طلابية أقل تكلفة في التدريب، لكنها لا تقلل من تكاليف الاستنتاج المهيمنة، حيث تظل عمليات ضرب المصفوفات الكثيفة قائمة كما هي. غالبًا ما تركز النهج الحالية على تحسين عدد المعلمات أو كفاءة التدريب دون التحكم صراحة في كيفية تخصيص الحوسبة داخل بنية الطالب أثناء الاستنتاج.

المنهجية: LoRA الميزانياتي (Budgeted LoRA)

يقترح المؤلفون Budgeted LoRA، وهو إطار عمل للتقطير يعيد صياغة ضغط النماذج كـ مشكلة مهيكلة لتخصيص الحوسبة. بدلاً من تثبيت بنية الطالب، يقدم الأسلوب ميزانية حوسبة عالمية تملي الجزء النهائي من الحوسبة الكثيفة التي سيتم الاحتفاظ بها.

يسير النهج عبر ثلاث مراحل:

1. وحدات Gated-LoRA المدركة للميزانية:
   يستبدل نموذج الطالب بعض الإسقاطات الخطية المختارة (مثل $q/k/v/o$ في الانتباه و $up/gate/down$ في MLP) بوحدات بوابية (gated modules). تقوم هذه الوحدات بحساب:
   $$y = d \cdot Wx + \frac{\alpha}{r_{max}} B((Ax) \odot g)$$
   حيث أن:

• $W$ هو الوزن الكثيف المجمد.
• $d \in [0, 1]$ هو معامل الاحتفاظ بالمسار الكثيف، ويتم التحكم فيه بواسطة جدولة الميزانية.
• $A, B$ هما عوامل LoRA، و $g$ تمثل بوابات لكل رتبة (per-rank gates) يتم تعلمها.
  هذه الصيغة تسمح للنموذ de dynamically بتغيير السعة النشطة لكل من المسارات الكثيفة ومنخفضة الرتبة عبر الوحدات المختلفة.

2. الجدولة والتحكم في الميزانية:
   يحدد معامل ميزانية عالمي $F \in [0, 1]$ كسر الحوسبة الكثيفة المستهدف الاحتفاظ به في نهاية التدريب. يقوم المتحكم بفرض هذه الميزانية من خلال:

• تحديد مسار مستهدف للتكاليف الكثيفة $b(t)$ باستخدام جدولة جيب التمام (cosine schedule).
• حساب إجمالي التكاليف الكثيفة المحتفظ بها $C(t)$ بناءً على عدد عمليات الضرب والجمع (MAC count) للإسقاطات الكثيفة النشطة.
• تقليل معاملات الاحتفاظ الخاصة بكل وحدة ($d$) بشكل جشع (greedily) للوفاء بالميزانية المستهدفة، مع إعطاء الأولوية لإزالة الوحدات ذات التكاليف الأقل.
  وهذا يخلق تحولًا محكومًا للحوسبة من المسارات الكثيفة إلى المسارات منخفضة الرتبة أثناء التدريب.

3. الضغط ما بعد التدريب:
   بعد التدريب، يخضع النموذج لخطوة دمج لتحقيق توفير فعلي في الاستنتاج. بناءً على معامل الاحتفاظ النهائي $d$، يتم تعيين كل وحدة لأحد ثلاثة أشكال للنشر:

• الحالة 1 (إزالة الكثيف): إذا كان $d < \epsilon_{zero}$، يتم إزالة المسار الكثيف تمامًا، مما يترك فقط المكون منخفض الرتبة المحدود.
• الحالة 2 (تقريب SVD): إذا كان $\epsilon_{zero} \le d < \epsilon_{lr}$، يتم تقريب المساهمة الكثيفة المتبقية عبر SVD منخفض الرتب ودمجها مع عوامل LoRA.
• الحالة 3 (دمج الكثيف): إذا كان $d \ge \epsilon_{lr}$، يتم الاحتفاظ بالمسار الكثيف ودمجه مع تحديث LoRA في طبقة خطية كثيفة قياسية.

ينتج خط الأنابيب هذا عائلة من النماذج الطلابية التي يتم تحديدها بمعامل ميزانية واحد $F$، مما يتيح مقايضة مباشرة بين الكفاءة والأداء.

المساهمات الرئيسية

• صياغة جديدة: يقترح البحث رؤية التقطير كمشكلة مهيكلة لتخصيص الحوسبة تحت قيد ميزانية عالمية، بدلاً من كونها عملية تحسين ذات بنية ثابتة.
• إطار عمل Budgeted LoRA: يقدم طريقة تجمع بين التحكم في الاحتفاظ بالكثافة المدعوم بالمتحكم وتخصيص الرتبة المنخفضة المتعلم، يليه ضغط ما بعد التدريب لإنشاء نماذج طلابية فعالة في النشر.
• مقايضة قابلة للتحكم: تم إثبات أن معلمة ميزانية واحدة تنتج مقايضة قابلة للتحكم بين الجودة والكفاءة، مما يشكل جبهة باريتو (Pareto frontier) عبر تكاليف التدريب والاستنتاج.
• الاحتفاظ بالتعلم داخل السياق (ICL): ثبت أن Budgeted LoRA يحتفظ بأداء أعلى بكثير في عينات التعلم داخل السياق (ICL) القائمة على الوظائف مقارنة بـ KD-LoRA القياسي.

النتائج

قيم المؤلفون Budgeted LoRA باستخدام نموذج طالب مكون من 6 طبقات، تم تهيئته من نموذج 0.13B، وتم تقطيره من نماذج معلمة بمقاييس متفاوتة (0.13B، 0.5B، 1B).

• المقايضة بين الجودة والكفاءة:

  • عند ميزانية متوسطة ($F=0.4$)، يحقق Budgeted LoRA نفس الارتياب (perplexity) الخاص بـ KD-LoRA القياسي، ولكنه يقدم تسريعًا قدره 1.74x في استنتاج الوحدات المضغوطة ويقلل حوسبة التدريب بمعامل قدره 0.59.
  • عند ميزانية عدوانية ($F=0.0$)، يحقق الأسلوب تسريعًا قدره 4.05x في استنتاج الوحدات المضغوطة و 0.38x في حوسبة التدريب، مع تدهور طفيف فقط في الارتياب.
  • يرسم الأسلوب جبهة باريتو واضحة، مما يوفر نقاط تشغيل أكثر كفاءة من حيث التكلفة مع تدهور محكوم في الارتياب مقارنة بـ LoRA القياسي.

• الاحتفاظ بالتعلم داخل السياق (ICL):

  • في عينات ICL القائمة على الوظائف (المقتبسة من مجموعة Function Vectors)، يتفوق Budgeted LoRA بشكل كبير على KD-LoRA القياسي، خاصة عند التقطير من نماذج معلمة أكبر.
  • على سبيل المثال، حقق KD-LoRA مع معلم 1B درجة ICL متوسطة قدرها 2.7، بينما حقق Budgeted LoRA ($F=0.0$) درجة 5.0 و ($F=0.4$) درجة 5.6.
  • يشير هذا إلى أن الاحتفاظ بالسلوكيات عالية المستوى لا يعتمد فقط على مطابقة الارتياب، بل على الحفاظ على بنية الحوسبة الأساسية من خلال الاحتفاظ الكثيف الميزاني.

الأهمية والادعاءات

يزعم العمل أنه في عملية التقطير المقيدة بالحوسبة، فإن الحفاظ على السلوك لا يتعلق فقط بمطابقة الارتياب أو مجرد إزالة المعلمات؛ بل يتعلق بـ التحكم في كيفية نقل الحوسبة الكثفة إلى المسارات منخفضة الرتبة.

يجادل المؤلفون بأن LoRA القياسي لا يوفر أي توفير في الاستنتاج لأنه يترك العمود الفقري الكثيف كما هو. في المق المقابل، يعامل Budgeted LoRA المسارات الكثيفة ومنخفضة الرتبة كموارد متنافسة. وتشير النتائج إلى أن:

1. التخصيص المهيكل مهم: يتيح التقليل التدريجي والميزاني للسعة الكثيفة انتقالًا أسلس للقدرات إلى المسارات منخفضة الرتب مقارنة بالإزالة المفاجئة.
2. أكثر من مجرد الارتياب: يتم الحفاظ على السلوكيات عالية المستوى (مثل ICL) بشكل أفضل عندما تدير عملية التدريب بنية الحوسبة صراحة، حتى لو كان الارتياب النهائي يشبه KD-LoRA.
3. كفاءة النشر: ينجح الأسلوب في ترجمة إشارات الميزانية من وقت التدريب إلى توفير فعلي في وقت الاستنتاج من خلال ضغط ما بعد التدريب، مما يوفر طيفًا من النماذج من الكثيفة إلى منخفضة الرتب بالكامل.

يضع هذا العمل نفسه كخطوة نحو رؤية الكفاءة ليس فقط كمشكلة عدد معلمات، بل كمشكلة تخصيص حوسبة أثناء عملية التدريب والتقطير.