🤖 machine learning

Train Large, Deploy Compact: Structured Compression for Compact Low-Rank Adaptation

تقدم الورقة البحثية PrunedLoRA، وهو إطار عمل مبتكر يستخدم التقليم الهيكلي القائم على التدرج لتخصيص الرتب ديناميكيًا والحصول على محولات منخفضة الرتبة عالية التعبير من فضاءات مفرطة في التخصيص، مع إثبات متانة هذا الإطار نظريًا وإثبات أدائه المتفوق تجريبيًا عبر مهام ضبط دقيق متنوعة مقارنة بمتغيرات LoRA وطرق التقليم الحالية.

المؤلفون الأصليون: Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

نُشر 2026-07-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Xin Yu, Cong Xie, Xunmei Liu, Tiantian Fan, Lingzhou Xue, Zhi Zhang

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت عملاق وذكي للغاية لغة جديدة أو حل نوع معين من الألغاز. الروبوت بالفعل واسع المعرفة، لكنه ضخم للغاية—ضخم لدرجة أن تعليم مهارة جديدة له عبر إعادة كتابة دماغه بالكامل سيستغرق وقتاً طويلاً ويتطلب حاسوباً بحجم مستودع. هذا هو عالم "النماذج اللغوية الكبيرة" (Large Language Models)، حيث يبحث العلماء باستمرار عن طرق لتعليم هذه العمالقة مهارات جديدة دون استنزاف الميزانية أو قدرات الحاسوب.

لحل هذه المشكلة، اخترع الباحثون حيلة ذكية تسمى LoRA (التكيف منخفض الرتبة). فكر في الروبوت العملاق كمكتبة ضخمة. بدلاً من إعادة كتابة كل كتاب في المكتبة لتعليمه مهارة جديدة، يضيف LoRA دفتر ملاحظات صغيراً وخفيف الوزن بجانب المكتبة. أنت تقوم بتدريب هذا الدفتر الصغير فقط، وعندما يحتاج الروبوت للإجابة على سؤال، فإنه يقرأ المكتبة الرئيسية و دفتر الملاحظات الصغير معاً. إنها عملية سريعة، رخيصة، وفعالة. ومع ذلك، هناك عقبة: نظرًا لأن دفتر الملاحظات صغير جدًا، فإنه أحيانًا يفتقد إلى التفاصيل والدقة التي قد تلتقطها عملية إعادة كتابة الدماغ بالكامل. الأمر يشبه محاولة شرح حبكة فيلم معقد باستخدام ثلاث قصاصات ورقية لاصقة فقط؛ ستفهم الفكرة العامة، لكنك ستفقد السحر والجمال.

وهنا يأتي السؤال الكبير: هل يمكننا البدء بدفتر ملاحظات أكبر وأكثر تعبيرًا لتعلم التفاصيل بشكل مثالي، ثم تقليصه إلى حجم صغير بعد الانتهاء من التعلم، دون فقدان ذلك السحر؟ هذا هو بالضبط ما يتصدى له بحث جديد من ByteDance Seed وجامعة ولاية بنسلفانيا. إنهم يقترحون طريقة تسمى PrunedLoRA. بدلاً من إجبار دفتر الملاحظات على البقاء صغيراً منذ الثانية الأولى للتدريب، فإنهم يتركونه يكبر ويتعلم بحرية. ثم، خلال عملية التدريب، يعملون كـ "محرر بارع"، حيث يقومون بقص الأجزاء غير الضرورية من دفتر الملاحظات بعناً حتى يعود مدمجاً مرة أخرى. النتيجة؟ مُلحق (adapter) صغير وفعال، يتذكر تقريبًا بقدر ما لو كانوا قد أعادوا كتابة الدماغ العملاق بأكمله، ولكن دون التكلفة الباهظة.

قصة استراتيجية "النمو ثم التقليم"

لاحظ الباحثون شيئًا مثيرًا للاهتمام: إذا أعطيت دفتر ملاحظات LoRA رتبة أكبر (بمعنى صفحات أكثر)، فإنه يصبح أكثر ذكاءً. في الواقع، إذا جعلته كبيرًا بما يكفي، فإنه يكاد يطابق أداء إعادة كتابة دماغ الروبوت بالكامل. لكن لا يمكننا إبقاءه كبيرًا للأبد لأننا نحتاج أن يكون صغيرًا للمنتج النهائي. لذا، تساءلوا: ماذا لو بدأنا كبيرًا ثم صغرنا؟

هنا يظهر PrunedLoRA. تخيل أنك تنحت تمثالًا. الطريقة القديمة (Standard LoRA) كانت تشبه محاولة نحت التمثال النهائي من كتلة صغيرة من الطين فورًا؛ فأنت مقيد بمقدار الطين الذي تملكه. أما الطريقة الجديدة (PrunedLoRA) فهي تشبه البدء بكتلة ضخمة من الرخام. أنت تنحت الزوائد من الحجر بينما لا تزال تعمل على التفاصيل، وتصقل الشكل أثناء العمل. وبحلول الوقت الذي تنتهي فيه، يكون لديك تمثال مثالي ومدمج، لكنك كنت تملك الحرية لاستكشاف كل التفاصيل المعقدة أثناء العمل بالكتلة الكبيرة.

كيف يعمل: "المقص الذكي"

يكمن سحر PrunedLoRA في كيفية قص دفتر الملاحظات. هناك طريقتان رئيسيتان لتقرير ما يجب قصه:

طريقة "التنشيط" (Activation Method): تنظر إلى مدى استخدام جزء من دفتر الملاحظات في الوقت الحالي. إذا لم يتم قراءة صفحة ما كثيرًا، فقم بقصها.
طريقة "التدرج" (Gradient Method - اختيار الورقة البحثية): تنظر إلى مدى مساعدة جزء من دفتر الملاحظات للروبوت في التعلم. هي تسأل: "إذا أزلت هذه الصفحة، إلى أي مدى سيتضرر فهم الروبوت للقصة بأكملها؟"

تجادل الورقة البحثية بأن الطريقة الثانية أكثر قوة ومتانة. لقد أجروا عمليات محاكاة على نموذج مبسط لكيفية انتباه الروبوتات للأشياء (يسمى "الانتباه الذاتي" أو self-attention) ووجدوا أن طريقة "التدرج" أفضل في التعامل مع الأخطاء. إذا قمت بالخطأ بتحريك الأوزان (الأرقام داخل دفتر الملاحظات)، فقد تؤدي طريقة "التنشيط" إلى إفساد القصة بأكملها، لكن طريقة "التدرج" تحافظ على سلامة القصة. إنه يشبه الفرق بين قطع خيط لأنه يبدو مرتخيًا (التنشيط) مقابل قطع خيط لأنك تعلم أنه لا يمسك الهيكل معًا (التدرج). الخيار الثاني أكثر أمانًا بكثير.

النتائج: انتصارات كبيرة ببصمات صغيرة

اختبر الفريق هذه الطريقة في بعض أصعب المهام للذكاء الاصطناعي: حل المسائل الرياضية، كتابة الأكواد البرمجية، وفهم اللغة البشرية. وقارنوا طريقتهم "النمو ثم التقليم" مع دفتر الملاحظات الصغير القياسي، والنسخ المتطورة الأخرى من دفاتر الملاحظات الصغيرة، وحتى نهج "إعادة كتابة الدماغ بالكامل" الضخم.

إليكم ما وجدوه:

حتى مع أحجام البداية المتواضلة: إذا بدأوا بدفتر ملاحظات ضعف الحجم المستهدف النهائي (على سبيل المثال، البدء بـ 64 صفحة وتقليمها لتصل إلى 8)، فإن PrunedLoRA لا يزال يتفوق على دفتر الملاحظات الصغير القياسي. لقد حصل على درجات أفضل في الاختبارات الرياضية (GSM8K) وتحديات البرمجة (HumanEval).
مع ميزانيات كبيرة: إذا سُمح لهم بالبدء بدفتر ملاحظات ضخم (يصل إلى 512 صفحة) وتقليمه إلى 64، كانت النتائج مذهلة. حصل نموذج PruredLoRA على درجات 74.88 في الرياضيات و 48.31 في البرمجة. هذه الأرقام قريبة جدًا من درجات "الضبط الدقيق الكامل" (Full Fine-Tuning - إعادة كتابة الدماغ بالكامل) وهي 73.48 و 48.28.
التكلفة: الجزء الأفضل؟ على الرغم من أنهم بدأوا بدفتر ملاحظات أكبر، إلا أن الذاكرة المطلوبة لتدريبه كانت لا تزال أقل بكثير من إعادة كتابة الدماغ بالكامل. على سبيل المثال، تدريب LoRA قياسي برتبة 64 استغرق حوالي ساعتين و28 دقيقة. أما PrunedLoRA، حتى مع رتبة البداية العالية، استغرق حوالي ساعتين و29 دقيقة إلى 3 ساعات و23 دقيقة (اعتمادًا على حجم البداية). الوقت الإضافي لعملية "التقليم" كان ضئيلاً جدًا—مجرد بضع دقائق.

لماذا هذا مهم؟

تشير الورقة البحثية إلى أنه ليس علينا الاختيار بين مُلحق "غبي وصغير" وآخر "ذكي وضخم". من خلال استخدام استراتيجية تقليم مهيكلة موجهة بأسلوب رياضي حول كيفية تعلم الروبوت (التدرج)، يمكننا التدريب في عالم واسع وكثيف المعلمات، ثم ضغطه إلى أداة رشاقة وفعالة.

هذا أمر بالغ الأهمية لأي شخص يريد تشغيل الذكاء الاصطناعي على أجهزته الخاصة أو للشركات التي تحتاج إلى تقديم آلاف المهام المختلفة دون تخزين نموذج ضخم لكل مهمة منها. يظهر PrunedLoRA أنه يمكنك الحصول على ما تريد (أداء عالٍ) وفي نفس الوقت الحفاظ على الكفاءة (تكلفة ذاكرة منخفضة)، طالما أنك مستعد للبدء بشكل كبير وتقليم الزوائد باستخدام المقص الصحيح. يوضح المؤلفون أن هذا النهج يعمل عبر مستويات مختلفة من "التخلخل" (Sparsity - مدى مقدار ما تقصه) ويتفوق باستمرار على الطرق الأخرى التي تحاول تقليم النماذج. إنه تذكير بأنه أحيانًا، للحصول على أفضل نتيجة صغيرة، يجب أن تكون شجاعًا بما يكفي لتبدأ بشيء كبير.

ملخص تقني: PrunedLoRA – ضغط مهيكل لعمليات التكيف منخفضة الرتبة المدمجة

1. بيان المشكلة

أصبح التكيف منخفض الرتبة (LoRA) نموذجاً قياسياً لضبط النماذج اللغوية الكبيرة (LLMs) بكفاءة عبر حقن مصفوفات منخفضة الرتبة قابلة للتدريب في الأوزان سابقة التدريب. ومع ذلك، غالباً ما يكون أداء LoRA أقل من الضبط الكامل للمعلمات (FFT) بسبب القيد الصارم للرتبة المنخفضة، مما يحد من القدرة التمثيلية للمحول (adapter).

تقع الطرق الموجودة لسد هذه الفجوة ضمن فئتين:

قيود الرتبة المنخفضة الصارمة: الطرق التي تعمل ضمن مساحة بارامترات ثابتة وصغيرة غالباً ما تفشل في التقاط التمثيلات الغنية المتاحة في FFT.
التعلم مفرط البارامترات: الطرق التي تتعلم المعلمات الكاملة ثم تضغطها عبر الإسقاط (مثل ضغط التدرج) تحسن الأداء ولكنها تنتج نماذج كاملة الحجم لكل مهمة، مما يلغي فوائد كفاءة الذاكرة والاستدلال التي يوفرها LoRA.

التحدي الجوهري الذي تعالجه هذه الورقة هو: كيف يمكن للمرء تحديد محولات منخفضة الرتبة عالية التمثيل من إعداد مفرط البارامترات لتحقيق أداء يقترب من FFT مع الحفاظ على كفاءة النشر للمحول المدمج؟

2. المنهجية: PrunedLoRA

يقترح المؤلفون PrunedLoRA، وهو إطار عمل للتقليم المهيكل (structured pruning) يقوم بتدريب محول منخفض الرتبة مفرط البارامترات ثم ضغطه ديناميكياً إلى محول نهائي مدمج.

الدوافع الأساسية

الرتب العالية تحقق أداءً أفضل: تشير الملاحظات التجريبية إلى أن زيادة رتبة LoRA يحسن الأداء، مما يؤدي تدريجياً إلى التقارب نحو FFT. هذا يشير إلى أن البدء برتبة كبيرة يوفر قدرة تمثيلية كافية.
التقليم المفكك: في LoRA، يكون التحديث هو $\Delta W = BA$ ، حيث $B \in \mathbb{R}^{m \times r}$ و $A \in \mathbb{R}^{r \times n}$ . تقابل أعمدة $B$ وصفوف $A$ الفضاءات العمودية والأفقية للتحديث. إن تقليم هذه الوحدات الفرعية مباشرة أكثر كفاءة وطبيعية من تقليم مصفوفة الوزن الكاملة.

الإطار الخوارزمي

على عكس الطرق السابقة (مثل AdaLoRA) التي تفرض ميزانية رتبة ثابتة أو تختار من مجموعة محددة مسبقاً، يبدأ PrunedLoRA برتبة أولية كبيرة ويقوم بتقليمها تدريجياً أثناء التدريب. تتضمن العملية:

التقليم المهيكل القائم على التدرج: تصيغ الطريقة التقليم كمسألة تحسين لتقليل الخسارة الناجمة عن اضطرابات الوزن. وهي تستخدم توسع تايلور من الدرجة الثانية لدالة الخسارة:
$L(W + \delta) \approx L(W) + \langle \nabla_W L, \delta \rangle + \frac{1}{2}\text{tr}(\delta^\top \hat{H} \delta)$
حيث $\hat{H}$ هو تقريب لهيسيان (Hessian) (مثل فيشر التجريبي/empirical Fisher).
التحديث الأمثل واختيار القناع: تحل الخوارزمية بحثاً عن القناع الأمثل للتقليم ( $M_s$ $M_{s}$ ) وتحديثات الوزن ( $\delta$ $δ$ ) لتقليل خطأ الاضطراب. يتضمن الحل خطوة نيوتن من الدرجة الثانية وتصحيح الإسقاط لضمان بقاء الأوزان المقلمة صفراً.
- يتم اشتقاق مقياس التقليم كعنصر "أهمية" (saliency) بناءً على قيم الأوزان بعد التحديث تحت مقياس تربيعي مرجح بالهيسيان.
التقليم المشترك لـ A و B: يتحكم القناع $M_s$ في آن واحد في ندرة الأعمدة لـ $B$ وندرة الصفوف لـ $A$ . يتم حساب تقديرات الهيسيان $\hat{H}_A$ و $\hat{H}_B$ لالتقاط الارتباطات الصفية والعمودية، على التوالي.
العملية التكرارية: تمر العملية عبر خطوات البحث، التحديث، والضبط القياسي حتى الوصول إلى الرتبة المستهدفة.

التحليل النظري

تقدم الورقة تحليلاً نظرياً لمتانة التقليم المهيكل تحت اضطرابات الوزن باستخدام نموذج انتباه ذاتي مبسط.

الافتراض 1: تثبت الورقة أن التقليم القائم على التدرج أكثر متانة تجاه اضطرابات الوزن فيما يتعلق بالخسارة الإجمالية مقارنة بـ التقليم القائم على التنشيط.
التعليل: تعتمد طرق التنشيط على أهداف إعادة البناء وحجم الوحدات، مما قد يؤدي إلى حساسية أعلى. أما الطرق القائمة على التدرج، فهي تحافظ على الارتباطات العالمية بشكل أكثر دقة، مما يؤدي إلى سلوك خسارة أكثر استقراراً تحت تأثير الاضطراب.

3. المساهمات الرئيسية

إطار عمل PrunedLoRA: طريقة جديدة تحدد محولات منخفضة الرتبة ممثلة عبر التقليم المهيكل من تهيئة مفرطة البارامترات. وهي تؤجل قيد الرتبة المنخفضة إلى نهاية التدريب، مما يسمح بتخصيص رتبة مرن ومتكيف.
تحليل المتانة النظري: أحد أوائل التحليلات النظرية التي تقارن بين التقليم المهيكل القائم على التدرج والقائم على التنشيط. وتوضح أن النهج القائم على التدرج أكثر متانة تجاه اضطرابات الوزن من حيث الخسارة الإجمالية في إطار نموذجي.
تفسير التقليم الدقيق: يقدم المؤلفون تفسيراً صريحاً لمقياس التقليم (الأهمية/saliency) للطرق من الدرجة الثانية، وربطه بتقليل أهمية الوزن بعد التحديث تحت مقياس مرجح بالهيسيان.
التفوق التجريبي: تظهر التجارب المكثفة أن PrunedLoRA يقلص الفجوة بين LoRA و FFT عبر مهام متنوعة (الاستدلال الرياضي، توليد الكود، وفهم اللغة الطبيعية) ويتفوق على طرق التقليم المهيكل المختلفة عند مستويات ندرة متنوعة.

4. النتائج التجريبية

قيم المؤلفون PrunedLoRA على نماذج Llama-3-8B و T5-base عبر توليد الحوار، الاستدلال الرياضي (GSM8K)، توليد الكود (HumanEval)، وفهم اللغة الطبيعية (GLUE).

الأداء مقابل النماذج المرجعية:
- نظام القيود على الذاكرة: مع تهيئة متوسطة (مثلاً، رتبة تهيئة 64، رتبة مستهدفة 8)، يتفوق PrunedLoRA بشكل كبير على LoDR و DoRA. على سبيل المثال، في GSM8K، حقق PrunedLoRA (64 $\to$ 8) نتيجة 69.02 مقابل 65.27 لـ LoRA.
- نظام الميزانية العالية: مع تهيئة أكبر (مثلاً، رتبة تهيئة 512، رتبة مستهدفة 64)، يقترب PrunedLoRA من أداء الضبط الكامل (FFT). في GSM8K، وصل إلى 74.88، وهو قريب جداً من FFT البالغ 73.48 (ملاحظة: تشير الورقة إلى أن FFT هو 73.48، بينما PrunedLoRA هو 74.88، وهو أعلى قليلاً في الجدول، ولكن الاتجاه هو التقارب).
- المقارنة مع المتغيرات: يتفوق باستمرار على AdaLoRA وغيره من نماذج التقليم المهيكل مثل SparseGPT و LLM-Pruner عبر رتب مستهدفة مختلفة.
الكفاءة:
- الذاكرة: حتى مع الرتب الأولية العالية (مثل 512)، تظل تكلفة ذروة الذاكرة أقل بكثير من الضبط الكامل للمعلمات.
- الوقت: تضيف عملية التقليم عبئاً طفيفاً فقط. على سبيل المثال، أضاف التقليم برتبة تهيئة 512 حوالي 23 دقيقة فقط إلى إجمالي وقت التدريب في GSM8K.
- النشر: المخرج النهائي هو محول مدمج، مما يحافظ على كفاءة الاستدلال.

5. الأهمية والادعاءات

تدعي الورقة أن PrunedLoRA يوفر نهجاً مبدئياً للحصول على محولات مدمجة وعالية الأداء من خلال الاستفادة من القدرة التمثيلية للفضاءات مفرطة البارامترات دون التضحية بكفاءة النشر.

الأثر العملي: الطريقة فعالة في كل من حالات قيود الذاكرة العملية (تحسين الأداء فوق LoRA القياسي عند نفس رتبة النشر) وفي السيناريوهات التي تتوفر فيها ميزانيات تدريب أعلى (تقليص الفجوة مع FFT).
الرؤية النظرية: توفر فهماً مؤسساً لسبب تفوق التقليم القائم على التدرج على التقليم القائم على التنشيط من حيث متانة الخسارة، مما يقدم أساساً نظرياً لأبحاث التقليم المهيكل المستقبلية.
قيمة تعدد المستأجرين (Multi-Tenant): يسلط المؤلفون الضوء على أنه في بيئات الخدمة متعددة المستأجرين، حيث تجعل بصمة الاستدلال طويلة المدى للعديد من المحولات الخاصة بكل مهمة جودة المحول المدمج أمراً حاسماً، مما يبرر المقايضة بزيادة طفيفة في تكاليف التدريب من أجل الحصول على محولات نهائية أفضل.

يظل المؤلفون متواضعين فيما يتعلق بالنطاق النظري، حيث يقرون بأن تحليل المتانة الخاص بهم مشتق تحت افتراضات نمطية، وأن توسيع هذه الضمانات لتشمل ديناميكيات التدريب الواقعية واسعة النطاق يظل مجالاً مفتوحاً.