💬 NLP

PEFT-Bench: A Parameter-Efficient Fine-Tuning Methods Benchmark

تقدم هذه الورقة البحثية PEFT-Bench، وهو معيار موحد وشامل مصمم لتقييم طرق الضبط الدقيق بكفاءة المعلمات (PEFT) المتنوعة عبر 27 مجموعة بيانات لمعالجة اللغات الطبيعية، مع اقتراح مقياس عقوبات التكلفة الناعمة لـ PEFT (PSCP) لتقييم الأداء بشكل شامل مقابل التكاليف الحسابية مثل المعلمات القابلة للتدريب، وسرعة الاستدلال، واستخدام الذاكرة.

المؤلفون الأصليون: Robert Belanec, Branislav Pecher, Ivan Srba, Maria Bielikova

نُشر 2026-05-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Robert Belanec, Branislav Pecher, Ivan Srba, Maria Bielikova

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مكتبة ضخمة وذكية للغاية (نموذج لغوي كبير) تعرف كل شيء تقريبًا. ومع ذلك، فهي كبيرة جدًا لدرجة أن الأمر يتطلب أسطولًا كاملاً من شاحنات التوصيل (قدرة حوسبية هائلة) ومستودعًا ضخمًا (الكثير من الذاكرة) لمجرد نقل كتاب واحد. وهذا يجعل استخدامها أو تخصيصها لاحتياجاتك الخاصة أمرًا مكلفًا وبطيئًا لمعظم الناس.

المشكلة: معضلة "الترميم الكامل"
عادةً، إذا أردت تعليم هذه المكتبة العملاقة خدعة جديدة (مثل حل المسائل الرياضية أو كتابة الأكواد البرمجية)، فسيتعين عليك القيام بـ "ترميم كامل". سيتعين عليك إعادة كتابة فهرس المكتبة بأكملها، وهو أمر مكلف وبطيء للغاية.

الحل: نهج "الملاحظات اللاصقة" (PEFT)
هنا يأتي دور الضبط الدقيق الفعال للمعلمات (PEFT). بدلاً من إعادة كتابة المكتبة بأكملها، يشبه PEFT لصق بعض "الملاحظات اللاقة" الذكية أو إضافة بطاقة فهرس صغيرة مخصصة إلى الكتب الموجودة. أنت تقوم بتدريب هذه الملاحظات الصغيرة فقط، تاركًا المكتبة الضخمة دون تغيير. هذا يجعل الأمر أرخص وأسرع بكثير، ولكن ظل السؤال قائمًا: أي طريقة للملاحظات اللاصقة هي الأفضل فعليًا؟

مساهمة الورقة البحثية: PEFT-Bench
قام مؤلفو هذه الورقة ببناء ساحة اختبار ضخمة تسمى PEFT-Bench. فكر في الأمر كأنه "اختبار تذوق" ضخم أو "اختبار تصادم السيارات".

مضمار الاختبار: لم يختبروا على شيء واحد فقط. لقد أنشأوا مضمارًا يحتوي على 27 تحديًا مختلفًا، تتراوح من فهم الجمل وحل الألغاز المنطقية إلى إجراء العمليات الحسابية وكتابة أكواد الكمبيوتر.
المتنافسون: اختاروا 7 استراتيجيات مختلفة لـ "الملاحظات اللاصقة" (مثل LoRA و BitFit و Prompt Tuning) ووضعوها جميعًا تحت نفس الاختبار الصارم باستخدام نفس المكتبة الضخمة (LLaMA-3).
لوحة النتائج الجديدة (PSCP): في الماضي، كان الناس ينظرون فقط إلى من يحصل على أكبر عدد من الإجابات الصحيحة. لكن المؤلفين أدركوا أن ذلك يشبه الحكم على سيارة فقط من خلال سرعتها القصوى، مع تجاهل كمية الوقود التي تستهلكها. لذا ابتكروا درجة جديدة تسمى PSCP (عقوبات التكلفة الناعمة للضبط الدقيق).
- التشبيه: تخيل أنك تشتري سيارة. أنت تريد أن تكون سريعة (أداء جيد)، ولكنك تريد أيضًا أن تكون موفرة للوقود (معلمات قابلة للتدريب أقل) ولا تتطلب مرآبًا ضخمًا (ذاكرة أقل). PSCP هو درجة تجمع بين السرعة، والوقود، وحجم المرآب في رقم واحد. إذا كانت السيارة سريعة ولكنها تستهلك خزانًا من الوقود في دقيقة واحدة، فإن درجة PSCP الخاصة بها تنخفض.

ما وجدوه

بطل الوزن الثقيل (LoRA): كانت الطريقة المسماة LoRA هي "فيراري" المجموعة. لقد حصلت على أكبر عدد من الإجابات الصحيحة في معظم الاختبارات. ومع ذلك، كانت أيضًا "الأثقل" من حيث الموارد.
العداؤون الفعالون (BitFit & LNTuning): طرق مثل BitFit و LNTuning كانت مثل "السيارات الهجينة". لم تحصل دائمًا على أعلى درجة مطلقة، لكنها كانت فعالة للغاية. عندما أخذت في الاعتبار مقدار "الوقود" و"مساحة المرآب" التي تحتاجها، فقد تفوقت بالفعل على الأوزان الثقيلة في درجة PSCP أو تساوت معها.
الطرق المتعثرة: بعض الطرق، وخاصة تلك القائمة على "المطالبات الناعمة" (مثل P-Tuning)، كانت مثل السيارات ذات الإطارات المثقوبة. كانت غير مستقرة للغاية، فإما أن تتحطم تمامًا (تحصل على درجة صفر) أو تتطلب الكثير من الضبط الإضافي لمجرد تشغيل المحرك.
مفاجأة الرياضيات والبرمجة: من المثير للاهتمام أنه بينما كانت هذه الطرق رائعة في فهم اللغة، إلا أنها جعلت الأمور أسوأ أحيانًا عند مطالبتها بالقيام بعمليات حسابية معقدة أو كتابة الأكواد. يبدو الأمر كما لو أن الملاحظات اللاقة ساعدتهم على القراءة بشكل أفضل ولكنها أربكتهم عندما حاولوا القيام بالتفاضل والتكامل.

الأدوات: PEFT-Factory
للتأكد من أن أي شخص آخر يمكنه تشغيل هذا الاختبار لاحقًا، قام المؤلفون أيضًا ببناء PEFT-Factory. فكر في هذا كـ "مضمار سباق" جاهز ومفتوح المصدر يمكن لأي شخص استخدامه. إذا ابتكر باحث طريقة جديدة لـ "الملاحظات اللاقة"، فيمكنه ببساطة توصيلها بهذا المصنع، وسيقوم تلقائيًا بتشغيل الاختبار وإعطائه درجة، مما يضمن أن الجميع يلعبون وفقًا لنفس القواعد.

باختدصار
تقول هذه الورقة: "توقفوا عن التخمين بشأن أفضل طريقة تدريب فعالة. لقد بنينا مضمار اختبار عادلًا ونظام تسجيل جديدًا يقدر كلاً من الأداء والكفاءة. لقد وجدنا أنه بينما قد تكون بعض الطرق هي الأسرع، فإن الطرق الأكثر كفاءة غالبًا ما تكون جيدة تمامًا عند النظر إلى التكلفة."

ملخص تقني لـ PEFT-Bench: معيار لتقييم طرق الضبط الدقيق بكفاءة المعلمات

بيان المشكلة

بينما حققت النماذج اللغوية الكبيرة (LLMs) أداءً متفوقًا في العديد من مهام فهم اللغة الطبيعية (NLU) وتوليد اللغة الطبيعية (NLG)، إلا أن حجمها الهائل يفرض تكاليف حوسبة وبيئية باهظة. يتطلب الضبط الدقيق القياسي موارد وتخزينًا هائلًا للأوزان الخاصة بكل مهمة، مما يحد من إمكانية الوصول إليها للعديد من الباحثين والممارسين. وقد ظهرت طرق الضبط الدقيق بكفاءة المعلمات (PEFT) لمعالجة هذه المشكلة عن طريق تقليل المعلمات القابلة للتدريب مع الحفاظ على الأداء في المهام اللاحقة.

ومع ذلك، يعاني مشهد التقييم الحالي لطرق PEFT من ثلاث فجوات حرجة:

مشكلات قابلية التكرار: تفتقر العديد من الدراسات الحالية إلى تنفيذ مفتوح المصدر يعمل بشكل كامل أو تفاصيل تجريبية أساسية، مما يمنع التحقق المستقل.
النطاق المحدود: غالبًا ما تركز التقييمات على النماذج غير ذات التوليد الذاتي (مثل T5 وRoBERTa) أو تقصر التحليل على مهام فهم اللغة الطبيعية (GLUE/SuperGLUE)، مما يفشل في عكس عصر النماذج اللغوية الكبيرة ذات التوليد الذاتي الحالي والمهام المتنوعة مثل توليد الكود أو الاستدلال الرياضي.
المقاييس غير المكتملة: تعتمد المقارنات بشكل متكرر فقط على الدقة أو عدد المعلمات، متجاهلة عوامل الكفاءة الحرجة مثل سرعة الاستنتاج واستخدام ذاكرة التدريب، وهي أمور حيوية للنشر في العالم الحقيقي.

المنهجية

لسد هذه الفجوات، قدم المؤلفون PEFT-Bench، وهو معيار موحد وشامل مصمم لتقييم طرق PEFT المتنوعة على النماذج اللغوية الكبيرة ذات التوليد الذاتي. وتدعم المنهجية إطار عمل PEFT-Factory، المبني على هيكل LLaMA-Factory لضمان الوحدوية والقابلية للتكرار.

1. مجموعات البيانات والمهام

يقيم PEFT-Bench الأداء عبر 27 مجموعة بيانات تمثل 12 مهمة فريدة، مصنفة إلى ثلاث مجموعات لضمان تنوع المجالات:

فهم اللغة الطبيعية والاستدلال: تتضمن 8 مجموعات بيانات من GLUE و7 من SuperGLUE، بالإضافة إلى 6 مجموعات بيانات إضافية (مثل MMLU، وHellaSwag، وWinoGrande).
الرياضيات: تتضمن MathQA، وGSM8K، وSVAMP.
توليد الكود: تتضمن Conala، وCodeAlpacaPy، وAPPS.
ملاحظة: بالنسبة لمهام التصنيف، يتم تحويل الملصقات الرقمية إلى ملصقات نصية لتتناسب مع عملية التوليد ذاتي التوليد.

2. النماذج وطرق PEFT

يستخدم المعيار LLaMa-3-8B-Instruct كنموذج أساسي. ويقيم 7 طرق تمثيلية لـ PEFT تغطي ثلاث فئات رئيسية:

الإضافية (Additive): IA3، وPrompt Tuning، وP-Tuning، وPrefix Tuning.
إعادة المعلمة (Reparametrized): LoRA.
الانتقائية (Selective): LNTuning، وBitFit.

3. مقاييس التقييم

بالإضافة إلى المقاييس القياسية الخاصة بالمهام (F1، والدقة، وCodeBLEU)، يقترح المؤلفون مقياس عقوبات التكلفة الناعمة لـ PEFT (PSCP). يجمع هذا المقياس بين الأداء وتكاليف الكفاءة باستخدام صيغة مستوحاة من دالة إنتاج كوب-دوغلاس:
$PSCP = P_t \times \left(1 + \frac{M_p}{C_p}\right)^{-\beta_p} \times \left(1 + \frac{M_f}{C_f}\right)^{-\beta_f} \times \left(1 + \frac{M_m}{C_m}\right)^{-\beta_m}$
حيث أن:

$P_t$ هو متوسط أداء المهمة.
$M_p, M_f, M_m$ تمثل عدد المعلمات القابلة للتدريب، وعمليات حساب الفاصلة العائمة (FLOPs) عند الاستنتاج، واستخدام ذاكرة التدريب، على التوالي.
قيم $C$ هي ثوابت مرجعية (مثل معلمات تدريب النموذج الكامل، وضِعف عمليات FLOP للنموذج الأساسي، و94 جيجابايت من الذاكرة).
قيم $\beta$ تسمح للمستخدمين بوزن أهمية تكاليف معينة.

4. الإعداد التجريبي

أُجريت التجارب باستخدام 10% من بيانات التدريب للتحقق، مع عمليات تدريب لأكثر من 10 حقبات (epochs) باستخدام تحسين AdamW. تم تقييم الاستقرار عبر 5 بذور عشوائية (random seeds)، وتم قياس الكفاءة عبر 27 مجموعة بيانات لكل طريقة.

النتائج الرئيسية

الأداء مقابل الكفاءة

حقق LoRA عمومًا أعلى درجات الأداء الخام عبر العديد من المهام.
حققت BitFit وLNTuning، رغم تدريب عدد أقل بكثير من المعلمات واستهلاك ذاكرة GPU أقل، أداءً يضاهي أو يتفوق على LoRA في مجموعات بيانات محددة (مثل MNLI، وSST-2، وRTE، وMMLU).
كشف مقياس PSCP أنه عند أخذ تكاليف الكفاءة في الاعتبار، فإن BitFit وLNTuning يتفوقان غالبًا على LoRA، مما يثبت أن استهلاك الموارد الأقل يمكن أن يعوض الفروق الطفيفة في الأداء.

ملاحظات خاصة بالمهام

فهم اللغة الطبيعية والاستدلال: حسنت طرق PEFT الأداء بشكل عام مقارنة بالنموذج الأساسي.
الرياضيات وتوليد الكود: ظهر نمط ملحوظ حيث حسنت طرق PEFT الأداء في المسائل الرياضية اللفظية (GSM8K، وSVAMP) ولكنها أدت إلى تراجع الأداء في مهام توليد الكود المعقدة والمهام التي تتطلب استدلالًا كثيفًا (Conala، وCodeAlpacaPy، وAPPS). يشير المؤلفون إلى أن الضبط الدقيق الخاضع للإشراف بمعلمات محدودة قد يكون غير كافٍ لتعزيز قدرات الاستدلال في هذه المجالات مقارنة بضبط التعليمات أو التعلم المعزز.

الاستقرار وديناميكيات التدريب

أظهرت طرق القوالب الناعمة (Soft Prompt-Based Methods) (مثل Prompt Tuning، وPrefix Tuning، وP-Tuning) عمومًا أداءً أقل وعدم استقرار أعلى. وأظهر P-Tuning، على وجه الخصوص، تباينًا عاليًا وغالبًا ما انهار بالتنبؤ بفئة واحدة فقط.
أظهرت IA3 أدنى انحراف معياري (أعلى استقرار) عبر مجموعات البيانات ذات الموارد المنخفضة.
طفرات الذاكرة: أظهر Prompt Tuning طفرات كبيرة في الذاكرة خلال أول 1,000 خطوة تدريب، ويرجع ذلك على الأرجح إلى الإضافة المباشرة للقوالب الناعمة إلى المدخلات.

الأهمية والادعاءات

يضع البحث PEFT-Bench باعتباره أول معيار موحد وشامل مصمم خصيصًا لتقييم طرق PEFT على النماذج اللغوية الكبيرة ذات التوليد الذاتي عبر مهام فهم اللغة الطبيعية وتوليدها. وتكمن أهميته في:

التقييس: توفير إطار عمل مفتوح المصدر وقابل للتكرار بالكامل (PEFT-Factory) يقضي على الطبيعة "الصندوق الأسود" لتقييمات PEFT السابقة.
التقييم الشامل: تقديم مقياس PSCP للانتقال إلى ما وراء المقارنات المعتمدة على الدقة فقط، والإقرار بأنه في السيناريوهات الواقعية، تعد الكفاءة (المعلمات، الذاكرة، السرعة) بنفس أهمية أداء المهمة.
الرؤى التجريبية: تقديم أدلة ملموسة على أنه بينما يعد LoRA مؤديًا قويًا، فإن الطرق الأكثر كفاءة مثل BitFit وLNTuning هي بدائل قابلة للتطبيق في البيئات محدودة الموارد، وأن طرق القوالب الناعمة تتطلب ضبطًا مكثفًا للمعلمات لتكون فعالة.

يخلص المؤلفون إلى أن PEFT-Bench يهدف إلى أن يكون مبادرة طويلة الأمد ومتطورة لتوجيه تطوير واختيار طرق PEFT، مع توفر النتائج الحالية والكود عبر مستودع GitHub الخاص بهم.