💬 NLP

Fine-Tuning Causal LLMs for Text Classification: Embedding-Based vs. Instruction-Based Approaches

تُثبت هذه الورقة أنه بالنسبة لتصنيف النصوص أحادي التسمية ومحدود الموارد، فإن الضبط الدقيق للنماذج اللغوية الكبيرة السببية باستخدام رأس تصنيف على تضمينات الرمز النهائي يعد أكثر كفاءة في المعلمات من الضبط الدقيق للتعليمات، مع تحقيق أداء مماثل أو متفوق على كل من النماذج اللغوية الكبيرة المضبوطة بالتعليمات ونماذج BERT المتخصصة في مجال معين.

المؤلفون الأصليون: Amirhossein Yousefiramandi, Ciaran Cooney

نُشر 2026-05-25✓ Author reviewed ⓘ

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Amirhossein Yousefiramandi, Ciaran Cooney

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك مساعد مكتبة عملاق، وذكي للغاية (نموذج لغوي كبير، أو LLM)، قد قرأ كل شيء تقريبًا في العالم. تريد توظيف هذا المساعد لفرز كومة هائلة من وثائق براءات الاختراع إلى فئات محددة. المشكلة هي أن هذا المساعد ضخم، ومكلف للتشغيل، وعادة ما يكون مدربًا على كتابة القصص، وليس فرز الملفات.

هذه الورقة البحثية هي دليل حول كيفية تعليم هذا المساعد العملاق فرز الملفات بكفاءة، باستخدام بطاقة رسوميات واحدة قياسية (GPU) فقط بدلاً من حاسوب خارق. اختبر المؤلفون طريقتين مختلفتين لتدريب المساعد ووجدا أن إحدى الطريقتين أفضل بكثير من الأخرى لهذا العمل المحدد.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

الطريقتان التدريبيتان

جرب الباحثون اثنين من "معسكرات التدريب" للمساعد:

1. طريقة "مجلد الملفات" (القائمة على التضمين - Embedding-Based)

كيف تعمل: تخيل أنك تطلب من المساعد قراءة وثيقة، ثم تطلب منه أن يعطيك ملخصًا واحدًا مثاليًا مكتوبًا في الصفحة الأخيرة. بعد ذلك، تقوم بإرفاق آلة ملصقات بسيطة وصغيرة ("رأس التصنيف") بهذا الملخص لاتخاذ القرار بشأن المجلد الذي ستوضع فيه الوثيقة.
الخدعة: لم يعيدوا تدريب المساعد بالكامل؛ بل علموا المساعد فقط كيفية كتابة ذلك الملخص المثالي الواحد وكيفية استخدام آلة الملصقات. استخدموا تقنية تسمى "LoRA" (التكيف منخفض الرتبة)، وهي تشبه إعطاء المساعد مجموعة من الملاحظات اللاصقة ليكتب عليها بدلاً من إعادة كتابة دماغه بالكامل.
النتيجة: كانت هذه الطريقة سريعة للغاية، وغير مكلفة، ودقيقة. لقد استخدمت موارد "قابلة للتدريب" قليلة جدًا (مثل ميزانية صغيرة) لكنها أنجزت المهمة بشكل مثالي.

2. طريقة "الدردشة" (القائمة على التعليمات - Instruction-Based)

كيف تعمل: بدلاً من طلب ملخص، أنت تتحدث مع المساعد كأنك في دردشة. تقول له: "إليك وثيقة. يرجى إخباري بالفئة التي تنتمي إليها". يتعين على المساعد بعد ذلك كتابة الإجابة كلمة بكلمة.
الخدعة: يتطلب هذا من المساعد تعلم كيفية اتباع التعليمات وتوليد نص بتنسيق معين.
النتيجة: كانت هذه الطريقة أبطأ وتطلبت ميزانية أكبر بكثير (موارد "قابلة للتدريب" أكثر) للحصول على نتائج جيدة. لقد عملت بشكل جيد في المهام المعقدة ذات الفئات الكثيرة، لكنها كانت غالبًا "متطلبة" بشأن كيفية طرح السؤال. إذا كان "الأمر" (Prompt) غير دقيق قليلاً، فقد يرتبك المساعد أو يكتب كلمات إضافية تكسر النظام.

المواجهة الكبرى: ما وجدوه

اختبر المؤلفون هذه الطرق على بيانات براءات الاختراع (وثائق قانونية عن الاختراعات) وقارنوها بالنماذج الأقدم والأصغر (مثل BERT) التي صُممت خصيصًا لمهام الفرز.

بالنسبة للفرز أحادي الملصق (فئة واحدة لكل وثيقة):
فازت طريقة "مجلد الملفات" باكتساح. لقد طابقت أو حتى تفوقت على النماذج المتخصصة الأقدم وطريقة "الدردشة"، لكنها فعلت ذلك باستخدام موارد أقل بـ 10 إلى 30 مرة. كان الأمر يشبه استخدام سكين سويسري متعدد الاستخدامات لتقطيع شريحة لحم: لقد عملت بنفس كفاءة سكين الشيف ولكنها كانت أخف وزنًا وأرخص ثمنًا.
بالنسبة للفرز متعدد الملصقات (عدة فئات لكل وثيقة):
كان لطريقة "الدردشة" أفضلية طفيفة، ولكن فقط إذا كنت مستعدًا لإنفاق الكثير من المال على التدريب (استخدام ميزانية ضخمة من الموارد). ومع ذلك، ظلت طريقة "مجلد الملفات" تنافسية للغاية.
السرعة والكفاءة:
كانت طريقة "مجلد الملفات" أسرع بكثير في كل من التدريب والتشغيل. كانت طريقة "الدردشة" أبطأ لأنها تضطر إلى "التفكير" وكتابة الإجابة حرفًا بحرف، بينما كانت طريقة "مجلد الملفات" تكتفي بالنظر إلى الملخص والضغط على زر.

"سحر" الميزانية الصغيرة

أحد أروع النتائج هو أنك لا تحتاج إلى نموذج ضخم ومكلف للحصول على نتائج رائعة.

استخدموا نموذجًا صغيرًا نسبيًا (3 مليارات بارامتر) مع طريقة "مجلد الملفات" وتفوقوا على طريقة "الدردشة" التي استخدمت نموذجًا أكبر بكثير.
حتى أنهم اختبروا طريقة "الدردشة" على أكثر النماذج تطورًا والأغلى ثمنًا والمتاحة من شركات التكنولوجيا الكبرى (مثل GPT-5 و Claude Opus) دون تدريبها. حتى هذه النماذج فائقة الذكاء والثابتة لم تستطع هزيمة نموذج "مجلد الملفات" الصغير والمدرب. إنه يشبه ميكانيكي محلي مدرب جيدًا يهزم سيارة فورمولا 1 جديدة وغير مدربة في مهمة إصلاح محددة.

العيوب (المحددات)

الورقة البحثية صادقة بشأن المواضع التي لا تكون فيها هذه الطريقة مثالية:

السرعة مقابل الدقة: رغم أن طريقة "مجلد الملفات" رائعة، إلا أنها لا تزال أبطأ بنحو 20 مرة من النماذج المتخصصة الأقدم (مثل BERT) عندما يتعلق الأمر بالسرعة الخالصة. إذا كنت بحاجة لفرز ملايين الوثائق في الثانية، فإن النماذج الأقدم لا تزال هي ملكة السرعة.
الثقة الإحصائية: كانت طريقة "مجلد الملفات" أفضل عددياً، لكن الفرق لم يكن "مثبتاً" إحصائياً بشكل ضخم في كل اختبار على حده. إنها أفضل باستمرار، لكن هامش الفوز يكون ضئيلاً أحياناً.
عدم استقرار التدريب: في بعض الأحيان، كانت طريقة "مجلد الملفات" تفشل في التعلم إذا كانت نقطة البداية العشوائية (الـ seed) غير محظوظة، مما يتطلب من الباحثين المحاولة عدة مرات للحصول على نتيجة جيدة.

الخلاصة

إذا كنت بحاجة لفرز الوثائق النصية (مثل براءات الاختراع) وكان لديك قدرة حوسبية محدودة (مثل بطاقة رسوميات واحدة)، فإن أفضل استراتيجية هي معاملة نموذج الذكاء الاصطناعي العملاق كمستخرج للميزات (طريقة "مجلد الملفات"). لا تحاول جعله يدردش أو يكتب مقالات؛ فقط اطلب منه تلخيص الوثيقة وإرفاق آلة ملصقات بسيطة. هذا النهج أرخص، وأسرع، وغالبًا ما يكون أكثر دقة من محاولة تعليم الذكاء الاصطناعي اتباع تعليمات معقدة أو استخدام نماذج أقدم ومتخصصة.

ملخص تقني: الضبط الدقيق للنماذج اللغوية الكبيرة السببية (Causal LLMs) لتصنيف النصوص

بيان المشكلة
اعتمد تصنيف النصوص تقليديًا على الضبط الدقيق للنماذج المحولة القائمة على المشفر (Encoder-based transformers) مثل (BERT, RoBERTa)، والتي تستخدم رمز تصنيف خاص (مثل [CLS]) لتجميع معلومات التسلسل. في المقابل، فإن النماذج اللغوية الكبيرة (LLMs) القائمة على فك التشفيد (Decoder-only/Causal) مُدربة مسبقةً للتنبؤ بالرمز التالي باستخدام آلية الانتباه من اليسار إلى اليمين، وهي تفتقر إلى رمز تصنيف صريح ورؤية ثنائية الاتجاه للمدخلات. وبينما تمتلك هذه النماذج مليارات المعلمات (Parameters) التي تدربت على تريليونات الرموز، فإن تطويعها لمهام التصنيف يعد أمرًا صعبًا بسبب حجمها، مما يجعل الضبط الدقيق الكامل غير ممكن عمليًا على أجهزة ذات وحدة معالجة رسومات (GPU) واحدة. تبحث هذه الورقة فيما إذا كان يمكن ضبط النماذج اللغوية الكبيرة السببية بفعالية لمهام التصنيف تحت قيود الموارد، وتقارن بين استراتيجيتين مختلفتين للتكيف: الضبط الدقيق القائم على التضمين (Embedding-based fine-tuning) مقابل الضبط الدقيق القائم على التعليمات (Instruction-based fine-tuning).

المنهجية
يقيم المؤلفون نهجين باستخدام تقنية (QLoRA) لتقليل حجم النموذج مع الحفاظ على الأداء، وذلك لتمكين التدريب على وحدة معالجة رسومات واحدة من نوع (NVIDIA L4) بذاكرة (24GB VRAM). يتم تحميل جميع النماذج بدقة (4-bit) باستخدام مكتبة (BitsAndBytes)، مع تحديث مهايئات (LoRA) فقط والرؤوس الخاصة بالمهمة.

النهج الأول: الضبط الدقيق القائم على التضمين (ضبط فك التشفيد)
- الآلية: يعمل النموذج اللغوي الكبير السببي كمستخرج للميزات. يتم استخراج الحالة المخفية (Hidden state) للرمز النهائي (والذي ينتبه ضمنيًا لجميع الرموز السابقة) كتمثيل للتسلسل. يتم إلحاق رأس تصنيف خفيف الوزن (طبقة خطية أو شبكة تغذية أمامية) بهذا التضمين للتنبؤ بتسميات الفئات.
- التدريب: يعمل على تحسين احتمالات الفئات مباشرة عبر دالة (Cross-entropy) للتصنيف أحادي الملصق، أو (Binary cross-entropy) للتصنيف متعدد الملصقات. تم ضبط رتبة (LoRA) عند ( $r=8$ أو $16$)، مع تحديث مجموعة فرعية صغيرة من المعلمات (عادةً ما بين 5.6 مليون إلى 42 مليون معلمة).
- الاستدلال: تمر عملية التمرير الأمامي (Forward pass) واحدة لإنتاج تضمين الرمز النهائي، يليه حساب طبقة تصنيف خفيفة الوزن.
النهج الثاني: الضبط الدقيق القائم على التعليمات
- الآلية: تتم إعادة صياغة مهمة التصنيف كمسألة توليد (Prompt-response). يتم تحويل المدخلات إلى مطالبات (مثل: "ما هي الفئة؟")، ويتم تدريب النموذج على توليد نص الملصق كاستجابة.
- التدريب: يعمل على تحسين احتمالية رموز الملصقات المولدة باستخدام خسارة التنبؤ بالرمز التالي. يتطلب هذا من النموذج تعلم تنسيق وصياغة لفظية محددة للملصقات. رتب (LoRA) هنا أعلى ( $r=64$ )، مما يؤدي إلى ميزانية أكبر للمعلمات القابلة للتدريب (45 مليون إلى 167 مليون معلمة).
- الاستدلال: يتطلب فك تشفير متسلسل لرموز الملصقات، مما يؤدي إلى زيادة زمن الاستجابة (Latency) مقارنة بنهج التضمين.

المساهمات الرئيسية

استراتيجية التصنيف القائمة على فك التشفيد فقط: تثبت أن النماذج اللغوية الكبيرة السببية يمكن أن تعمل بفعالية كمصنفات من خلال استغلال تضمينات الرمز النهائي كتمثيلات مجمعة للتسلسل، بشكل مشابه لرمز [CLS] في المشفرات.
قياس الأداء بكفاءة الموارد: تقدم نتائج رائدة في مهام تصنيف براءات الاختراع باستخدام طرق صديقة لوحدة معالجة رسومات واحدة (QLoRA + 4-bit quantization)، مما يثبت إمكانية ضبط نماذج تصل إلى 8 مليارات معلمة بكفاءة.
التحليل المقارن: توفر مقارنة منهجية تظهر أنه بالنسبة للتصنيف أحادي الملصق، فإن النهج القائم على التضمين يضاهي أو يتجاوز أداء النماذج المضبوطة بالتعليمات، مع تدريب عدد أقل من المعلمات بمقدار 10 إلى 30 ضعفًا. وقد وُجد أن الضبط القائم على التعليمات تنافسي فقط في أنظمة التصنيف متعددة الملصقات ومع ميزانيات أكبر بكثير للمعلمات القابلة للتدريب.
إرشادات عملية: تقدم أدلة تجريبية حول المقايضات بين الإنتاجية (Throughput)، والمعايرة (Calibration)، والمتانة (Robustness)، مما يشير إلى أن الأساليب القائمة على التضمين أكثر متانة تجاه تغيرات المطالبات وتوفر معايرة أفضل مقارنة بالأساليب القائمة على التعليمات.

النتائج
أُجريت التجارب على مجموعتي بيانات لبراءات الاختراع: مجموعة بيانات مملوكة مكونة من 5 فئات أحادية الملصق (CLV)، ومجموعة بيانات (WIPO-Alpha) العامة متعددة الملصقات (14 فئة).

أداء التصنيف أحادي الملصق: حقق النهج القائم على التضمين (النهج 1) باستمرار درجات F1 تنافسية، وغالبًا ما تفوق على النماذج المضبوطة بالتعليمات (النهج 2) ونماذج BERT المتخصصة في المجال. على سبيل المثال، حقق نموذج Llama-3.2 بـ 3.2 مليار معلمة مع $r=8$ درجة F1 بلغت 0.860 في مجموعة CLV، متفوقًا على أفضل نموذج BERT أساسي (0.854) مع تحديث حوالي 12 مليون معلمة فقط مقارنة بـ 346 مليون لنموذج BERT.
أداء التصنيف متعدد الملصقات: في مجموعة بيانات WIPO، حقق النهج 2 (تحديدًا Mistral-7B مع $r=64$ ) أعلى درجة F1 بلغت 0.819، متفوقًا على النهج 1. ومع ذلك، تطلب ذلك 167.8 مليون معلمة قابلة للتدريب، مما ألغى ميزة "كفاءة المعلمات" في هذا النظام تحديدًا.
الإنتاجية (Throughput): أظهر النهج 1 إنتاجية أعلى بكثير (عينات في الثانية) في كل من التدريب والاستدلال مقارنة بالنهج 2. وبينما كان النهج 1 أبطأ من نماذج BERT-class (بمقدار ~20 ضعفًا)، يشير المؤلفون إلى أن تقنية تقطير المعرفة (Knowledge Distillation) يمكن أن تستعيد إنتاجية فئة BERT مع تكلفة ضئيلة في F1 (≤1.5 نقطة).
الدلالة الإحصائية: تشير اختبارات McNemar المزدوجة وفترات الثقة $\Delta$ F1 بنسبة 95% (Bootstrap) إلى أنه على الرغم من أن النهج القائم على التضمين يتفوق عددياً على الضبط بالتعليمات في مهام التصنيف أحادي الملصق، إلا أن الفرق ليس ذا دلالة إحصائية عند $p<0.05$ .
التحقق الخارجي: في مجموعة بيانات AG News، حقق النهج القائم على التضمين (Llama-3.2-3B, $r=8$ ) درجة F1 بلغت 0.929، وهي قابلة للمقارنة مع نماذج BERT القوية والنماذج المضبوطة بالتعليمات، مما يؤكد القدرة على التعميم خارج نطاق براءات الاختراع.
النماذج مغلقة المصدر: فشلت النماذج الرائدة مغلقة المصدر (مثل GPT-5، وClaude Opus 4.6) عند استخدام أنماط المطالبة (Zero-shot أو Few-shot) في مضاهاة أداء نماذج Llama (1-3B) التي تم ضبطها باستخدام النهج 1، مما يسلط الضوء على ضرورة التكيف الخاضع للإشراف لتحقيق دقة عالية.

الأهمية والادعاءات
تدعي الورقة أن الضبط الدقيق لـ (Causal LLMs) القائم على التضمين والموفر للمعلمات هو بديل فعال وقابل للتوسع وعالي الأداء لكل من نماذج BERT التقليدية والنماذج اللغوية الكبيرة المضبوطة بالتعليمات لتصنيف النصوص.

الكفاءة: تثبت الدراسة أنه يمكن تحقيق تصنيف عالي الأداء على أجهزة ذات وحدة معالجة رسومات واحدة عن طريق تجميد النموذج الأساسي وتحديث جزء ضئيل جدًا من المعلمات عبر تقنية LoRA.
المتانة: يُزعم أن النهج القائم على التضمين أكثر متانة تجاه أخطاء هندسة المطالبات (Prompt Engineering) ويوفر مخرجات احتمالية أكثر دقة (Well-calibrated) مقارنة بالتوليد القائم على التعليمات، والذي قد يعاني من هشاشة في التنسيق.
العملية: بالنسبة لمهام التصنيف أحادي الملصق، يُقدم نهج التضمين كاستراتيجية مفضلة، حيث يوفر مقايضة أفضل بين F1 وحوسبة (F1-to-compute trade-off). أما بالنسبة لمهام التصنيف متعددة الملصقات، فتقر الورقة بأنه بينما يمكن للضبط القائم على التعليمات تحقيق دقة أعلى، إلا أنه يتطلب غالبًا ميزانيات معلمات تقارب نماذج BERT الكاملة، مما يحد من ميزة الكفاءة الخاصة به.
القيود: يشير المؤلفون بتواضع إلى أن ادعاءاتهم مقيدة باستخدام بيانات مملوكة لنتائج التصنيف أحادي الملصق، وعدم وجود دلالة إحصائية في المقارنات المباشرة، وضريبة الإنتاجية التي تفرضها النماذج اللغوية الكبيرة مقارنة بـ BERT (رغم إمكانية معالجتها عبر التقطير). كما يوضحون أن عدم الاستقرار في التدريب قد يحدث مع بعض البذور (Seeds) العشوائية، مما يستوجب إجراء عمليات تشغيل متعددة لضمان قابلية التكرار.

في الختام، يقدم هذا العمل دليلاً تجريبيًا على أن الضبط الدقيق المتخصص والمقيد للموارد للنماذج اللغوية الكبيرة السببية عبر رؤوس التضمين (Embedding heads) هو مسار قابل للتطبيق، وغالبًا ما يكون أمثل، لتصنيف النصوص في المجالات المتخصصة، مما يخفض الحاجز أمام نشر النماذج اللغوية المتقدمة في مهام معالجة اللغات الطبيعية المتخصصة.