ملخص تقني: تصنيف الالتزامات التقليدية (Conventional Commits) باستخدام النماذج اللغوية الكبيرة وهندسة الأوامر

بيان المشكلة

توفر الالتزامات التقليدية (Conventional Commits) تنسيقاً مهيكلاً لرسائل الالتزام (مثل type: description)، مما يتيح لأدوات الأتمتة مثل مولدات سجل التغييرات (changelog) وأنظمة الإصدار الدلالي (semantic versioning) العمل بفعالية. ومع ذلك، غالباً ما يكتب المطورون رسائل غير مهيكلة، مما يستلي على ضرية التصنيف التلقائي لاستعادة هذا الهيكل. تعتمد الطرق التقليدية على تعلم الآلة (ML) والتعلم العميق (DL) ونماذج مدربة على مجموعات بيانات ضخمة ومصنفة، وتتطلب هذه الأساليب معالجة مسبقة كبيرة للبيانات، وهندسة الميزات، وإعادة تدريب متكررة عندما تتطور مصطلحات المشروع أو تصنيفات البيانات. تبحث هذه الورقة في بديل لا يتطلب تدريباً: وهو الاستفادة من النماذج اللغوية الكبيرة (LLMs) عبر هندسة الأوامر لتصنيف رسائل الالتزام دون العبء المرتبط بتجهيز بيانات تدريب مصنفة أو ضبط دقيق للنماذج.

المنهجية

تستخدم الدراسة إطار عمل لا يتطلب تدريباً، حيث تقوم النماذج اللغوية الكبيرة بتصنيف تغييرات الكود مباشرة بناءً على الأوامر (prompts)، دون الحاجة إلى الضبط الدقيق للنموذج.

• مجموعة البيانات: تم استخراج مجموعة بيانات متوازنة مكونة من 3,200 التزام من مستودع InfluxDB مفتوح المصدر. تتضمن مجموعة البيانات رسائل الالتزام وفروقات الكود (diffs) المقابلة لها. البيانات متوازنة تقريباً عبر أنواع الالتزامات (مثل feat و fix و docs و refactor و test و chore).
• النماذج التي تم تقييمها: تم اختبار ثلاثة نماذج لغوية كبيرة مفتوحة المصدر ذات أحجام بارامترات متفاوتة:
  • Mistral-7B-Instruct (7 مليار بارامتر)
  • LLaMA-3-8B (8 مليار بارامتر)
  • DeepSeek-R1-32B (32 مليار بارامتر)
• استراتيجيات الأوامر (Prompting Strategies): تم تقييم ثلاثة نهجين متميزين للأوامر:
  1. التعلم من الصفر (Zero-Shot): يتم تزويد النموذج بتعريفات الفئات والتعليمات ولكن بدون أمثلة.
  2. التعلم من أمثلة قليلة (Few-Shot): يتم تزويد النموذج بأمثلة نموذجية مصنفة لرسائل الالتزام وفروقات الكود جنباً إلى جنب مع التعليمات.
  3. سلسلة الأفكار (Chain-of-Thought - CoT): يتم توجيه النموذج لتوليد خطوات استدلال وسيطة (تحديد الإشارات وربطها بالأنواع) قبل إخراج التصنيف النهائي.
• التقييم: تم تقييم النماذج باستخدام مقاييس التصنيف القياسية: الدقة (Accuracy)، والضبط (Precision)، والاستدعاء (Recall)، ومقياس F1 (F1-score). تم اشتقاق الحقيقة الأرضية (ground truth) من التصنيفات الموجودة بالفعل في مستودع InfluxDB.

النتائج الرئيسية

أسفر التقييم التجريبي عن النتائج التالية:

1. أداء استراتيجية الأوامر:

   • حقق التعلم من أمثلة قليلة (Few-shot prompting) أعلى دقة باستمرار عبر جميع النماذج. على سبيل المثال، حقق DeepSeek-R1-32B دقة قدرها 0.5749 باستخدام التعلم من أمثلة قليلة، مقارنة بـ 0.5652 (Zero-shot) و 0.5497 (CoT).
   • لم يحقق سلسلة الأفكار (CoT) أي مكاسب إضافية لهذه المهمة التصنيفية المحددة. في عدة حالات، كان أداء CoT متوسطاً أو أقل من التعلم من أمثلة قليلة، مما يشير إلى أن التصنيف المهيكل يعتمد على التعرف على الأنماط أكثر من الاستدلال متعدد الخطوات.
   • حقق التعلم من الصفر (Zero-shot) عموماً أدنى أداء أو قريباً من الأدنى، خاصة بالنسبة للنماذج الأصغر مثل Mistral-7B-Instruct (دقة 0.3356).

2. تأثير حجم النموذج:

   • أظهر DeepSeek-R1-32B (32 مليار بارامتر) أقوى أداء إجمالي عبر جميع المقاييس واستراتيجيات الأوامب.
   • سجل LLaMA-3-8B أدنى أداء (متوسط دقة 0.372).
   • أظهر Mistral-7B-Instruct أداءً متوسطاً.
   • تشير النتائج إلى أن حجم النموذج يلعب دوراً ملموساً في القدرة على فهم السياق وتصنيف تغييرات الكود بدقة.

3. المقاييس المجمعة:

   • عبر جميع النماذج، حقق التعلم من أمثلة قليلة أعلى متوسط دقة (0.531) ومقياس F1 (0.468).
   • حقق التعلم من الصفر أعلى متوسط ضبط (0.508) ولكن باستدعاء أقل.

المساهمات الرئيسية

تحدد الورقة ثلاث مساهمات رئيسية:

1. نهج مبتكر: تقترح نهجاً لا يتطلب تدريباً لتصنيف الالتزامات التقليدية باستخدام النماذج اللغوية الكبيرة وهندسة الأوامر، وذلك في تباين مع خطوط أنابيب تعلم الآلة/التعلم العميق التقليدية التي تتطلب مجموعات بيانات مصنفة.
2. تقييم تجريبي: تقدم تقييماً تجريبياً شاملاً لهذا النهج باستخدام مجموعة بيانات واسعة (3,200 التزام) وعدة نماذج مفتوحة المصدر حديثة.
3. إرشادات عملية: تناقش مدى فعالية التصنيف القائم على الأوامر، مشيرة إلى أن التعلم من أمثلة قليلة (few-shot) يتفوق على التعلم من الصفر (zero-shot) وسلسلة الأفكار (CoT) لهذه المهمة، وتسلط الضوء على المقايضات ضمن إطار هندسة البرمجيات.

الأهمية والادعاءات

يضع المؤلفون هذا العمل كدليل عملي للباحثين والممارسين الذين يهدفون إلى أتمتة تصنيف الالتزامات دون العملية المكثفة لتجميع البيانات وتدريب النماذج.

• تصميم الأوامر أمر حاسم: تؤكد الدراسة أن تصميم الأوامر يؤثر بشكل كبير على الأداء، وغالباً ما يتجاوز تأثير بنية النموذج نفسه. وتحديداً، يعمل تضمين أمثلة واضحة ومتنوعة (few-shot) كإشارة تدريب ضمنية.
• محدودية الاستدلال: تدعي الورقة بتواضع أنه بينما تعد سلسلة الأفكار (CoT) فعالة للاستدلال المعقد، إلا أنها لا تحسن بالضرورة الأداء لمهام التصنيف المهيكلة مثل تحديد أنواع الالتزامات، حيث يكون التعرف على الأنماط هو الأهم.
• نطاق المقارنة: يصرح المؤلفون صراحة بأنهم لا يهدفون إلى التفوق على النماذج المرجعية التقليدية لتعلم الآلة/التعلم العميق بشكل مباشر. بدلاً من ذلك، تركز الدراسة على تحليل كيفية تأثير تصميمات الأوامر المختلفة على التصنيف القائم على النماذج اللغوية الكبيرة. والادعاء بأن "النماذج الأكبر تعمل بشكل أفضل" هو ادعاء نسبي فقط بالنسبة للنماذج التي تم تقييمها وليس مقارنة ضد نماذج خاضعة للإشراف خارجية.
• الاتجاهات المستقبلية: تقترح الورقة أن العمل المستقبلي يمكن أن يتضمن اختبار التعميم عبر مستودعات أكثر تنوعاً، وتطبيق التحسين التلقائي للأوامر، واستكشاف النهج الهجينة التي تجمع بين النماذج اللغوية الكبيرة وتقنيات تعلم الآلة التقليدية. كما تشير إلى إمكانية تطبيق هذه النتائج على توليد ملاحظات الإصدار الآلية والتنبؤ بالأخطاء البرمجية.