Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

إليك ملخص تقني مفصل للورقة البحثية بعنوان "مُدربة على اتباع التعليمات، ولكن ليست أكثر قابلية للتحقق من اتباع التعليمات: تشخيص عبر المهام لملحقات LoRA" للباحث جوني زو (Junyi Zou).

1. بيان المشكلة

تتناول الورقة فجوة حرجة في نشر ملحقات النماذج اللغوية الكبيرة (LLMs)، وتحديداً تقنية LoRA (التكيف منخفض الرتبة).

• الافتراض: يتم اختيار الملحقات عادةً بناءً على الملصقات الاسمية (مثل: "مدرب على اتباع التعليمات"، "مدرب على الاستدلال الرقمي"). ويفترض الممارسون أن هذه الملصقات تتنبأ بشكل موثوق بالقدرات المحددة التي ستتحسن بعد النشر.
• الواقع: يفترض المؤلفون أن أهداف التدريب الاسمية لا تتوافق بالضرورة مع المكاسب الفعلية للقدرات عبر المهام. وتحديداً، فإن الملحق المدرب على اتباع التعليمات قد لا يؤدي في الواقع إلى تحسين اتباع التعليمات الصارم والقابل للتحقق تلقائياً (الامتثال للقيود الصارمة)، بل قد يحسن مهاماً غير ذات صلة (مثل الاستدلال الرقمي) أو يؤدي إلى تدهور الأداء.
• السؤال الجوهري: هل تتنبأ أهداف التدريب الاسمية بمكاسب الأداء الفعلية عبر المهام المختلفة، لا سيما في مقاييس الامتثال القابلة للتحقق؟

2. المنهجية

يستخدم المؤلفون إطار عمل تشخيص تجريبي عبر المهام بدلاً من العزو الآلي أو ابتكار المقاييس.

الإعداد التجريبي

• النماذج الأساسية: نماذج أساسية ثابتة (مثل Qwen3-8B، Qwen3-14B، Llama3-8B-Instruct).
• الملحقات (Adapters): ملحقان أساسيان من نوع LoRA تم تدريبهما بأهداف اسمية مختلفة:
  1. instr: مدرب على اتباع التعليمات (Instruction-tuned).
  2. reason: مدرب على الاستدلال الرقمي (Numeric-reasoning-tuned).
• مهام التقييم والمقاييس:
  1. اتباع التعليمات القابل للتحقق (الهدف): يتم قياسه باستخدام IFEval (تقييم اتباع التعليمات).
     • المقاييس: دقة مستوى التعليمات (ILA) ودقة مستوى المطالبة (PLA). يُعد PLA المقياس الصارم والنهائي المستخدم للتحليل الأساسي.
  2. الاستدلال الرقمي (خارج الهدف): يتم قياسه باستخدام المطابقة الرقمية (NM) (المطابقة الدقيقة للإجابة الرقمية النهائية).
  3. الأسئلة والأجوبة في المجال (Domain QA): استُخدم كإعداد ثانوي.

المقياس التشخيصي: درجة الانحراف (Drift Score)

لتحديد عدم التطابق بين الأهداف الاسمية والمكاسب الفعلية، عرّف المؤلفون درجة الانحراف (Drift Score):
$$\text{DriftScore}(a \to b) = \text{OffTargetGain}(a, b) - \text{TargetGain}(a)$$

• حيث $a$ هو الملحق، و $b$ هي المهمة خارج الهدف، و $t(a)$ هي مهمة الهدف الاسمية.
• التفسير: تشير درجة الانحراف الموجبة الكبيرة إلى أن الملحق قد تحسن بشكل كبير في مهمة خارج الهدف بينما فشل في التحسن (أو حتى تدهور) في مهمته الاسمية المستهدفة.

اختبارات المتانة

تختبر الدراسة الأداء عبر:

• بذور عشوائية متعددة (Random seeds).
• نماذج أساسية مختلفة.
• معاملات LoRA الفائقة المختلفة (الرتب/ranks، وحدات الانتباه/attention و MLP، معدلات التعلم).
• معايير إضافية (FollowBench، IFBench) لاختبار تباين المعايير.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات مدروسة ومبنية على الأدلة:

1. تأطير تشخيصي ذو صلة بالنشر: اقتراح طريقة لاختبار ما إذا كان الملصق الاسمي للملحق يتوافق مع المكاسب الفعلية عبر المهام، متجاوزةً التقييم أحادي المهمة.
2. دليل المتانة: إثبات أن "عدم التطابق بين الاسمي والفعلي" هو أمر متكرر عبر البذور والنماذج ولكنه حساس للإعدادات (Configuration-sensitive). إنه ليس قانوناً عالمياً بل هو حدوث متكرر، بما في ذلك الحالات التي يكون فيها الانحراف قريباً من الصفر أو سالباً.
3. المثال المضاد المنضبط: تقديم حالة ملموسة حيث يحسن ملحق اتباع التعليمات بشكل كبير أداء الاستدلال الرقمي (خارج الهدف) بينما يفشل في تحسين (وأحياناً يقلل من) اتباع التعليمات الصارم والقابل للتحقق (IFEval).

4. النتائج الرئيسية

ظاهرة "انحراف القدرة" (Capability Drift)

يلاحظ المؤلفون نمطاً يطلقون عليه انحراف القدرة: عدم التطابق بين ما يُفترض أن يفعله الملحق (حسب تسميته) وما يحسنه فعلياً.

• الحالة الأقوى (الجدول 1):

  • النموذج الأساسي: NM = 0.133، IFEval PLA = 0.250.
  • ملحق اتباع التعليمات:
    • NM (خارج الهدف): تحسن بشكل هائل من 0.133 إلى 0.632.
    • IFEval PLA (الهدف): انخفض من 0.250 إلى 0.143.
    • IFEval ILA: انخفض من 0.313 إلى 0.271.
  • الاستنتاج: أصبح الملحق أفضل بكثير في الرياضيات ولكنه أسوأ في اتباع القيود الصارمة، رغم أنه مُسمى بـ "مدرب على اتباع التعليمات".

• المتانة (الجدول 2 والشكل 2):

  • عبر 5 بذور عشوائية على Qwen3-8B، ظلت درجة الانحراف موجبة (المتوسط ~0.511)، مما يؤكد أن عدم التطابق ليس نتاج بذرة عشوائية واحدة.
  • عبر نماذج مختلفة (Qwen, Llama) وإعدادات LoRA مختلفة، كانت درجة الانحراف موجبة بشكل عام ولكنها أظهرت حساسية للإعدادات. فقد أعطت إحدى الإعدادات/النماذج درجة انحراف سالبة قليلاً (-0.040)، مما يثبت أن الظاهرة ليست عالمية بل تعتمد بشدة على الإعدادات.

• تباين المعايير (Benchmark Heterogeneity):

  • تباينت النتائج حسب المعيار. فبينما لم يظهر IFEval و IFBench (الصارم/القابل للتحقق) أي تحسن لملحق التعليمات، أظهر FollowBench (الذي يشغل اتباع التعليمات بطريقة مختلفة) تحسناً. يسلط هذا الضوء على أن "اتباع التعليمات" ليس قدرة متجانسة؛ ولا يمكن افتراض الاتفاق عبر المعايير المختلفة.

• التحولات الانتقائية (الشكل 3):

  • لم يكن التدهور في IFEval موحداً. أنواع معينة من القيود (مثل language_constraints و detectable_format و keywords:existence) شهدت انخفاضات حادة، بينما تحسنت أنواع أخرى. يشير هذا إلى أن الملحق يغير أولويات الاستجابة (response priors) بطرق محددة وموضعية بدلاً من حدوث تحول عالمي في "الاستدلال".

5. الأهمية والدروس المستفادة

• الملصقات الاسمية هي مؤشرات غير موثوقة: تجادل الورقة بأن تسميات التدريب (مثل "مدرب على اتباع التعليمات") لا ينبغي معاملتها كمؤشرات موثوقة للقدرة. فالمُلحق المسمى لمهمة معينة قد يحسن دون قصد قدرة مختلفة تماماً وخارجة عن الهدف.
• الحاجة إلى التقييم عبر المهام: قبل النشر، يجب على الممارسين إجراء تقييم روتيني عبر المهام. الاعتماد فقط على تقييم المهمة الاسمية المستهدفة قد يخفي التحولات غير المقصودة (الانحراف) التي تضعف الأداء في القيود الحرجة القابلة للتحقق.
• التمييز بين "المساعدة" و"القابلية للتحقق": يحسن ضبط التعليمات "المساعدة العامة" أو تدفق المحادثة، لكنه لا يضمن الامتثال الصارم القابل للتحقق تلقائياً. تؤكد الورقة أن اتباع التعليمات القابل للتحقق هو قدرة أضيق ومتميزة تتطلب تقييماً صارماً ومحدداً.
• لا يوجد تفسير ميكانيكي بسيط: لم تجد تجارب الاستقصاء تفسيراً موضعياً بسيطاً (مثل وحدة واحدة تسبب الانحراف)، مما يشير إلى أن الظاهرة تنشأ من تفاعلات معقدة وموزعة داخل أوزان النموذج.

الخلاصة النهائية:
تعتبر هذه الورقة بمثابة تحذير لمجتمع النماذج اللغوية الكبيرة: لا تثق في الملصق. إن الهدف الاسمي للملحق هو مؤشر ضعيف لسلوكه الفعلي عبر المهام. التقييم الصارم متعدد المهام ضروري لاكتشاف "انحراف القدرة" ولضمان أن الملحقات المنشورة تمتلك بالفعل الامتثال القابل للتحقق الذي تدعي امتلاكه.