Beyond Log Likelihood: Probability-Based Objectives for Supervised Fine-Tuning across the Model Capability Continuum

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "ما وراء الاحتمالية اللوغاريتمية: أهداف قائمة على الاحتمالات للضبط الدقيق الخاضع للإشراف عبر متصل قدرات النموذج."

1. بيان المشكلة

يُعد الضبط الدقيق الخاضع للإشراف (SFT) هو النموذج المعياري لتدريب النماذج اللغوية الكبيرة (LLMs) لاستخراج قدرات محددة. ومع ذلك، غالبًا ما يعاني الـ SFT من محدودية التعميم. يرى المؤلفون أن هذه المحدودية لا تنبع من نموذج الـ SFT نفسه، بل من هدف التدريب الافتراضي له: الاحتمالية اللغارية السالبة (NLL)، والمعرفة كـ $-\log p$.

بينما تُعد NLL مثالية نظريًا لتدريب النماذج من الصفر في مهام التصنيف صغيرة النطاق، يرى المؤلفون أنها تنتهك فرضيات المثالية في مرحلة ما بعد التدريب لأنها:

1. المنطلقات المسبقة للمدربة مسبقًا (Pretrained Priors): تمتلك النماذج اللغوية الكبيرة بالفعل منطلقات ذات صلة بالمهام مستمدة من مجموعات بيانات التدريب المسبق الضخمة.
2. الإشراف المشوب بالضجيج (Noisy Supervision): غالبًا ما يتضمن ما بعد التدريب سلاسل طويلة من التفكير (CoT) حيث قد تكون الرموز (tokens) الوسيطة مشوبة بالضجيج أو غير مثالية، ومع ذلك تجبر NLL النموذج على تكرار كل رمز حرفيًا.

السؤال المركزي هو: هل NLL مثالية عالميًا لـ SFT، أم أن فعالية دالة الخسارة تعتمد على قدرة النموذج وطبيعة المهمة؟

2. المنهجية

أ. عائلة الأهداف الموحدة القائمة على الاحتمالات

يعمم المؤلفون هدف التدريب بما يتجاوز NLL. لقد حددوا عائلة من الأهداف التي يتم تمثيلها بمعلم (parameter) عبر دالة قابلة للاشتقاق وغير متزايدة $f: [0, 1] \to \mathbb{R}$:
$$L_f(\theta) = \mathbb{E}_{(x, \tilde{y}) \sim \mathcal{T}} \left[ f(p_\theta(\tilde{y} | x)) \right]$$
وقد قاموا بتحليل العائلة البارامترية التالية تحديدًا:
$$f_\alpha(p) = \frac{1 - p^\alpha}{\alpha}$$

• عندما تقترب $\alpha$ من $0$، فإن$f_\alpha(p) \to -\log p$ (وهي NLL القياسية).
• عندما تكون $\alpha = 1$، فإن $f_\alpha(p) = 1 - p$ (خسارة الاحتمالية الخطية).
• عندما تكون $\alpha > 1$، تصبح الدالة مقعرة (على سبيل المثال، $-p^{10}$).

ب. التحليل النظري: ديناميكيات التدرج

تحلل الورقة تدرج هذه الأهداف بالنسبة لـ "لوجيتات" (logits) النموذج. وقد اشتقوا حدًا وزنيًا $W_f(p)$ يحدد مقدار إشارة التعلم التي يساهم بها الرمز بناءً على احتماليته المتوقعة $p$:
$$W_f(p) = -f'(p) \cdot p(1-p)$$

• الأهداف المحدبة (مثل NLL، حيث $\alpha < 1$): يتم تعظيم $W_f(p)$ عند الاحتمالات المنخفضة ($p < 0.5$). هذه الأهداف هي "مناهضة للمنطلقات المسبقة" (Prior-Averse)؛ فهي تجبر النموذج على التعلم بكثافة من الرموز التي يتوقع حاليًا أنها غير مرجحة.
• الأهداف المقعرة (مثل $-p$، حيث $\alpha \ge 1$): يتم تعظيم $W_f(p)$ عند الاحتمالات العالية ($p > 0.5$). هذه الأهداف هي "مائلة للمنطلقات المسبقة" (Prior-Leaning)؛ فهي تعزز الرموز التي يتوقعها النموذج بالفعل بثقة عالية، مما يقلل فعليًا من وزن "الضجيج" ذي الاحتمالية المنخفضة.

ج. متصل قدرة النموذج (The Model-Capability Continuum)

يقدم المؤلفون بُعدًا حاسمًا يحكم أداء الهدف: متصل قدرة النموذج، والذي يُعرف بقوة المنطلق المسبق للنموذج الأساسي بالنسبة للمهمة.

1. النموذج القوي (Model-Strong - MS): يمتلك النموذج الأساسي بالفعل منطلقات قوية للمهمة (مثل الاستدلال الرياضي للنماذج التي تم تدريبها مسبقًا على بيانات رياضية). الاحتمالات المتوقعة للرموز الصحيحة تكون عالية قبل عملية الـ SFT.
2. النموذج الضعيف (Model-Weak - MW): لا يمتلك النموذج الأساسي أي منطلقات ذات صلة (مثل الألغاز الجديدة أو اللغات ذات الموارد المنخفضة). الاحتمالات المتوقعة تكون قريبة من العشوائية.
3. النموذج المتوسط (Model-Intermediate - MI): توجد منطلقات جزئية (مثل الاستدلال الطبي).

3. المساهمات الرئيسية

1. اكتشاف المتصل: تثبت الورقة أنه لا توجد دالة خسارة واحدة مثالية عالميًا. إن أداء الهدف ينعكس اعتمادًا على ما إذا كان النموذج في النطاق "القوي" أو "الضعيف".
2. الميل للمنطلقات مقابل مناهضة المنطلقات:
   • في النطاقات القوية للنموذج (MS): تتفوق الأهداف المائلة للمنطلقات المسبقة (مثل $-p$ أو NLL ذات العتبة) على NLL. فهي تتجاهل الرموز ذات الاحتمالية المنخفضة (والتي قد تكون ضجيجًا في الإشراف) وتركز على صقل التوقعات عالية الثقة.
   • في النطاقات الضعيفة للنموذج (MW): تهيمن الأهداف المناهضة للمنطلقات المسبقة (NLL). نظرًا لأن النموذج ليس لديه معرفة مسبقة، يجب عليه التعلم من جميع الرموز، بما في ذلك تلك التي يتوقعها في البداية بأنها غير مرجحة.
3. التبرير النظري: باستخدام تحليل تدفق التدرج، يثبت المؤلفون الشروط الكافية التي تحقق فيها الأهداف المائلة للمنطلقات تقليلًا أكبر للمخاطر في النطاقات القوية، بينما تكون NLL هي الأفضل في النطاقات الضعيفة.
4. آلية العتبة (Thresholding): يوضحون أن مجرد وضع عتبة لـ NFF لاستبعاد الرموز التي يكون فيها $p < 0.2$ يحاكي سلوك الأهداف المائلة للمنطلقات، مما يوفر بديلًا بسيطًا وفعالًا لدوال الخسارة المعقدة.

4. النتائج التجريبية

أجرى المؤلفون تجارب واسعة النطاق عبر 8 هياكل نماذج (backbones)، و27 معيارًا (benchmarks)، و7 مجالات.

• النموذج القوي (الاستدلال الرياضي):

  • في مجموعات بيانات مثل NuminaMath، تفوق الهدف المائل للمنطلقات ($-p$) وNLL ذات العتبة باستمرار على NLL القياسية.
  • النتيجة: تحسن يصل إلى 16% كنسبة مطلقة في الدقة على معايير مثل AIME24 وAMC23 مقارنة بـ NLL القياسية.
  • الآلية: كانت NLL القياسية تعوقها محاولة ملاءمة الرموز المنخفضة الاحتمالية والمشوبة بالضجيج.

• النموذج الضعيف (الألغاز واللغات ذات الموارد المنخفضة):

  • في ألغاز "figfont" الاصطناعية وضبط التعليمات للغات ذات الموارد المنخفضة، تفوقت NLL القياسية بشكل كبير على $-p$.
  • النتيجة: فشل $-p$ في التعميم لأنه عزز توقعات النموذج الأولية (الخاطئة) ذات الاحتمالية العالية، بينما أجبرت Nelle النموذج على التصحيح عبر التوزيع.

• النموذج المتوسط (الاستدلال الطبي):

  • في مجالات مثل الأسئلة الطبية، تقلصت الفجوة في الأداء بين $-p$ وNLL، ولم يتفوق أي منهما باستمرار. هذا يشير إلى وجود "منطقة محايدة" حيث يكون اختيار دالة الخسارة أقل أهمية من جودة البيانات.

• ضبط التعليمات العام:

  • في تجارب محاذاة المحادثة العامة، أظهرت التجارب أنه مع زيادة حجم النموذج (3B $\to$ 14B)، أصبح الهدف المائل للمنطلقات ($-p$) أكثر فعالية، مما نقل النموذج من نطاق MW إلى نطاق MS.

5. الأهمية والأثر

• تحول في النموذج الفكري: تتحدى الورقة الاعتقاد السائد بأن NLL هي دالة الخسارة "الأفضل" افتراضيًا لجميع مهام الـ SFT. وتجادل بأن الهدف الأمثل هو مرتبط بالسياق ومدى توافق التدريب المسبق للنموذج مع المهمة.
• إرشادات عملية:
  • للنماذج القوية في المهام المألوفة (الرياضيات، البرمجة)، يجب على الممارسين استخدام أهداف مائلة للمنطلقات المسبقة (مثل $-p$ أو $-p^{10}$ أو NLL ذات العتبة) لتجنب الإفراط في التخصيص (overfitting) للبيانات المشوبة بالضجيج.
  • للنماذج الضعيفة أو المجالات الجديدة، تظل NLL القياسية هي الخيار الأكثر قوة لضمان التعلم الواسع.
• الجسر إلى التعلم التعزيزي (RL): يشير المؤلفون إلى أن العديد من أهداف التعلم التعزيزي تعمل ضمنيًا كعمليات تحديث مائلة للمنطلقات (بالتركيز على التسلسلات عالية الاحتمالية). يوفر هذا العمل إطار عمل "خارج السياسة" (off-policy) خاضع للإشراف لتحقيق فوائد مماثلة دون تعقيد الـ RL.
• الكفاءة: التحسينات المقترحة (مثل وضع العتبة) رخيصة حسابيًا وسهلة التنفيذ، مما يوفر مكاسب فورية في خطوط أنابيب الـ SFT.

في الختام، تقدم الورقة إطارًا نظريًا وتجريبيًا رصينًا لتكييف أهداف الـ SFT مع مستوى القدرة المحدد للنموذج، متجاوزة النهج الذي يعتمد على "مقاس واحد يناسب الجميع" لدوال الخسارة.