🤖 AI

Supervised Fine-Tuning versus Reinforcement Learning: A Study of Post-Training Methods for Large Language Models

تقدم هذه الورقة إطاراً موحداً لمرحلة ما بعد التدريب للنماذج اللغوية الكبيرة من خلال التحليل الشامل للأدوار المتميزة والمترابطة لكل من الضبط الدقيق الخاضع للإشراف والتعلم التعزيزي، واستكشاف تكاملهما الهجين، وتحديد الاتجاهات الرئيسية وأفضل الممارسات للتطبيق الفعال بناءً على الأدلة التجريبية الحديثة.

المؤلفون الأصليون: Haitao Jiang, Wenbo Zhang, Jiarui Yao, Hengrui Cai, Sheng Wang, Rui Song

نُشر 2026-03-17

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Haitao Jiang, Wenbo Zhang, Jiarui Yao, Hengrui Cai, Sheng Wang, Rui Song

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك طالباً عبقرياً ومطلعاً يُدعى LLM. لقد قرأ هذا الطالب كل كتاب تقريباً في المكتبة (مرحلة ما قبل التدريب). إنه يعرف الكثير من الحقائق، ويستطيع كتابة الشعر، ويفهم قواعد اللغة. ولكن، إذا طلبت منه حل مسألة رياضية معينة ومعقدة أو كتابة كود برمجي لروبوت محدد، فقد يخطئ، أو يهلوِس (يختلق أشياءً)، أو يتصرف بأسلوب غير رسمي للغاية.

لتحويل هذا "الطالب العام" إلى "خبير متخصص"، تحتاج إلى إعطائه تدريباً إضافياً. هذه الورقة هي دليل إرشادي لطريقتين رئيسيتين لهذا التدريب: SFT و RL.

إليك التفصيل باستخدام تشبيهات بسية:

1. طريقتي التدريب

SFT (الضبط الدقيق الخاضع للإشراف): طريقة "نسخ المعلم"

التشبيه: تخيل أنك تريد تعليم طالبك لعب الشطرنج. تعطيه مجموعة من 1,000 مباراة لعبها "جراند ماستر" (لاعب كبير). تقول له: "انظر إلى الحركة (أ)، ثم الحركة (ب). فقط انسخ تماماً ما فعله المعلم".
كيف يعمل: يتعلم الطالب من خلال تقليد الأمثلة المثالية. إنه سريع، ومستقر، ورائع لتعلم "القواعد" والأنماط الأساسية.
الجانب السلبي: إذا واجه الطالب وضعية على رقعة الشطرنج لم تكن موجودة في الـ 1,000 مثال، فقد يتجمد أو يقوم بحركة غريبة لأنه يقلد فقط، وليس لأنه يفهم حقاً "لماذا" تعد الحركة جيدة. قد يقع أيضاً في فخ تكرار أخطاء المعلم إذا لم تكن الأمثلة مثالية.

RL (التعلم التعزيزي): طريقة "التجربة، الخطأ، والمكافأة"

التشبيه: الآن، ضع الطالب في بطولة شطرنج حقيقية. يلعب مباراة. إذا فاز، يحصل على نجمة ذهبية (مكافأة). إذا خسر، يحصل على بطاقة حمراء (عقوبة). ليس لديه نص مكتوب؛ بل عليه اكتشاف أفضل الحركات من خلال التجربة، والفشل، والتعلم من التغذية الراجعة.
كيف يعمل: يستكشف الطالب استراتيجيات مختلفة. إذا أدت الحركة إلى فوز، فإنه يتذكرها. وإذا أدت إلى خسارة، فإنه يتجنبها. هذا يساعده على التعميم والتعامل مع المواقف الجديدة والغريبة التي لم يسبق له رؤيتها.
الجانب السلبي: إنه أمر فوضوي ومكلف. قد يجرب الطالب آلاف الحركات السيئة قبل العثور على حركة واحدة جيدة. قد يتعلم أيضاً "الغش" (اختراق نظام المكافأة) للحصول على النجوم الذهبية دون اللعب بشكل جيد فعلياً.

2. الاكتشاف الكبير: إنهما قريبان، وليسا عدوين

لفترة طويلة، اعتقد الباحثون أن SFT و RL أداتان مختلفتان تماماً. تجادل هذه الورقة بأنهما في الواقع وجهان لعملة واحدة.

الرؤية: يمكنك في الواقع اعتبار "نسخ المعلم" (SSFT) مجرد نسخة خاصة وبسيطة من "الحصول على المكافآت" (RL). في SFT، "المكافأة" هي ببساطة: "هل نسخت الإجابة تماماً؟ نعم = جيد، لا = سيء".
الخلاصة: نظرًا لتشابههما الكبير، فإن الحيل المستخدمة لجعل أحدهما يعمل بشكل أفضل غالباً ما تعمل للآخر.

3. الاستراتيجية الرابحة: النهج الهجين

لاحظت الورقة اتجاهاً هائلاً من عام 2023 إلى 2025: توقف عن الاختيار بينهما؛ استخدم كليهما.

فكر في الأمر كتدريب رياضي:

المرحلة الأولى (SFT): أولاً، تجعلهم يشاهدون ساعات من لقطات الأولمبياد ويقلدون الأداء المثالي. هذا يضعهم على المسار الصحيح بسرعة.
المرحلة الثانية (RL): ثم، تضعهم في منافسة حقيقية. يستخدمون ما تعلموه من الفيديوهات لكنهم يتكيفون مع الضغط ومع الحركات المحددة لخصمهم، ويتلقون تغذية راجعة حول ما ينجح فعلياً.

لماذا نجمع بينهما؟

SFT يمنحهم أساساً متيناً حتى لا يبدأوا من الصفر.
RL يساعدهم على صقل ذلك الأساس، وتصحيح أخطائهم، ويجعلهم مبتكرين في حل المشكلات.

4. أين يحدث هذا؟

تنظر الورقة في أربع "رياضات" رئيسية يحدث فيها هذا التدريب:

الأسئلة والأجوبة العامة: مثل بطل المسابقات الثقافية. (SFT يعلم الحقائق؛ RL يعلم كيفية قول "لا أعرف" بدلاً من اختلاق الأشياء).
الرياضيات: مثل عبقري الرياضيات. (SFT يعلم الصيغ؛ RL يعلم المنطق خطوة بخطوة لحل مسألة لم يرها من قبل).
الوكلاء/العملاء (الروبوتات): مثل المساعد الشخصي. (SFT يعلم كيفية فتح الباب؛ RL يعلم كيفية التنقل في غرفة مليئة بالعقبات للحصول على كوب قهوة).
البرمجة: مثل مهندس البرمجيات. (SFT يعلم بناء الجمل البرمجية؛ RL يعلم كيفية تصحيح الكود الذي يتعطل).

5. الاتجاه المستقبلي

تشير الورقة إلى تحول في "النادي الرياضي" (مجتمع الأبحاث):

من "الدفع مقابل اللعب" إلى "المصدر المفتوح": في الماضي، كان الناس يستخدمون نماذج ذكاء اصطوي مغلقة ومكلفة لإنشاء بيانات التدريب. الآن، يستخدمون نماذج مفتوحة ومجانية لإنشاء مسائل التدريب الخاصة بهم.
من "الخطوة الواحدة" إلى "الخطوتين": نحن ننتقل من مجرد النسخ (SFT) أو مجرد التخمين (RL) نحو مسار هجين (Hybrid Pipeline) حيث يتم تعليم النماذج أولاً بواسطة الخبراء، ثم صقلها بواسطة أنظمة المكافأة.

الملخص

تقول هذه الورقة باختاًص: "لا تكتفِ بحفظ الكتاب المدرسي (SFT)، ولا تكتفِ بالتخمين في الظلام (RL). افعل كليهما. ابدأ بالتعلم من الأفضل، ثم تدرب حتى تتقن الأمر."

هذا المزيج هو "الخلطة السرية" التي تجعل الذكاء الاصطناعي أكثر ذكاءً، وأكثر موثوقية، وأفضل في حل المشكلات المعقدة في العالم الحقيقي.

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الضبط الدقيق الخاضع للإشراف مقابل التعلم التعزيزي: دراسة لطرق ما بعد التدريب للنماذج اللغوية الكبيرة" من إعداد جيانغ وآخرون.

1. بيان المشكلة

تمتلك النماذج اللغوية الكبيرة (LLMs) سابقة التدريب قدرات واسعة، لكنها غالباً ما تفشل في تحقيق دقة عالية، أو استدلال موثوق، أو براعة في مجالات محددة دون عملية "ما بعد التدريب" (Post-training). يعتمد المجال حالياً على نموذجين متميزين:

الضبط الدقيق الخاضع للإشراف (SFT): يدرب النماذج على محاكاة العروض التوضيحية من قبل الخبراء (أزواج من المحفز والاستجابة) لتعظيم الاحتمالية.
التعلم التعزيزي (RL): يحسن سلوك النموذج بناءً على إشارات المكافأة المستمدة من التغذية الراجعة البشرية أو الآلية.

بينما تُعامل هذه الطرق غالباً كمراحل منفصلة (عادةً SFT يليه RL، كما هو الحال في RLHF)، تشير الأدلة النظرية والتجريبية الحديثة إلى أنها مترابطة بعمق. تعالج الورقة البحثية غياب منظور موحد يقارن بشكل منهجي بين SFT وRL، ويدمج بينهما، ويشرح التفاعل بينهما. وتسعى لتوضيح متى يكون كل منهج أمثل، وكيف يمكن دمجهما، والتوجهات الناشئة في تطبيقاتهما عبر الأعوام 2023–2025.

2. المنهجية

تستخدم الدراسة نهج المسح الشامل والتحليل النظري، مهيكلة كما يلي:

التوحيد النظري: أثبت المؤلفون رياضياً أنه يمكن اعتبار SFT حالة خاصة من RL. لقد صاغوا هدف SFT كمسألة RL حيث تكون "المكافأة" عبارة عن دالة مؤشر ( $I\{y = y_i\}$ ) تساوي 1 إذا تطابقت مخرجات النموذج مع العرض التوضيحي الصحيح (ground-truth). يؤدي هذا إلى دالة هدف موحدة:
$\max_{\pi} \mathbb{E}[r(x, y)] - \beta \text{KL}(\pi_\theta \parallel \pi_0)$
حيث تعمل $r$ كمكافأة تقريبية (مشتقة إما من مكافآت صريحة في RL أو من المطابقة مع الحقيقة في SFT) و $\beta$ هو معامل التنظيم.
بناء التصنيف (Taxonomy): تصنف الورقة الأبحاث الموجودة إلى ثلاثة أبعاد رئيسية:
1. التركيز على الخوارزمية مقابل التركيز على البيانات: تحليل التحسينات في دوال الخسارة (مثل تنظيم الإنتروبيا، وتدرجات السياسة) مقابل استراتيجيات اختيار/توليد البيانات.
2. أطر التكامل: مراجعة الطرق التي تدمج SFT وRL، بما في ذلك خطوط التدريب الهجينة، وأهداف المرحلة الواحدة، وتقنيات التعزيز المتبادل.
3. مجالات التطبيق: فحص الأداء في الأسئلة والأجوبة العامة (General QA)، والرياضيات، والمهام الوكيلة (Agentic Tasks)، وتوليد الكود البرمجي.
تحليل الاتجاهات التجريبية: أجرى المؤلفون تحليلاً منهجياً للمنشورات من 2023 إلى 2025. استخدموا استراتيجية مطابقة الكلمات المفتاحية على مسودات arXiv لتصنيف الأوراق حسب المجال ومنهجية التدريب، مع توقع اتجاهات العام الكامل لعام 2025 بناءً على بيانات النصف الأول من العام.

3. المساهمات الرئيسية

تقدم الورقة ثلاث مساهمات أساسية للمجال:

المقارنة المنهجية والتوحيد: هي الدراسة الأولى التي تلخص صراحةً SFT وRL كأدوات متكاملة ضمن إطار نظري موحد. وتوضح أن SFT هو في الأساس RL بهيكل مكافأة محدد ومتفرق، مما يسمح بتطبيق التقنيات من أحد المجالين (مثل أخذ العينات بالأهمية في RL) على الآخر.
تحليل نموذج التدريب الهجين: يفصل المؤلفون كيف ينتقل البحث الحديث من خطوط أنابيب SFT $\to$ $\to$ RL المتسلسلة إلى النهج الهجينة. وتشمل هذه:
- التكامل في مرحلة واحدة: دمج خسائر SFT وRL في هدف واحد (مثل SRFT، UFT).
- التعزيز المتبادل: استخدام SFT لاستقرار استكشاف RL (مثل أخذ عينات البادئة، العروض التوضيحية غير المتصلة) واستخدام RL لتحسين تعميم SFT (مثل SFT المرجح بالمكافأة، والتعزيز السلبي).
- التبديل الديناميكي: خوارزميات تتنقل بين SFT وRL بناءً على أداء النموذج أو صعوبة المهمة.
تحديد الاتجاهات التجريبية: تحدد الدراسة تحولاً سريعاً في المشهد البحثي:
- هيمنة النهج الهجين: ارتفعت نسبة الأبحاث التي تستخدم خطوط أنابيب SFT+RL الهجينة، متجاوزةً نهج SFT الصرف أو RL الصرف بحلول 2024/2025.
- التحول في مصادر البيانات: هناك انتقال ملحوظ من الاعتماد على التسمية القائمة على واجهة برمجة التطبيقات (مثل GPT-4) إلى استخدام النماذج مفتوحة الأوزان لتوليد البيانات التدريبية والنتائج (rollouts).
- توسع المجالات: نمو كبير في تطبيقات الاستدلال الرياضي، والتخطيط الوكيل (Agentic Planning)، وتوليد الكود، حيث أظهرت الرياضيات والكود أعلى معدلات نمو.

4. النتائج والمكتشفات

الرؤية النظرية: يؤكد تحليل التدرج (Gradient analysis) أن التحسين باستخدام أهداف SFT وRL معاً ينهار في هدف RL موحد. وهذا يعني أن "الحيل" المطورة لأحدهما (مثل تنظيم الإنتروبيا أو قص KL) قابلة للتطبيق على الآخر.
مقايضات الأداء:
- SFT: يتفوق في المحاذاة الأولية، والاستقرار، وحفظ أنماط الخبراء، لكنه يعاني من انزياح التوزيع ومحدودية التعميم للمشكلات الجديدة.
- RL: يتفوق في الاستكشاف، والاستدلال خطوة بخطوة، والتعميم، ولكنه يخاطر بانهيار الإنتروبيا، و"اختراق المكافأة" (Reward Hacking)، وعدم الاستقرار بدون تهيئة قوية.
- الطرق الهجينة: تتفوق باستمرار على الطرق المنفردة من خلال الاستفة من SFT للاستقرار وRL للتحسين.
خصوصيات التطبيق:
- الرياضيات: حققت النهج الهجينة التي تستخدم عمليات Rollout وVerification خطوة بخطوة (مثل GRPO، وCritique-DPO) تحسينات كبيرة في قدرات الاستدلال.
- الوكلاء (Agents): يعد RL الهرمي المدمج مع SFT أمراً حاسماً للتخطيط طويل الأمد واختيار الإجراءات.
- الكود: أصبح RL مع التغذية الراجعة القابلة للتنفيذ (اختبارات الوحدة) مدمجاً مع SFT على الكود المصدري المفتوح هو المعيار لتوليد وتحرير الكود.
بيانات الاتجاهات (2023–2025):
- نما حجم البحث في مهام الكود بنسبة ~272% (من 2023 إلى 2024)، وفي الرياضيات بنسبة ~123%.
- ارتفعت نسبة الأوراق التي تستخدم تدريب الهجين (SFT+RL) من 20% في 2023 إلى ~74% في 2024، لتصبح النموذج المهيمن.
- انخفض الاعتماد على النماذج القائمة على واجهة برمجة التطبيقات (API) لتوليد البيانات من 32% إلى 11%، بينما تضاعف استخدام النماذج مفتوحة الأوزان.

5. الأهمية

تعد هذه الورقة مرجعاً تأسيسياً للجيل القادم من ما بعد تدريب النماذج اللغوية الكبيرة. وتكمن أهميتها في:

سد الفجوة: إنها تزيل الحاجز الاصطناعي بين SFT وRL، وتوفر أساساً نظرياً متماسكاً لسبب وكيفية دمجهما.
توجيه الأبحاث المستقبلية: تسلط الضة على الحاجة الملحة لمنهجيات كفؤة في العينات والحوسبة، حيث أن خطوط الأنابيب الهجينة الحالية تستهلك موارد ضخمة. كما تشير إلى تحدي التدريب تحت إشارات مكافأة متفرقة أو غير مباشرة (مثل ملاحظات المستخدم أو التقييم الذاتي).
توحيد الممارسات: من خلال توثيق التحول نحو مجموعات البيانات المولدة بواسطة النماذج مفتوحة الأوزان وخطوط الأنابيب الهجينة، فإنها ترسم الخطوط العريضة لـ "أفضل الممارسات" الناشئة للمحاذاة القابلة للتوسع والتعميم للنماذج اللغوية الكبيرة.

في الختام، تجادل الدراسة بأن مستقبل محاذاة النماذج اللغوية الكبيرة لا يكمن في الاختيار بين SFT أو RL، بل في دمجهما في أطر هجينة مرنة تستفيد من استقرار تعلم المحاكاة وقابلية التكيف للتحسين المدفوع بالمكافأة.