💬 NLP

Pre-training LLM without Learning Rate Decay Enhances Supervised Fine-Tuning

تُثبت هذه الورقة أن استخدام جدول معدل تعلم يعتمد على مرحلة الإحماء والاستقرار فقط (WOS) دون مرحلة اضمحلال أثناء مرحلة ما قبل التدريب واسعة النطاق يعزز أداء الضبط الدقيق الخاضع للإشراف في المهام اللاحقة، وذلك من خلال الحفاظ على حد أدنى أكثر تسطحاً للخسارة، على الرغم من أن الجداول الزمنية القائمة على الاضمحلال قد تؤدي إلى خسارة أقل في مرحلة ما قبل التدريب.

المؤلفون الأصليون: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

نُشر 2026-03-18

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Kazuki Yano, Shun Kiyono, Sosuke Kobayashi, Sho Takase, Jun Suzuki

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب طالب عبقري ليصبح خبيراً عالمياً. لديك مرحلتان رئيسيتان:

سنوات الجامعة (ما قبل التدريب): يقرأ الطالب ملايين الكتب، ويتعلم القواعد، والحقائق، وكيفية عمل العالم.
فترة التدريب العملي (الضبط الدقيق): يتعلم الطالب كيفية تطبيق تلك المعرفة في وظائف محددة، مثل كتابة الأكواد البرمجية، أو تقديم المشورة الطبية، أو اتباع قواعد شركة صارمة.

لسنوات، كانت النصيحة القياسية لـ "سنوات الجامعة" هي: "ابدأ بطاقة عالية، ثم ابطئ تدريجياً حتى التوقف التام."

في عالم الذكاء الاصطناعي، هذه "الطاقة" هي معدل التعلم (Learning Rate). الطريقة القياسية (التي تسمى الاضمحلال الجيبي - Cosine Decay أو WSD) تخبر الذكاء الاصطناعي: "تعلم بسرعة في البداية، ولكن مع اقترابك من إنهاء درجتك العلمية، أبطئ وتيرة تعلمك لتصل إلى الصفر تقريباً". المنطق وراء ذلك هو أن الإبطاء يساعد الذكاء الاصطناعي على حفظ الكتب المدرسية بدقة، مما يحقق أدنى درجة خطأ ممكنة في امتحاناته النهائية.

هذه الورقة البحثية تقول: "توقفوا عن الإبطاء!"

اكتشف الباحثون أنه إذا حافظ الذكاء الاصطناعي على وتيرة تعلم ثابتة ومستمرة طوال الطريق حتى خط النهاية (وهي طريقة يسمونها WSO أو الاستقرار والتدريب المستمر فقط - Warmup-Stable-Only)، فإنه سيصبح في الواقع متدرباً أفضل.

إليك تفصيل نتائجهم باستخدام تشبيهات بسيطة:

1. "الطالب المثالي" مقابل "الطالب القابل للتكيف"

الطريقة القديمة (الاضمحلال): تخيل طالباً يدرس بجد لدرجة أنه يبطئ كثيراً في النهاية بحيث يحفظ الكتاب المدرسي حرفياً. يحصل على درجة مثالية في الامتحان النهائي (خسارة ما قبل التدريب). ولكن عندما يبدأ تدريبه العملي، يكون جامداً. إذا سأل المدير سؤالاً مختلفاً قليلاً، يتجمد الطالب لأنه عالق في حفظه "المثالي".
الطريقة الجديدة (WSO): تخيل طالباً يحافظ على وتيرة ثابتة ونشطة حتى اليوم الأخير. قد لا يحفظ الكتاب المدرسي بدقة مثل الطالب الأول (درجته في الامتحان النهائي أقل قليلاً). ومع ذلك، ولأنه أبقى عقله "نشطاً" ومرناً حتى النهاية، فهو أفضل بكثير في التعامل مع المشكلات الجديدة والواقعية خلال فترة تدريبه العملي.

2. تشبيه "الوادي" (مشهد الخسارة - Loss Landscape)

لفهم سبب حدوث ذلك، تخيل عملية التعلم كأنها متسلق يحاول العثور على أعمق نقطة في وادٍ (أفضل حل).

طريقة الاضمحلال: عندما يبطئ المتسلق في النهاية، فإنه يميل إلى الاستقرار في أخدود ضيق وعميق. إنها أدنى نقطة، لكنها ضيقة جداً. إذا حاولت التحرك ولو قليلاً (كما يحدث أثناء التدريب العملي)، ستصطدم بالجدران فوراً. هذا يسمى "الحد الأدنى الحاد" (Sharp Minimum).
طريقة WSO: من خلال الحفاظ على وتيرة ثابتة، يجد المتسلق مرجاً واسعاً ومنبسطاً في قاع الوادي. إنه ليس أعمق نقطة بالضرورة، ولكنه فسيح. إذا تحركت قليلاً، فلن تصطدم بجدار؛ بل ستظل في المرج. هذا يسمى "الحد الأدنى المسطح" (Flat Minimum).

السر السحري: عندما ينتقل الذكاء الاصطناعي من "الجامعة" إلى "التدريب العملي"، فإنه يحتاج إلى التحرك حول. الذكاء الاصطناعي الذي تم تدريبه بأسلوب "المرج المسطح" (WSO) يمكنه التكيف بسهولة دون الانهيار. أما الذكاء الاصطناعي الذي تم تدريبه بأسلوب "الأخدود الضيق" (الاضمحلال) فينهار بسهء عند مطالبته بفعل شيء جديد.

3. النتائج

اختبر الباحثون هذا على نماذج ذكاء اصطناعي بأحجام مختلفة (1 مليار و8 مليارات معلمة/Parameter).

قبل الضبط الدقيق: بدت نماذج "الاضمحلال" أفضل. كانت لديها معدلات خطأ أقل في الاختبارات القياسية.
بعد الضبط الدقيق (الاختبار الحقيقي): اكتسحت نماذج "WSO" النتائج. كانت أفضل في اتباع التعليمات، وقول الحقيقة، وحل المهام المعقدة.

الخلاصة الكبرى

لفترة طويلة، اعتقد باحثو الذكاء الاصطناعي أنه "إذا تعلم النموذج الأساسيات بشكل مثالي، فسيكون جيداً في كل شيء". تثبت هذه الورقة أن كونك مثالياً جداً في الأساسيات يمكن أن يضر بقدرتك على التكيف لاحقاً.

التوصية:
إذا كنت تريد بناء ذكاء اصطناعي مفيد حقاً في العالم الحقيقي، فلا تدعه "ينساب" نحو التوقف في نهاية تدريبه. حافظ على معدل تعلم ثابت. قد لا يبدو "الأذكى" على الورق، ولكنه سيكون الموظف الأكثر قدرة على التكيف والمساعدة بمجرد توظيفه.

باختصار: لا تدع ذكاءك الاصطناعي يبطئ سرعته مبكراً جداً. أبقهِ يعمل بكامل طاقته ليبقى مرناً بما يكفي لتعلم حيل جديدة لاحقاً!

إليك ملخص تقني مفصل للورقة البحثية بعنوان "التدريب المسبق للنماذج اللغوية الكبيرة دون اضمحلال معدل التعلم يعزز الضبط الدقيق تحت الإشراف" (ICLR 2026).

1. بيان المشكلة

عادةً ما يستخدم التدريب المسبق للنماذج اللغوية الكبيرة (LLM) مجدولات معدل تعلم تعتمد على الاضمحلال (مثل اضمحلال جيب التمام (Cosine decay)، أو الاضمحلال الخطي (Linear decay)، أو [WSD] "الإحماء-الاستقرار-الاضمحلال") لتقليل خسارة التدريب المسبق. والافتراض السائد هو أن تحسين هدف التدريب المسبق يؤدي مباشرة إلى أداء أفضل في المهام اللاحقة.

ومع ذلك، حدد المؤلفون فجوة حرجة:

عدم المثالية للمهام اللاحقة: تشير الدراسات الحديثة إلى أن النموذج الذي يتمتع بمقاييس تدريب مسبق متفوقة لا يؤدي بالضرورة إلى أداء أفضل بعد الضبط الدقيق تحت الإشراف (SFT).
عدم المرونة: غالبًا ما تكون المجدولات القائمة على الاضمحلال صلبة، وتتطلب ضبطًا تجريبيًا (heuristic tuning) عندما تخضع النماذج للتدريب المسبق المستمر أو التدريب المتوسط.
السؤال الجوهري: هل الممارسة القياسية المتمثلة في اضمحلال معدل التعلم إلى الصفر (أو ما يقرب من الصفر) أثناء التدريب المسبق تضر فعليًا بقدرة النموذج على التكيف مع مهام SFT اللاحقة، حتى لو أدى ذلك إلى تحسين خسارة التدريب المسبق؟

2. المنهجية

يقترح المؤلفون ويقيمون استراتيجية الإحماء-الاستقرار-فقط (WSO)، وهو مجدول يزيل مرحلة الاضمحلال تمامًا، ويحافظ على معدل تعلم ثابت بعد فترة الإحماء حتى نهاية التدريب.

الإعداد التجريبي

النماذج: أُجريت التجارب على نماذج ذات 1 مليار و 8 مليار معلمة (parameter) تتبع بنية Llama 3.
المجدولات المقارنة:
- WSO: إحماء + استقرار (معدل تعلم ثابت، $\alpha_{pre} = 1.0$ ).
- WSD: إحماء + استقرار + اضمحلال (اضمحلال خطي إلى $\alpha_{pre} \cdot \eta_{max}$ ).
- جيب التمام/الخطي (Cosine/Linear): جداول اضمحلال قياسية.
- الاختلافات: تم تغيير عامل الحد الأدنى لمعدل التعلم ( $\alpha_{pre}$ ) ($0.0, 0.1, 1.0$).
أنظمة التدريب:
1. مرحلتان: تدريب مسبق قياسي $\leftarrow$ SFT.
2. ثلاث مراحل: تدريب مسبق $\leftarrow$ تدريب متوسط $\leftarrow$ SFT (بدمج خطوط إنتاج حديثة مثل OLMo 2).
3. الإفراط في التدريب (Over-training): التدريب على كميات ضخمة من الرموز (Tokens) تصل إلى 2 تريليون رمز (~100 ضعف مثالية Chinchilla) لاختبار قابلية التوسع.
التقييم:
- التدريب المسبق/المتوسط: خسارة التحقق (validation loss) واختبارات الصفر (zero-shot benchmarks) مثل (ARC, HellaSwag, إلخ).
- ما بعد التدريب (SFT): الأداء في اتباع التعليمات (AlpacaEval)، والموثوقية (TruthfulQA)، وفهم المهام المتعددة (MMLU).
التحليل النظري: حلل المؤلفون هندسة مشهد الخسارة (loss landscape geometry) عن طريق قيض الحدة (Sharpness) (أثر مصفوفة هسيان - Trace of the Hessian matrix) باستخدام مُقدر Hutchinson لفهم سبب تفوق بعض المجدولات.

3. المساهمات الرئيسية

إثبات منهجي لتفوق WSO: تقدم الورقة دليلاً تجريبيًا على أن WSO يتفوق باستمرار على المجدولات القائمة على الاضمحلال في مهام SFT اللاحقة عبر أحجام نماذج مختلفة (1B, 8B) وأنظمة تدريب متنوعة (قياسي، تدريب متوسط، إفراط في التدريب).
انقلاب الأداء: تكشف الدراسة عن "انقلاب في الأداء": النماذج المدربة باستخدام مجدلات قائمة على الاضمحلال غالبًا ما تحقق أقل خسارة تحقق وأفضل درجات صفرية (zero-shot) أثناء التدريب المسبق، ومع ذلك فهي تسجل أداءً أقل من نماذج WSO بعد عملية SFT.
تحليل مشهد الخسارة: ربط المؤلفون الفجوة في الأداء بهندسة مشهد الخسارة. لقد أثبتوا أن المجدولات القائمة على الاضمحلال تدفع النماذج نحو أدنى حد حاد (sharper minima)، بينما يحافظ WSO على أدنى حد مسطح (flatter minima)، وهو ما يرتبط بقدرة أعلى على التكيف أثناء الضبط الدقيق.
القابلية للتعميم: تظل النتائج صحيحة حتى في سيناريوهات الإفراط في التدريب القصوى (2 تريليون رمز) وفي خطوط الإنتاج المعقدة متعددة المراحل التي تتضمن التدريب المتوسط.

4. النتائج الرئيسية

أ. انقلاب الأداء (التدريب المسبق مقابل SFT)

مقاييس التدريب المسبق: حققت المجدولات القائمة على الاضمحلال (تحديدًا الخطي وWSD مع $\alpha_{pre}=0.0$ ) عمومًا أقل خسارة تحقق وأفضل درجات اختبار الصفر التنافسية.
مقاييس SFT: حقق WSO ( $\alpha_{pre}=1.0$ $α_{p r e} = 1.0$ ) باستمرار أعلى درجات SFT (AlpacaEval, MMLU, TruthfulQA).
- مثال (نموذج 8B): حقق WSO تحسنًا نسبيًا قدره +1.1 في متوسط مهام SFT مقارنة بأفضل مجدول قائم على الاضمحلال، رغم امتلاكه خسارة تحقق أعلى (+0.127) في التدريب المسبق.
- مثال (نموذج 1B): أظهر WSO تحسنًا نسبيًا قدره +0.3 في أداء SFT.

ب. التدريب متعدد المراحل والإفراط في التدريب

التدريب المتوسط: في خطوط الإنتاج ثلاثية المراحل، أدى تطبيق الاضمحلال في أي مرحلة (تدريب مسبق أو تدريب متوسط) إلى تقليل أداء SFT النهائي. تم تحقيق أفضل النتائج عندما استخدم كل من التدريب المسبق والتدريب المتوسط استراتيجية WSO (معدل تعلم ثابت).
الإفراط في التدريب: حتى عند التدريب على 2 تريليون رمز (بعيدًا جدًا عن نظام Chinchilla الأمثل)، حافظ WSO على ميزته، مما أدى إلى أداء SFT متفوق مقارنة بنظرائه من الأنظمة القائمة على الاضمحلال.

ج. هندسة مشهد الخسية

الارتباط بالحدة: يوجد ارتباط سلبي قوي (معامل بيرسون $r \approx -0.71$ ) بين حدة مشهد الخسارة في نهاية التدريب المسبق وأداء SFT اللاحق.
الآلية:
- مجدولات الاضمحلال: مع اضمحلال معدل التعلم، يستقر النموذج في أدنى حد حاد (قيم حدة عالية، أعلى بـ ~2–3 أضعاف من WSO). وهذا يجعل النموذج حساسًا لتحديثات المعلمات، مما يؤدي إلى عدم الاستقرار أو انخفاض الأداء أثناء SFT.
- WSO: يحافظ على مشهد خسارة أكثر تسطحًا (حدة منخفضة). النماذج الموجودة في الحدود المسطحة تكون أكثر قوة تجاه اضطرابات المعلمات، مما يسمح لها بالتكيف بشكل أكثر فعالية مع توزيعات البيانات الجديدة أثناء SFT دون نسيان كارثي أو عدم استقرار.

5. الأهمية والآثار المترتبة

إعادة التفكير في أهداف التدريب المسبق: تتحدى الورقة العقيدة القائلة بأن تقليل خسارة التدريب المسبق هو الهدف النهائي. وتقترح أن التحسين من أجل خسارة التدريب المسبق قد يضر بالقدرة على التكيف اللاحقة.
استراتيجية تدريب عملية: بالنسبة للممارسين الذين يهدفون إلى إصدار نماذج للضبط الدقيق، فإن WSO هي استراتيجية متفوقة. فهي تبسط خط إنتاج التدريب (بإزالة الحاجة إلى ضبط جداول الاضمحلال) وتنتج نماذج "أكثر قابلية للنقل" وأسهل في التكيف.
توصيات إصدار النماذج: يوصي المؤلفون بإصدار النماذج اللغوية الكبيرة المدربة باستخدام WSO لتعظيم فائدتها للمطورين في المراحل اللاحقة.
رؤية نظرية: يربط هذا العمل الفجوة بين نظرية التحسين (التعميم في الحدود المسطحة) والتدريب واسع النطاق للنماذج اللغوية الكبيرة، مما يوفر آلية ملموسة (حدة مشهد الخسارة) توضح لماذا يمكن أحيانًا أن يكون "الإفراط في التدريب" أو "الاضمحلال" ضارًا بالضبط الدقيق.

الخاتية

تخلص الورقة إلى أن الإحماء-الاستقرار-فقط (WSO) هو مجدول معدل تعلم أكثر فعالية لخط إنتاج تطوير النماذج اللغوية الكبيرة بالكامل من الطرق التقليدية القائمة على الاضمحلال. ومن خلال تجنب مرحلة الاضمحلال، يحافظ WSO على حدود أكثر تسطحًا في مشهد الخسارة، مما يعزز بشكل كبير قدرة النموذج على التكيف أثناء الضبط الدقيق تحت الإشراف (SFT)، مما يؤدي في النهاية إلى أداء أفضل في العالم الحقيقي رغم احتمال ارتفاع خسارة التدريب المسبق.