💬 NLP

Sharpness-Aware Pretraining Mitigates Catastrophic Forgetting

تُثبت هذه الورقة أن توجيه تحسين ما قبل التدريب نحو القيم الصغرى الأكثر تسطحاً من خلال طرق مثل تقليل الحدة (Sharpism-Aware Minimization)، أو معدلات التعلم الكبيرة، أو فترات التخميد القصيرة، يقلل بشكل كبير من النسيان الكارثي ويحسن الأداء في المهام اللاحقة عبر مختلف أحجام النماذج والمهام ما بعد التدريب.

المؤلفون الأصليون: Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

نُشر 2026-05-06

📖 3 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Ishaan Watts, Catherine Li, Sachin Goyal, Jacob Mitchell Springer, Aditi Raghunathan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتدريب شيف ماهر (النموذج الذكي) من خلال جعلهم يتذوقون ملايين الأطباق المختلفة (مرحلة ما قبل التدريب). الهدف هو جعلهم أفضل شيف ممكن قبل إرسالهم للعمل في مطبخ مطعم محدد (ما بعد التدريب/الضبط الدقيق).

لفترة طويلة، اعتقد الباحثون أن الشيء الوحيد الذي يهم هو جعل الشيف يتذوق "الأفضل" خلال مرحلة التدريب الأولية تلك. افترضوا أنه إذا بدأ الشيف كـ "متخصص عام مثالي"، فسيصبح تلقائياً متخصصاً بارعاً لاحقاً مهما حدث من تغييرات في المطبخ.

المشكلة: الشيف "الصلب"
تجادل هذه الورقة البحثية بأن هذا الافتراض خاطئ. فقد تبين أن بعض الطهاة يتم تدريبهم ليكونوا مثاليين بشكل "صلب" جداً في التذوق العام، مما يجعلهم ينكسرون بسهولة عند مطالبتهم بفعل شيء جديد.

فكر في الأمر مثل كرة مستقرة في وادٍ.

النهج القياسي (AdamW): يقوم بتدريب الشيف للجلوس في وادٍ عميق، ضيق، وحاد. هم جيدون جداً في البقاء في مكانهم تماماً. ولكن إذا دفعتهم قليلاً (مثل مطالبتهم بتعلم وصفة جديدة أو ضغط ذاكرتهم لتناسب جيباً أصغر)، فسوف يخرجون من الوادي فوراً. إنهم "ينسون" كل ما عرفوه.
حل الورقة البحثية (الوعي بالحدة - Sharpness-Aware): يدرب الشيف للجلوس في وادٍ واسع ومسطح. قد لا يكونون في أعمق نقطة في الوادي، لكنهم محاطون بأرض مسطحة. إذا دفعتهم، فلن يسقطوا؛ بل سيتدحرجون قليلاً ويبقون في أمان. إنهم "متينون".

ماذا فعل الباحثون؟
اختبر الفريق ثلاث طرق لتدريب هؤلاء الطهاة ذوي "الوادي المسطح" بدلاً من طهاة "الوادي الحاد":

طريقة "الهز" (SAM): استخدموا تقنية خاصة تسمى "تقليل الحدة الواعي" (Sharpness-Aware Minimization). تخيل أنه بينما يتعلم الشيف، تقوم بهز الطاولة بلطف. إذا كان لا يزال بإمكان الشيف تذوق الطعام بشكل صحيح أثناء هز الطاولة، فهذا يعني أنه يتعلم كيف يكون مستقراً. هذا يجبر النموذج على إيجاد تلك الوديان الواسعة والمسطحة.
طريقة "المسار السريع" (معدلات التعلم العالية): جعلوا الشيف يتعلم بشكل أسرع وأكثر عدوانية في البداية. هذا يشبه الجري في سباق؛ إذا ركضت بسرعة كافية، فستتجنب طبيعياً الوقوع في الحفر الصغيرة والعميقة في الطريق.
طريقة "التوقف السريع" (التقصير في التخميد - Shorter Annealing): عادةً ما ينتهي التدريب عن طريق إبطاء سرعة الشيف تدريجياً. وجد الباحثون أن إيقاف هذا الإبطاء مبكراً (الحفاظ على الوتيرة لفترة أطول) ساعد الشيف على البقاء في تلك المنطقة المستقرة والمسطحة.

النتائج
اختبروا هذه الطرق على نماذج بأحجام مختلفة (من الصغير إلى المتوسط والكبير) ووجدوا:

نسيان أقل: عندما طُلبت من هذه النماذج ذات "الوادي المسطح" مهام محددة لاحقاً (مثل الرياضيات أو البرمجة) أو تم ضغط ذاكرتها (الكمية - quantization) لتعمل بكفاءة أكبر، فقدت جزءاً أقل بك كثيراً من معرفتها الأصلية.
خدعة "منتصف التدريب": لست بحاجة لاستخدام طريقة "الهز" هذه طوال عملية التدريب، لأنها مكلفة. وجدوا أن استخدامها فقط في الـ 10% الأخيرة من التدريب (مرحلة التخميد) يعطي تقريباً كل الفوائد مقابل جزء ضئيل جداً من التكلفة.
إثبات من الواقع: اختبروا ذلك على نموذج ضخم بمليار معلمة (OLMo-2-1B). وعلى الرغم من أن النموذج الذي تدرب بهذه الطريقة بدأ "أضعف" قليلاً في المهام العامة، إلا أنه أصبح أفضل بنسبة 31% في تذكر مهاراته بعد تعلم الرياضيات، وأفضل بنسبة 40% في الحفاظ على مهاراته بعد ضغط حجمه من أجل الكفاءة.

الخلاصة الكبرى
تخلص الورقة البحثية إلى أننا لا ينبغي تدريب الذكاء الاصطناعي ليكون "الأفضل" عند خط البداية فحسب. بل يجب تدريبه ليكون مرناً ومستقراً حتى لا ينكسر عندما نغير بيئته لاحقاً.

إنه الفرق بين تدريب لاعب جمباز على اتخاذ وضعية مثالية وصلبة (تتحطم إذا مال الأرض) وبين تدريبه على امتلاك مركز ثقل قوي ومتوازن (يسمح له بالتكيف مع أي حركة جديدة دون السقوط). من خلال التركيز على هذا "التوازن" (التسطح) بدلاً من مجرد "الكمال" (الحدة)، نحصل على نماذج ذكاء اصطناعي أفضل بكثير في تعلم أشياء جديدة دون نسيان القديم.

ملخص تقني: التدريب المسبق الواعي بالحدة يخفف من النسيان الكارثي

بيان المشكلة

تُضبط استراتيجيات تحسين التدريب المسبق الحالية عادةً لتعظيم جودة النموذج الأساسي، والتي تُقاس بخسارة التدريب المسبق أو أداء المعايير المرجعية، تحت افتراض أن النموذج الأساسي الأقوى سينتج نموذجاً أقوى بعد التعديلات اللاحقة مثل الضبط الدقيق (ما بعد التدريب) أو التكميم (Quantization). ومع ذلك، تشير أعمال حديثة إلى أن هذا الافتراض قد يفشل: فمد وتوسيع التدريب المسبق إلى ما بعد نقطة معينة قد يحسن خسارة التدريب المسبق ولكنه يؤدي إلى تدهور الأداء بعد مرحلة ما بعد التدريب.

تتمثل المشكلة الجوهرية المحددة في أن تقييم النموذج الأساسي يتجاهل استقرار قدرات النموذج تحت تأثير تحديثات المعلمات (Parameters). النماذج التي تكون شديدة الحساسية لهذه التحديثات تعاني من "النسيان الكثروفي" (Catastrophic Forgetting)، حيث تفقد القدرات التي اكتسبتها أثناء التدريب المسبق بغض النظر عن قوتها الأولية. ترتبط هذه الحساسية بهندسة مشهد الخسارة (Loss Landscape)؛ وتحديداً، النماذج التي تتقارب نحو "أدنى حد حاد" (Sharp Minima) تكون أكثر عرضة لتدهور الأداء عند حدوث اضطرابات في المعلمات أثناء المهام اللاحقة.

المنهجية

يستقصي المؤلفون ثلاثة نهج لتحسين التدريب المسبق مصممة لتوجيه النموذج نحو أدنى حد أكثر تسطحاً (Flatter Minima)، مما يقلل من الحساسية للاضطرابات المحلية في المعلمات:

التقليل الواعي بالحدة (SAM - Sharpness-Aware Minimization): طريقة تحسين صريحة تعاقب انحناء الخسارة. يبحث SAM عن المعلمات $\theta$ التي تقلل الحد الأقصى للخسارة ضمن نصف قطر $\rho$ ، مما يجد فعلياً نقاط دنيا تظل ذات خسارة منخفضة تحت الاضطرابات الصغيرة.
زيادة معدلات ذروة التعلم (Increased Peak Learning Rates): نهج ضمني يعتمد على ظاهرة "حافة الاستقرار" (Edge of Stability)، حيث يُفترض أن معدلات التعلم الأكبر تقلل ضمنياً من القيمة العظمى للقيم الذاتية لمصفوفة هسيان (Hessian)، مما يقلل من حدة الخسارة.
تقصير فترة تبريد معدل التعلم (Shortened Learning Rate Annealing): تعديل جدول معدل التعلم لتقليل مدة مرحلة التلاشي (Decay) في نهاية التدريب، مدفوعاً بالبحث الذي وجد أن ديناميكيات المرحلة المتأخرة تؤثر بشكل كبير على الهندسة النهائية للحل.

تُقيم الدراسة هذه التدخلات عبر أحجام نماذج تتراوح من 20 مليون إلى 150 مليون معلمة، وتتحقق من صحتها على نطاق واسع باستخدام نموذج بمليار معلمة (OLMo-2-1B). ويركز التقييم على مقايضتين رئيسيتين:

مقايضة التعلم والنسيان (Learning-Forgetting Tradeoff): التوازن بين اكتساب قدرات جديدة (خسارة الضبط الدقيق) والاحتفاظ بالقدرات المكتسبة من التدريب المسبق (خسارة التدريب المسبق بعد الضبط الدقيق).
مقايضة الضغط والنسيان (Compression-Forgetting Tradeoff): تدهور القدرات عند ضغط النموذج عبر التكميم (مثل 4-بت).

كما يحلل المؤلفون مصفوفة "هسيان" للتحقق مما إذا كانت هذه الطرق تقلل بالفعل من حدة الاتجاه (Directional Sharpness) على طول اتجاه الضبط الدقيق، وما إذا كان تقريب تايلور من الدرجة الثانية للخسارة ينطبق على اضطرابات الضبط الدقيق.

المساهمات الرئيسية والنتائج

1. تحسين مقايضة التعلم والنسيان

عبر أكثر من 80 عملية تدريب مسبق و3,500 تجربة ضبط دقيق، يجد المؤلفون أن التدخلات الواعية بالحدة تحسن باستمرار مقايضة التعلم والنسيان:

أداء SAM: تحقق النماذج المدربة بـ SAM حدود باريتو (Pareto frontier) متفوقة مقارنة بـ AdamW القياسي. على سبيل المثال، في مجموعة بيانات StarCoder، يقلل SAM من النسيان بنسبة 80% عند تساوي خسارة الضبط الدقيق.
تأثيرات التوسع (Scaling Effects): تنمو ميزة SAM على AdamW مع زيادة ميزانية توكنات التدريب المسبق. بينما تصبح نقاط فحص AdamW أكثر حساسية مع زيادة التدريب (الإفراط في التدريب الكارثي)، يخفف SAM من ذلك، ويظهر أقوى الفوائد في أنظمة التوكنات العالية.
حجم النموذج: تستمر الفوائد بل وتنمو مع حجم النموذج (من 20 مليون إلى 150 مليون معلمة) عند التحكم في نسب التوكنات لكل معلمة.

2. المتانة لما بعد الضبط الدقيق

تمتد المتانة التي يمنحها التدريب المسبق الواعي بالحدة إلى اضطرابات أخرى لاحقة:

التكميم (Quantization): تظهر النماذج المدربة بـ SAM تدهوراً أقل بكثير في الأداء تحت التكميم بـ 4-بت. في أنظمة ميزانية التوكنات العالية، يحقق SAM زيادة في الخسارة الناتجة عن التكميم أقل بـ 2 إلى 3 مرات مقارنة بالنموذج المرجعي.
الاضطرابات الغاوسية (Gaussian Perturbations): النماذج المدربة باستخدام SAM أقل حساسية للضوضاء الغاوسية المتماثلة (Isotropic Gaussian Noise) المضافة إلى الأوزان، مما يشير إلى هندسة محلية أكثر متانة.

3. الطرق الضمنية والقابلية للتوسع العملي

ديناميكيات معدل التعلم: كلا النهجين (معدلات ذروة تعلم أعلى وفترات تبريد أقصر) يحسنان مقايضة التعلم والنسيان، حتى عندما ينتجان خسارة تدريب مسبق أسوأ قليلاً للنموذد الأساسي.
التدخل في منتصف التدريب: لمعالجة التكلفة الحسابية لـ SAM (والتي تضاعف الحوسبة لكل خطوة تقريباً)، يقترح المؤلفون تطبيق SAM فقط خلال مرحلة تبريد معدل التعلم (Annealing Phase).
- في التجارب على OLMo-2-1B، أدى تطبيق SAM فقط خلال الـ 10% الأخيرة من التدريب (منتصف التدريب) إلى تقليل النسيان بنسبة 31% بعد التدريب اللاحق لـ MetaMath وبنسبة 40% بعد التكميم بـ 4-بت، مقارنة بالنموذج المرجعي القياسي. هذا النهج يستخلص معظم الفائدة مع تكلفة حسابية ضئيلة.

4. تحليل هسيان (Hessian Analysis)

يتحقق البحث من حدسه النظري عبر تحليل مصفوفة هسيان:

التقريب التربيعي: يعمل توسع تايلور من الدرجة الثانية لخسارة النموذج كحد أعلى معقول للنسيان، خاصة للنماذج المدربة بـ SAM.
الحدة الاتجاهية: يقلل كل من SAM ومعدلات ذروة التعلم الأكبر صراحةً من الحدة الاتجاهية ( $\Delta_{FT}^\top H \Delta_{FT} / \|\Delta_{FT}\|^2$ ) على طول اتجاه الضبط الدقيق. إن تقليل النسيان مدفوع بتسطيح مشهد الخسارة هذا بدلاً من مجرد تقليل حجم خطوة الضبط الدقيق.

الأهمية والادعاءات

يزعم البحث أن حساسية المعلمات تجاه تحديثات ما بعد التدريب هي حلقة وصل حرجة، ولكن تم التغافل عنها، بين ديناميكيات التدريب المسبق والأداء اللاحق. يجادل المؤلفون بأن الممارسة القياسية المتمثلة في التحسين حصرياً لجودة النموذج الأساسي غير كافية.

تشمل الادعاءات الرئيسية ما يلي:

إعادة تعريف أهداف التدريب المسبق: يجب اختيار وصفات التدريب المسبق بناءً على جودة النموذج الأساسي وانخفاض الحساسية تجاه تغيرات المعلمات اللاحقة معاً.
التحسين من أجل سلسلة العمليات (Pipeline): يجب تحسين التدريب المسبق للنماذج اللغوية من أجل سلسلة تطوير النموذج الكاملة (بما في ذلك الضبط الدقيق، والمواءمة، والضغط) بدلاً من التركيز على نقطة الفحص الأساسية بمعزل عن غيرها.
الأثر العملي: يمكن للممارسين الحصول على فوائد متانة كبيرة من خلال نشر التقنيات الواعية بالحدة (مثل SAM) بشكل انتقائي خلال مراحل التدريب المتأخرة (التبريد) بدلاً من طوال عملية التدريب المسبق بأكملها، مما يجعل النهج قابلاً للتوسع.

يخلص المؤلفون إلى أن التعامل مع القدرة على التكيف وانخفاض الحساسية كمعايير تقييم أساسية يمكن أن يجعل النماذج المدربة مسبقاً نقاط انطلاق أقوى للتعديلات المستقبلية، حتى لو بدا النموذج الأساسي نفسه أضعف قليلاً وفقاً لمقاييس خسارة التدريب المسبق التقليدية.