💬 NLP

Reusing Overtrained Language Models Saturates Scaling

تثبت هذه الورقة تجريبياً أن إعادة استخدام النماذج اللغوية المفرطة في التدريب لغرض المزيد من التدريب المسبق تؤدي إلى عوائد متناقصة، حيث تنخفض كفاءة التوسع لوغاريتمياً مع حجم مجموعة بيانات التدريب المسبق الأولية، مما يكشف عن مقايضة جوهرية في استراتيجيات التدريب متعددة المراحل.

المؤلفون الأصليون: Seng Pei Liew, Takuya Kato

نُشر 2026-02-04

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Seng Pei Liew, Takuya Kato

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

الفكرة الكبرى: عندما يجعل "الإفراط في التدريب" تعلم أشياء جديدة أمراً صعباً

تخيل أنك تقوم بتدريب طالب موهوب جداً. تقضي سنوات في تعليمه المعارف العامة (التاريخ، العلوم، الأدب)، حتى يصبح خبيراً. الآن، تريد تعليمه مهارة محددة جديدة، مثل البرمجة أو الرياضيات المتقدمة.

عادةً، ستعتقد: "رائع! إنه يعرف الكثير بالفعل؛ سيتعلم الأشياء الجديدة بسرعة فائقة".

ومع ذلك، اكتشفت هذه الورقة البحثية تحولاً مفاجئاً: إذا تم تدريب الطالب بشكل مفرط على المعارف العامة، فإنه سيعلق فعلياً عند محاولة تعلم المهارة الجديدة. كلما زاد "الإفراط في تدريبه"، قلّت الفائدة التي يجنيها من التدريب الجديد. الأمر يشبه كون عقله قد أصبح صلباً للغاية لدرجة أنه لا يستطيع إعادة تشكيل نفسه بسهولة لتناسب المعلومات الجديدة.

يطلق الباحثون على هذا المصطلح "تشبع القياس" (Scaling Saturation). وقد وجدوا أنه إذا كنت تعيد استخدام نموذج سبق له رؤية كمية هائلة من البيانات، فإن إضافة المزيد من البيانات لاحقاً لا يساعد بقدر ما كنت تتوقع.

الطريقتان اللتان جربتاهما لـ "إعادة استخدام" النموذج

اختبر الباحثون طريقتين رئيسيتين لأخذ نموذج موجود بالفعل ومحاولة تحسينه دون البدء من الصفر:

التدريب المسبق المستمر (نهج "المتخصص"):
- التشبيه: تخيل طبيباً عاماً عاين ملايين المرضى. أنت تريد منه أن يصبح جراح قلب. تأخذ هذا الطبيب نفسه وتعطيه كتاباً جديداً في طب القلب.
- التجربة: أخذوا نموذجاً تم تدريبه على نصوص عامة من الإنترنت وحاولوا تعليمه البرمجة أو الرياضيات.
- النتيجة: إذا كان الطبيب قد قرأ بالفعل الكثير من الكتب العامة، فإن كتاب طب القلب الجديد لم يساعده على التحسن بقدر ما كان متوقعاً. لقد "تسطح" منحنى التعلم لديه.
نمو النموذج (نهج "العملاق"):
- التشبيه: تخيل روبوتاً صغيراً وفعالاً. تريد جعله أكثر ذكاءً، لذا لا تبني روبوتاً جديداً من الصفر، بل تقوم بلصق طبقات إضافية من "الدماغ" فوق الروبوت الحالي. تأمل أن الطبقات الجديدة يمكنها التعلم بسرعة لأن الطبقات القديمة ذكية بالفعل.
- التجربة: أخذوا نموذجاً صغيراً وقاموا حرفياً بتكديس طبقات إضافية فوقه (جعلوه أكبر) أو توسيع طبقاته.
- النتيجة: تماماً مثل المتخصص، إذا كان الروبوت الأصلي "مدرباً بشكل مفرط" بالفعل، فإن الروبوت الجديد الأكبر حجماً لم يتعلم بكفاءة مثلما كان سيفعل روبوت جديد تماماً يتم بناؤه من الصفر.

"قانون العائد المتناقص" (الجزء الرياضي)

الورقة البحثية لا تقول فقط "الأمر يزداد سوءاً"؛ بل وجدت قاعدة رياضية محددة لكيفية حدوث ذلك.

فكر في أداء النموذج مثل خزان مياه:

المياه: هي "الخسارة" (Loss) (مدى خطأ النموذج). أنت تريد أن ينخفض مستوى المياه.
المرحلة الأولى (D1): هي التدريب الأولي. كلما صببت مياهاً أكثر هنا (مزيد من الرموز/Tokens)، انخفض المستوى أكثر.
المرحلة الثانية (D2): هي تدريب إعادة الاستخدام. تصب المزيد من المياه لخفض المستوى بشكل أكبر.

الاكتشاف:
إذا ملأت الخزان حتى حافته خلال المرحلة الأولى (الإفراط في التدريب)، فإن الأنبوب الذي تستخدمه لصب الماء في المرحلة الثانية سيصبح مسدوداً.

كلما دربت النموذج في البداية أكثر، تباطأ انخفاض مستوى الماء في المرحلة الثانية.
وجدت الورقة أن هذا التباطؤ يتبع نمطاً يمكن التنبؤ به: الفائدة من التدريب الجديد تنخفض لوغاريتمياً مع زيادة التدريب الأولي.

المعادلة:
لقد صاغوا معادلة بسيطة للتنبؤ بذلك. وهي تقول باختصار:

كلما أفرطت في تدريب النموذج الأساسي، قلّت فعالية التدريب الجديد.

لماذا يحدث هذا؟ (الآلية)

نظر الباحثون تحت الغطاء لمعرفة سبب حدوث ذلك.

تشبيه "العضلة المتصلبة": تخيل لاعب رفع أثقال تدرب بقوة شديدة على حركة واحدة محددة لدرجة أن عضلاته أصبحت صلبة للغاية ومُحسنة لتلك الحركة بدقة. إذا طلبت منه تعلم رقصة جديدة تماماً، فإن عضلاته المتصلبة ستجعل من الصعب عليه التحرك بمرونة.
معايير التدرج (Gradient Norms): في الورقة، قاموا بقياس "معايير التدرج" (وهي طريقة تقنية لقياس مدى الجهد الذي يبذله النموذج للتعلم). وجدوا أن النماذج المدربة بشكل مفرط لديها معايير تدرج أكبر. وهذا يعني أن النموذج يصارع معرفته الحالية. الأمر يشبه محاولة تدوير ترس ثقيل وصدئ؛ يتطلب الأمر قوة كبيرة لتحريكه ولو قليلاً.

الخلاصة العملية: متى تبدأ من جديد؟

لذا، ماذا يجب على شركة أن تفعل إذا أرادت بناء ذكاء اصطناعي أفضل؟

تعطينا الورقة قاعدة عامة: لا تخشَ التخلص من نموذجك القديم.

إذا لم تكن قد دربت نموذجك الأساسي كثيراً: فإن إعادة استخدامه (توسيع حجمه أو ضبطه بدقة) هي اختصار رائع، فهي توفر المال والوقت.
إذا كنت قد دربت نموذجك الأساسي كثيراً (أفرطت في تدريبه): فإن إعادة استخدامه هي فخ. ستنفق الكثير من المال لتدريبه على بيانات جديدة، لكنه لن يتحسن كثيراً.
الحل: إذا كان النموذج الأساسي "متصلباً" جداً بسبب الإفراط في التدريب، فمن الأرخص والأسرع في الواقع تدريب نموذج جديد تماماً من الصفر بدلاً من محاولة إصلاح القديم.

الملخص

تحذرنا هذه الورقة البحثية من أنه في عالم الذكاء الاصطنا، "المزيد من التدريب" ليس دائماً أفضل. إذا دربت نموذجاً بشكل مفرط على بيانات عامة، فإنه يصبح صلباً. محاولة إعادة استخدام ذلك النموذج الصلب لمهام جديدة تصطدم بـ "سقف" حيث لا يؤدي الجهد الإضافي إلا إلى نتائج ضئيلة جداً. في بعض الأحيان، المسار الأكثر كفاءة هو التوقف عن محاولة إعادة استخدام النموذج القديم والبدء من جديد.

ملخص تقني: إعادة استخدام النماذج اللغوية المفرطة في التدريب تؤدي إلى تشبع التوسع

بيان المشكلة

يعد تدريب النماذج اللغوية الكبيرة (LLMs) من الصفر مكلفًا حوسبيًا ومستهلكًا للوقت. وللتخفيف من ذلك، يلجأ الباحثون بشكل متزايد إلى استراتيجيات إعادة استخدام النماذج، مثل التدريب المسبق المستمر (CPT) (تكييف النماذج الأساسية مع مجالات جديدة) ونمو النموذج (زيادة سعة النموذج عبر إعادة استخدام معاملات النموذج الأساسي). ورغم كون هذه الاستراتيجيات واعدة، إلا أن فعالية إعادة استخدام النماذج الأساسية المفرطة في التدريب (تلك التي تم تدريبها على أعداد هائلة من الرموز/Tokens) لا تزال غير واضئة. ومن الناحية الحدسية، قد تعيق المعاملات المحسنة للغاية في النماذج المفرطة في التدريب عملية الاستكشاف الفعال عند التكيف مع توزيعات بيانات جديدة أو توسيع السعة، مما يؤدي إلى ظاهرة تُعرف باسم "فقدان المرونة" (loss of plasticity). تبحث هذه الورقة في خصائص التوسع لهذه الاستراتيجيات لتحديد ما إذا وكيف يحد الإفراط في التدريب من فوائد مرحلة التدريب الثانية.

المنهجية

أجرى المؤلفون تجارب مضبوطة واسعة النطاق تضمنت أكثر من 450 عملية تشغيل عبر أحجام نماذج مختلفة (من 15 مليون إلى 1 مليار معلمة) ومجموعات بيانات متنوعة.

الإعداد التجريبي:
- البنية: محولات (Transformers) من نوع "Decoder-only" (على طراز LLaMA) مع تنشيطات SwigLU وتضمينات الموضع الدوارة (Rotary Position Embeddings).
- التدريب ذو المرحلتين:
  1. المرحلة الأولى (النموذج الأساسي): تدريب مسبق على بيانات إنترنت عامة (Slimpajama-DC، وجزء من CommonCrawl) لعدد $D_1$ من الرموز.
  2. المرحلة الثانية (إعادة الاستخدام):
    - التدريب المسبق المستمر (CPT): تدريب إضافي على بيانات متخصصة في مجال معين (البرمجة: Stack/StarCoder؛ الرياضيات: OpenWebMath).
    - نمو النموذج: زيادة السعة عبر توسيع العرض (Width Expansion) باستخدام تهيئة الحفاظ على الدوال، أو التكديس عبر العمق (Depth-wise Stacking) عبر نسخ الطبقات.
- المتغيرات: قامت الدراسة بتغيير عدد رموز المرحلة الأولى ( $D_1$ )، ورموز المرحلة الثانية ( $D_2$ )، وحجم النموذج ( $N$ ) بشكل منهجي.
- تكوين التدريب: استخدام الدقة المختلطة (bfloat16)، ومحسن AdamW، وجدول تعلم (WSD) يتكون من (Warmup-Stable-Decay).
صياغة قانون التوسع:
سعى المؤلفون لإيجاد شكل دالي $L(D_1, D_2)$ يصف خسارة التحقق (validation loss) بعد المرحلة الثانية. وقد اختبروا عدة فرضيات مقابل البيانات التجريبية:
1. متعدد الضرب مع التفاعل: $L(D_1, D_2) = A D_1^{-\alpha_1} D_2^{-(\alpha_2 + \alpha_3 \log D_1)} + E$
2. الجمع (Additive): $L(D_1, D_2) = A D_1^{-\alpha_1} + F D_2^{-\alpha_2} + E$
3. الهجين (Hybrid): $L(D_1, D_2) = (A D_1^{-\alpha_1} + F) D_2^{-\alpha_2} + E$
4. التوسع المستمر (Continuous Scaling): $L(D_1, D_2) = A(D_1 + D_2)^{-\alpha} + E$ (بافتراض استمرارية البيانات).

قام المؤلفون بملاءمة هذه الأشكال باستخدام تحسين خسارة Huber وتقييمها عبر خطأ جذر متوسط المربعات (RMS) بنظام "ترك واحد خارج المجموعة" (leave-one-out).

المساهمات الرئيسية

قانون توسع تجريبي لإعادة استخدام النماذج: تثبت الورقة أن أس لـ التوسع بالنسبة لرموز المرحلة الثانية ( $D_2$ ) ينخفض لوغاريتميًا مع زيادة عدد رموز المرحلة الأولى ( $D_1$ ). ويتم التقاط ذلك عبر حد التفاعل $\alpha_3 \log D_1$ في أس التوسع.
تكميم التشبع: يوضح المؤلفون أن إعادة استخدام النماذج الأساسية المفرطة في التدريب تؤدي إلى تشبع متوقع في كفاءة التوسع. فمع نمو $D_1$ ، تتضاءل الفائدة الهامشية لرموز $D_2$ الإضافية بشكل كبير.
التوسع المشترك مع حجم النموذج: تم تمديد قانون التوسع ليشمل حجم النموذج ( $N$ ) بشكل مشترك، مما يسمح باستقراء الأداء إلى نماذج ومجموعات بيانات أكبر.
التحليل الآلي والنظري:
- التحليل الآلي: يكشف تحليل معايير التدرج (gradient norms) أن النماذج المفرطة في التدريب تظهر معايير تدرج أكبر أثناء تدريب المرحلة الثانية، مما يشير إلى زيادة صعوبة الأمثلة (optimization) وتدرج أكثر حدة في سطح الخسارة.
- التحليل النظري: تم اقتراح نموذج تجريبي يعتمد على نظرية منحنى التعلم ومبادئ الحد الأقصى للإنتروبيا لتفسير التشبع اللوغاريتمي لأس التوسع، حيث يتم نمذجة اكتشاف الميزات كبحث في شجرة حيث يتم تعديل عامل التفرع الفعال بواسطة تدريب المرحلة الأولى.

النتائج الرئيسية

أفضل نموذج ملاءمة: حقق قانون التوسع المتعدد بالضرب مع حد التفاعل (المعادلة 1) باستمرار أدنى خطأ RMS عبر جميع مجموعات البيانات (البرمجة، الرياضيات) وجميع الطرق (CPT، نمو النموذج) مقارنة بصيغ التوسع الجمعية أو الهجينة أو المستمرة.
تأثير التشبع:
- بالنسبة لـ $D_1$ ثابت، تتبع الخسارة قانون القوة بالنسبة لـ $D_2$ .
- ومع ذلك، فإن الأس $\alpha_{eff} = \alpha_2 - \alpha_3 \log D_1$ ينخفض مع زيادة $D_1$ .
- هذا يعني أنه بالنسبة للنماذج الأساسية المفرطة في التدريب (كبيرة $D_1$ )، تصبح العوائد من رموز تدريب المرحلة الثانية الإضافية هامشية بشكل متزايد.
نقطة التقاطع (Crossover Point): من خلال مقارنة قوانين توسع إعادة استخدام النماذج مقابل التدريب من الصفر، حدد المؤلفون "نقطة تقاطع": بالنسبة لـ $D_2$ الصغيرة، يكون نمو النموذج أكثر كفاءة. ومع ذلك، مع زيادة $D_2$ ، يتسبب تشبع النموذج المعاد استخدامه في تفوق نهج "التدريب من الصفر" في نهاية المطاف. تعتمد هذه العتبة على الاستثمار الأولي ( $D_1$ ) وحجم النموذج.
معايير التدرج: تظهر النماذج المفرطة في التدريب معايير تدرج أكبر أثناء إعادة الاستخدام، مما يوفر تفسيرًا آليًا للتشبع الملحوظ (أي أن النموذج يقع في منطقة حساسة للغاية من فضاء المعلمات).
القيود: يتنبأ قانون التوسع بنقطة تقاطع نظرية حيث يصبح التدريب من الصفر متفوقًا. ومع ذلك، في التجارب ذات $D_2$ الضخمة جدًا (تصل إلى نسبة 2000 ضعف عدد المعلمات)، دخلت البيانات في مستوى ضجيج (noise floor)، مما منع التأكيد التجريبي الحاسم لنقطة التقاطع للنماذج الأكبر.

الأهمية والادعاءات

تدعي الورقة أنها توفر رؤى عملية لتدريب النماذج اللغوية بكفاءة من خلال تكميم المقايضات في التدريب متعدد المراحل.

توجيه للممارسين: تقدم قوانين التوسع المستمدة استراتيجية قائمة على البيانات لتقرير متى يجب التدريب من الصفر مقابل إعادة استخدام نموذج أساسي. إذا تجاوزت ميزانية التدريب المستهدفة ( $D_2$ ) عتبة معينة بالنسبة للإفراط في تدريب النموذج الأساسي ( $D_1$ )، فقد يكون التدريب من الصفر أكثر مثالية حوسبيًا.
المقايضة الجوهرية: يسلط العمل الضوء على مقايضة جوهرية: كلما زاد تدريب النموذج الأساسي بشكل مكثف، قلّت فائدة التدريب الإضافي. وهذا يتحدى الافتراض بأن إعادة استخدام أي نموذج مدرب مسبقًا هو دائمًا أفضل من التدريب من الصفر.
النطاق: يذكر المؤلفون صراحةً أن نتائجهم قوية لمنهجيات التدريب القابلة للتوسع الحالية (حتى 1 مليار معلمة) لكنهم يقرون بأن السلوك عند المقاييس الضخمة جدًا (ما بعد نقطة التقاطع) يظل مشكلة مفتوحة بسبب القيود الحوسبية. هم لا يدعون أنهم قضوا على تأثيرات التشبع، بل قاموا بنمذجتها وفهمها للتخفيف من العواقب السلبية.

تخلص الورقة إلى أنه بينما تعد إعادة استخدام النماذج استراتيجية واعدة، فإن فعاليتها محدودة بالإفراط في تدريب النموذج الأساسي، وهذا التشبع هو ظاهرة يمكن التنبؤ بها وقياسها تحكمها قوانين توسع محددة.