💬 NLP

Scaling with Collapse: Efficient and Predictable Training of LLM Families

تُثبت هذه الورقة أن منحنيات خسارة التدريب لعائلات النماذج اللغوية الكبيرة تنهار لتستقر على مسار عالمي موحد في ظل وصفات القياس المثلى، مما يرسخ هذه الظاهرة كعلامة مميزة للتدريب الفعال من حيث الحوسبة والذي يتيح الكشف المبكر عن الاعتلالات والضبط الفعال للمعلمات الفائقة، وهو ما استغله المؤلفون لتطوير عائلة نماذج *Celerity* التنافسية.

المؤلفون الأصليون: Shane Bergsma, Bin Claire Zhang, Nolan Dey, Shaheer Muhammad, Gurpreet Gosal, Joel Hestness

نُشر 2026-03-03

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Shane Bergsma, Bin Claire Zhang, Nolan Dey, Shaheer Muhammad, Gurpreet Gosal, Joel Hestness

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم مجموعة من الطلاب من أحجام مختلفة — من طفل في الروضة إلى طالب دكتوراه — نفس الموضوع المعقد.

في عالم الذكاء الاصطناوي، هؤلاء "الطلاب" هم النماذج اللغوية الكبيرة (LLMs). عادةً، عندما يقوم الباحثون بتدريب هذه النماذج، يصطدمون بحائط: الحجم غير قابل للتنبؤ به. فالاستراتيجية التي تعمل بشكل مثالي لنموذج صغير قد تفشل فشلاً ذريعاً مع نموذج ضخم. الأمر يشبه محاولة استخدام وصفة لقطعة كعك واحدة لخبز كعكة تكفي لألف شخص؛ فالحسابات لا تتطابق، وغالباً ما ينتهي بك الأمر بعجينة محترقة أو نيئة.

هذه الورقة البحثية، "Scaling with Collapse" (التوسع مع الانهيار)، تقدم طريقة ثورية لتدريب هذه النماذج تجعل العملية قابلة للتنبؤ، وفعالة، بل وتسمح لنا برصد المشكلات قبل أن تفسد الدفعة بأكملها.

إليك التفاصيل باستخدام تشبيهات بسيطة:

1. المشكلة: فوضى "Llama-2"

نظر المؤلفون في نماذج شهيرة مثل Llama-2. ولاحظوا أنه عند تدريب نموذج بـ 7 مليارات معلمة (parameter) ونموذج آخر بـ 70 مليار معلمة، فإن "منحنيات التعلم" الخاصة بهما (الرسوم البيانية التي توضح مدى جودة تعلمهما بمرور الوقت) تبدو مختلفة تماماً.

التشبيه: تخيل اثنين من العدائين؛ أحدهما عداء مسافات قصيرة (سبرينتر)، والآخر عداء ماراثون. إذا رسمت مسار تقدمهما، ستجد مساراتهما فوضوية ولا تتطابق. لا يمكنك معرفة ما إذا كان عداء الماراثون يبلي بلاءً حسناً بمجرد النظر إلى سرعة عداء المسافات القصيرة. هذا يجعل تدريب النماذج الضخمة لعبة "تخمين وتجربة"، وهي عملية مكلفة وبطيئة للغاية.

2. الاكتشاف: "الانهيار العظيم"

وجد الباحثون "الخلطة السرية". إذا قمت بضبط إعدادات التدريب بدقة، ستبدأ جميع النماذح ذات الأحجام المختلفة فجأة في الركض على نفس المسار تماماً.

يطلقون على هذا اسم "الانهيار" (Collapse).

التشبيه: تخيل أن لديك خريطة لجبل. إذا قمت بعمل زووم (تكبير) على تلة صغيرة أو قمت بعمل زووم للخارج لرؤية سلسلة جبال ضخمة، سيبدو شكل المنحدر مختلفاً. ولكن، إذا قمت بتوحيد مقياس الخريطة (ضبط المقياس)، ستدرك أن كل جبل له نفس ملف تعريف المنحدر تماماً.
في الورقة البحثية، يظهر المؤلفون أنه إذا قمت بضبط ثلاثة "مقابض" محددة (كمية البيانات التي يراها النموذج لكل معلمة، ومدى سرعة "نسيان" المحسن للأخطاء القديمة، وجدول معدل التعلم)، فإن منحنيات التعلم لنموذج بـ 300 مليون معلمة ونموذج بـ 3.9 مليار معلمة تنهار لتصبح خطاً واحداً عالمياً.

3. المقابض السحرية الثلاثة

لتحقيق هذا "الانهيار"، يجب عليك ضبط ثلاثة أشياء بدقة:

TPP (الرموز لكل معلمة - Tokens Per Parameter): كمية "المواد القرائية" التي يحصل عليها كل جزء من الدماغ لدراستها.
$\tau$ (تاو - مقبض الذاكرة): يتحكم في المدة التي يتذكر فيها النموذج أخطاءه الماضية. فكر في الأمر كذاكرة الطالب قصيرة المدى؛ إذا كانت الذاكرة قصيرة جداً، سينسى ما تعلمه للتو، وإذا كانت طويلة جداً، سيعلق في الأخطاء القديمة. وجد البحث عن إعداد "المنطقة الوسطى المثالية" (Goldilocks) لهذا المقياس بناءً على كمية البيانات المستخدمة.
جدول معدل التعلم (Learning Rate Schedule): مدى سرعة التعلم في البداية مقابل النهاية.

عند ضبط هذه الأشياء الثلاثة بشكل صحيح، تتصرف النماذج بجميع أحجامها بشكل متطابق.

4. لماذا يهم هذا: قوتان خارقتان

بمجرد الحصول على هذا "الانهيار"، تحصل على قوتين خارقتين:

أ. "الكناري في منجم الفحم" (نظام إنذار مبكر)

عادةً، عندما تسوء عملية التدريب (بسبب خلل في الكمبيوتر أو بيانات سيئة)، قد يبدو منحنى الخسارة (معدل الخطأ) جيداً لفترة طويلة قبل أن يرتفع فجأة. وبحلول الوقت الذي ترى فيه هذا الارتفاع، تكون قد أهدرت ملايين الدولارات من قدرة الحوسبة.

التشبيه: تخيل أنك تقود أسطولاً من السيارات. إذا بدأت سيارة واحدة في الانحراف قليلاً عن الطريق العالمي الموحد، ستعرف فوراً أن هناك خطأ ما في محرك تلك السيارة تحديداً، حتى لو لم يتغير عداد السرعة بعد.
النتيجة: استخدم المؤلفون هذا لرصد خطأ حاسوبي خفي في نموذجهم (1.8 مليار معلمة) قبل أسابيع من ظهور الخطأ للعين المجردة. قاموا بإصلاحه وأنقذوا عملية التدريب.

ب. "البلورة السحرية" (التوقف المبكر)

يستغرق تدريب نموذج ذكاء اصطناعي ضخم شهوراً ويكلف ثروة. عادةً، عليك الانتظار حتى النهاية لترى ما إذا كانت إعداداتك (مثل حجم الدفعة أو معدل التعلم) جيدة أم لا.

التشبيه: تخيل أنك تخبز 100 دفعة مختلفة من الكعك للعثور على الوصفة المثالية. عادةً، عليك الانتظار حتى تُخبز جميع الدفعات وتبرد تماماً لتتذوقها، وهذا يستغرق وقتاً طويلاً جداً.
النتيجة: لأن جميع المنحنيات تنهار على مسار يمكن التنبؤ به، يمكن للمؤلفين النظر إلى "كعكة" بعد مرور 10% إلى 30% فقط من وقت الخبز. ومن خلال مقارنة هذه الكعكة الجزئية بـ "الوصفة العالمية"، يمكنهم التنبؤ بالضبط كيف سيكون طعم الكعكة النهائية. يمكنهم إيقاف الدفعات السيئة مبكراً وتوفير الكثير من الوقت والمال.

5. النتيجة: "Celerity"

باستخدام هذه الرؤى، بنى الفريق عائلة جديدة من النماذج تسمى Celerity.

قاموا بتدريب هذه النماذج لتكون عالية الكفاءة (باستخدام قدرة حوسبية أقل للحصول على نفس مستوى الذكاء).
أثبتوا أنه من خلال الالتزام بقواعد "الانهيار"، يمكنهم بناء نماذج تنافس أكبر وأغلى النماذج الموجودة، ولكن بكسر ضئيل من الهدر.

الملخص

هذه الورقة البحثية تشبه العثين على "القواعد العالمية للتعلم" للذكاء الاصطناعي.

قبل: كان تدريب الذكاء الاصطناعي يشبه محاولة تعليم فصل دراسي حيث يحتاج كل طالب إلى خطة درس مختلفة وغير متوقعة تماماً.
الآن: وجدنا أنه إذا ضبطنا "الذاكرة" و"سرعة القراءة" الصحيحة، فإن كل طالب، من الأصغر إلى الأكبر، يتعلم بنفس الإيقاع تماماً.
الفائدة: يمكننا الآن التنبؤ بمستقبل عملية التدريب، ورصد الأخطاء فوراً، والتوقف عن إضاعة المال في التجارب السيئة. لقد حول هذا تدريب الذكاء الاصطناعي من مقامرة فوضوية إلى علم دقيق وقابل للتنبؤ.

إليك ملخص تقني مفصل لورقة البحث "Scaling with Collapse: Efficient and Predictable Training of LLM Families" من إعداد بيرغسما وآخرون (Cerebras Systems).

1. بيان المشكلة

يعتمد تدريب النماذج اللغوية الكبيرة (LLM) على "قوانين القياس" (scaling laws) للتنبؤ بالأداء بناءً على حجم النموذج ( $N$ ) وحجم مجموعة البيانات ( $D$ ). ومع ذلك، بينما يمكن التنبؤ بالخسارة النهائية والبارامترات الفائقة المثلى، إلا أن شكل منحنى خسارة التدريب (TLC) عبر أحجام النماذج المختلفة ظل أقل فهمًا.

أظهر عمل حديث (Qiu et al., 2025) أن منحنيات TLC يمكن أن "تنهار" (collapse) لتتخذ مسارًا عالميًا موحدًا تحت ظروف محددة (Maximal Update Parameterization, $\mu$ P) في المهام صغيرة النطاق. ومع ذلك، لم يكن واضحًا ما إذا كانت هذه الظاهرة ستستمر في تدريب النماذج اللغوية الكبيرة العملية حيث يتم قياس العرض (width)، والعمق (depth)، وحجم الدفعة (batch size)، واضمحلال الوزن (weight decay) بشكل مشترك. وبدون هذا القدر من القدرة على التنبؤ، يواجه الممارسون صعوبة في:

تشخيص اعتلالات التدريب (مثل طفرات الخسارة أو عدم الاستقرار العددي) في وقت مبكر.
تحديد ما إذا كان النموذج قد تم تدريبه بأقل من المستوى المطلوب أم تجاوز الحد المطلوب.
ضبط البارامترات الفائقة (hyperparameters) بكفاءة للنماذج الضخمة دون الحاجة لتشغيلها حتى النهاية.

2. المنهجية

يتقصى المؤلفون الشروط المطلوبة لكي تنهار (collapse) منحنيات TLC عبر مقاييس النماذج، ويقدمون عائلة نموذج جديدة، Celerity، تم تدريبها تحت هذه الظروف.

الضوابط النظرية الرئيسية

تحدد الورقة ثلاثة ضوابط حاسمة يجب مواءمتها عبر أحجام النماذج لتحقيق الانهيار:

الرموز لكل بارامتر (Tokens-Per-Parameter - TPP): وهي نسبة إجمالي رموز التدريب ( $D$ ) إلى بارامترات النموذج ( $N$ ). وهذا يحدد وتيرة التحسن النسبية.
الجدول الزمني لـ AdamW ( $\tau$ ): ويُعرف بـ $\tau = \frac{B}{\eta \lambda D}$ $τ = \frac{B}{η λ D}$ ، حيث $B$ $B$ هو حجم الدفعة، و $\eta$ $η$ هو معدل التعلم، و $\lambda$ $λ$ هو اضمحلال الوزن. يتحكم هذا البارامتر في المقايضة بين الانحياز والتباين (bias-variance trade-off) في المتوسط المتحرك الأسي (EMA) للتدرجات في المحسن (optimizer).
- النتيجة: $\tau$ الأمثل ليس ثابتًا؛ بل يتدرج كقانون قوة (power law) مع TPP.
جدول معدل التعلم (LR Schedule): وتحديدًا، تدعو الورقة إلى جدول الاضمحلال الخطي وصولًا إلى الصفر (D2Z)، والذي يوازن بين تقليل الانحياز في المراحل المبكرة وتقليل التباين في المراحل المتأخرة.

عائلة نموذج Celerity

لإثبات هذه المبادئ، دربت عائلة المؤلفين من النماذج اللغوية الكبيرة Celerity (تتراوح من 300 مليون إلى 3.9 مليار بارامتر) باستخدام:

نطاقات TPP ثابتة: تم تدريب النماذج عند نسب TPP محددة (20، 80، و234).
تدرج $\tau$ الأمثل: لكل نطاق TPP، تم ضبط $\tau$ على نماذج وسيطة صغيرة ثم نقلها إلى المقاييس الأكبر باستخدام قانون القوة المستخلص.
التمثيل (Parameterization): استخدام CompleteP (وهو امتداد لـ $\mu$ P يتعامل مع قياس العمق) وتنشيطات SwiGLU.
البيانات: مزيج منسق من البيانات التعليمية، والرياضيات، والبرمجة (FineWeb-Edu، StarCoder، إلخ)، بدلاً من عمليات المسح العام للويب.

النمذجة التنبؤية للإيقاف المبكر

يقترح المؤلفون صيغة دالية للتنبؤ بمنحنيات TLC الموحدة:
$\hat{\ell}(\hat{t}) \approx \left(\frac{1+\epsilon_1}{\hat{t}+\epsilon_1}\right)^m + b \cdot (\eta(\hat{t}) + \epsilon_2)^q$
حيث يتم نمذجة المعاملات $b$ و $q$ كقوانين قوة لـ $\tau$ و TPP على التوالي. وهذا يسم يسمح بالتنبؤ بالخسارة النهائية لنموذج كبير عن طريق ملاءمة منحنيات جزئية لنماذج صغيرة.

3. المساهمات الرئيسية

تحديد شروط الانهيار: تثبت الورقة أن منحنيات TLC تنهار عبر المقاييس إذا وفقط إذا تم الحفاظ على نسبة TPP، والجدول الزمني لـ AdamW ( $\tau$ )، وجدول معدل التعلم (أو تغييرها بشكل أمثل) عبر أحجام النماذج.
عائلة Celerity: تقديم أول عائلة نماذج لغوية كبيرة تم تدريبها خصيصًا لإظهار ظاهرة الانهيار. تحقق نماذج Celerity دقة تنافسية على جبهة كفاءة الحوسبة (Parefareto frontier لـ الدقة مقابل FLOPs).
الانهيار كأداة تشخيصية: يوضح المؤلفون أن الانحرافات عن المنحنى المنهار تعمل كنظام إنذار مبكر عالي الحساسية لمشاكل التدريب (مثل عدم الاستقرار العددي أو أخطاء الكيرنل/Kernel) التي لا تظهر في مخططات الخسارة الخام إلا في وقت متأخر جدًا.
ضبط البارامترات الفائقة بكفاءة: منهجية لـ الإيقاف المبكر في ضبط البارترات الفائقة. من خلال مواءمة عمليات التدريب الجزئية (10-30% من الرموز) مع منحنى عالمي صغير النطاق، يمكن للممارسين التنبؤ بالخسارة النهائية واختيار البارامترات الفائقة المثلى دون الحاجة لتدريب النماذج الكبيرة حتى النهاية.

4. النتائج

التحقق من الانهيار:
- Llama-2 (فشل): نماذج Llama-2 (من 7B إلى 70B) التي تم تدريبها مع قيم TPP متفاوتة و $\tau$ غير محسنة أظهرت عدم وجود انهيار؛ حيث تباعدت منحنياتها الموحدة بشكل كبير.
- Celerity (نجاح): أظهرت نماذج Celerity المدربة عند TPP ثابت (مثل 234) مع $\tau$ الأمثل انهيارًا وثيقًا. حيث تلاقت منحنياتها من 300 مليون إلى 3.9 مليار بارامتر بشكل مثالي تقريبًا بعد التوحيد.
القدرة التشخيصية:
- في عملية تدريب لنموذج Celerity بحجم 1.8B، تسبب عدم استقرار عددي في كيرنل الخسارة في حدوث تباعد. نجح بقايا الانهيار (collapse residual) (الفرق بين المنحنى الجاري والمرجع العالمي) في اكتشاف المشكلة عند 60% من التدريب، بينما لم يظهر المنحنى الخام طفرة مرئية إلا عند 90%. سمح ذلك بإجراء إصلاح مستهدف وإعادة التشغيل، مما وفر قدرًا كبيرًا من الحوسبة.
كفاءة الحوسبة:
- حققت نماذج Celerity المدربة عند TPP قدره 234 (كفاءة عالية في البارامترات) دقة مقاربة للنماذج المثلى حوسبيًا (20 TPP) ولكن مع عدد بارامترات أقل بنسبة ~62%.
- تفوقت Celerली على BTLM (الذي تم تدريبه قبل أن يصبح التخميد الخاص بالمهام معيارًا) بـ 75% أقل من عمليات حساب FLOPs التدريبية.
دقة الإيقاف المبكر:
- باستخدام النموذج التنبئي، استطاع المؤلفون تحديد أفضل إعداد للبارامترات الفائقة (مثل حجم الدفعة أو اضمحلال الوزن) مع فجوة خسارة ضئيلة للغاية بعد تدريب 10-30% فقط من الرموز. وهذا يتناقض مع الاستدلالات "الأفضل حاليًا"، التي غالبًا ما تفشل في التنبؤ بالفائز الحقيقي في عمليات المسح واسعة النط scale.

5. الأهمية والأثر

تشغيل القدرة على التنبؤ: تنقل الورقة قوانين القياس من مجرد التنبؤ بالأداء النظري إلى التحكم العملي في التدريب. من خلال معاملة "المنحنى المنهار" كمسار مرجعي، يمكن للفرق مراقبة صحة التدريب في الوقت الفعلي.
خفض التكاليف: توفر القدرة على إيقاف ضبط البارامترات الفائقة مبكرًا (عند 10-30% من التدريب) مدخرات هائلة في الحوسبة، حيث تكون عمليات التدريب الكاملة مكلفة للغاية.
المتانة: تشير النتائج إلى أن "شكل" التعلم محكوم بديناميكيات المُحسن الأساسية ( $\tau$ ) والتعرض للبيانات (TPP)، بدلاً من التفاصيل المعمارية المحددة، بشرط تحسين نظام التدريب.
العلم المفتوح: نماذج Celerity ووصفات التدريب الخاصة بها مفتوحة بالكامل، مما يوفر خط أساسًا شفافًا للأبحاث المستقبلية في التدريب عالي الكفاءة حوسبيًا، متميزًا عن النماذج التي تعتمد على بيانات خاصة أو تخميد مرتبط بمهام محددة.

باخت-صار، تثبت ورقة "Scaling with Collapse" أنه مع ضبط البارامترات الفائقة الصحيحة (تحديدًا $\tau$ و TPP)، يصبح تدريب النماذج اللغوية الكبيرة قابلًا للتنبؤ بدرجة عالية. تتيح هذه القدرة على التنبؤ نموذجًا جديدًا للتدريب: استخدام النماذج الوسيطة صغيرة النطاق لتوجيه عمليات التدريب واسعة النطاق، واكتشاف الأخطاء فورًا عبر انحراف المنحنى، وتقليل التكلفة الحسابية لتطوير النماذج بشكل كبير.