🤖 machine learning

Test-Time Scaling Makes Overtraining Compute-Optimal

تقدم هذه الورقة قوانين التوسع من التدريب إلى الاختبار ( $T^2$ ) التي تُحسّن بشكل مشترك حجم النموذج، ورموز التدريب، وعينات الاستدلال في ظل ميزانيات ثابتة، مما يكشف أن مراعاة تكاليف وقت الاختبار تنقل استراتيجيات التدريب المسبق المثلى إلى نظام الإفراط في التدريب الذي يتفوق بشكل كبير على نهج التوسع القياسي.

المؤلفون الأصليون: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

نُشر 2026-04-03

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Nicholas Roberts, Sungjun Cho, Zhiqi Gao, Tzu-Heng Huang, Albert Wu, Gabriel Orlanski, Avi Trost, Kelly Buchanan, Aws Albarghouthi, Frederic Sala

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تدير مخبزاً. لسنوات، أخبرك "الخبراء" (قوانين التوسع القديمة) بالضبط كيف تخبز كعكاتك للحصول على أفضل نتيجة مقابل مالك. كانت قاعدتهم بسيطة: "إذا كان لديك كمية معينة من الدقيق والسكر (ميزانية الحوسبة)، اشترِ فرناً متوسط الحجم واخبز 20 كعكة بالضبط. لا تخبز أكثر، ولا تخبز أقل." كانت هذه هي قاعدة "تشينتشيلا" (Chinchilla).

لكن كانت هناك مشكلة. لقد نسي الخبراء أن يسألوا: "كيف يأكل الناس هذه الكعكات بالفعل؟"

في العالم الحقيقي، إذا كنت تخبز كعكة لطلب بسيط مثل "ما هي حالة الطقس؟"، فإن كعكة واحدة تكفي. ولكن إذا كنت تخبز لطلب معقد مثل "حل هذه المسألة الرياضية الصعبة"، فقد ترغب في خبز 100 كعكة، وتذوقها جميعاً، واختيار الأفضل منها.

القواعد القديمة لم تأخذ ذلك في الاعوقب. لقد افترضت أنك ستخبز كعكة واحدة فقط لكل طلب.

الاكتشاف الجديد: "التدريب للتجربة" (T2) Scaling

تقدم هذه الورقة طريقة جديدة للتفكير تسمى "التدريب للتجربة" (Train-to-Test - T2). وهي تربط بين عملية الخبز (التدريب) وعملية الأكل (الاختبار/الاستنتاج).

إليك الفكرة الجوهرية، مقسمة باستخدام التشبيهات:

1. الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (تشينتشيلا): "اشترِ فرناً ضخماً وباهظ الثمن (نموذج كبير) واخبز كعكة واحدة مثالية فقط. تشغيل الفرن مكلف، لكنك ستفعله مرة واحدة فقط."
الطريقة الجديدة (T2): "اشترِ فرناً أصغر وأرخص (نموذلاً أصغر). ولأن الفرن رخيص، يمكنك تحمل تكلفة خبز 1,000 كعكة بنفس السعر. ثم تتذوق الـ 1,000 كعكة وتقدم الأفضل منها للزبون."

2. سر "الإفراط في التدريب" (Overtraining)

أكبر صدمة في الورقة تتعلق بـ "الإفراط في التدريب".

القاعدة القديمة: توقف عن الخبز عندما تستخدم 20 كوباً من الدقيق لكل كعكة. إذا استخدمت أكثر، فأنت "تهدر" المال.
القاعدة الجديدة: إذا كنت تعلم أنك ستخبز 1,000 كعكة لكل طلب، فيجب عليك في الواقع استخدام المزيد بكثير من الدقيق على كعكة أصغر. يجب عليك "الإفراط في تدريب" النموذج الصغير.

لماذا؟
فكر في النموذج الصغير المفرط في التدريب كأنه عبقري متخصص للغاية.

النموذج الكبير يشبه الشخص العام الذي يعرف القليل عن كل شيء. توظيفه مكلف.
النموذج الصغير المفرط في التدريب يشبه المتخصص الذي مارس مهارة معينة حتى أتقنها. توظيفه رخيص.

إذا وظفت المتخصص وطلبت منه محاولة حل مشكلة ما 100 مرة، فسيصل في النهاية إلى الحل الصحيح. أما إذا وظفت العامي الباهظ الثمن وطلبت منه المحاولة مرة واحدة، فقد يخطئ.

تثبت الورقة أن توظيف متخصص رخيص وطلب المحاولة منه 100 مرة هو غالباً أفضل وأرخص من توظيف شخص عامي باهظ الثمن لمرة واحدة.

3. استعارة "Pass@k"

تستخدم الورقة مقياساً يسمى Pass@k.

k=1: لديك تخمين واحد. إذا أخطأت، فقد فشلت.
k=100: لديك 100 تخمين. حتى لو كنت متردداً قليلاً، فإن احتمالية أن يكون أحد هذه التخمات الـ 100 صحيحاً تقترب من 100%.

تظهر الورقة أنه إذا كنت تخطط لاستخدام k=100 (أي المحاولة 100 مرة)، فيجب عليك تدريب نموذجك بشكل مختلف. يجب أن تجعل النموذج أصغر ولكن تدربه لفترة أطول بكثير (مزيد من "الدقيق") بحيث يكون حتى التخمين الواحد جيداً، وتكون الـ 100 تخميناً مثالية.

النتائج الثلاث الكبرى

توقف عن اتباع قاعدة "20 إلى 1" بشكل أعمى.
إذا كنت تعلم أنك ستشغل الذكاء الاصطناعي الخاص بك مرات عديدة لكل سؤال (مثل مهام الاستنتاج المعقدة)، فإن القاعدة القديمة التي تقول "20 توكن تدريب لكل بارامتر" خاطئة. يجب عليك في الواقع تدريب نماذج أصغر لفترات أطول بكثير.
"الصغير والمفرط في التدريب" هو "المنطقة المثالية" الجديدة.
وجدت الورقة أن أفضل النماذج هي غالباً أصغر مما اعتقدنا، ولكنها مفرطة في التدريب (تم تدريبها على بيانات أكثر بكثير مما اقترحته القواعد القديمة). هذا يجعلها رخيصة التشغيل، ولأنك تشغلها مرات عديدة، فإن الجودة ترتفع بشكل هائل.
إنه يعمل حتى بعد "الضبط الدقيق" (Fine-Tuning).
أحياناً، بعد تدريب النموذج، تقوم بتعديله لمهام محددة (مثل كتابة الكود أو الإجابة على أسئلة طبية). اختبرت الورقة ما إذا كانت قاعدتنا الجديدة لا تزال تعمل بعد هذا التعديل. نعم، لقد فعلت. استراتيجية "الصغير والمفرط في التدريب" تظل هي المنتصرة حتى بعد تخصص النموذج.

الملخص في جملة واحدة

لا تبنِ مجرد عقل واحد ضخم وباهظ الثمن؛ بدلاً من ذلك، ابنِ عقلاً أصغر وأرخص، ودربه حتى يصبح سيداً في حرفته، ثم اطلب منه محاولة حل نفس المشكلة مائة مرة لضمان الحصول على الإجابة المثالية.

هذا النهج يوفر المال ويحقق نتائج أفضل، مما يغير الطريقة التي يجب أن نبني بها ذكاء المستقبل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "التوسع في وقت الاختبار يجعل الإفراط في التدريب أمثلًا من حيث الحوسبة" (Test-Time Scaling Makes Overtraining Compute-Optimal).

1. بيان المشكلة

يخضع تطوير النماذج اللغوية الكبيرة (LLMs) حاليًا لنموذجين منفصلين إلى حد كبير:

قوانين التوسع في مرحلة ما قبل التدريب (مثل Chinchilla): وهي تعمل على تحسين حجم النموذج ( $N$ ) وعدد الرموز (tokens) ( $D$ ) لتقليل خسارة التدريب (training loss) تحت ميزانية حوسبة ثابتة. وتفترض هذه القوانـ de هذه القوانين عملية استنتاج بمرور واحد فقط ( $k=1$ ).
التوسع في وقت الاختبار (Test-Time Scaling): تُظهر الأبحاث الحديثة أن تخصيص المزيد من الحوسبة للاستنتاج عبر أخذ عينات متكررة (توليد $k$ من العينات واختيار الأفضل بينها) يمكن أن يعزز الأداء بشكل كبير، مما يسمح غالبًا للنماذج الأصغر بالتفوق على النماذج الأكبر.

الفجوة: لا تقوم قوانين التوسع الحالية بتحسين قرارات ما قبل التدريب ( $N, D$ ) مع استراتيجيات الاستنتاج في وقت الاختبار ( $k$ ) بشكل مشترك.

المقايضة (Trade-off): النماذج الأصغر تكون أقل تكلفة لكل عينة استنتاج ولكن دقتها لكل عينة أقل. أما النماذج الأكبر فهي مكلفة لكل عينة ولكنها أكثر دقة. إن فائدة أخذ العينات المتكرر هي دالة غير خطية للغاية من جودة العينة الواحدة.
السؤال: إذا كان الممارس يعرف أن ميزانية الحوسبة الإجمالية الخاصة به تتضمن كلًا من التدريب وميزانية محددة للتوسع في وقت الاختبار (أخذ عينات متكررة)، فهل يجب أن تتغير استراتيجية ما قبل التدريب المثلى (حجم النموذج وعدد الرموز)؟ تجادل الورقة بأن نسب "Chinchilla-optimal" الحالية (حوالي 20 رمزًا لكل معلمة/parameter) هي غير مثالية عند احتساب تكاليف الاستنتاج.

2. المنهجية: قوانين التوسع من التدريب إلى الاختبار (T2)

يقترح المؤلفون قوانين الت scaling من التدريب إلى الاختبار (T2)، والتي تحسن بشكل مشترك حجم النموذج ( $N$ )، وحجم مجموعة البيانات ( $D$ )، وعدد عينات الاستنتاج ( $k$ ) تحت ميزانية حوسبة شاملة وثابتة ( $C_{total} = C_{train} + C_{inf}$ ).

نموذج التكلفة:

تكلفة التدريب: $C_{train} \approx 6ND$ (افتراض Chinchilla القياسي).
تكلفة الاستنتاج: $C_{inf} \approx 2Nk$ (تكلفة التمرير الأمامي $\times$ عدد العينات).
القيد: بالنسبة لميزانية استنتاج ثابتة، يتم تخصيًة عينات أكثر ( $k = C_{inf} / 2N$ ) للنماذج الأصغر.

يقترح المؤلفون نهجين متكاملين للنمذجة لحل مشكلة التحسين:

النهج الأول: نموذج بارامتري لخسارة المهمة (المعتمد على NLL)

المفهوم: يوسع قانون خسارة Chinchilla ليشمل عدد العينات $k$ .
الصياغة: يقوم المؤلفون بنمذجة سالب لوغاريتم احتمالية pass@k كدالة قانون القوة (power-law function):
$\hat{L}(N, D, k) = E + \frac{A}{N^\alpha} + \frac{B}{D^\beta} + \frac{G}{k^\gamma}$
المنطق: يفترض هذا أن الانخفاض في سالب لوغاريتم pass@k الناتج عن أخذ العينات المتكرر يتبع قانون القوة (وهو ما يدعمه عمل سابق يفترض توزيع "بيتا" لصعوبات المهام).
التحسين: تقليل $\hat{L}$ بشرط $6ND \le C_{train}$ و $2Nk \le C_{inf}$ .

النهج الثاني: نموذج بارامتري لدقة المهمة (المعتمد على Pass@k)

المفهوم: يعمل مباشرة على نمذجة دقة pass@k المتوقعة بدلاً من الخسارة.
الصياغة:
1. يربط خسارة Chinchilla $\hat{L}(N, D)$ بدقة المرور الواحد $p$ باستخدام دالة سيجمويد (sigmoid) ملائمة: $p = \sigma_\theta(\hat{L}(N, D))$ .
2. ينمذج توزيع دقة كل سؤال عبر مجموعة البيانات باستخدام توزيع بيتا ($Beta(a, b) $)، حيث تعتمد المعلمات$ a, b $على$ N $و$ D$.
3. يشتق pass@k المتوقع من خلال التكامل عبر توزيع بيتا هذا:
  $\widehat{Acc}(N, D, k) = 1 - \frac{B(a, b+k)}{B(a, b)}$
  حيث $B$ هي دالة بيتا.
التحسين: تعظيم $\widehat{Acc}$ مع مراعاة قيود الحوسبة نفسها.

3. المساهمات الرئيسية

إطار عمل موحد: صياغة التحسين المشترك لما قبل التدريب ( $N, D$ ) والتوسع في وقت الاختبار ( $k$ ) تحت ميزانية حوسبة واحدة.
نهجان للنمذجة: تقديم طريقتين متميزتين (المعتمدة على الخسارة والمعتمدة على الدقة) اللتين تقدمان توصيات متسقة رغم نمذجة كميات مختلفة.
التحقق في نظام الإفراط في التدريب (Overtrained Regime): بناء بيئة اختبار تضم أكثر من 100 نموذج (بتوسيع مجموعات Chinchilla الحالية إلى نظام الإفراط في التدريب) للتحقق تجريبيًا من أن القيم المثلى المتوقعة هي حقائق واقعية وليست مجرد آثار نظرية.
متانة ما بعد التدريب: إثبات أن فوائد توسع T2 تستمر بعد الضبط الدقيق الخاضع للإشراف (SFT) والضبط الدقيق القياسي (FT)، على الرغم من أن النماذج التي تم الإفراط في تدريبها تُعرف بصعوبة ضبطها الدقيق.

4. النتائج التجريبية

قيم المؤلفون توسع T2 عبر ثماني مهام فرعية (4 معايم واقعية: LAMBADA, ARC-Easy, SciQ, OpenBookQA؛ و4 مهام اصطناعية: استرجاع المعرفة، الحساب، الاستدلال السببي، والاستدلال المكاني).

السؤال البحثي الأول (RQ1): هل يجب أن يتغير ما قبل التدريب؟
- نعم. عند احتساب ميزانية توسع ثابتة في وقت الاختبار، تتحول الاستراتيجية المثلى بشكل جذري نحو نماذج أصغر، مُفرط في تدريبها بكثافة.
- بدلاً من قاعدة Chinchilla التي تبلغ حوالي 20 رمزًا لكل معلمة، توصي T2 بنسب تتجاوز غالبًا 100-1000 رمز لكل معلمة (اعتمادًا على الميزانية).
- ينتقل الحد الأمثل (optimal frontier) إلى نماذج أصغر ( $N$ ) يتم تدريبها على عدد أكبر بكما من الرموز ( $D$ ) ويتم تقييمها باستخدام عدد أكبر بكثير من العينات ( $k$ ).
السؤال البحثي الثاني (RQ2): هل يتوسع T2 إلى نقاط فحص الإفراط في التدريب؟
- قام المؤلفون بتدريب 21 نقطة فحص جديدة "مفرطة في التدريب" من الصفر للتحقق من التوقعات.
- النتيجة: تفوقت نماذج T2 باستمرار على نقاط فحص Chinchilla المثلى.
- الدقة: حقق النهج الأول (NLL) خطأ نسبي قدره 2.8% في التنبؤ بالأداء، بينما حقق النهج الثاني 8.4%.
- الأداء: تفوقت النماذج الصغيرة المفرطة في التدريب (مثلاً 37M–149M معلمة) مع أخذ العينات المتكرر بشكل ملحوظ على نماذج Chinchilla المثلى الكبيرة (مثلاً 901M معلمة) في نفس المهام.
السؤال البحثي الثالث (RQ3): هل يصمد T2 بعد مرحلة ما بعد التدريب؟
- طبق المؤلفون FT و SFT على أفضل النماذج المفرطة في التدريب ونماذج Chinchilla المثلى.
- النتيجة: استمرت فجوة الأداء؛ حيث ظلت النماذج المفرطة في التدريب متفوقة حتى بعد الضبط الدقيق، رغم أن حجم فائدة "الإفراط في التدريب" كان أقل حدة مقارلة بالنماذج الأساسية (وهذا يتفق مع النتائج التي تشير إلى أن النماذج المفرطة في التدريب أصعب في الضبط الدقيق).

5. الأهمية والآثار المترتبة

إعادة تعريف "الأمثل من حيث الحوسبة": تتحدى هذه الورقة قانون توسع Chinchilla السائد، وتجادل بأنه يكون أمثل فقط للاستنتاج بمرور واحد. بالنسبة لعمليات النشر الحديثة التي تستخدم حوسبة وقت الاختبار (أخذ العينات المتكررة، التحقق، أو الاستدلال)، فإن الاستراتيجية المثلى هي تدريب نماذج أصغر لفترات أطول بكماً.
توصية عملية: يجب على الممارسين الذين لديهم ميزانية استنتاج ثابتة عدم تدريب نماذج ضخمة للمرور الواحد. بدلاً من ذلك، يجب عليهم تدريب نماذج أصغر ذات نسب رموز إلى معلمات عالية والاعتماد على أخذ العينات المتكرر في وقت الاستنتاج لتحقيق دقة أفضل مقابل كل دولار.
الربط بين النظرية والتطبيق: يربط هذا العمل بين قوانين التوسع النظرية لما قبل التدريب والواقع العملي لاستراتيجيات النشر (مثل تلك المستخدمة في النماذج الرائدة في مجال الاستدلال)، مما يوفر مخططًا لتصميم نماذج فعالة في عصر التوسع في وقت الاختبار.

باخت-صار، تثبت الورقة أن الإفراط في التدريب ليس خطأً بل ضرورة عندما تكون حوسبة وقت الاختبار جزءًا من معادلة التحسين، مقدمةً قانون توسع جديد "من التدريب إلى الاختبار" (T2) يعظم الأداء تحت قيود النشر الواقعية.