📊 statistics

On the Optimizer Dependence of Neural Scaling Laws

المؤلفون الأصليون: Vansh Ramani, Shourya Vir Jain

نُشر 2026-05-29

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

المؤلفون الأصليون: Vansh Ramani, Shourya Vir Jain

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح لورقة بحثية بعنوان "حول اعتماد قوانين القياس على المُحسِّن" (On the Optimizer Dependence of Neural Scaling Laws) باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

الفكرة الكبرى: الأمر لا يتعلق بالحجم فقط، بل بكيفية التعلم

تخيل أنك تحاول تعلم كمية هائلة من المعلومات (مثل قراءة كل كتاب في مكتبة). في عالم الذكاء الاصطناعي (AI)، لدينا قاعدة تسمى قانون القياس (Scaling Law). تقول هذه القاعدة: "إذا جعلت عقل الذكاء الاصطنا-ي أكبر (بإضافة المزيد من الخلايا العصبية)، فسيصبح أكثر ذكاءً، لكن مقدار التحسن يتبع منحنى محددًا يمكن التنبؤ به".

لفترة طويلة، اعتقد العلماء أن هذا المنحنى ثابت. كانوا يعتقدون أنه إذا ضاعفت حجم الذكاء الاصطناعي، فستحصل على مقدار معين وغير قابل للتغيير من التحسن، بغض النظر عن الأداة التي تستخدمها لتعليمه.

هذه الورقة البحثية تقول: "في الواقع، الأداة التي تستخدمها لتعليم الذكاء الاصطنا تغير هذا المنحنى".

تُسمى هذه "الأداة" بـ المُحسِّن (Optimizer). فكر في المُحسِّن كأنه المعلم أو طريقة الدراسة. تجادل الورقة بأن بعض المعلمين بارعون جدًا في تنظيم عملية التعلم لدرجة أنهم لا يجعلون الذكاء الاصطناعي يتعلم بشكل أسرع فحسب؛ بل يغيرون أيضًا الرياضيات الأساسية لكيفية تحسن الذكاء الاصطناعي مع زيادة حجمه.

التشبيه: المكتبة وأمين المكتبة

لفهم نتائج الورقة البحثية، دعونا نستخدم تشبيه المكتبة وأمين المكتبة.

1. المكتبة (البيانات)

تخيل أن البيانات التي يحتاج الذكاء الاصطناعي لتعلمها هي مكتبة.

المكتبة "الحادة" (Steep Library): معظم الكتب تدور حول موضوع واحد شائع (مثل "كيفية خبز الخبز")، وعدد قليل جدًا من الكتب يتحدث عن مواضيع غامضة (مثل "زراعة الطحالب في القرن الثامن عشر"). في العالم الحقيقي، هذا يشبه اللغة: تُستخدم كلمات قليلة باستمرار، بينما تُستخدم الملايين من الكلمات بشكل نادر. هذا يسمى طيفًا حادًا (steep spectrum).
المكتبة "المسطحة" (Flat Library): كل موضوع لديه نفس عدد الكتب تمامًا. هذا أمر نادر في الطبيعة ولكنه سهل التخيل.

2. الطالب (نموذج الذكاء الاصطناعي)

الذكاء الاصطناعي هو طالب يحاول قراءة هذه الكتب لاجتياز اختبار. لدى الطالب وقت محدود (قدرة حوسبية) وذاكرة محدودة (حجم النموذج).

3. المعلمون (المُحسِّنات)

هنا يصبح الأمر مثيرًا للاهتمام. اختبر المؤلفون "معلمين" مختلفين (مُحسِّنات) لمعرفة كيف يساعدون الطالب على التعلم.

المعلم (أ) (الانحدار الاشتقاقي القياسي / GD): هذا المعلم يشبه طالبًا يقرأ المكتبة بالترتيب. يقرأ كتب "الخبز" الشائعة أولاً لأنها سهلة العثور عليها. وبحلول الوقت الذي يصل فيه إلى كتب "زراعة الطحالب"، يكون قد نفد وقته.
- النتيجة: يصبح جيدًا في الخبز، ولكنه سيئ جدًا في زراعة الطحالب. ومع كبر حجم المكتبة، يعلق في المواضيع الشائعة ويتجاهل البقية. منحنى تحسنه يتسطح بسرعة.
المعلم (ب) (المُحسِّنات مسبقة الشرط مثل Muon/Full NG): هذا المعلم عبارة عن منظم عبقري. يدرك أنه على الرغم من أن كتب "الطحالب" نادرة، إلا أنها لا تزال مهمة. يستخدم خريطة خاصة (تسمى المُسبق للشرط - preconditioner) لجعل الوصول إلى كتب "الطحالب" سهلًا مثل الوصول إلى كتب "الخبز". إنه يجبر الطالب على تعلم كل شيء بالتساوي.
- النتيجة: يتعلم الطالب القليل من كل شيء. ولأنه لا يضيع وقته في التركيز فقط على الأشياء الشائعة، فإنه يصبح أكثر ذكاءً بشكل كبير مع نمو المكتبة.

الاكتشاف الرئيسي: "المضاعف السحري"

أجرت الورقة تجارب حاسوبية (باستخدام نموذج رياضي مبسط يسمى "انحدار الميزات العشوائية") لقياس مدى ذكاء الطلاب بدقة.

وجدوا أنه عندما تكون المكتبة ذات طيف حاد (مثل اللغة البشرية الحقيقية، حيث توجد أشياء قليلة شائعة جدًا وأشياء كثيرة نادرة):

المعلم (أ) (القياسي) يصطدم بحائط مسدود. يتوقف الطالب عن التحسن كثيرًا بعد حجم معين.
المعلم (ب) (المتقدم) يستمر في الصعود. يصبح الطالب أكثر ذكاءً بشكل ملحوظ مع كل خطوة للأعلى في الحجم.

الرقم "السحري":
قاست الورقة رقمًا يسمى $\alpha$ (ألفا). يمثل هذا الرقم "معدل التحسن".

بالنسبة للمعلم القياسي، كانت قيمة $\alpha$ منخفضة (حوالي 0.12).
بالنسبة للمعلم المتقدم، كانت قيمة $\alpha$ أعلى بكثير (حوالي 0.31).

لماذا يهم هذا؟
لأن هذه الأرقام هي أسس (exponents)، فإن الفرق الصغير يخلق فجوة هائلة بمرور الوقت.

إذا ضاعفت حجم الذكاء الاصطناعي مع المعلم القياسي، فستحصل على دفعة صغيرة.
إذا ضاعفت الحجم مع المعلم المتقدم، فستحصل على دفعة أكبر بمقدار 2.6 مرة.
إذا استمررت في مضاعفة الحجم، فإن المعلم المتقدم يتقدم بفارق أكبر فأكبر. إنه يشبه الفائدة المركبة: الميزة تنمو مع كل خطوة.

التنبيه: الأمر يعتمد على المكتبة

وجدت الورقة أيضًا شرطًا حاسمًا: هذه الميزة تحدث فقط إذا كانت المكتبة "حادة".

إذا كانت المكتبة حادة (مثل اللغة الحقيقية): يكون المعلم المتقدم بمثابة تغيير لقواعد اللعبة. فهو يعالج عدم التوازن ويسمح للذكاء الاصطناعي بالتعلم بكفاءة.
إذا كانت المكتبة مسطحة (كل شيء متساوٍ): يكون المعلم القياسي بالفعل يقوم بعمل جيد لأنه لا يوجد عدم توازن ليتم إصلاحه. المعلم المتقدم لا يقدم مساعدة إضافية كبيرة هنا.

ماذا عن الذكاء الاصطنا-ي الحقيقي؟ (سؤال مفتوح)

يقول المؤلفون بحذر إن نتائجهم تأتي من نموذج رياضي مبسط، وليس من ذكاء اصطناعي حقيقي وضخم مثل تلك المستخدمة من قبل Google أو OpenAI اليوم.

إنهم يقرون بوجود تعارض في العالم الحقيقي:

تقول بعض الدراسات الحديثة إن المعلمين المتقدمين (مثل Muon) رائعون في المقاييس الصغيرة، ولكن ميزتهم تتلاشى مع وصول الذكاء الاصطنا-ي إلى أحجام ضخمة جدًا.
تقترح هذه الورقة أنه في نموذجهم المبسط، يجب أن تستمر الميزة في النمو.

الخلاصة:
تقترح الورقة أن "تلاشي الميزة" الذي يُلاحظ في الواقع قد يحدث لأن الذكاء الاصطنا-ي الحقيقي يتعلم الميزات من تلقاء نفسه (مما يغير هيكل المكتبة)، بينما يفترض نموذجهم أن المكتبة تظل كما هي.

ملخص للجمهور العام

الأسطورة: "الذكاء الاصطنا-ي الأكبر يصبح دائمًا أكثر ذكاءً بمعدل ثابت".
الواقع: المعدل الذي يصبح به الذكاء الاصطنا-ي أكثر ذكاءً يعتمد بشدة على الأداة الرياضية (المُحسِّن) المستخدمة لتدريبه.
الاكتشاف: يمكن للأدوات المتقدمة أن تعمل مثل "معدل طيفي". فهي تمنع الذكاء الاصطنا-ي من تجاهل المعلومات النادرة ولكن المهمة، مما يسمح له بالتعلم بكفاءة أكبر مع نموه.
الشرط: هذه القوة الخارقة تعمل بشكل أفضل عندما تكون البيانات "غير متوازنة" (مثل اللغة البشرية). إذا كانت البيانات متوازنة تمامًا، فإن الأدوات المتطورة لا تساعد كثيرًا.
المستقبل: نحن بحاجة لاختبار هذا على نماذج ذكاء اصطنا-ي حقيقية وضخمة لنرى ما إذا كان "المضاعف السحري" سيصمد أم أنه سيتلاشى مع وصول النماذج إلى أحجام هائلة.

باختصار: اختيار المعلم المناسب لا يجعل الطالب يتعلم بشكل أسرع فحسب، بل يغير السقف الذي يمكن للطالب أن يصل إليه من الذكاء.

ملخص تقني: حول اعتماد قوانين القياس العصبية على المُحسِّن (Optimizer)

بيان المشكلة
تفترض قوانين القياس العصبية أن خسارة الاختبار $L$ تتناقص كقانون قوة مع حجم النموذج $N$ ( $L(N) \propto N^{-\alpha}$ )، حيث يُعامل الأس $\alpha$ تقليديًا كثابت ثابت محدد بواسطة البنية وتوزيع البيانات. يدعم هذا الافتراض استراتيجيات تخصيص الحوسبة للنماذج الرائدة. ومع ذلك، تقدم النتائج التجريبية الأخيرة المتعلقة بالمُحسِّنات من الدرجة الثانية (مثل Muon وSOAP وShampoo) أدلة متضاربة: بعضها يشير إلى تسريع حوسبي كبير مقارًة بـ AdamW، بينما يشير البعض الآخر إلى أن هذه المكاسب تتضاءل مع زيادة حجم النموذج. تبحث هذه الورقة في سؤال جوهري: هل تقوم المُحسِّنات المتقدمة مجرد بتحسين العامل الثابت لقانون القياس، أم أنها تغير بشكل جذري أس $\alpha$ نفسه؟ إذا تغير $\alpha$ ، فإن التداعيات على توقعات القياس ستكون عميقة، لأن تغيير الأس يتراكم مع كل مضاعفة لحجم النموذج، بينما لا يحدث ذلك مع تحسين العامل الثابت.

المنهجية
يتحرى المؤلفون هذا السؤال ضمن إطار ريجريشن الميزات العشوائية (Malery et al., 2022; Bordelon et al., 2024). تعزل هذه البيئة النظرية التفاعل بين البنية الطيفية للبيانات، وتكييف المُحسِّن (optimizer preconditioning)، وسعة النموذج من خلال تثبيت أوزان الميزات وتدريب الأوزان الخطية للطبقة العليا فقط.

الإعداد التجريبي: تحاكي الدراسة مهام الريجريشن (regression tasks) بمدخلات مستمدة من توزيع غاوسي بامتلكات طيفية (eigenvalues) تتبع قانون القوة $\lambda_i \propto i^{-(1+s)}$ ، حيث $s$ هو الأس الطيفي. وتتميز بيانات اللغة الطبيعية بـ $s \approx 0.8\text{--}1.2$ .
متغيرات المُحسِّن: تم تنفيذ خمسة مُحسِّنات كأدوات لتكييف التدرج (gradient preconditioners):
1. GD: خط الأساس (مُكيف الهوية - Identity preconditioner).
2. Diagonal: بديل لـ AdamW ( $P = \text{diag}(F^\top F)^{-1/2}$ ).
3. Full NG: بديل لـ Shampoo/K-FAC ( $P = (F^\top F)^{-1}$ ).
4. Sign-GD: مجموعة ضبط سلبية باستخدام تحديثات الإشارة (sign updates).
5. Matrix-Sign: بديل لـ Muon ( $P = (F^\top F)^{-1/2}$ )، والذي يعمل على مساواة القيم المفردة (singular values).
البروتوكول: تجري التجارب مسحًا لستة ظروف طيفية ( $s \in [0.25, 2.0]$ ) وثمانية أحجام للنماذج ( $N \in [25, 5000]$ ). يتم ملاءمة أسس القياس $\alpha$ عبر طريقة المربعات الصغرى العادية (OLS) على مخططات (log-log) للخسارة مقابل حجم النموذج لـ $N \ge 200$ .

المساهمات الرئيسية

قياس منهجي: تقدم الورقة أول قياس منهجي لـ $\alpha$ كدالة مشتركة لنوع المُحسِّن والاضمحلال الطيفي للبيانات عبر خمسة متغيرات للمُكيِّفات.
تفسير ميكانيكي: تقدم الورقة استدلالًا طيفيًا (Proposition 1) يوضح أن المُحسِّنات المُكيَّفة تعمل على مساواة معدلات التعلم لكل نمط (per-mode learning rates). فبينما يقوم التدرج النازل (GD) بـ "الإفراط في الإنفاق" على الأنماط عالية التباين و"التقليل من الإنفاق" على الأنماط منخفضة التباين، تقوم المُكيِّفات بإنقاذ الأنماط غير المغطاة كافيًا، مما يزيد السعة الفعلية المستخدمة عند حجم $N$ معين.
التشخيص الطيفي: يقترح المؤلفون قاعدة تشخيصية: تعتمد فائدة التكييف على حدة الطيف $s$ . تكون الميزة ضئيلة بالنسبة للأطياف المسطحة ( $s < 0.3$ )، لكنها تنمو بشكل ملحوظ مع زيادة $s$ .
تنبؤ قابل للتفنيد: تتنبأ الورقة بأن التدريب على بيانات ذات طيف مسطح اصطناعيًا (على سبيل المثال، عبر التبييض/whitening) من شأنه أن يؤدي إلى تقليص أو تلاشي ميزة المُحسِّنات المتقدمة مثل Muon.

النتائج

اعتماد $\alpha$ على المُحسِّن: تحقق المُحسِّنات المُكيَّفة باستمرار أسًا أكثر انحدارًا (أي $\alpha$ أكبر) من GD. الترتيب العام هو $\alpha_{\text{Full NG}} \approx \alpha_{\text{Matrix-Sign}} > \alpha_{\text{Diagonal}} > \alpha_{\text{Sign-GD}} \approx \alpha_{\text{GD}}$ .
الاعتماد الطيفي: تزدبيد الفجوة $\Delta \alpha = \alpha_{\text{precond}} - \alpha_{\text{GD}}$ $Δ α = α_{precond} - α_{GD}$ مع الأس الطيفي $s$ $s$ .
- عند $s \approx 1.0$ (الذي يميز اللغة الطبيعية)، يحقق التدرج الطبيعي الكامل (Full Natural Gradient) قيمة $\alpha \approx 0.31$ مقابل $\alpha \approx 0.12$ لـ GD، مما يمثل أسًا أكبر بمقدار $2.6\times$ .
- عند $s \approx 0.5$ ، تكون المنحنيات متوازية تقريبًا، وتتضاءل الميزة.
- عند $s \approx 2.0$ ، ينهار أس GD إلى ما يقرب من الصفر ( $\alpha \approx 0.01$ )، بينما تتدهور المُحسِّنات المُكيَّفة بشكل تدريجي سلس ( $\alpha \approx 0.20$ ).
مضاعفات الحوسبة: عند ترجمة إزاحة $\alpha$ إلى مضاعف حوسبي فعال، يتوقع نموذج الميزات العشوائية ميزة كبيرة مكافئة للمعلمات للمُكيِّفات القوية عند $s \approx 1.0$ . وهذا يتوافق توجهيًا مع التقارير التجريبية الأخيرة عن تسريع حوسبي بنسبة $\sim 1.4\times$ لـ Muon مقارنة بـ AdamW عند المقاييس المتوسطة (Chen et al., 2025).

الأهمية والادعاءات
تجادل الورقة بأن توقعات قانون القياس يجب أن تأخذ في الاعتبار اختيار المُحسِّن. إذا كانت المُحسِّنات المُكيَّفة تغير الأس $\alpha$ ، فإن التوقعات التي تمت معايرتها تحت AdamW قد تقلل بشكل كبير من تقدير عوائد القياس للنماذج التي يتم تدريبها باستخدام مُحسِّنات متقدمة.

ومع ذلك، يحافظ المؤلفون على موقف متزن فيما يتعلق بنقل هذه النتائج إلى النماذج اللغوية الكبيرة (LLMs) واسعة النطاق:

القيود: يعمل نموذج الميزات العشوائية في نظام "كسول" (fixed features) ويغفل العمق، والانتباه (attention)، والترميز (tokenization).
تضاؤل المقياس: تقر الورقة بوجود أدلة متضاربة (Wen et al., 2025) تشير إلى أن ميزة Muon/SOAP قد تتضاءل عند المقاييس الكبيرة جدًا (على سبيل المثال، 1.2 مليار معلمة). يقترح المؤلفون أن هذا التضاؤل قد يكون ناتجًا عن تأثيرات $N$ المحدودة، أو أن تعلم الميزات يخفف طبيعيًا من عدم التوازن الطيفي، أو تغيرات في الطيف الفعلي للبيانات عند هذا المقياس.
الخلاصة: المساهمة الأساسية هي إثبات أن أس القياس ليس ثابتًا ثابتًا للزوج (البنية/البيانات)، بل يعتمد بشكل منهجي على تفاعل المُحسِّن مع طيف البيانات. وتدعو الورقة إلى التحقق من النماذج الحقيقية لتحديد ما إذا كان هذا التحول في الأس سيستمر أم سيتضاءل في النظام "الغني" لتعلم الميزات.