Sharp feature-learning transitions and Bayes-optimal neural scaling laws in extensive-width networks

ملخص تقني: انتقالات تعلم الميزات الحادة وقوانين القياس المثلى لبيز في الشبكات ذات العرض الممتد

إعداد المشكلة
يتقصى هذا البحث الحدود المعلوماتية النظرية لتعلم شبكة عصبية من طبقة مخفية واحدة (معلم) ذات ميزات هرمية من استعلامات مشوبة بالضجيج، وتحديداً في سياق نقل المعرفة إلى نموذج طالب أصغر حجماً. تقع هذه الدراسة في نطاق العرض الممتد (extensive-width regime)، حيث يتناسب عرض المعلم $k$ خطياً مع أبعاد المدخلات $d$ ($k = \Theta(d)$). يقع هذا الإعداد بين نطاق المؤشرات المتعددة المدروس جيداً ($k = \Theta(1)$) ونطاق نواة التماس العصبي (NTK) ($k \gg d$)، مما يستوعب العرض "الكبير ولكن المحدود" للشبكات العملية.

تولد شبكة المعلم تسميات $y_\mu = v^\top \sigma(W_0 x_\mu)$ من مدخلات $x_\mu \sim \mathcal{N}(0, I_d)$، مع ضجيج غاوسي مضاف. يتبع متجه القراءة $v$ بنية هرمية (على سبيل المثال، اضمحلال قانون القوة $v_i \propto i^{-\beta}$)، مما يعني أن الميزات لها أهمية تتلاشى هندسياً. يحلل المؤلفون نوعين من المتعلمين:

1. الطالب البايزي (Bayesian Student): يعرف آلية توليد البيانات (التنشيط $\sigma$، تباين الضجيج $\Delta$، القراءة $v$) ولكنه لا يعرف أوزان المعلم المحددة $W_0$. يتنبأ عبر المتوسط البعدي، محققاً خطأ "بيز" الأمثل ($\varepsilon_{BO}$).
2. طالب خوارزمية التدرج الاشتقاقي العشوائي (SGD Student): شبكة من طبقة مخفية واحدة بعرض $k_s \leq k$ يتم تدريبها باستخدام خوارزمية ADAM.

الأسئلة الرئيسية التي يتم معالجتها هي: (Q1) بالنظر إلى مجموعة بيانات ثابتة، ما هي ميزات المعلم التي يمكن استردادها إحصائياً؟ و(Q2) كيف يقيد الجزء المسترد من الميزات قانون القياس لـ $\varepsilon_{BO}$ بالنسبة لحجم البيانات $n$؟

المنهجية
يستخدم المؤلفون حجة فك الارتباط التجريبية "ترك واحد خارج الحساب" (leave-one-out/cavity decoupling)، وهي تقنية معيارية في الفيزياء الإحصائية لاستخلاص توصيفات حادة تقاربياً لعملية التعلم.

• فك الارتباط (Decoupling): تعزل هذه الطريقة مساهمة ميزة واحدة $w_i$ من خلال معاملة مساهمات جميع الميزات الأخرى كمصطلح ضجيج فعال.
• الافتراض الغاوسي (Gaussian Assumption): يفترض المؤلفون أن "حقول التجويف" (الضجيج الفعال من الميزات الأخرى) تسلك سلوك متغيرات غاوسية مستقلة. يقلل هذا من مشكلة الاستدلال متعدد الميزات إلى سلسلة من النماذج الخطية المعممة (GLMs) الفردية والقياسية.
• نظام النقطة الثابتة (Fixed-Point System): من خلال تحليل التداخل بين اتجاه الميزة الحقيقي والتقدير البعدي، يستنتج المؤلفون نظاماً مغلقاً من معادلات النقطة الثابتة. تربط هذه المعادلات التداخل $q_i$ للميزة $i$ بنسبة الإشارة إلى الضجيج (SNR) والخطأ العام في التعميم $\varepsilon$.
• التحقق (Validation): تم التحقق من التنبؤات النظرية عددياً باستخدام محاكاة مونت كارلو هاميلتوني (HMC) عبر مختلف النطاقات البارامترية، مما أظهر توافقاً ممتازاً حتى عند أبعاد متوسطة ($d \sim 10^2$).

النتائج الرئيسية

1. السلم الحاد لانتقالات تعلم الميزات:
   يكشف التحليل أن قابلية تعلم الميزات محكومة بانتقال طوري حاد. تكون الميزة $i$ قابلة للاسترداد (التداخل $q_i > 0$) إذا وفقط إذا تجاوزت نسبة الإشارة إلى الضجيج الفعالة الخاصة بها، $snr_i = \frac{(n/d)v_i^2}{\Delta + \varepsilon_{BO}}$، عتبة معينة تعتمد على التنشيط $\lambda_\sigma$.

• مع زيادة حجم البيانات $n$، تعبر الميزات هذه العتبة بالتتابع، بدءاً من الميزات الأقوى (الأكبر $v_i$).
• يؤدي هذا إلى "سلم" من القفزات المنفصلة في تداخلات الميزات والانخفاضات المقابلة في خطأ التعميم، بدلاً من انتقال سلس.

2. العرض الفعال ($k_c$) وتفكيك الخطأ:
   يُعرف عدد الميزات القابلة للتعلم عند ميزانية بيانات معينة بـ العرض الفعال $k_c = |\{i : q_i > 0\}|$. يتفكك خطأ "بيز" الأمثل إلى حدين:
   $$\varepsilon_{BO} = \Theta\left(\frac{k_c d}{n}\right) + \Theta\left(\sum_{j > k_c} v_j^2\right)$$
   يمثل الحد الأول خطأ التقدير للميزات القابلة للتعلم (يتناسب مع $d/n$ لكل ميزة)، بينما يمثل الحد الثاني الانحياز غير القابل للاختزال الناتج عن الميزات غير القابلة للتعلم.

3. قوانين القياس الموحدة:
   بالنسبة لقراءات قانون القوة ذات الأس $\beta > 1/2$، يستنتج البحث نطاقي قياس متميزين يتحدان تحت العلاقة $\varepsilon_{BO} = \Theta(k_c d / n)$:

• نطاق تعلم الميزات ($n \ll k^{2\beta}d$): هنا، $k_c \sim (n/d)^{1/(2\beta)}$. يتناسب الخطأ كـ $\varepsilon_{BO} \sim n^{1/(2\beta) - 1}$. في هذا النطاق، يكون النموذج محدوداً بعدد الميزات التي يمكنه تعلمها.
• نطاق الصقل (Refinement Regime) ($n \gg k^{2\beta}d$): جميع الميزات قابلة للتعلم ($k_c = k$). يتناسب الخطأ كـ $\varepsilon_{BO} \sim n^{-1}$، مستعيداً المعدل البارامتري الكلاسيكي.
  تمثل نقطة العبور $n^\star = \Theta(k^{2\beta}d)$ الانتقال حيث تصبح أضعف ميزة قابلة للتعلم.

4. الآثار المترتبة على الطلاب المدربين بـ SGD:
   تظهر النتائج التجريبية أن طالباً مدرباً بـ ADAM بعرض $k_s$ قريب من العرض الفعال النظري $k_c$ يحقق هذه القوانين المثلى للقياس (مع وجود فجوة خوارزمية صغيرة).

• إذا كان $k_s < k_c$، فإن الطالب يعاني من نقص في الملاءمة (underfitting)، ويكون محدوداً بسعته.
• إذا كان $k_s \gg k_c$، فإن الطالب يعاني من فرط الملاءمة (overfitting) للاتجاهات غير القابلة للتعلم، مما يؤدي لتدهور الأداء.
  يتناسب العرض الأمثل للطالب مع حجم البيانات وفقاً للتسلسل الهرمي للميزات، مما يوفر أساساً نظرياً لنقل المعلمات الفائقة (hyperparameter transfer).

الأهمية والادعاءات
يزعم البحث أنه يقدم أول توصيف تحليلي لتعلم "بيز" الأمثل في نطاق العرض الممتد ($k = \Theta(d)$) للشبكات ذات الميزات الهرمية ومعاملات هيرميت الثانية المتلاشية ($\mu_2 = 0$).

• التوحيد: يوحد بين نطاقي قياس تجريبيين كانا منفصلين سابقاً (تعلم الميزات والصقل) في إطار واحد مدفوع بالعرض الفعال $k_c$.
• الآلية: يقدم تفسيراً ميكانيكياً لديناميكيات التعلم "الدرجية" الملاحظة في الممارسة العملية، عازياً إياها إلى انتقالات طورية متتالية في قابلية استرداد الميزات.
• المساهمة المنهجية: يوسع العمل طريقة "التجويف" (cavity method) لتشمل هياكل قراءة غير كثيفة (بما في ذلك الهياكل المتناثرة وقانون القوة)، مستعيداً النتائج المعروفة للقراءات الكثفة مع التعميم إلى الإعدادات المتناثرة حيث تختلف معدلات اضمحلال الخطأ بشكل كبير.
• الرؤية العملية: يوفر العرض الفعال المشتق $k_c$ وصفة من المبادئ الأولى لتحديد حجم نماذج الطلاب بناءً على ميزانيات البيانات، مما يشير إلى أن سعة النموذج يجب أن تتناسب مع عدد الميزات القابلة للتعلم بدلاً من إجمالي ميزات المعلم.

القصور
يقر المؤلفون بأن استنتاجاتهم تعتمد على افتراضات غير مثبتة، وتحديداً توزيع "حقول التجويف" كمتغيرات غاوسية، وتركيز التداخلات. بالإضافة إلى ذلك، يقتصر التحليل على التنشيطات ذات معامل هيرميت الثاني المتلاشي ($\mu_2 = 0$)، وهو ما يشمل التنشيطات الفردية ويستبعد غيرها مثل ReLU (رغم أن البحث يشير إلى إمكانية تحليل ReLU عبر النطاق المكمل $\mu_2 \neq 0$ في أعمال أخرى). كما أن اختزال "ترك واحد خارج الحساب" هو منهج تجريبي (heuristic)، وإن تم التحقق منه عددياً.