ملخص تقني: مقياس صارم وقابل للحساب لتعقيد النموذج

بيان المشكلة

يعد التقييم الدقيق لتعقيد النموذج أمراً جوهرياً لمهام تعلم الآلة مثل التفسير، والتعميم، واختيار النموذج. ومع ذلك، تعاني المقاييس الحالية من قيود كبيرة:

• النهجات التجريبية (Heuristic Approaches): توفر المقاييس البسيطة مثل عدد المعلمات أو قيمها المطلقة تقديرات فجة تفشل في التقاط القدرة الحقيقية للنموذج.
• المعلمات الفائقة الخاصة بالنموذج (Model-Specific Hyperparameters): لا تعمم المقاييس مثل درجة كثير الحدود أو طول مقياس النواة (kernel length scale) عبر فئات النماذج المختلفة.
• الاستعصاء الحسابي (Computational Intractability): غالباً ما يكون من المستحيل حساب المقاييس النظرية الصارمة، مثل بُعد فابنيك-تشيرفونينك (VCD) وتعقيد رادماخر (RMC)، في الممارسة العملية.
• تعقيد الدالة مقابل تعقيد النموذج: هناك تمييز حرج، وغالباً ما يتم تجاهله، بين تعقيد دالة معينة متعلمة (مثل عدد المعلمات الفعال، ENP) وتعقيد فئة النموذج نفسها. يمكن للنموذج المعقد أن يولد دالة بسيطة (على سبيل المثال، عن طريق ضبط المعلمات على الصفر)، ومع ذلك تخلط المقاييس القياسية بين الاثنين.

علاوة على ذلك، فإن الافتقار إلى مقياس تعقيد مقبول عالمياً وقابل للحساب يعقد تفسير ظاهرة "الهبوط المزدوج" (double descent)، حيث ينخفض خطأ التعميم مع زيادة تعقيد النموذج بما يتجاوز عتبة الاستيفاء (interpolation threshold).

المنهجية

يقترح المؤلفون تعقيد محاذاة التدرج (Gradient Alignment Complexity - GAC)، وهو مقياس مستقل عن النموذج يعتمد على محاذاة تدرجات النموذج عبر مدخلات مختلفة.

التعريف

لنموذج معلمي $\hat{f}(x, \hat{\theta})$ بمعلمات $\hat{\theta} \in \mathbb{R}^p$، ليكن $\phi(x, \hat{\theta}) = \nabla_{\hat{\theta}} \hat{f}(x, \hat{\theta})$ هو التدرج بالنسبة للمعلمات عند المدخل $x$. يُعرف GAC، ويرمز له بـ $K(\hat{f})$، كالتالي:

$$K(\hat{f}) := 1 - \mathbb{E}_{x,x'} \left[ \left( \frac{\phi(x, \hat{\theta})^\top \phi(x', \hat{\theta})}{\|\phi(x, \hat{\theta})\| \cdot \|\phi(x', \hat{\theta})\|} \right)^2 \right]$$

يستخدم هذا الصيغة مربع فرق جيب التمام (cosine difference) بين التدرجات عند مدخلين متميزين $x$ و $x'$.

• التفسير: يمثل الحد داخل التوقع مربع جيب تمام الزاوية بين التدرجات. إذا كانت التدرجات متحدة المحاذاة للغاية (متوازية)، فإن النموذج يمتلك حرية أقل لتناسب أنماط البيانات المتنوعة، مما يشير إلى تعقيد أقل. إذا كانت التدرجات متعامدة (مستقلة)، فإن النموذج يكون عالي المرونة.
• التعميم: بالنسبة للمخرجات متعددة المتغيرات (مثل التصنيف)، يتم استبدال الضرب النقطي بضرب فوريوني (Frobenius inner product) لمصفوفات جاكوبي (Jacobians).
• الحساب التجريبي: بالنسبة لمجموعة بيانات $\{x_i\}_{i=1}^n$، يتم استبدال التوقع بمتوسط عينة للأزواج $i \neq j$.

الروابط النظرية

يثبت المؤلفون أن GAC يكافئ رياضياً:

1. الإنتروبيا الخطية المعيرة (Normalized Linear Entropy): يساوي GAC الإنتروبيا الخطية المعيرة لمصفوفة النواة المماسية العصبية (NTK) المعيرة.
2. تشابه NTK: يقيس التشابه الناتج عن نواة النموذج؛ حيث تعني المحاذاة الأعلى نموذجاً أبسط.

وعلى نحو حاسم، بالنسبة لـ نماذج الميزات الثابتة (حيث $\hat{f}(x, \hat{\theta}) = \hat{\theta}^\top \phi(x)$ و $\phi(x)$ لا يعتمد على $\hat{\theta}$)، يعتمد GAC فقط على توسيع الميزات $\phi(x)$، وليس على المعلمات المتعلمة. وبالتالي، فهو يقيس تعقيد النموذج بدلاً من تعقيد الدالة. بالنسبة لنماذج الميزات غير الثابتة (مثل الشبكات العصبية العميقة)، يمكن تجميع GAC عبر خطوات التدريب بوزن يعتمد على خفض الخسارة.

المساهمات والنتائج الرئيسية

1. تعميم مقاييس التعقيد الحالية

يثبت البحث أن GAC يعمم بشكل طبيعي المعلمات الفائقة للتعقيد القياسية لمختلف فئات النماذج:

• انحدار كثير الحدود (Polynomial Regression): يزداد GAC بشكل صارم مع درجة كثير الحدود $p$.
• نوى ماتيرن (Matérn Kernels) (Gaussian/Laplace): يتناقص GAC بشكل صارم مع مقياس طول النواة $l$.
• الجار الأقرب $k$ (kNN): يتناقص GAC بشكل صارم مع عدد الجيران $\kappa$.
• أشجار القرار (Decision Trees): يزداد GAC بشكل صارم مع عدد الانقسامات (أو الأوراق).
• الغابات العشوائية (Random Forests): أظهرت النتائج أن تعقيد المجموعة (ensemble) هو مجموع تعقيد الشجرة الواحدة مع حد يعتمد على عدد الأشجار وارتباطها.

2. السلوك بالنسبة للبيانات والمعلمات الفائقة

• الأبعاد والتباين: يزداد GAC مع أبعاد المدخلات $d$ وتباين المدخلات $\sigma^2$.
• الاستقلال عن حجم العينة: بالنسبة للنماذج المعلمية ذات الميزات الثابتة، يكون GAC مستقلاً عن حجم العينة $n$. وهذا يتناقض مع ENP وتعميماته (GENP-V, GENP-RX)، التي غالباً ما تظهر سلوكاً غير رتيب أو تعتمد بشدة على $n$.
• المتانة: على عكس ENP، الذي يمكن أن يتأثر بقوة التنظيم (على سبيل المثال، قد يظهر نموذج معقد منظم بشدة كنموذج بسيط تحت مقياس ENP)، فإن GAC يحدد بشكل صحيح تعقيد النموذج الأساسي بغض النظر عن الدالة المتعلمة المحددة أو التنظيم.

3. رؤى حول الهبوط المزدوج (Double Descent)

يعيد المؤلفون زيارة ظاهرة الهبوط المزدوج باستخدام GAC كمقياس للتعقيد:

• نماذج الميزات الثابتة: بالنسبة لـ Random Fourier Features و Random Forests، يستمر الهبوط المزدوج عند قياس التعقيد بواسطة GAC.
• نماذج الميزات غير الثابتة: بالنسبة للشبكات العصبية و Gradient Boosting، غالباً ما تتلاشى ظاهرة الهبوط المزدوج أو تصبح أقل وضوحاً عند قياسها بواسطة GAC. يجادل المؤلفون بأنه في هذه الحالات، قد ينخفض "التعقيد" (محاذاة الميزات) فعلياً مع زيادة سعة النموذج، لأن النماذج الأكبر يمكنها التكيف بسهولة أكبر مع البيانات دون الحاجة إلى مساحة ميزات أكثر تعقيداً. يشير هذا إلى أن الملاحظات السابقة للهبوط المزدوج في هذه النماذج قد تكون ناتجة عن مخططات التهيئة (initialization schemes) أو الخلط بين تعقيد الدالة وتعقيد النموذج.

الأهمية والادعاءات

يزعم البحث أن GAC يوفر بديلاً صارماً رياضياً وسهل الحساب للمقاييس الحالية. تكمن أهميته الأساسية في:

1. الاستقلالية عن النموذج (Model-Agnosticism): هو معرف جيد لأي نموذج معلمي ونماذج غير معلمية قائمة على النواة.
2. التمييز بين أنواع التعقيد: ينجح في الفصل بين تعقيد النموذج وتعقيد الدالة، خاصة لنماذج الميزات الثابتة.
3. القابلية للتفسير: يقدم إطاراً موحداً لمقارنة التعقيد عبر فئات متباينة من النماذج (على سبيل المثال، مقارنة شجرة قرار بانحدار النواة).
4. توضيح الهبوط المزدوج: من خلال توفير مقياس تعقيد ثابت، فإنه يساعد في التمييز بين سلوكيات الهبوط المزدوج الحقيقية وبين الآثار الناتجة عن كيفية تعريف التعقيد (على سبيل المثال، عبر بدائل خطأ التعميم مثل GENP-V).

يقر المؤلفون بوجود قيود، مشيرين إلى أن GAC قد يكون مكلفاً حسابياً للشبكات العصبية العميقة حيث يكون حساب NTK مكلفاً، وأن طريقة التجميع لديناميكيات التدريب (المعادلة 2) يمكن تحسينها. ومع ذلك، فإنهم يرون أن GAC يقدم تحسناً جوهرياً في فهم مشكلات تعقيد النماذج.