The Zero Pattern of a Design Matrix Drives Multiple Descent in Over-parameterized Regression

ملخص تقني: النمط الصفري لمصفوفة التصميم يقود الهبوط المتعدد في الانحدار المفرط المعلمات

بيان المشكلة
لقد تمت دراسة الانحدار الخطي مفرط المعلمات (over-parameterized linear regression) بشكل مكثف، ومع ذلك تعتمد الأطر النظرية الحالية إلى حد كبير على افتراضين مقيدين: أن المتغيرات المستقلة، وأن مصفوفات التباين والتباين المشترك الخاصة بها غير متدهورة (موجبة التعريف). تحت هذه الظروف، تظهر مخاطر التنبؤ عادةً منحنى "الهبوط المزدوج" (double descent) بقمة واحدة عند عتبة الاستيفاء ($\gamma = p/n = 1$)، مدفوعة بحدث طيفي واحد حيث تفقد مصفوفة التصميم رتبتها.

تعالج هذه الورقة الفجوة في فهم متى ولماذا يمكن أن ينشأ الهبوط المتعدد (multiple descent) — أي ظهور قمم مخاطر متعددة — استناداً فقط إلى بنية البيانات، دون الاعتماد على ضبط البنية المعمارية، أو كتل الميزات المنفصلة، أو مقاييس النواة (kernel scales) المتميزة. يبحث المؤلفون في طريقة المربعات الصغرى لـ "ريج" (ridge least squares) مع عقوبة متلاشية ($\lambda_n \downarrow 0$) في النظام النسبي ($p/n \to \gamma \in (0, \infty)$) تحت تخفيفين محددين:

1. عدم التجانس (Heterogeneity): الملاحظات مستقلة ولكنها تمتلك مصفوفات تباين وتباين مشترك متميزة، قد تكون ناقصة الرتبة.
2. الاعتماد (Dependence): الملاحظات مرتبطة عبر مكونات قابلة للفصل ذات رتبة محدودة (مثل تعزيز البيانات/data augmentation).

المنهجية
الابتكار المنهجي الجوهري هو اختزال كل من التصاميم غير المتجانسة والتابعة إلى نموذج ملف التباين (variance-profile model). من خلال تدوير البيانات إلى قاعدة متجهات ذاتية مشتركة (حيث تكون مصفوفات التباين والتباين المشترك قابلة للتشخيص في آن واحد)، يحول المؤلفون المشكلة إلى تحليل مصفوفة غاوسية ذات مدخلات مستقلة ولكن بتباينات غير متساوية، تُعرف بـ مصفوفة ملف التباين $S \in \mathbb{R}^{n \times p}$.

1. اختزال ملف التباين:

   • بالنسبة لـ النموذج 1 (غير المتجانس)، حيث $X_i = \Sigma_i^{1/2} Z_i$، يتم بناء الملف $S$ من القيم الذاتية لمصفوفات التباين والتباين المشترك الفردية $\Sigma_i$.
   • بالنسبة لـ النموذج 2 (التابع)، حيث $X = \sum (\tilde{\Sigma}^{(m)})^{1//2} Z^{(m)} (\Sigma^{(m)})^{1/2}$، يتم اشتقاق الملف $S$ من حاصل ضرب القيم الذاتية لمكونات التباين للعينة والإحداثيات.
   • والأهم من ذلك، أن النمط الصفري لـ $S$ (حيث $S_{ij} = 0$) يرمز إلى أي اتجاهات إحداثية لا تستطيع الملاحظات "رؤيتها"، مما يمثل تدهورات هيكلية.

2. المكافئات الحتمية عبر القوانين المحلية:
   يستنتج المؤلفون مكافئات حتمية لمخاطر التنبؤ (الانحياز والتباين) في نظام العقوبة المتلاشية. يتطلب هذا توسيع القانون المحلي لنظرية المصفوفات العشوائية (تحديداً من [4]) لتتبع المعلم الطيفي صراحةً أثناء اقترابه من الصفر ($\lambda_n \downarrow 0$). يسمح هذا بتحليل "الحافة الصلبة" (hard edge) للطيف، حيث تتراكم القيم الذاتية الصغيرة.

3. التوصيف التوليفي (Combinatorial Characterization):
   يرتبط سلوك المخاطر بـ تفكيك دولماج-مندل (Dulmage–Mendel–decomposition - DM) للرسم البياني ثنائي الأجزاء المرتبط بدعم $S$ (رسم التباين البياني).

   • دعم الانحياز (Bias Support): يتحدد بمجموعة الأعمدة ($J_S$) التي يمكن تركها غير متطابقة بواسطة تطابق أقصى (maximum matching) في رسم التباين البياني. وتتوافق هذه مع الاتجاهات التي يحتفظ فيها المقدر بالانحياز.
   • قمم التباين (Variance Peaks): تتحدد عبر "شرط التبديل" (switching condition) على الرسم البياني المتبقي (بعد إزالة الأعمدة المتدهورة وجيرانها). تحدث القمة عندما يفقد الرسم البياني المتبقي "خاصية هول القوية من جانب الأعمدة" (column-side strong Hall property)، مما يدفع أصغر القيم الذاتية غير الصفرية إلى الحافة الصلبة.

المساهمات والنتائج الرئيسية

1. آلية الهبوط المتعدد:
   تثبت الورقة أن مصفوفة تصميم واحدة ومقدر واحد يمكن أن ينتجا قمم مخاطر متعددة. هذه القمم ليست نتاج معماريات محددة بل هي متأصلة في التدهور الطيفي الناتج عن النمط الصفري لهيكل التباين والتباين المشترك.

   • الانحياز: يستمر في الإحداثيات التي لا يمكن ملاحظتها هيكلياً (غير متطابقة في تفكيك DM).
   • التباين: يتباعد عند نسب جوانب محددة حيث يصبح التصميم المتبقي "مربعاً" (عبر شرط التبديل)، مما يسبب طفرة في المخاطر.

2. قواعد دقيقة لمواقع القمم:
   يقدم المؤلفون قاعدة توليفية دقيقة للتنبؤ بعدد ومواقع القمم:

   • دعم الانحياز ثابت بواسطة مجموعة الأعمدة المتدهورة $J_S$.
   • تحدث قمم التباين عند قيم $\gamma$ التي ينتقل فيها التصميم الفرعي المتبقي (بعد إزالة $J_S$) من امتلاك فائض "هول القوي من جانب الأعمدة" إلى الفشل فيه.
   • يتضح ذلك في أمثلة مثل تعزيز البيانات (النموذج 2) والمساحات الفرعية غير المتجانسة (النموذج 1)، حيث تظهر عتبات متعددة مع تصبح كتل مختلفة من التصميم "مربعة" بالنسبة لحجم العينة.

3. المقارنة مع التصاميم موجة التعريف:
   تميز الورقة بين التباينات ناقصة الرتبة وموجبة التعريف.

   • إذا كانت مصفوفات التباين والتباين المشترك موجبة التعريف (حتى لو كانت غير متجانسة وغير تبادلية)، فإن النمط الصفري يكون فارغاً. ويفترض المؤلفون، مدعومين بالمحاكاة، أن هذه التصاميم تحتفظ بـ قمة واحدة كلاسيكية فقط عند $\gamma = 1$.
   • الهبوط المتعدد مدفوع تحديداً بـ الأصفار (نقص الرتبة) في التباين، وليس مجرد عدم التجانس أو التدوير.

4. المتانة والشمولية:

   • النتائج النظرية تسري على التصاميم ذات المدخلات المستقلة وملفات التباين المتطابقة، وليس فقط التصاميم الغاوسية (ملاحظة 1). تؤكد المحاكاة باستخدام مدخلات Student-$t_3$ (ذات العزم الثالث اللانهائي) أن هيكل القمة يستمر.
   • تنطبق الآلية على التصاميم المتدهورة في العالم الحقيقي، مثل تضمينات النصوص (text embeddings) من نماذج المحولات (transformers) سابقة التدريب والمعززة بضوضاء غاوسية، والتي تظهر هبوطاً متعدداً في الاختبارات التجريبية.

الأهمية
تدعي الورقة أن ظاهرة الهبوط المتعدد لا تقتصر على النماذج المعقدة متعددة المكونات، بل يمكن أن تنشأ من النمط الصفري الهيكلي لتصميم واحد، سواء كان غير متجانس أو تابعاً. ومن خلال توصيف قمم المخاطر عبر تفكيك دولماج-مندل لدعم ملف التباين، يقدم المؤلفون قاعدة حتمية للتنبؤ بمكان حدوث طفرات المخاطر. هذا ينقل فهم الهبوط في الانحدار من منظور طيفي بحت (بناءً على نسب الجوانب) إلى منظور هيكلي (بناءً على إمكانية ملاحظة الإحداثيات)، مما يسلط الض الضوء على أن التدهور في تباين بيانات التصميم هو المحرك الأساسي للهبوط المتعدد.

كما تقدم الورقة توسيعاً تقنياً للقوانين المحلية في نظام العقوبة المتلاشية، مما يسمح بتحليل الحافة الصلبة للطيف في وجود أصفار هيكلية، وهي أداة ذات أهمية مستقلة لنظرية المصفوفات العشوائية.