💻 computer science

Double descent for least-squares interpolation on contaminated data: A simulation study

تُظهر هذه الدراسة المحاكاتية أنه في حالة الانحدار الخطي مع البيانات الملوثة، يمكن للمستنبطات المربعات الصغرى ذات المعلمات الزائدة للغاية أن تُظهر ظاهرة التناقص المزدوج، محققةً في نهاية المطاف أداء تعميم متفوق مقارنة بالمقدرات البديلة القوية.

المؤلفون الأصليون: Tino Werner

نُشر 2026-05-22✓ Author reviewed ⓘ

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Tino Werner

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم روبوت التنبؤ بالطقس بناءً على بيانات سابقة. عادةً، يضع الإحصائيون قاعدة ذهبية: "لا تجعل روبوتك ذكياً أكثر من اللازم." إذا أعطيته الكثير من القواعد (المعلمات) لحفظها، فسوف يكتفي بحفظ طقس الأسبوع الماضي (فرط التخصيص/Overfitting) وسيفشل في التنبؤ بطقس الأسبوع القادم. أنت تريد نموذجاً "مثالياً" (Goldilocks)—ليس بسيطاً جداً ولا معقداً جداً.

لكن مؤخراً، اكتشف العلماء ظاهرة غريبة تسمى "الهبوط المزدوج" (Double Descent). إنها تشبه الأفعوانية حيث تصبح الرحلة مخيفة (خطأ عالٍ) كلما أضفت المزيد من القواعد، ولكن إذا استمررت في إضافة المزيد والمزيد من القواعد، فإن الرحلة تصبح فجأة سلسة مرة أخرى، ويصبح الروبوت دقيقاً بشكل مذهل. يحدث هذا عندما يكون الروبوت "خارق القدرة" (مفرط المعلمات) لدرجة تمكنه من إيجاد نمط بسيط خفي وسط الفوضى.

المشكلة: البيانات "المقرفة" (Gross)
البيانات في العالم الحقيقي فوضوية. أحياناً يتعطل مستشعر ما، أو يحدث خطأ مطبعي، مما يخلق "قيمًا متطرفة" (Outliers)—وهي نقاط بيانات خاطئة تماماً (مثل قول إن درجة الحرارة 100 فهرنهايت في منتصف عاصفة ثلجية).

الإحصاء المتين الكلاسيكي: تقليدياً، يقول الخبراء: "إذا كانت البيانات فوضوية، يجب أن نستخدم أدوات خاصة وحذرة (مقدرات متينة) لتجاهل النقاط السيئة". هم يعتقدون أنه إذا استخدمت أداة قياسية وبسيطة على بيانات فوضوية، فإن الروبوت سيجن جنونه.
التحول المفاجئ: يسأل هذا البحث: ماذا لو استخدمنا الروبوت "خارق القدرة" (ذلك الذي يتميز بظاهرة الهبوط المزدوج) على بيانات فوضوية؟ هل سيظل يعمل، أم أن الفوضى ستدمر السحر؟

التجربة
في هذا المثال، وظيفة الروبوت هي التنبؤ بـ درجة الحرارة بناءً على قياسات الطقس الأخرى (مثل سرعة الرياح، الرطوبة، إلฯ). لذا فإن درجة الحرارة هي الإجابة التي يحاول الروبوت تخمينها (نسميها Y)، والقياسات الأخرى هي المدخلات التي يستخدمها (نسميها X). هذا التمييز مهم للجزء التالي:

قام المؤلف، تينو فيرنر، بإجراء محاكاة ضخمة. لقد أنشأ عالماً "نظيفاً" ثم قام بتلويث بيانات التدريب عمداً بنوعين من الفوضى:

تلوث Y (تلوث الإجابات): العبث بالإجابات (على سبيل المثال، إخبار الروبوت أن درجة الحرارة كانت 100 فهرنهايت بينما كانت في الواقع 50 فهرنهايت).
تلوث X (تلوث الأسئلة): العبث بالأسئلة (على سبيل المثال، إخبار الروبوت أن سرعة الرياح كانت 500 ميل في الساعة بينما كانت 5 أميال في الساعة).

ثم قارن بين الروبوت "خارق القدرة" (الذي يستخدم الاستكمال المربعي الأدنى/Least-Squares Interpolation، والذي يقوم ببساطة بملاءمة خط يمر عبر كل نقطة بدقة، بما في ذلك النقاط السيئة) ضد عدة روبوتات "حذرة" مصممة لتجاهل البيانات السيئة (باستخدام Huber loss، و Tukey loss، و SLTS، و RRBoost).

النتائج المفاجئة

الروبوت "خارق القدرة" هو الفائز:
النتيجة الأكثر صدمة هي أن مستكمل المربعات الأدنى (الذي يطابق كل نقطة بعمى، بما في ذلك النقاط الرديئة) كان في الواقع الأفضل في العديد من السيناريوهات.

التشبيه: تخيل طالباً يؤدي اختباراً. الطلاب "الحذرون" يحاولون تجاهل الأسئلة الخادعة. أما الطالب "خارق القدرة" فيحاول الإجابة على كل سؤال، حتى الخادعة منها. ومن المثير للدهشة، إذا امتلك الطالب ما يكفي من القدرات الذهنية لرؤية الصورة الكاملة، فيمكنه بطريقة ما "متوسط" الأسئلة الخادعة والحصول على درجة مثالية في الامتحان النهائي.
وجد البحث أنه بمجرد تجاوز تعقيد النموذج حداً معيناً (نظام الاستكمال)، انخفض معدل الخطأ مرة أخرى، متفوقاً على جميع الطرق المتينة "الحذرة".

الروبوتات "الحذرة" تعثرت:
الطرق المصممة لتكون متينة (Huber, Tukey, SLTS, RRBoost) غالباً ما فشلت في إظهار سحر "الهبوط المزدوج". في بعض الحالات، علقت هذه الطرق عند معدلات خطأ عالية ولم تتعافَ أبداً، حتى عندما أصبح النموذج ضخماً. لقد كانت مشغولة جداً بمحاولة أن تكون "آمنة" لدرجة منعتها من إيجاد البساطة الخفية في البيانات.
خدعة "المجموعة الفرعية النظيفة":
حاول المؤلف أيضاً نهجاً هجيناً: أولاً، استخدم روبوتاً "حذراً" للعثور على نقاط البيانات "النظيفة"، ثم استخدم الروبوت "خارق القدرة" فقط على تلك النقاط النظيفة.

النتيجة: كان هذا جيداً، لكنه لم يتفوق على الروبوت "خارق القدرة" الذي التهم مجموعة البيانات الفوضوية بأكملها. لم يبدُ أن البيانات الفوضوية قد أضرت النموذج "خارق القدرة" بقدر ما كان يُعتقد.

شكل "الهبوط المزدوج":

البيانات النظيفة: الخطأ ينخفض، ثم يرتفع (فرط التخصيص)، ثم ينخفض مرة أخرى (الهبوط المزدوج).
بيانات Y الفوضوية (إجابات سيئة): الخطأ يرتفع ويبقى مرتفعاً حتى يصبح النموذج ضخماً، ثم ينخفض. إنه "هبوط باتجاه واحد" بعد الذروة، لكنه لا يزال يصبح جيداً جداً في النهاية.
بيانات X الفوضوية (أسئلة سيئة): يتعامل النموذج مع هذا الأمر بشكل جيد تقريباً مثل البيانات النظيفة.

الخلاصة
يتحدى هذا البحث الفكرة القديمة القائلة بأن "البيانات الفوضوية تتطلب أدوات متينة وحذرة". إنه يشير إلى أنه إذا كان لديك نموذج ضخم وخارق القدرة، فقد لا تحتاج إلى تنظيف بياناتك أو استخدام خوارزميات متينة معقدة. فحجم النموذج الهائل يسمح له بـ "استكمال" الضوضاء وإيجاد الحقيقة، وغالباً ما يتفوق على الطرق المصممة خصيصاً لتكون متينة.

ما لا يقوله البحث

هو لا يدعي أن هذا يعمل مع كل أنواع البيانات (مثل الصور الطبية أو أسواق المال) دون اختبار.
هو لا يقول أن تتوقف عن استخدام الإحصاء المتين للأبد؛ هو فقط يقول أنه في محاكاة الانحدار الخطي المحددة هذه، تفوقت الطريقة البسيطة وخارقة القدرة.
هو لا يقدم نظرية جديدة تشرح لماذا يحدث هذا رياضياً؛ هو فقط يظهر أن هذا يحدث من خلال عمليات المحاكاة الحاسوبية.

باختاً: أحياناً، أفضل طريقة للتعامل مع غرفة فوضوية ليست في التقاط كل قطعة قمامة بعناية، بل في إحضار مكنسة كهربائية عملاقة تبتلع كل شيء وتترك الأرضية نظيفة أكثر مما كنت تتوقع.

ملخص تقني: الهبوط المزدوج للاستكمال المربعات الصغرى على البيانات الملوثة

بيان المشكلة

تفترض النظرية الإحصائية الكلاسيكية أن زيادة تعقيد النموذج بما يتجاوز نقطة الاستكمال (حيث يتجاوز عدد المعلمات $p$ عدد العينات $n$ ) يؤدي إلى فرط التخصيص (overfitting) وسوء التعميم. ومع ذلك، حددت الأعمال التجريبية والنظرية الحديثة ظاهرة "الهبوط المزدوج" (double descent)، حيث ينخفض خطأ التعميم مرة أخرى في نظام التوسع الزائد للمعلمات ( $p > n$ ). وبينما تمت دراسة هذه الظاهرة باستفاضة في الحالات النظيفة، إلا أن سلوك النماذج ذات التوسع الزائد في ظل البيانات الملوثة لا يزال أقل فهمًا.

تعالج الإحصاءات المتينة تقليديًا البيانات الملوثة (حيث تنحرف الملاحظات عن التوزيع المثالي بسبب القيم المتطرفة) من خلال استخدام مقدرات ذات دالات تأثير محدودة (مثل خسارة هوبر، أو خسارة توكي، أو المربعات الصغرى المبتورة). وتضحي هذه الطرق عادةً بالكفاءة في سبيل تحقيق المتانة. السؤال المركزي الذي يتناوله هذا العمل هو ما إذا كانت ظاهرة الهبوط المزدوج تستمر في الانحدار الخطي مع بيانات تدريب ملوثة، وتحديدًا ما إذا كان مستكمل المربعات الصغرى (LS)، رغم كونه غير متين للغاية، يمكنه التفوق على البدائل المتينة الراسخة في نظام التوسع الزائد للمعلمات.

المنهجية

هذه الدراسة هي تحليل محاكاة تجريبي بحت يقارن أداء التعميم لمختلف المقدرات المدربة على بيانات ملوثة ويتم تقييمها على بيانات اختبار نظيفة.

1. توليد البيانات

الإعداد: انحدار خطي $Y = X\beta + \epsilon$ مع $n$ من العينات و $p$ من المتنبئات.
الإشارة الحقيقية: متجه معاملات متفرق (sparse) $\beta$ (البعد الحقيقي $s=20$ ) بمكونات غاوسية أو موحدة.
المتنبئات ( $X$ ): تم توليدها من توزيع طبيعي متعدد المتغيرات إما بمتنبئات مستقلة ( $\Sigma = I$ ) أو بهيكل تغاير (covariance structure) مدبب ( $\Sigma = I + \rho \mathbf{1}\mathbf{1}^T$ ).
التلوث: تم حقن نوعين من التلوث في مجموعة التدريب فقط:
- تلوث Y: قيم متطرفة مضافة إلى متجه الاستجابة.
- تلوث X: قيم متطرفة مضافة إلى خلايا محددة داخل صفوف مختارة من مصفوفة المتنبئ.
المعلمات: نوعت التجارب في $p$ (من 5 إلى 5000)، وحجم العينة $n$ (50 و 200)، ونسبة الإشارة إلى الضوضاء (SNR)، ونصف قطر التلوث $r$ (نسبة النقاط الملوثة)، ومقدار التلوث ( $c_{out}$ ).

2. الخوارزميات المقارنة

قيمت الدراسة المقدرات التالية:

مستكمل الحد الأدنى لـ $l_2$ -norm: وهو حل المربعات الصغرى القياسي لحالة $p > n$ ، ويُحسب عبر المعكوس شبه المور-بنروز ( $X^+Y$ ).
مستكملات خسارة المتانة:
- خسارة هوبر (Huber Loss): يتم تحسينها عبر الانحدار الاشتقاقي (حزمة MTE في لغة R).
- خسارة توكي (Tukey Loss): يتم تحسينها عبر الانحدار الاشتقاقي (تنفيذ مخصص).
اختيار المجموعات الفرعية المتينة + الاستكمال:
- القائم على SLTS: تُستخدم المربعات الصغرى المبتورة المتفرقة (SLTS) لتحديد مجموعة فرعية "نظيفة" من البيانات؛ ثم يتم تدريب مستكمل الحد الأدنى لـ $l_2$ -norm على هذه المجموعة الفرعية فقط.
- القائم على RRBoost: يُستخدم التعزيز المتين (RRBoost) لتحديد مجموعة فرعية نظيفة، يليه استكمال الحد الأدنى لـ $l_2$ -norm على هذه المجموعة.
المقدرات المتينة المرجعية: نماذج SLTS و RRBoost القياسية (بدون خطوة الاستكمال اللاحقة).

3. مقاييس التقييم

تم تقييم الأداء باستخدام:

متوسط خطأ متوسط المربعات (MSE) للاختبار.
متوسط خطأ متوسط المربعات (MSE) للتدريب.
الفرق في معيار $l_1$ -norm بين المعاملات المقدرة والحقيقية ( $||\hat{\beta} - \beta||_1$ ).
عدد التكرارات المطلوبة للتقارب (للخوارزميات التكرارية).

النتائج الرئيسية

1. الهبوط المزدوج في الإعدادات الملوثة

مستكمل المربعات الصغرى (LS): يُظهر مستكمل الحد الأدنى لـ $l_2$ $l_{2}$ -norm ظاهرة هبوط مزدوج واضحة حتى مع وجود بيانات تدريب ملوثة، بشرط أن تكون نسبة الإشارة إلى الضوضاء (SNR) مرتفعة بما يكفي (على سبيل المثال، $\ge 2$ $\geq 2$ ).
- تلوث Y: يزداد خطأ MSE للاختبار حتى $p \approx n$ (أو ما يتجاوز ذلك قليًا) ثم ينخفض بشكل صارم. بالنسبة لقيم $p$ الكبيرة، يمكن أن يقترب MSE للاختبار الخاص بمستكمل LS في البيانات الملوثة من أداء مستكمل LS المدرب على بيانات نظيفة، وغالبًا ما يتفوق على البدائل المتينة.
- تلوث X: يبدو مستكمل LS متينًا بشكل ملحوظ؛ حيث يشبه منحنى الهبوط المزدوج في حالة البيانات النظيفة.
البدائل المتينة:
- خسارة هوبر: تُظهر هبوطًا مزدوجًا في البيانات النظيفة والمتلوثة بـ X، لكنها غالبًا ما تفشل في الانخفاض بفعالية مثل LS في نظام التوسع الزائد، خاصة تحت تلوث Y العالي.
- خسارة توكي: تفشل عمومًا في إظهار الهبوط المزدوج؛ حيث لا يتلاشى خطأ التدريب، وغالبًا ما يظل MSE للاختبار مرتفعًا أو ثابتًا.
- SLTS/RRBoost (القياسي): لا تُظهر هبوطًا مزدوجًا؛ حيث يكون الأداء ثابتًا أو متدهورًا مع زيادة $p$ .
- SLTS/RRBoost + الاستكمال: بينما تحدد هذه الطرق مجموعات فرعية نظيفة، فإن الاستكمال اللاحق على هذه المجموعات لا يحقق باستمرار ميزة الهبوط المزدوج التي يظهرها مستكمل LS للبيانات الكاملة، خاصة في ظل التلوث العالي.

2. تأثير التغاير والمركزية

ظاهرة الهبوط المزدوج لا تتأثر بشكل كبير بهيكل التغاير (مستقل مقابل مدبب).
ومع ذلك، فإن المتنبئات غير المركزية ( $\mu = 5$ ) تضعف أداء الاستكمال القائم على هوبر، بينما يظل مستكمل LS مستقرًا.

3. ديناميكيات خطأ التدريب

يتلاشى خطأ التدريب لمستكمل LS فورًا بمجرد أن يصبح $p > n$ .
بالنسبة لخسارة هوبر، يتلاشى خطأ التدريب عند قيمة $p$ أعلى من $n$ ، ويتزامن "الهبوط الثاني" في خطأ الاختبار تقريبًا مع تلاشي خطأ التدريب.
نادرًا ما يتلاشى خطأ تدريب توكي بسبب طبيعته المتراجعة (redescending).

4. أعداد التكرارات

غالبًا ما تصل عدد التكرارات لخسائر هوبر وتوكي إلى ذروتها بالقرب من $p=n$ وتنخفض لقيم $p$ الكبيرة جدًا (في حالات تلوث Y المركزية). ومع ذلك، لا يرتبط عدد التكرارات هذا ارتباطًا مباشرًا باتجاهات خطأ التعميم الملحوظة.

الأهمية والادعاءات

يزعم البحث وجود متانة مدهشة لمستكمل الحد الأدنى لـ $l_2$ -norm. وخلافًا للحدس الكلاسيكي الذي يفترض فشل المقدرات غير المتينة، تجد الدراسة أنه في نظام التوسع الزائد للمعلمات ( $p \gg n$ )، يحقق مستكمل LS أداء تعميم متفوقًا مقارنة بالبدائل المتينة (هوبر، توكي، SLTS، RRBoost) ومتغيراتها الهجينة.

النقاط الجوهرية تشمل:

استمرار الهبوط المزدوج: ظاهرة الهبوط المزدوج قابلة للملاحظة في الانحدار الخطي مع البيانات الملوثة، وتحديدًا لمستكمل LS.
تفوق LS على الطرق المتينة: في كثير من سيناريوهات التلوث، يحقق مستكمل LS "غير المتين" أداء تعميم أفضل من الطرق المصممة صراحةً لتكون متينة (مثل هوبر، توكي، SLTS، RRBoost).
الكفاءة الحسابية: بما أن لمستكمل LS حل مغلق (أو تنفيذ جبر خطي فعال)، فإنه يوفر مزايا حسابية كبيرة مقارنة بالطرق المتينة التي تتطلب تحسينًا تكراريًا (مثل تقليل خسارة هوبر أو توكي) أو اختيار المجموعات الفرعية، خاصة عندما $p \gg n$ .

يخلص المؤلفون إلى أنه بينما تفتقر الضمانات النظرية للهبوط المزدوج في البيانات الملوثة حاليًا، فإن الأدلة التجريبية تشير إلى أن استكمال LS في نظام التوسع الزائد هو استراتيجية قابلة للتطبيق وربما تكون متفوقة للبيانات الملوثة، مما يتحدى ضرورة المقدرات المتينة التقليدية في الإعدادات عالية الأبعاد. ويُقترح إجراء عمل مستقبلي لتقديم البراهين النظرية لهذه الملاحظات.