🤖 machine learning

A Data-dependent Early Stopping Rule using Rademacher Complexity with L1-norm

تقترح هذه الورقة إطاراً تحليلياً قائماً على تعقيد رادماخرر مع معيار L1 لتقدير وقت التوقف المبكر الأمثل لنماذج الانحدار الخطي دون الحاجة إلى افتراضات تدريبية أو احتمالية، مما يثبت قابليتها للتطبيق على الشبكات العصبية غير الخطية من خلال الاختبار الخطي.

المؤلفون الأصليون: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

نُشر 2026-08-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Duy Hoang, Bastien Berret, Olivier Bruneau, Laurent Fribourg

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إن تدريب الحاسوب على التعرف على الأنماط، سواء كان ذلك بتحديد قطة في صورة فوتوغرافية أو التنبؤ بسعر سهم، يتضمن عملية توازن دقيقة. يتعلم الجهاز من خلال النظر في الأمثلة، وتعديل إعداداته الداخلية لتتناسب مع البيانات التي رآها. ومع ذلك، إذا تعلم بشكل مثالي للغاية، فإنه يبدأ في حفظ الخصائص الدقيقة لتلك الأمثلة بدلاً من فهم القواعد الأساسية. يشبه هذا إلى حد ما طالباً يحفظ الإجابات لاختبار تجريبي ولكنه يفشل في الامتحان الحقيقي لأنه لا يستطيع تطبيق المنطق على أسئلة جديدة. وفي عالم الذكاء الاصطناعي، يمثل هذا الفشل في التعميم عقبة رئيسية. ولمنع ذلك، غالباً ما يستخدم الباحثون استراتيجية تسمى "التوقف المبكر"، حيث يوقفون عملية التعلم في اللحظة المناسبة تماماً—بعد أن يكون النموذج قد تعلم القواعد ولكن قبل أن يبدأ في حفظ الضجيج. ويكمن التحدي دائماً في معرفة متى تأتي تلك اللحظة بالضبط. تقليدياً، يتطلب إيجاد هذه النقطة المثالية تشغيل عملية التدريب عدة مرات على مجموعات منفصلة من البيانات، وهي طريقة بطيئة ومكلفة حاسوبياً وغالباً ما تعتمد على التخمين.

اقترح فريق من الباحثين في جامعة باريس ساكلي (Université Paris-Saclay) طريقة جديدة لحل مشكلة التوقيت هذه دون الحاجة إلى تجارب متكررة. فبدلاً من التخمين أو تشغيل عمليات محاكاة إضافية، طوروا طريقة رياضية يمكنها التنبؤ بنقطة التوقف المثالية مباشرة من البيانات نفسها. يعتمد نهجهم على مفهوم يُعرف باسم "تعقيد رادماخر" (Rademacher complexity)، والذي يقيس جوهرياً مدى قدرة النموذج على التمييز بين الأنماط الحقيقية والضجيج العشوائي. ومن خلال استخدام هذا المقياس، ابتكر الباحثون قاعدة تخبر الحاسوب متى يتوقف عن التعلم بالضبط. وما يميز عملهم هو أنه لا يتطلب افتراضات حول شكل أو توزيع البيانات، وهو مطلب شائع في الطرق السابقة. علاوة على ذلك، وجدوا أن استخدام طريقة محددة لقياس الخطأ، تُعرف باسم "معيار L1" (L1-norm)، قدم تنبؤات أكثر دقة بكثير من الطرق القياسية المستخدمة في هذا المجال.

ركز الباحثون في عملهم الأولي على النماذج الخطية، وهي أبسط أنواع خوارزميات التعلم الآلي، لكنهم أظهروا أن نتائجهم يمكن توسيعها لتشمل الشبكات العصبية غير الخطية المعقدة. ولاختبار نظريتهم، طبقوا طريقتهم على مشكلة كلاسيكية: التمييز بين الأرقام المكتوبة بخط اليد. في إحدى التجارب، دربوا شبكة عصبية للتمييز بين الرقمين ثلاثة وخمسة من مجموعة بيانات تضم أكثر من عشرة آلاف صورة. وباستخدام قاعدتهم الجديدة، حسب النظام وقت توقف قدره 342 خطوة. وعند مقارنة ذلك بأفضل وقت توقف فعلي تم إيجاده من خلال تشغيل عملية التدريب الكاملة وفحص مجموعة اختبار منفصلة، كان الوقت الأمثل الحقيقي هو 357 خطوة. وكان الفرق ضئيلاً، وكان أداء النموذج الذي توقف عند الوقت المتوقع متطابقاً تقريباً مع أداء النموذج الذي توقف عند الوقت الأمثل الحقيقي. وفي اختبار آخر يتعلق بالرقمين صفر وواحد، كان وقت التوقف المتوقع 415 خطوة، بينما كان الوقت الأمثل الحقيقي 418 خطوة. وفي كلتا الحالتين، تجنب النموذج المدرب باستخدام قاعدتهم فخ الإفراط في التخصيص (overfitting) وحقق أفضل دقة ممكنة للبيانات غير المرئية.

كما كشفت الدراسة أن الطريقة تعمل بشكل أفضل عندما تكون هناك كمية كبيرة من البيانات بالنسبة لتعقيد النموذج. فعندما اختبر الباحثون سيناريوهات ذات نقاط بيانات أقل، أصبحت الطريقة أقل دقة، حيث اقترحت أحياناً وقت توقف قدره صفر، مما يشير إلى ضرورة عدم تدريب النموذج على الإطلاق. وهذا يتوافق مع الفهم بأن النماذج المعقدة تحتاج إلى بيانات كافية لتعلم القواعد العامة. كما قارن الباحثون طريقتهم الجديدة بالتقنيات القديمة التي تعتمد على افتراضات رياضية مختلفة حول البيانات. ووجدوا أن نهجهم، الذي يستخدم معيار L1 للحساب، أنتج باستمرار أوقات توقف أقرب بكثير إلى الأمثل الحقيقي من الطرق القديمة. وهذا يشير إلى أن طريقة قياس الخطأ لا تقل أهمية عن قاعدة التوقف نفسها.

ولعل الأمر الأكثر أهمية هو أن الباحثين أظهروا أن التوقف المبكر ليس مجرد مفهوم نظري بل هو ضرورة عملية في كثير من الحالات. فقد حسبوا ما سيحدث إذا سُمح للتدريب بالاستمرار إلى أجل غير مسمى. وفي الأمثلة التي درسوها، تراجع أداء النموذج على البيانات الجديدة إذا استمر التدريب بعد النقطة المثالية، مما يؤكد أن التوقف المبكر يمنع تدهور النموذج. ومع ذلك، أشاروا أيضاً إلى أنه في بعض السيناريوهات المحددة وعالية التعقيد حيث يمتلك النموذج معاملات أكثر بكثير من البيانات، قد يؤدي الاستمرار في التدريب في النهاية إلى نتائج أفضل، وهي ظاهرة تُعرف باسم "الإفراط في التخصيص الحميد" (benign overfitting). وتساعد طريقتهم في تحديد الحالة التي يمر بها المستخدم، مما يسمح له بتقرير ما إذا كان يجب التوقف مبكراً أم الاستمرار.

من خلال توفير طريقة لحساب وقت التوقف الأمثل دون تشغيل عملية التدريب الكاملة، يقدم هذا العمل مساراً أكثر كفاءة لتطوير ذكاء اصطناعي موثوق. فهو يلغي الحاجة إلى التجربة والخطأ، مما يوفر الوقت والموارد الحوسبية. وتعد هذه الطريقة مفيدة بشكل خاص للحالات التي تكون فيها البيانات وفيرة ولكن القدرة الحوسبية محدودة، أو حيث تكون تكلفة التدريب مرتفعة. وبينما يركز البحث الحالي على النماذج الخطية وأنواع محددة من البيانات، يعتقد الباحثون أنه يمكن تكييف إطار عملهم للأنظمة الأكثر تعقيداً وأنواع مختلفة من المخرجات. إن عملهم يوفر إجابة واضحة قائمة على البيانات لسؤال تطلب لفترة طويلة التخمين، مما يقدم أداة أكثر دقة للتنقل بين مقايضة التعلم والحفظ.

ملخص تقني: قاعدة توقف مبكر تعتمد على البيانات باستخدام التعقيد الرادماخر (Rademacher Complexity) مع معيار L1-norm

بيان المشكلة
يتطلب تدريب الشبكات العصبية موازنة المقايضة بين ملاءمة بيانات التدريب وتحقيق أداء قوي على المدخلات غير المرئية، وهي خاصية تُعرف بالقدرة على التعميم (generalizability). وتتحدد هذه الخاصية من خلال الفجوة بين المخاطرة التجريبية ( $L_S$ ) والمخاطرة المتوقعة للمجتمع ( $L_D$ ). تُعرف خسارة التعميم ( $L_G$ ) بأنها الفرق بين هذين الاثنين. أثناء التدرج المنحدر (GD)، تنخفض $L_S$ عادةً بينما تزداد $L_G$ ، مما يخلق مقايضة "التحيز والتباين" (bias-variance trade-off). الهدف من التوقف المبكر هو إيقاف التدريب عند الوقت الأمثل $t^*$ الذي يقلل المجموع $L_S + L_G$ .

كلاسيكياً، يتم تقدير $t^*$ عددياً من خلال مراقبة مجموعة اختبار منفصلة ( $S_{test}$ ). وبدلاً من ذلك، توجد مقاربات تحليلية تستخدم نظرية المصفوفات العشوائية (RMT)، لكنها غالباً ما تعتمد على افتراضات احتمالية قوية، مثل توزيعات البيانات الغاوسية (Gaussian) أو توزيعات قيم ذاتية محددة (مثل Marchenko–Pastur) لمصفوفة تغاير البيانات. تعالج هذه الورقة البحثية الحاجة إلى قاعدة توقف مبكر تحليلية لا تتطلب مجموعات اختبار منفصلة أو افتراضات توزيعية مقيدة.

المنهجية
يقترح المؤلفون إطاراً تحليلياً يعتمد على التعقيد الرادماخري (Rademacher Complexity - RC) لتقدير وقت التوقف الأمثل دون إجراء التدرج المنحدر. تركز المنهجية على النماذج الخطية والانحدار الخطي، مع توسيع نطاقها ليشمل الشبكات غير الخطية عبر "الاستقصاء الخطي" (linear probing).

صياغة معيار L1-norm: على عكس العديد من حدود RC الموجودة التي تستخدم معيار L2-norm، يعبر هذا العمل عن التعقيد الرادماخري باستخدام معيار L1-norm. ويعود الدافع وراء اختيار المعيار L1 إلى الرغبة في التخلص من الثابت المعتمد على البيانات $M$ (وهو حد للخسارة) من حد خطأ التعميم. من خلال ضبط $p=1$ في حد معيار $L_p$ العام، يستنتج المؤلفون حداً علوياً لخسارة المجتمع ( $L_D$ ) يعتمد فقط على متجه الخطأ التجريبي ومعيار النموذج، متجنبين الاعتماد الصريح على $M$ .
ديناميكيات تدفق التدرج (Gradient Flow): يتم نمذجة المشكلة في زمن مستمر باستخدام تدفق التدرج (GF). يحلل المؤلفون ديناميكيات متجه خطأ التدريب $v(t)$ ومعلمات النموذج $a(t)$ . وقد تبين أن الحد العلوي لخسارة المجتمع، والذي يُرمز له بـ $L^*_D(t)$ ، يأخذ شكلاً "على هيئة حرف U"، حيث ينخفض في البداية مع انخفاض الخطأ التجريبي ثم يزدد لاحقاً مع نمو معيار النموذج.
معيار التوقف التحليلي ( $t^+$ ): المساهمة الجوهرية هي اشتقاق معيار $C(s)$ $C (s)$ يعتمد على البيانات ويضمن أن $L^*_D(t)$ $L_{D}^{*} (t)$ يتناقص لجميع قيم $t \leq s$ $t \leq s$ .
- يقوم المؤلفون بتفكيك القيم الذاتية لمصفوفة تغاير البيانات إلى مجموعات "معلوماتية" (كبيرة) و"إزعاج" (صغيرة).
- يعرفون دالة $\Phi(t)$ تتضمن هذه القيم الذاتية وديناميكيات الخطأ.
- يتم تعريف وقت التوقف $t^+$ بأنه القيمة العليا (supremum) للزمن $s$ بحيث تكون $\Phi(t) > 0$ لجميع قيم $t \in [0, s)$ .
- رياضياً، $t^+$ هو أول وقت تتقاطع فيه $\Phi(t)$ مع الصفر. وقد ثبت أن $t^+$ هو تقدير لأسفل لوقت التوقف الأمثل الحقيقي $t^*$ (أي $t^+ \leq t^*$ ). وتحت شروط محددة (مثل عندما يقع الحد الأدنى الحقيقي ضمن أول فاصل زمن ثابت الإشارة)، يكون $t^+ = t^*$ .
التقريب: تقدم الورقة تقريباً بسيطاً $t^+_{approx} \approx \frac{1}{\lambda_1} \ln \frac{\Gamma(0)}{\Omega(0)}$ ، وهو ما يشبه صياغة نسبة الإشارة إلى الضجيج (SNR) الموجودة في أدبيات نظرية المصفوفات العشوائية (RMT) ولكن تم اشتقاقها هنا دون افتراضات احتمالية.

المساهمات الرئيسية

تقدير تحليلي خالي من التوزيع: تقدم الورقة طريقة لتقدير وقت التوقف المبكر الأمثل تحليلياً دون الحاجة إلى افتراض بيانات غاوسية أو توزيعات قيم ذاتية محددة.
ميزة معيار L1-norm: يثبت المؤلفون نظرياً ورقمياً أن استخدام معيار L1-norm للتعقيد الرادماخري ينتج تقديراً لوقت التوقف ( $t^+$ ) أقرب بكثير إلى الأمثل العددي ( $t_{test}$ ) من نهج معيار L2-norm.
التركيز على الحالة تحت-المعلمية (Underparameterized): تم تصميم الطريقة خصيصاً لنظام الحالة تحت-المعلمية ( $m \leq n$ )، حيث يقل ظهور ظواهر مثل "التجاوز الحميد" (benign overfitting) و"التراجع المزدوج لكل حقبة" (epoch-wise double descent)، مما يجعل التوقف المبكر استراتيجية مفيدة.
تطبيق الاستقصاء الخطي: بينما تم اشتقاق النظرية للنماذج الخطية، نجح المؤلفون في تطبيق النتائج على الشبكات العصبية غير الخطية (تحديداً على تصنيف MNIST) من خلال تجميد الطبقات المخفية وتدريب طبقة المخرجات فقط (الاستقصاء الخطي).

النتائج
يتحقق المؤلفون من صحتهم من خلال عدة أمثلة:

بيانات غاوس الاصطناعية: في مهام التصنيف الثنائي مع أحجام عينات متفاوتة ( $n=512$ و $n=16384$ )، طابق التقدير التحليلي $t^+$ وقت التوقف الأمثل الحقيقي $t^*$ تماماً في الحالة الأولى، ووفر حداً أدنى ضيقاً في الحالة الثانية. وكان التقدير القائم على L1 باستمرار أقرب إلى الأمثل المعتمد على مجموعة الاختبار مقارنة بالتقدير القائم على L2.
تصنيف MNIST (3-5 و 0-1): باستخدام شبكة ReLU مكونة من 4 طبقات مع الاستقصاء الخطي، تنبأت الطريقة بدقة بوقت التوقف. بالنسبة لتصنيف 3-5، كان $t^+ = 342$ مقارنة بالأمثل العددي $t^* = 357$ والأمثل لمجموعة الاختبار $t_{test} = 356$ . وبالنسبة لتصنيف 0-1، طابق $t^+ = 415$ القيمة $t^* = 415$ وكان قريباً من $t_{test} = 418$ .
التوقف المفيد: في جميع الحالات المختبرة، كانت الخسارة عند وقت التوقف المقدر أقل من الخسارة عند وقت التدريب اللانهائي ( $L^*_D(t^+) < L^*_D(\infty)$ )، مما يؤكد أن التوقف المبكر مفيد ويتجنب نظام "التجاوز الحميد".
المتانة: أدت الطريقة أداءً جيداً عبر مختلف توزيعات البيانات (Gaussian, Uniform, Pareto)، مع تحسن الأداء مع زيادة نسبة العينات إلى المعلمات ( $n/m$ ).

الأهمية والادعاءات
تدعي الورقة أن أهميتها الأساسية تكمن في توفير قاعدة توقف مبكر تحليلية تعتمد على البيانات تعمل دون الحاجة إلى مجموعة تحقق منفصلة أو افتراضات احتمالية مقيدة حول توزيع البيانات. من خلال الاستفال من التعقيد الرادماخري مع معيار L1-norm، يقدم المؤلفون أداة عملية لتحديد متى يجب إيقاف تدريب النماذج الخطية (وعبر الاستقصاء الخطي، بعض الشبكات غير الخطية) لتقليل خطأ التعميم. كما يشير المؤلفون بتواضع إلى أن الطريقة تعمل بشكل جيد للنماذج تحت-المعلمية، ولكنها ليست مخصدة لنظام "التجاوز الحميد" حيث يحدث في الأنظمة فوق-المعلمية. كما حددوا اتجاهات للعمل المستقبلي، بما في ذلك التطبيق المباشر على النماذج غير الخطية بالكامل، والمخرجات المتجهية، والتعامل مع الضوضاء العشوائية في بيانات المدخلات.

أبحاث مشابهة