📊 statistics

Beyond Point Estimates: Distributional Uncertainty in Machine Learning Performance Evaluation

تؤيد هذه الورقة منظوراً توزيعياً في تقييم تعلم الآلة من خلال معاملة مقاييس الأداء كمتغيرات عشوائية وتحليل توزيعاتها التجريبية عبر الربيعات وفترات الثقة، مما يثبت أن الاستدلال الإحصائي الهادف على تباين النماذج أمر ممكن حتى مع أحجام العينات الصغيرة لدعم مقارنات أكثر تميزاً وتوجهاً نحو المخاطر.

المؤلفون الأصليون: Christoph Lehmann, Yahor Paromau

نُشر 2026-05-13

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Christoph Lehmann, Yahor Paromau

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك طاهٍ يحاول إتقان وصفة جديدة. في عالم تعلم الآلة (ML)، "الوصفة" هي النموذج، و"اختبار المذاق" هو مقياس الأداء (مثل الدقة أو معدل الخطأ).

الطريقة القديمة: اختبار المذاق الواحد
تقليديًا، عندما يقيم الطهاة (أو علماء البيانات) وصفة ما، يقومون بطهيها مرة واحدة، ويتذوقونها، ثم يقولون: "هذا الحساء تقييمه 9 من 10". إنهم يعاملون هذا الرقم الوحيد كحقيقة مطلقة.

لكن تكمن المشكلة هنا: الطهي ليس أمرًا يمكن التنبؤ به بدقة تامة. إذا غيرت ترتيب إضافة المكونات، أو استخدمت دفعة مختلفة قليلاً من التوابل، أو حركت القدر بسرعة مختلفة، فقد يتغير طعم الحساء قليلاً في كل مرة. في تعلم الآلة، هذه "المكونات" هي أشياء مثل كيفية تقسيم البيانات، أو كيف يبدأ الكمبيوتر حساباته، أو كيف يعدل إعداداته.

الطريقة القديمة تتجاهل هذا؛ فهي تفترض أن اختبار مذاق واحد يمثل القدر الكامل من الحساء.

الطريقة الجديدة: "توزيع النكهة"
تقترح هذه الورقة طريقة جديدة للتفكير: بدلًا من السؤال "ما هي الدرجة؟"، اسأل "كيف يبدو نطاق الدرجات؟".

تخيل بدلًا من تذوق الحساء مرة واحدة، أنك تطبخه 20 مرة مع تغييرات عشوائية طفيفة في تقنياتك. ستحصل على 20 درجة مذاق مختلفة.

بعضها قد يكون 8.5.
بعضها قد يكون 9.2.
وواحد منها قد يكون مخيبًا للآمال بـ 7.0.

تقترح الورقة ألا نكتفي بمتوسط هذه الدرجات لنحصل على "9.0". بل يجب أن ننظر إلى التوزيع (الانتشار) لتلك العشرين درجة. هذا يعطينا صورة أوضح بكثير عن الموثوقية.

شرح المفاهيم الأساسية عبر التشبيهات

1. سيناريوهات "الحالة الأسوأ" و"الحالة الأفضل" (الكميات/الربيعات)
بدلًا من معرفة المتوسط فقط، تنظر هذه الطريقة إلى أطراف التوزيع.

التشبيه: فكر في توقعات الطقس. التوقع التقليدي قد يقول: "ستكون درجة الحرارة 75 فهرنهايت". لكن التوقع التوزيعي يقول: "من المرجح أن تكون بين 70 و80 فهرنهايت، ولكن هناك احتمال بنسبة 10% أن تنخفض إلى 65 فهرنهايت".
في الورقة: هم ينظرون إلى نقاط محددة في الانتشار، تسمى الكميات (Quantiles).
- المئوية التسعون (90th percentile) قد تخبرك: "في 90% من الحالات، يعمل نموذجنا على الأقل بهذا القدر من الجودة".
- المئوية العاشرة (10th percentile) قد تخبرك: "في 10% من الحالات، يؤدي نموذجنا بشكل أسوأ من هذا".
- هذا أمر بالغ الأهمية لـ "المخاطر". إذا كنت تبني سيارة ذاتية القيادة، فأنت لا تهتم فقط بمتوسط السرعة؛ بل تهتم بأسوأ سيناريو (ذيل التوزيع).

2. "فترة الثقة" (شبكة الأمان)
بما أننا لا نستطيع طهي الحساء 1,000 مرة (لأن ذلك يستغرق الكثير من الوقت والمال)، فإننا عادة ما نطهيه بضع مرات فقط (مثلاً 10 إلى 25 مرة). ولأن العينة صغيرة، فإن تخميننا حول "الحالة الأسوأ" قد يكون مهزوزًا.

التشبيه: تخيل أنك تخمن ارتفاع شجرة من خلال النظر إليها من مسافة بعيدة. قد تخمن "50 قدمًا". ولكن لأنك بعيد، لست متأكدًا بنسبة 100%. لذا، تقول: "أنا شبه متأكد أنها تتراوح بين 45 و55 قدمًا". هذا النطاق (45-55) هو فترة الثقة (Confidence Interval) الخاصة بك.
في الورقة: يوضح المؤلفون أنه حتى مع عدد صغير من "عمليات الطهي" (10-25 مرة)، يمكننا حساب شبكات الأمان هذه. وقد وجدوا أنه بينما تصبح الفترات أوسع (أقل دقة) إذا نظرنا إلى الأطراف القصوى (الأسوأ أو الأفضل تمامًا)، إلا أنها لا تزال مفيدة للمناطق الوسطى.

3. تحدي "العينة الصغيرة"
تقر الورقة بوجود قيد رئيسي: تشغيل نموذج تعلم آلة 1,000 مرة هو أمر مكلف وبطيء. معظم الناس لا يستطيعون تحمل تكلفة سوى 10 إلى 25 عملية تشغيل.

النتيجة: أجرى المؤلفون عمليات محاكاة ضخمة (طهي الحساء 1,000 مرة في محاكاة حاسوبية) لمعرفة كيف يبدو "التوزيع الحقيقي". ثم أخذوا شرائح صغيرة من 10 أو 15 أو 25 عملية تشغيل وحاولوا تخمين الصورة الكاملة.
النتيجة: حتى مع 15 أو 20 عملية تشغيل فقط، يمكنك الحصول على فكرة جيدة بشكل مدهش عن استقرار النموذج. يمكنك معرفة ما إذا كان النموذج "متسقًا" (جميع الدرجات قريبة من بعضها) أو "غير مستقر" (الدرجات تقفز بجنون).

لماذا يهم هذا الأمر (وفقًا للورقة)
تجادل الورقة بأن النظر إلى انتشار النتائج أفضل من النظر إلى متوسط واحد.

نموذجان، نفس المتوسط: تخيل أن النموذج (أ) والنموذج (ب) كلاهما لديه متوسط دقة 87%.
- النموذج (أ) متسق: يسجل دائمًا بين 86% و88%.
- النموذج (ب) متذبذب: يسجل أحيانًا 95%، ولكنه في أحيان أخرى يهبط إلى 70%.
الطريقة القديمة: ستعتبرهما "متساويين".
الطريقة الجديدة: ستقول "النموذج (أ) أكثر أمانًا. النموذج (ب) مخاطرة بسبب انتشاره الواسع".

الملخص
هذه الورقة هي دليل للانتقال من سؤال "ما هي الدرجة؟" إلى "ما مدى موثوقية الدرجة؟". إنها تعلمنا أن نعامل نتائج تعلم الآلة ليس كأرقام ثابتة، بل كسحابة من الاحتمالات. ومن خلال استخدام الأدوات الإحصائية لرسم خريطة لهذه السحابة (حتى مع بيانات محدودة)، يمكننا اتخاذ قرارات أذكى وأكثر أمانًا بشأن النماذج التي يمكن الوثوق بها، خاصة في المواقف التي لا مجال فيها للفشل.

يوفر المؤلفون طرقًا عملية للقيام بذلك دون الحاجة إلى افتراضات رياضية معقدة، مما يجعلها أداة يمكن للمهندسين والعلماء استخدامها في الوقت الحالي.

ملخص تقني: ما وراء التقديرات النقطية: عدم اليقين التوزيعي في تقييم أداء تعلم الآلة

بيان المشكلة

تُقيّم نماذج تعلم الآلة (ML) تقليديًا باستخدام تقديرات نقطية لمقاييس الأداء (مثل الدقة، أو مقياس F1، أو جذر متوسط مربع الخطأ RMSE). يعامل هذا النهج الأداء كقيمة ثابتة، مما يؤدي إلى الفشل في استيعاب التباين المتأصل الناتج عن العناصر العشوائية في عملية التدريب، مثل تقسيم البيانات، والتهيئة الأولية للأوزان، وتحسين المعلمات الفائقة (hyperparameter optimization). وبينما يُعترف بهذه العوامل غالبًا كـ "عوامل مربكة"، إلا أنه يتم تحليلها بشكل غير منهجي مع التركيز الأساسي على تحقيق قيمة مقياس واحدة مثلى.

تجادل الورقة بأن تدريب تعلم الآلة يجب أن يُنظر إليه كتجربة علمية حيث يكون "مقياس الهدف محل الاهتمام" (TMoI) متغيرًا عشوائيًا مشروطًا بهذه العوامل المربكة. ومع ذلك، فإن القيود العملية غالبًا ما تحد من عدد عمليات التدريب المتكررة (حجم العينة $n$ ) لتكون في نطاقات صغيرة أو متوسطة (على سبيل المثال، $n \approx 10\text{--}25$ ) بسبب التكاليف الحسابية. وبناءً على ذلك، هناك فجوة في فهم كيفية إجراء استدلال إحصائي ذي معنى على توزيع الأداء الأساسي في ظل أحجام العينات المحدودة هذه، لا سيما بالنسبة لربيعات الذيل (tail quantiles) التي تُعد بالغة الأهمية في التطبيقات الموجهة نحو المخاطر (مثل الطب، والخدمات المصرفية).

المنهجية

يقترح العمل منظورًا توزيعيًا حيث تُعامل مقاييس الأداء ككميات عشوائية. تركز المنهجية على تقدير الربيعات (quantiles) وفترات الثقة (CIs) المقابلة لها باستخدام الإحصاء المتكرر (frequentist statistics).

الإطار الإحصائي

تفترض الدراسة عينة مستقلة ومتماثلة التوزيع (i.i.d.) من قيم TMoI المستمدة من عمليات تدريب محكومة بالبذور (seed-controlled). وهي تقيم مهمتين إحصائيتين رئيسيتين:

التقدير النقطي للربيعات: تقارن الورقة بين مُقدّرين:
- الربيع العيني ( $\hat{Q}$ ): يعتمد على الإحصاءات المرتبة (order statistics) (دالة خطية متقطعة).
- الربيع المترابط خطيًا ( $\hat{Q}_L$ ): مُقدّر أكثر سلاسة يستخدم الاستكمال الخطي للإحصاءات المرتبة.
تقدير الفترات (فترات الثقة): تم استقصاء ثلاثة نهجين غير معلميين لبناء فترات الثقة (CIs) للربيعات، جنبًا إلى جنب مع فترة $t$ $t$ للمتوسط كخط أساس:
- فترات الثقة غير المعلمية الدقيقة: تعتمد على الإحصاءات المرتبة والتوزيع الثنائي (binomial distribution). وهي خالية من التوزيع وتتطلب أحجام عينات دنيا محددة لتوجد لمستوى ثقة معين.
- فترات الثقة غير المعلمية التقاربية: تعتمد على التوزيع الطبيعي التقاربي للربيعات العينية. وهي أيضًا تتطلب أحجام عينات دنيا، خاصة للربيعات المتطرفة.
- فترات الثقة باستخدام البوتستراب شبه المعلمي (Semiparametric Bootstrap): تستخدم مُقدّر ربيع شبه معلمي (Hut02) يقوم بالاستقراء إلى الذيول باستخدام دالة الربيع. يتجنب هذا النهج الافتراضات المعلمية الصارمة مع معالجة عدم الاستقرار في عمليات البوتستراب القياسية للربيعات القريبة من الذيول.

التصميم التجريبي

تم التحقق من صحة المنهجية من خلال مسارين رئيسيين:

حالات استخدام بيانات حقيقية: تم تحليل ثلاث مهام لتعلم الآلة:
- شخصيات سيمبسون (Simpsons Characters): تصنيف الصور (20 فئة).
- CIFAR10: تصنيف الصور (10 فئات).
- الموصلات الفائقة (Superconductors): الانحدار (التنبؤ بدرجة الحرارة الحرجة).
  لكل منها، تم إجراء ما يقرب من 500-1000 تكرار محكوم بالبذور لتوليد توزيعات تجريبية "الحقيقة الأرضية". ومن هذه التوزيعات، تم سحب عينات فرعية أصغر ( $n=10, 15, 25, 50$ ) لمحاكاة القيود الواقعية واختبار أداء المُقدِّرات.
دراسات المحاكاة: أُجريت محاكاة محكومة باستخدام توزيعات ذات دعم محدود (ذات صلة بمقاييس مثل الدقة) وأشكال متنوعة (Beta مائل لليسار، وتوزيع طبيعي، ومزيج طبيعي) للتحقق من قوة الطرق تحت ظروف نظرية معروفة.

النتائج الرئيسية

التقدير النقطي

الانحياز وRMSE: يظهر كل من الربيع العيني والمُقدِّر المترابط خطيًا انحيازًا نسبيًا منخفضًا (الحد الأقصى $\approx 1\%$ ) وخطأ جذر متوسط مربع (RMSE) متقاربًا.
شكل التوزيع: يكون التقدير أكثر موثوقية للربيعات المركزية (حول 0.5) ويصبح أكثر صعوبة للربيعات ذات الذيول (مثل 0.05، 0.95).
اختيار المُقدِّر: لا يوجد فرق عملي جوهري بين الربيع العيني والمُقدِّر المترابط خطيًا لأحجام العينات والتوزيعات المختبرة.

تقدير الفترات

التغطية وحجم العينة:
- لحجم عينة يصل إلى $n=25$ ، يُوصى بمستوى ثقة قدره 0.90. مستويات الثقة الأعلى (مثل 0.95 أو 0.99) تؤدي إلى فترات طويلة للغاية مما يقلل من الدقة، خاصة مع صغر حجم $n$ .
- فترات الثقة الدقيقة والتقاربية: تعمل هذه الطرق بشكل جيد عندما يتم استيفاء متطلبات حجم العينة. ومع ذلك، غالبًا ما تفشل في إنتاج فترات صالحة للربيعات المتطرفة مع حجم عينة صغير (مثل $n=10$ ).
- فترات الثقة باستخدام البوتستراب: يوفر البوتستراب شبه المعلمي بديلًا عمليًا عندما تكون الطرق الأخرى غير صالحة بسبب قيود حجم العينة. وبينما قد تظهر تغطية تجريبية أقل قليلاً (تنخفض إلى $\approx 0.85$ عند $n=10$ ) وفترات أطول، إلا أنها تظل قابلة للتطبيق حيث لا يمكن حساب الطرق الدقيقة/التقاربية.
عدم التماثل: عدم يقين التقدير غير متماثل؛ إذ تتطلب الربيعات الدنيا عمومًا أحجام عينات أكبر من الربيعات العليا لنفس مستوى الثقة. يمكن التخفيف من ذلك عن طريق تحويل المقياس (على سبيل المثال، استخدام $-X$ للدقة) لنقل ربيع الاهتمام إلى الذيل العلوي.
المقارنة مع المتوسط: تنتج فترة $t$ للمتوسط باستمرار فترات أقصر مع استقرار عالٍ. ومع ذلك، تشير الورقة إلى أنه بينما يكون المتوسط مستقرًا، فإنه يفشل في التقاط سلوك الذيل والمخاطر. توفر فترات الثقة المقترحة للربيعات، رغم كونها أوسع، المعلومات اللازمة حول التباين والسيناريوهات الأسوأ.
تأثير التوزيع: يؤثر الالتواء وتعدد الأنماط (multimodality) في التوزيع الأساسي بشكل كبير على طول الفترة. على سبيل المثال، في التوزيعات الملتوية، تظهر الربيعات في الذيل الطويل عدم يقين أعلى وفترات ثقة أطول.

الأهمية والادعاءات

تدعي الورقة أنها تسد الفجوة بين النظرية الإحصائية وممارسة تعلم الآلة من خلال توفير إطار للتقييم التوزيعي يكون قابلاً للتنفيذ في ظل القيود الحسابية الواقعية.

التفسير الموجه نحو المخاطر: المساهمة الأساسية هي تمكين رؤية موجهة نحو المخاطر لأداء النموذج. بدلاً من الاعتماد على المتوسطات، يمكن للممارسين تقديم بيانات احتمالية (على سبيل المثال، "الدقة تنخفض عن 90% في 10% من الحالات على الأكثر") مدعومة بفترات ثقة.
الجدوى مع العينات الصغيرة: تثبت الدراسة أن الاستدلال الإحصائي ذي المعنى ممكن حتى مع أحجام عينات صغيرة ( $n \approx 10\text{--}25$ )، وهي شائعة في تعلم الآلة بسبب التكلفة العالية للتدريب المتكرر.
القابلية للتطبيق العملي: الطرق المقترحة (خاصة فترة الثقة غير المعلمية التقاربية والبوتستراب شبه المعلمي) هي طرق خالية من التوزيع، وسهلة التنفيذ، وقابلة للتطبيق على كل من مقاييس التصنيف والانحدار.
المقارنة المتمايزة بين النماذج: يسمح هذا النهج بإجراء مقارنة أكثر دقة بين النماذج. قد يمتلك نموذجان أداء متوسطًا متشابهًا، ولكن فترات الثقة الخاصة بهما يمكن أن تكشف عن الاختلافات في الاستقرار والتباين التي تغفلها التقديرات النقطية.

تخلص الورقة إلى أنه بينما لا تكفي التقديرات النقطية القياسية للتطبيقات عالية المخاطر، فإن التقييم التوزيعي المقترح يوفر امتدادًا عمليًا لسير عمل تعلم الآلة القياسي، مما يقدم توصيفًا أكثر تفصيلًا لعدم اليقين دون الحاجة إلى افتراضات معلمية.