📊 statistics

CalArena: A Large-Scale Post-Hoc Calibration Benchmark

تقدم هذه الورقة CalArena، وهو معيار مرجعي واسع النطاق ومعياري يغطي ما يقرب من 2000 تجربة عبر مهام ونماذج متنوعة لتقييم طرق المعايرة البعدية بدقة باستخدام مقياس "تحسين ما بعد المعايرة" (Post-Hoc Improvement) المبتكر، كاشفةً أن دوال المعايرة السلسة والنهج المخصصة متعددة الفئات تتفوق على التقنيات الحالية مع توفير أدوات مفتوحة المصدر للأبحاث المستقبلية.

المؤلفون الأصليون: Eugène Berta, David Holzmüller, Francis Bach, Michael I. Jordan

نُشر 2026-05-29

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Eugène Berta, David Holzmüller, Francis Bach, Michael I. Jordan

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أن لديك خبيرًا في الأرصاد الجوية؛ إذا قال إن هناك احتمال بنسبة 90% لهطول الأمطار، وكان المطر يهطل بالفعل بنسبة 90% من المرات التي قدم فيها هذا التنبؤ، فهو إذًا مُعاير (calibrated)، أي أنه موثوق به. ولكن إذا هطل المطر بنسبة 50% فقط عندما يقول "90%"، فهو غير مُعاير (miscalibrated)، وهو مفرط في الثقة وغير جدير بالثقة، حتى لو كان يصيب غالبًا في تحديد الأيام التي ستمطر فيها.

إن مصنفات الذكاء الاصطناعي الحديثة تشبه خبراء الأرصاد الجوية المغترين بزيادة الثقة هذه؛ فهي بارعة في اختيار الإجابة الصحيحة (مثل: "هذه قطة")، لكنها سيئة للغاية في معرفة مدى تأكدها من تلك الإجابة.

ورقة البحث هذه، CalArena، هي بمثابة "اختبار تذوق" ضخم ومعياري صُمّم لحل هذه المشكلة. إليكم تفصيل ما فعلوه وما وجدوه، باستخدام تشبيهات بسيطة.

المشكلة: الكثير من الوصفات، ولا يوجد إجماع

لسنوات طويلة، ابتكر الباحثون عشرات "الوصفات" (الأساليب) المختلفة لإصلاح نماذج الذكاء الاصطناعي المغترة بزيادة الثقة هذه. تُسمى هذه العملية المعايرة اللاحقة (Post-Hoc Calibration). الأمر يشبه أخذ كعكة جاهزة وإضافة طبقة من التغطية (Glaze) لجعل مذاقها مثاليًا دون الحاجة لخبز كعكة جديدة.

ومع ذلك، كان المجال فوضويًا:

عينات صغيرة: الاختبارات السابقة لم تنظر إلا إلى عدد قليل من الكعكات (مجموعات البيانات).
قواعد غير متسقة: استخدمت بعض الاختبارات مساطر مختلفة لقياس "الطعم" (خطأ المعايرة)، مما جعل المقارنة العادلة بين الوصفات مستحيلة.
تعليمات مفقودة: العديد من الوصفات لم تتضمن تعليمات واضحة (الأكواد البرمجية)، لذا تعذر على الآخرين تجربتها.

الحل: مطبخ "CalArena"

بنى المؤلفون مطبخًا ضخمًا ومعياريًا يسمى CalArena.

المكونات: جمعوا قرابة 2,000 تجربة مختلفة شملت أنواعًا متنوعة من البيانات (مثل جداول البيانات وصور الرؤية الحاسوبية) وأنواعًا مختلفة من نماذج الذكاء الاصطناعي (من الخوارزميات القديمة وصولاً إلى النماذج الأساسية الحديثة).
الطهاة: اختبروا عشرات طرق المعايرة، بدءًا من التعديلات البسيطة وصولاً إلى التحويلات الرياضية المعقدة.
بطاقة النتائج الجديدة: بدلاً من مجرد السؤال "هل الكعكة حلوة بما يكفي؟" (خطأ المعايرة)، استحدثوا مقياسًا جديدًا يُسمى تحسين ما بعد الحدث (Post-Hoc Improvement - PHI).
- التشبيه: تخيل أن لديك كعكة لذيذة وتريد إضافة طبقة تغطية لتعديل حلاوتها. إذا كانت الطبقة ستجعلها حلوة تمامًا ولكنها تفسد القوام، فأنت لم تحسن الكعكة حقًا. يقيس PHI ما إذا كان الإصلاح يجعل الكعكة أفضل بشكل عام، مع ضمان عدم فقدان النكهة الأصلية (الأداء التنبئي) أثناء إصلاح الحلاوة (المعايرة).

النتائج: من الفائز باختبار التذوق؟

بعد إجراء كل هذه التجارب، ظهرت بعض الأنماط الواضية:

1. الانسيابية تنتصر على التجزيء

الخاسرون: الطرق التي تستخدم "الحاويات أو الصناديق" (Grouping Predictions into bins) (أي تقسيم التنبؤات إلى مجموعات، مثل قول "كل شيء بين 0.4 و0.6 يحصل على نفس الدرجة") أدّت أداءً ضعيفًا. فالأمر يشبه محاولة إصلاح منحنى ناعم عن طريق لصق قطع مسطحة فيه؛ حيث يبدو الشكل متعرجًا ويكسر التدفق الطبيعي.
الفائزون: الطرق التي تستخدم الدوال الناعمة (Smooth Functions) (مثل المقاييس المنزلقة أو الدوال الشرائحية Splines) سجلت أفضل أداء. لقد قامت بتعديل الاحتمالات بلطف، مما حافظ على التدفق الطبيعي لثقة الذكاء الاصطناعي.

2. ليس حجم واحد يناسب الجميع (خاصًا للمشكلات الضخمة)

فخ "واحد مقابل الكل": بالنسبة للمشكلات البسيطة، حاول بعض الطهاة إصلاح مشكلة متعددة التصنيفات (على سبيل المثال: تمييز 100 نوع من الطيور) عبر التعامل معها كـ 100 مشكلة ثنائية منفصلة (هل هو عصفور؟ نعم/لا. هل هو صقر؟ نعم/لا). نجح هذا في المهام الصغيرة ولكنه فشل فشلاً ذريعًا في المهام الكبيرة والمعقدة (مثل مجموعة بيانات ImageNet التي تضم 1,000 فئة).
الحل الأصلي (Native): عندما ارتفع عدد الفئات، كانت الطرق المصممة خصيصًا للمجموعة بأكملها دفعة واحدة (Native Multiclass) ضرورية وحاسمة. إن محاولة حل أحجية عملاقة عبر حل ألف قطعة صغيرة منفصلة ببساطة لا يجدي نفعًا.

3. لا تستخدم مجرد أداة عامة

جرب المؤلفون استخدام نماذج تعلم آلي قياسية ومتوفرة للجميع (مثل XGBoost أو CatBoost) كنوع من "طبقة التغطية" لإصلاح النماذج الأخرى.
النتيجة: فشلت هذه الأدوات العامة. لقد كانوا كالذي يحاول إصلاح ساعة يد بواسطة مطرقة. توضح الورقة أنك بحاجة إلى أدوات متخصصة مصممة خصيصًا للمعايرة. وحتى إضافة قواعد بسيطة (مثل "عدم تغيير ترتيب الثقة") لهذه الأدوات العامة جعلها أفضل بكثير، مما يثبت أن المعايرة تحتاج إلى تصميم فريد خاص بها.

الخلاصة

خلصت الورقة إلى أنه لجعل الذكاء الاصطناعي جديرًا بالثقة:

الانسيابية أفضل: استخدم الطرق التي تعدل الاحتمالات برفق، وليس بخطوات متقطعة ومنكسرة.
التخصص أفضل: لا تستخدم مطرقة عامة؛ بل استخدم مفك براغي مصممًا لهذه المهمة بالتحديد.
الأسلوب الأصلي (Native) أفضل للمهام الكبرى: إذا كنت تتعامل مع تصنيفات كثيرة للاختيار منها، فاستخدم طريقة مبنية لهذا النطاق، وليس مجموعة من الإصلاحات الصغيرة.

لقد نشر المؤلفون جميع بياناتهم وأكوادهم وبرنامجهم ("المطبخ" الخاص بـ CalArena) للجمهور. وهذا يسمح لأي باحث بالدخول، وإحضار "وصفته" الخاصة، ورؤية كيف يؤدي بالضبط مقارنة بأفضل الطرق المعروفة، مما يضمن أن تكون نماذج الذكاء الاصطتينا المستقبلية ليست ذكية فحسب، بل صادقة أيضًا بشأن مستوى ثقتها.

ملخص تقني: CalArena: معيار مرجعي واسع النطاق للمعايرة البعدية

بيان المشكلة

غالبًا ما تُنتج مصنفات تعلم الآلة الحديثة توزيعات احتمالية ضعيفة المعايرة، مما يعني أن الاحتمالات المتوقعة لا تتوافق مع التكرارات الفعلية للفئات. هذا الخلل في المعايرة يقوض موثوقية الأنظمة في المجالات عالية الخطورة مثل التشخيص الطبي والقيادة الذاتية. وبينما تعد المعايرة البعدية (post-hoc calibration) — وهي ضبط التوقعات باستخدام دالة يتم تعلمها على مجموعة تحقق محجوزة — وسيلة علاج قياسية، إلا أن المجال يفتقر إلى إجماع حول الطرق الأكثر فعالية. تعاني الأدبيات الحالية من ثلاث فجوات رئيسية:

التقييمات صغيرة النطاق وغير المتسقة: تعتمد المعايير المرجعية الحالية غالبًا على مجموعات بيانات قديمة أو محدودة لا تمثل بيئات تعلم الآلة الحديثة.
حساسية المقاييس: مقاييس التقييم الشائعة مثل خطأ المعايرة المتوقع (ECE) حساسة لاختيارات التقسيم (binning)، مما يؤدي إلى مقارنات غير موثوقة.
عوائق التنفيذ: تفتقر العديد من الطرق المقترحة إلى تنفيذات سهلة الوصول وقابلة لإعادة الإنتاج، مما يمنع إجراء مقارنات عادلة.

وبناءً على ذلك، يفتقر الممارسون إلى أساس موثوق لاختيار طرق المعايرة، وغالبًا ما تنشأ استنتاجات متناقضة بشأن فعالية أساليب معينة.

المنهجية وبناء المعيار المرجعي

قدم المؤلفون CalArena، وهو معيار مرجعي واسع النطاق ومعياري يضم ما يقرب من 2,000 تجربة عبر مجالات البيانات الجدولية والرؤية الحاسوبية. يجمع المعيار التوقعات من بنيات نماذج متنوعة، بما في ذلك الخوارزميات الكلاسيكية (مثل الغابات العشوائية وXGBoost)، ونماذج التعلم العميق الحديثة، والنماذج التأسيسية (مثل TabPFN وVision Transformers).

مصادر البيانات والنطاق

تم بناء المعيار من ثلاثة مصادر رئيسية:

TabRepo: نماذج كلاسيكية وعميقة التعلم على 104 مجموعة بيانات ثنائية و65 مجموعة بيانات متعددة الفئات للبيانات الجدولية.
TabArena: نماذج تأسيسية متقدمة للبيانات الجدولية وبنيات تعلم عميق على 30 مجموعة بيانات ثنائية و8 مجموعات بيانات متعددة الفئات.
الرؤية الحاسوبية (CV): توقعات من بنيات مختلفة (ResNet, ViT، إلخ) على مجموعات بيانات تشمل CIFAR-10/100، وSVHN، وImageNet، ومجموعات صور طبية (الثدي، الالتهاب الرئوي، OCT).

تغطي التجارب مهام ثنائية، ومتعددة الفئات، ومتعددة الفئات واسعة النطاق (1000 فئة).

إطار التقييم

المساهمة المنهجية الرئيسية هي التحول من مقدرات خطأ المعايرة التقليدية إلى التحسين البعدي (PHI) القائم على قواعد التسجيل السليمة (proper scoring rules).

المقياس: يجادل المؤلفون بأن تقليل خطأ المعايرة وحده قد يؤدي إلى تدهور خطأ التمييز (refinement error) للنموذج. لذلك، يقترحون تقييم الطرق بناءً على تقليل المخاطر (مثل Brier score أو logloss) بعد المعايرة.
$\Phi_{\ell}(g) = \mathbb{E}[\ell(f(X), Y)] - \mathbb{E}[\ell(g \circ f(X), Y)]$
حيث $f$ هو النموذج الأساسي، و $g$ هي دالة المعايرة، و $\ell$ هي دالة خسارة سليمة. تشير قيمة $\Phi$ الموجبة إلى تحسن في كل من المعايرة وجودة التنبؤ الإجمالية.
التجميع: يتم تجميع النتائج باستخدام معدلات الفوز (نسبة الطرق المنافسة التي يتفوق عليها طريقة معينة) ودرجات Elo المستمدة من نماذج Bradley-Terry. ويتم حساب فترات الثقة عبر طريقة Bootstrap.

الطرق التي تم تقييمها

يتضمن المعيار تنفيذات موحدة لعشرات الطرق:

الثنائية (Binary): تقسيم الهيستوجرام (منتظم/كمي)، التقسيم البايزي إلى كميات (BBQ)، Scaling-Binning، الانحدار المتساوي (Isotonic Regression) (القياسي، المركزي، Venn-Abers)، مقياس بلات (على الاحتمالات واللوجيتس)، مقياس درجة الحرارة (TS)، Ensemble TS، القياس التربيعي (Quadratic Scaling)، معايرة بيتا (Beta Calibration)، معايرة الـ Spline، CDF-Spline، المعايرة القائمة على النواة (Kernel-based)، والطرق القائمة على الأشجار (CatBoost, LightGBM, XGBoost).
متعدد الفئات (Multiclass): الطرق الأصلية (TS, Vector Scaling, Matrix Scaling, Dirichlet, Structured Matrix/Vector Scaling)، وتكييفات "واحد مقابل الكل" (One-vs-Rest) للطرق الثنائية.

النتائج الرئيسية

تكشف الدراسة التجريبية عن أنماط ثابتة عبر المجالات:

النعومة مقابل التقسيم (Smoothness vs. Binning): تتفوق دوال المعايرة الناعمة باستمرار على الأساليب القائمة على التقسيم. وبينما قد تحسن طرق التقسيم (مثل الانحدار المتساوي) مقاييس بسيطة مثل ECE-15، إلا أنها غالبًا ما تضعف الأداء التنبئي الإجمالي (خطأ التمييز). تحقق الطرق الناعمة مثل معايرة الـ Spline، والقياس التربيعي، ومعايرة بيتا نتائج فائقة.
الأساليب اللوجستية البارامترية: في الإعدادات الثنائية، تبرز الأساليب البارامترية التي تطبق تحويلات لوجستية على اللوجيتس (مثل Platt-logits، والقياس التربيعي، ومعايرة بيتا) كأفضل أداء.
ضرورة تعدد الفئات: بالنسبة للإعدادات عالية الأبعاد (مثل ImageNet بـ 1000 فئة)، تفشل استراتيجيات "واحد مقابل الكل" (OvR) في التوسع بفعالية وغالبًا ما تؤدي إلى تدهور الأداء. تعتبر الطرق الأصلية متعددة الفئات، وخاصة Structured Matrix Scaling (SMS) وStructured Vector Scaling (SVS)، ضرورية للمشكلات عالية الأبعاد.
النماذج العامة غير كافية: النماذج العامة لتعلم الآلة (مثل XGBoost، وLightGBM، وCatBoost) المستخدمة كدوال معايرة دون قيود تصميمية محددة تؤدي أداءً ضعيفًا بشكل عام. يوضح المؤلفون أن إضافة قيود خاصة بالمعايرة (مثل الرتابة، أو تقليل عمق الأشجار) إلى هذه النماذج يحسن أداءها بشكل كبير، مما يشير إلى أن النماذج الجاهزة ليست تنافسية بدون تصميم مخصص.

الأهمية والمساهمات

يدعي البحث المساهمات التالية في هذا المجال:

التقييد (Standardization): يوفر CalArena المجموعة الأكثر شمولاً لتقييمات المعايرة البعدية حتى الآن، حيث يوحد مصادر البيانات، والتنفيذات، والبروتوكولات لتمكين البحث القابل لإعادة الإنتاج.
التقييم المبدئي: من خلال استخدام "التحسين البعدي" في قواعد التسجيل السليمة، يقدم المعيار المرجعي مقياسًا يوازن بين جودة المعايرة والحفاظ على الأداء التنبئي، متجنبًا عيوب مقدرات الخطأ التقليدية.
رؤى قابلة للتطبيق: توفر الدراسة إرشادات واضحة للممارسين: يفضل استخدام الطرق اللوجستية البارامترية الناعمة للمهام الثنائية؛ واستخدام الطرق الأصلية متعددة الفئات للمهام عالية الأبعاد؛ وتجنب نماذج تعلم الآلة العامة لعمليات المعايرة ما لم تكن مصممة خصيصًا لها.
مورد للمجتمع: يطلق المؤلفون جميع البيانات، والأكواد، وأدوات التقييم كإطار عمل "جاهز للاستخدام" (plug-and-play) لتسهيل تطوير ومقارنة طرق المعايرة المستقبلية، بهدف وضع معايير تقييم أكثر موثوقية.

يخلص المؤلفون إلى أنه بينما توجد بدائل غير بارامترية، فإن النماذج اللوجستية البارترية ودوال المعايرة الناعمة تمثل حاليًا أحدث ما توصل إليه العلم، وأن تصميم المعايرة الخاص يعد أمرًا حاسمًا للتقدم المستقبلي.