📊 statistics

Deployment-complete benchmarking

تقدم هذه الورقة البحثية "التقييم المرجعي المكتمل للنشر"، وهو إطار عمل يقيم ما إذا كانت درجات الاختبارات المرجعية تحدد إجراءات النشر بشكل موثوق من خلال قياس غموض الأدلة، كاشفةً أن الاختبارات المرجعية الحالية غالباً ما تفشل في دعم القرارات الواقعية رغم الدرجات العالية، وتقترح استراتيجية "الاعتماد ثم الاستحواذ" لتقليل قرارات النشر الخاطئة بشكل كبير.

المؤلفون الأصليون: El Mustapha Mansouri, Keigo Arai

نُشر 2026-05-26

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: El Mustapha Mansouri, Keigo Arai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك مدير توظيف تحاول اتخاذ قرار بشأن من ستوظفه لوظيفة محددة للغاية: قيادة شاحنة توصيل وسط عاصفة ثلجية.

لديك قائمة من المرشحين، وقد أجريت لهم اختبار قيادة قياسياً. يقيس هذا الاختبار مدى براعتهم في ركن سيارة في ساحة فارغة والقيادة في يوم مشمس. كانت النتائج واضحة: حصل المرشح (أ) على 100/100، بينما حصل المرشح (ب) على 95/100.

بناءً على هذه "درجة المعيار المرجعي"، ستختار المرشح (أ) بشكل طبيعي. ولكن هنا تكمن المشكلة: الاختبار الذي قدمته لهم لم يختبر بالفعل قدرتهم على القيادة في عاصفة ثلجية.

هذه الورقة البحثية، التي تحمل عنوان "التقييم المرجعي المكتمل للنشر" (Deployment-complete benchmarking)، تجادل بأننا نرتكب هذا الخطأ تماماً مع نماذج الذكاء الاصطناعي، والمواد الجديدة، والمركبات الطبية. نحن نعامل درجة الاختبار كضمان بأن النظام جاهز للعالم الحقيقي، بينما في كثير من الأحيان، تثبت تلك الدرجة فقط أن النظام جيد في اجتياز الاختبار نفسه.

إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:

1. مشكلة "الألياف": نفس الدرجة، واقع مختلف

يقدم المؤلفون مفهوماً يسمى "الألياف" (fiber). تخيل أن "الألياف" هي مجموعة من الأشخاص الذين حصلوا جميعاً على نفس الدرجة في اختبار القيادة الخاص بك.

السيناريو المثالي: الجميع في تلك المجموعة بارعون بالتساوي في القيادة وسط عاصفة ثلجية. إذا وظفت أي شخص من تلك المجموعة، فستكون في أمان.
المشكلة الحقيقية (الألياف المختلطة): في الواقع، تلك المجموعة هي مزيج. البعض يمكنه القيادة في عاصفة ثلجية؛ والبعض الآخر سيصطدم فوراً. لقد حصلوا جميعاً على نفس الدرجة في اختبار اليوم المشمس، لكن الاختبار لم يرصد الفرق.

تسمي الورقة هذا "ليفاً مختلطاً" (mixed fiber). وهو برهان رياضي على أن درجة الاختبار الخاصة بك غير كافية لاتخاذ قرار. إذا كان لديك "ليف مختلط"، فأنت تعمل في عماء.

2. فخ "الدرجة الكاملة"

أجرى المؤلفون تجارب حيث أنشأوا اختباراً مثالياً. ووجدوا أنه حتى لو حصل نموذج ما على درجة 100% مثالية في المعيار المرجعي (اختبار اليوم المشمس)، فقد يظل عديم الفائدة للوظيفة الحقيقية (العاصفة الثلجية).

التشبيه: تخيل طباخاً بارعاً في صنع كعكة في مطبخ هادئ. أنت توظفه للطهي في مأدبة ضخمة داخل مطبخ صاخب وفوضوي. "درجة الكعكة المثالية" لا تخبرك ما إذا كان بإمكانه التعامل مع الفوضى.
النتيجة: في تجاربهم، النموذج الذي كان "مثالياً" في الاختبار، فشل في التنبؤ بالنتيجة في العالم الحقيقي بنسبة تقارب 55% لأن الاختبار أغفل معلومة حاسمة (الـ "residual" أو "العاصفة الثلجية").

3. تدقيق "الألياف المختلطة"

ذهب المؤلفون للتحقق من المعايير المرجعية الحقيقية (مثل Tox21 في علم السموم وJARVIS في علم المواد) لمعرفة عدد "الألياف المختلطة" الموجودة. كانت النتائج صادمة:

علم السموم (Tox21): 97.9% من المجموعات التي تملك نفس درجة الاختبار احتوت على مزيج من مواد آمنة وسامة. كانت درجة الاختبار غير مفيدة تقريباً لاتخاذ قرار بشأن السلامة.
المواد (Matbench/JARVIS): في عمليات التدقيق الرئيسية، كانت النسبة المتوسطة للمرشحين الذين يمكنك توظيفهم بثقة هي 0%. كانت الدرجات غامضة جداً لدرجة أنك لا تستطيع الوثوق بأي منها دون مزيد من المعلومات.

4. الحل: "الاعتماد ثم الاستحواذ"

إذاً، ماذا نفعل؟ تقترح الورقة سير عمل جديد يسمى "الاعتماد ثم الاستحواذ" (Certify-Then-Acquire).

بدلاً من مجرد النظر إلى الدرجة واتخاذ القرار، اتبع هذه الخطوات:

تحقق من الدرجة: انظر إلى نتيجة المعيار المرجعي.
تحقق من الليف: اسأل، "هل تحتوي مجموعة الدرجة هذه على مزيج من النتائج الجيدة والسيئة؟"
إذا كان مختلطاً (غامضاً): لا تخمن! توقف. أنت بحاجة لإجراء اختبار محدد آخر (مسبار/probe) لإزالة الغموض.
- التشبيه: إذا كان اختبار القيادة غامضاً، فلا توظف السائق بعد. أعطه اختباراً سريعاً لمدة 5 دقائق خصيصاً في الثلج.
إذا كان نقياً: إذا كانت المجموعة كلها آمنة (أو كلها غير آمنة)، عندها فقط يمكنك اتخاذ القرار.

نتائج هذا النهج الجديد:

في اختبارات علم السموم، قلل هذا الأسلوب من القرارات الخاطئة (الإنذارات الكاذبة) من 1.19% إلى 0.027%.
في اختبارات المواد، قلل القرارات الخاطئة من 20.3% إلى 0.128%.
إضافة: غال \ما غير هذا النهج أي نموذج أو مادة تختارها. "أفضل" نموذج حسب الدرجة القديمة كان غالباً الأسوأ بالنسبة للوظيفة الحقيقية. النهج الجديد اختار الصحيح.

5. "منحنى الاكتمال"

يقترح المؤلفون طريقة جديدة للإبلاغ عن النتائج. بدلاً من مجرد قول "نموذجنا حقق دقة 95%"، يجب أن يتضمن التقرير "منحنى الاكتمال" (Completion Curve).

يجيب هذا المنحنى على السؤال: "كم نحتاج من المعلومات (أو المال) الإضافية لنكون متأكدين من أن قرارنا صحيح؟"

إذا كان المنحنى مسطحاً، فأنت بحاجة إلى الكثير من الاختبارات الإضافية لتكون متأكداً.
إذا كان المنحنى شديد الانحدار، فأنت قريب بالفعل من التأكد.

الخلاصة

تجادل الورقة بأن الدرجة ليست قراراً. الدرجة هي مجرد قطعة من الأدلة.

الطريقة القديمة: "النموذج سجل 95%، لذا سنقوم بنشره." (هذا أمر خطير لأن الدرجة قد لا تغطي الخطر في العالم الحقيقي).
الطريقة الجديدة: "النموذج سجل 95%، لكن هذه الدرجة تتركنا غير متأكدين بشأن 20% من الحالات. دعونا نجري اختباراً إضافياً واحداً على هذه الـ 20% للتأكد قبل النشر."

يخلص المؤلفون إلى أنه بالنسبة لأي قرار عالي المخاطر (نشر الذكاء الاصطناعي، شراء المواد، اعتماد الأدوية)، يجب أن نتوقف عن الإبلاغ عن الدرجة فحقة. يجب أن نبلغ عن ما تدعمه الدرجة بالفعل، أين تكمن الضبابية، وكم يكلف علاج هذا الغموض.

ملخص تقني: التقييم المكتمل للنشر (Deployment-Complete Benchmarking)

بيان المشكلة
تؤدي معايير قياس الأداء (benchmarks) الحالية لتعلم الآلة بشكل متزايد إلى توجيه قرارات النشر الحرجة، مثل شراء النماذج، أو فحص المواد، أو فرز المركبات. ومع ذلك، يوجد انفصال جوهري: درجة المعيار توفر دليلاً فقط على الاستجابة المحددة التي سجلتها (مثل دقة التنبؤ على مجموعة اختبار)، وليس بالضرورة على إجراء النشر المطلوب (مثل السلامة، أو المتانة، أو عتبة فيزيائية محددة). قد يعمل النموذج بشكل مثالي على معيار معين بينما يظل الإجراء المستمد من تلك الدرجة غير محدد، لأن النشر يعتمد على استجابات خارج نطاق المعيار (مثل السمية، أو الاستقرار، أو المتانة خارج التوزيع). تجادل هذه الورقة بأن المقاييس القياسية مثل الدقة، والمعايرة، وعدم اليقين لا تضمن أن درجة المعيار تدعم ادعاءً معيناً للنشر.

المنهجية
يقدم المؤلفون التقييم المكتمل للنشر، وهو إطار عمل يعامل الانتقال من دليل المعيار إلى إجراء النشر كمسألة تحليل رياضي (factorization problem).

التعريفات الرسمية:
- لتكن $S$ هي فضاء المرشحين، و $Z$ هي فضاء الأدلة المسجلة (درجات المعيار)، و $A$ هي فضاء إجراءات النشر.
- يسجل المعيار خريطة دليل $E: S \to Z$ . ادعاء النشر هو إجراء $D: S \to A$ .
- اكتمال الادعاء (Claim-Completeness): يكون المعيار مكتملاً لادعاء $D$ إذا وفقط إذا كان $D$ ثابتاً على كل ليف دليل (evidence fiber) $E^{-1}(z)$ . وبشكل مكافئ، يجب أن توجد خريطة $\phi: Z \to A$ بحيث يكون $D = \phi \circ E$ .
- الألياف المختلطة (Mixed Fibers): إذا احتوى الليف $E^{-1}(z)$ على مرشحين يتطلبون إجراءات نشر مختلفة (على سبيل المثال، مرشح يجب نشره وآخر يجب رفضه)، فإنه يُعد "ليفاً مختلطاً". وهذا يعمل كشاهد رياضي على أن الأدلة المبلغ عنها غير كافية لتحديد الإجراء.
الأدوات التشخيصية:
- تدقيق الألياف المختلطة (Mixed-Fiber Audit): أداة تشخيصية تحصي نسبة المرشحين الموجودين في ألياف مختلطة.
  ��* منحنيات الاكتمال (Completion Curves): تقيس هذه المنحنيات التكلفة (من حيث مسبارات الاستجابة الإضافية أو الميزانية) المطلوبة لحل الغموض. وهي ترسم "النسبة الموثقة" (المرشحين ذوي الألياف النقية) مقابل "ميزانية الاستجابة".
  * أنواع التوثيق (Certification Types): تميز الورقة بين التوثيق الدقيق (مجموعات منتهية ذات تسميات معروفة)، وتوثيق المعايرة (المخاطرة التجريبية على بيانات محجوزة)، والتوثيق المتوقع (حدود الفترات بناءً على افتراضات النمذجة).
التصميم التجريبي:
- فضاءات استجابة محكومة: تجارب اصطناعية حيث تكون هندسة فضاء الاستجابة معروفة، مما يسمح بحساب دقيق لـ "الحجم المتبقي" (مكون استجابة النشر غير المرئي للمعيار).
  * تدقيقات عامة: تحليل لمجموعات البيانات الحالية (Tox21, Matbench, JARVIS, Vision) لقياس مدى انتشار الألياف المختلطة في معايير العالم الحقيقي.
  * إعادات التشغيل المحجوزة (Held-out Replays): محاكاة عملياتية حيث يتم اختبار سير عمل "التحقق ثم الاستحواذ". المرشحون ذوو الألياف النقية يتم اتخاذ قرار بشأنهم فوراً؛ أما أولئك في الألياف المختلطة فيُرسلون لقياس إضافي (استحواذ).

النتائج الرئيسية

دقة المعيار $\neq$ اكتمال النشر:
- في التجارب المحكومة، حقق التنبؤ التوافقي (conformal prediction) عبر قناة المعيار تغطية بنسبة 94.98% على الملصقات المقاسة، ولكنه حقق 10.07% فقط على قناة النشر غير المقاسة.
- حتى مع خطأ معيار صفري (تنبؤ مثالي على المعيار)، انهارت تغطية النشر (إلى 45.4% عند حجم متبقٍ محدد) لأن اتجاه النشر كان له مكون متعامد مع مجال المعيار.
- انقلاب لوحة الصدارة (Leaderboard Inversion): النموذج الذي حقق أفضل متوسط الخطأ المطلق (MAE) في المعيار كان غالباً الأسوأ في توثيق مرشحي النشر. في بعض التجارب، وثّق نموذج الـ MAE الأفضل 6% فقط من أفضل مرشحيه، بينما وثّق نموذج بـ MAX أسوأ 100% لأن مجال استجابته غطى مسبار النشر.
عدم الاكتمال المنهجي في المعايير العامة:
- Tox21: كانت 97.9% من الألياف (مجموعات المركبات ذات ملفات تعريف الاختبارات السبعة المتطابقة) مختلطة فيما يتعلق بنقطة نهاية نشر SR-p53.
- Matbench & JARVIS: في عمليات تدقيق الـ 20 مئوية الرئيسية، كانت نسبة التوثيق الوسيطة لادعاءات الاستقرار وفجوة النطاق 0%.
- Vision: تركت ألياف التنبؤ النظيفة 22.7% من ادعاءات المتانة ضد الفساد غامضة.
الأثر التشغيلي لسياسات الوعي بالاكتمال:
- تقليل القرارات الخاطئة: في عمليات إعادة التشغيل المحجوزة لـ Tox21، قلل سير عمل "التحقق ثم الاستحواذ" من القرارات الخاطئة التجريبية من 1.19% (سياسة أغلبية المعيار) إلى 0.027%. وفي JARVIS، انخفضت قرارات فجوة النطاق الخاطئة من 20.3% إلى 0.128%.
- اختيار النموذج: اختارت سير عمل الوعي بالاكتمال نماذج مختلفة عن سير عمل MAE الخاص بالمعيار. في تقسيم JARVIS النموذجي، اتخذ نموذج MAX الخاص بالمعيار 613 قراراً خاطئاً بشأن فجوة النطاق، بينما لم يتخذ سير عمل اختيار الاستجابة أي قرار خاطئ.
- اختيار المسبار: نجحت سياسات "ترتيب الاستجابة" (response-rank) و"الجشع المتبقي" (residual-greedy) في تحديد المسبارات ذات الصلة بالنشر (مثل اختبارات سمية محددة أو حسابات فجوة النطاق) التي قللت الغموض، متفوقة على استراتيجيات الاستحواذ القائمة على عدم اليقين أو التنوع.

الأهمية والادعاءات
تزعم الورقة أن معايير التقييم الجاهزة للنشر يجب أن تنتقل من "الدرجات وحدها" إلى حزمة أدلة قابلة للتدقيق. يجب أن تتضمن هذه الحزمة:

الدرجة.
خريطة الدليل المستخدمة.
ادعاء النشر المحدد الذي تهدف الدرجة لدعمه.
نسبة المرشحين الذين تم تحديد إجراءاتهم بالفعل (الألياف النقية).
نسبة الغموض (الألياف المختلطة).
تكلفة الاكتمال (الميزانية المطلوبة لحل الغموض).

يجادل المؤلفون بأن الدقة، والمعايرة، وتقدير عدم اليقين تظل قيمة للتصنيف والموثوقية، لكنها تجيب على أسئلة مختلفة. أما الاكتمال للنشر فيسأل تحديداً ما إذا كانت حزمة الأدلة تحدد الإجراء. يوفر الإطار تشخيصاً للحالات التي يكون فيها الدليل غير كافٍ، ويضع حداً لما يمكن للإحصاءات إصلاحه من معلومات مفقودة (لا شيء، إذا كانت تعتمد فقط على نفس الدليل)، وقاعدة تصميم للحصول على المعلومات اللازمة لدعم قرارات النشر.

القيود والنطاق
لا تدعي الورقة أن جميع المعايير عديمة الفائدة، ولكنها غالباً ما تكون غير مكتملة لادعاءات نشر معينة. يعامل سير عمل "التحقق ثم الاستحواذ" المرشحين الغامضين ليس كفشل، بل كطلبات لمزيد من القياس. إطار العمل نسبي بالنسبة للدليل؛ حيث إن إضافة الواصفات، أو القيود، أو القياسات الجديدة يغير خريطة الدليل ويمكن أن يقلل تكاليف الاكتمال. تُعرض النتائج كتقييمات للمخاطر التجريبية على بيانات محجوزة وتشخيصات رياضية على مجموعات منتهية، وليس كضمانات سكانية رسمية لتوزيعات غير ملاحظة.