💻 computer science

\ECUAS{n}: A family of metrics for principled evaluation of uncertainty-augmented systems

تجادل هذه الورقة بأن طرق التقييم الحالية للأنظمة المعززة باليقين غير كافية لاتخاذ القرار في ظل عدم اليقين، وتقترح عائلة جديدة من قواعد التسجيل الملائمة، \ECUAS{n}، والتي تسمح للمستخدمين بضبط المقايضة بين أخطاء التنبؤ وجودة عدم اليقين بناءً على احتياجات تطبيقات محددة.

المؤلفون الأصليون: Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

نُشر 2026-05-21

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Lautaro Estienne, Erik Ernst, Matías Vera, Pablo Piantanida, Luciana Ferrer

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تقوم بتعيين فريق من الخبراء لمساعدتك في اتخاذ قرارات مهمة. بعض هؤلاء الخبراء هم متنبئون (predictors): ينظرون إلى المشكلة ويعطونك إجابة (مثل "سوف تمطر غداً"). والبعض الآخر هم أنظمة مدعومة بتقدير عدم اليقين (UA systems): يعطونك الإجابة بالإضافة إلى درجة ثقة (مثل "سوف تمطر غداً، وأنا متأكد بنسبة 90%").

المشكلة هي: كيف تعرف أي خبير هو الجيد حقاً؟

إذا نظرت فقط إلى الإجابات، فقد تختار من يصيب أكثر من غيره ولكنه أيضاً واثق من نفسه بشكل خطير عندما يخطئ. وإذا نظرت فقط إلى درجات الثقة، فقد تختار من هو صادق جداً بشأن عدم تأكده، ولكن إجاباته سيئة للغاية.

تقدم هذه الورقة طريقة جديدة لتقييم هذه "فرق الخبراء" تسمى ECUASn. فكر في ECUASn كأنه شهادة تقييم شاملة تجمع بين جودة الإجابة وصدق درجة الثقة في رقم واحد.

إليك كيف تفصل الورقة هذا الأمر، باستخدام تشبيهات بسيطة:

1. الطريقة القديمة: شهادتان منفصلتان

في السابق، كان الباحثون يستخدمون اختبارين مختلفين لتقييم هذه الأنظمة:

الاختبار أ (الدقة): هل تطابقت الإجابة مع الحقيقة؟ (مثلاً: "هل أمطرت بالفعل؟")
الاختبار ب (الثقة): هل كانت درجة الثقة مؤشراً جيداً على كونهم على صواب؟ (مثلاً: "عندما قالوا 90%، هل كانوا محقين بنسبة 90% من المرات؟")

العيب: هذا يشبه تقييم طاهٍ بشكل منفصل على "هل كان الطعام لذيذاً؟" وعلى "هل خمن درجة حرارة الفرن بشكل صحيح؟". هذا لا يخبرك ما إذا كانت تجربة تناول الطعام بأكملها جيدة. قد يكون لديك طاهٍ يصنع طعاماً رائعاً ولكنه يكذب بشأن درجة حرارة الفرن، أو طاهٍ صادق ولكنه يحرق الطعام. أنت بحاجة إلى درجة تخبرك بمدى جودة أداء الطاهي عندما يتعين عليك أن تقرر ما إذا كنت ستتناول الوجبة أم ستعيدها.

2. الطريقة الجديدة: شهادة "ECUASn"

يقترح المؤلفون مقياساً جديداً يسمى ECUASn. تخيل هذا المقياس كأنه حكم ذكي يحاكي سيناريو من العالم الحقيقي:

ينظر الحكم إلى الإجابة ودرجة الثقة الخاصة بها.
يسأل الحكم نفسه: "إذا كان عليّ أن أقرر ما إذا كنت سأقبل هذه الإجابة أو أرفضها (وأطلب رأياً ثانياً)، فهل سيساعدني هذا النظام في اتخاذ القرار الصحيح؟"

الرمز "n" في ECUASn يشبه مقبض تحكم في لوحة تحكم القاضي. فهو يتيح لك ضبط ما يهم أكثر حسب حالتك الخاصة:

المقبض مضبوط على 0 (مخاطر عالية): هذا مخصص للحالات التي يكون فيها الخطأ كارثياً (مثل التشخيص الطبي أو السيارات ذاتية القيادة). يكون الحكم صارماً للغاية. إذا أعطى النظام إجابة خاطئة بثقة عالية، فإن العقوبة تكون ضخمة. إنه يكافئ الأنظمة التي تكون حذرة جداً ولا تتحدث إلا عندما تكون متأكدة.
المقبض مضبوط على رقم عالٍ (مخاطر منخفضة): هذا مخصص للحالات التي تكون فيها الأخطاء مزعجة ولكنها ليست مميتة (مثل توقعات الطقس أو توصيات الأفلام). يكون الحكم أكثر تسامحاً. يهتم أكثر بأن يحصل النظام على الإجابة الصحيحة، حتى لو لم تكن درجة الثقة دقيقة تماماً.

3. رؤية "التكافؤ الدلالي" (مشكلة الترجمة)

تتناول الورقة أيضاً مشكلة محددة مع الذكاء الاصطنا التوليدي (مثل روبوتات الدردشة التي تكتب القصص أو تجيب على أسئلة المعلومات العامة).

المشكلة: إذا أجاب روبوت الدردشة بأن "عاصمة فرنسا هي باريس"، وكانت الإجابة الصحيحة هي "باريس"، فهذا تطابق. ولكن إذا قال الروبوت "عاصمة فرنسا هي مدينة الأنوار"، فهذا أيضاً صحيح، رغم أن الكلمات مختلفة.
الخطأ القديم: كانت الطرق السابقة غالباً ما تتحقق مما إذا كانت الكلمات الدقيقة متطابقة. إذا قال الروبوت "مدينة الأنوار"، فقد يعتبره النظام القديم "خاطئاً" ويقول: "انظر، الروبوت مرتبك!".
اكتشاف الورقة: أثبت المؤلفون رياضياً أنه للحصول على درجة ثقة جيدة، لا ينبغي أن تسأل: "ما مدى احتمالية أن تكون هذه الجملة المحددة صحيحة؟" بل يجب أن تسأل: "ما مدى احتمالية أن يكون هذا المعنى (أو فئة التكافؤ) صحيحاً؟"
التشبيه: تخيل مترجماً. إذا طلبت منه كلمة "قطة" بالفرنسية، وقال "Chat"، فهذا مثالي. وإذا قال "Le Chat"، فهذا أيضاً مثالي. إذا قمت بتقييمه بناءً على الكلمة الدقيقة "Chat" فقط، فقد تعاقبه لأنه أضاف "Le". تُظهر الورقة أنه لتقييم هذه الأنظمة بإنصاف، يجب عليك تقييمهم بناءً على المعنى، وليس فقط على التهجئة.

4. لماذا هذا مهم؟

اختبر المؤلفون هذا المقياس الجديد في مهام متنوعة، من تحديد الصور إلى الإجابة على أسئلة المعلومات العامة. ووجدوا أن:

الأنظمة التي بدت "جيدة" بموجب المقاييس القديمة بدت أحياناً "سيئة" بموجب ECUASn لأنها كانت واثقة من نفسها بشكل مفرط عندما أخطأت.
الأنظمة التي بدت "سيئة" بموجب المقاييس القديمة بدت أحياناً "جيدة" بموجب ECUASn لأنها كانت صادقة بشأن عدم يقينها، مما سمح للمستخدمين برفض الإجابات السيئة.
بالنسبة للقرارات عالية المخاطر، فإن إعداد n=0 (المقبض الصارم) هو الأفضل لإيجاد الأنظمة التي لن تقودك إلى فخ.

ملخص

تجادل الورقة بأننا بحاجة إلى التوقف عن تقييم أنظمة الذكاء الاصطناعي بناءً على "الإجابات" و"الثقة" بشكل منفصل. بدلاً من ذلك، يجب تقييمها بناءً على مدى فائدتها لاتخاذ القرارات.

مقياس ECUASn هو أداة مرنة تعمل كـ محاكي لنظرية القرار. يخبرك: "إذا استخدمت هذا الذكاء الاصطناعي لاتخاذ خيارات، وكان لديك قدر معين من تحمل المخاطر (يتحكم فيه المقبض 'n')، فإليك بالضبط كيف سيكون أداؤه". إنه يضمن أن الذكاء الاصطناعي لا يقوم بمجرد التخمين، بل يساعدك فعلياً في تقرير متى تثق به ومتى تبتعد عنه.

ملخص تقني: ECUASn – عائلة من المقاييس للتقييم المنهجي للأنظمة المعززة بعدم اليقين

بيان المشكلة

في عمليات اتخاذ القرار الآلي عالية المخاطر، يحتاج المستخدمون (سواء كانوا بشراً أو أنظمة لاحقة) إلى الوصول إلى عدم اليقين التنبؤي لتقرير ما إذا كانوا سيقبلون مخرجات النظام أو يرفضونها بناءً على مقايضات التكلفة الخاصة بالتطبيق. هذه الأنظمة، التي تُسمى الأنظمة المعززة بعدم اليقين (UA)، تُنتج تنبؤاً مرشحاً ودرجة عدم يقين.

تُقيم الأدبيات الحالية الأنظمة المعززة بعدم اليقين باستخدام مقاييس منفصلة:

جودة التنبؤ: تُقاس عبر الدقة أو معدل الخطأ.
جودة عدم اليقين: تُقاس عبر مقاييس التصنيف الثنائي (مثل AUC، ECE، وBrier score) التي تعامل عدم اليقين كمؤشر للأجوبة غير الصحيحة.
المقاييس المتكاملة: تدمج مناهج مثل المساحة تحت منحنى المخاطرة والتغطية (AURC) هذه الجوانب من خلال مسح عتبة الرفض.

يجادل المؤلفون بأن هذه المناهج غير كافية. فالمقاييس المنفصلة تفشل في عكس القيمة المقدمة للمستخدم الذي يتخذ القرار النهائي. علاوة على التحويلات الرتيبة لدرجة عدم اليقين، فإن AURC ومتغيراته غير متغيرة (invariant)، فهي تكافئ الترتيب ولكنها لا تعاقب درجات عدم اليقين سيئة المعايرة (سواء كانت مبالغاً فيها أو مقدرة بأقل من قيمتها) طالما تم الحفاظ على الترتيب النسبي. وهذا عيب جوهري للأنظمة التي يجب أن يُفسر فيها عدم اليقين كاحتمالية للصحة. بالإضافة إلى ذلك، تتطلب الطرق الحالية غالباً تحديد تكلفة رفض معينة ( $\gamma$ ) أثناء التطوير، وهو أمر قد لا يكون معروفاً أو قد يختلف عبر المستخدمين والحالات.

المنهجية

يقترح البحث ECUASn (التكلفة المتوقعة للأنظمة المعززة بعدم اليقين)، وهي عائلة من المقاييس القائمة على نظرية القرار البايزي (Bayesian decision theory).

1. الأساس النظري للقرار

يعرف المؤلفون النظام المعزز بعدم اليقين (UA) كدالة $f^{UA}: \mathcal{X} \to \tilde{\mathcal{D}} \times \mathbb{R}_{\ge 0}$ ، والتي تُنتج استجابة مرشحة $\tilde{d}$ ودرجة عدم يقين $u$ . القرار النهائي $d$ هو إما $\tilde{d}$ أو رفض $d_r$ .

يتم تعريف دالة التكلفة $C_\gamma(y, d)$ بناءً على تكلفة الرفض $\gamma$ :
$C_\gamma(y, d) = \begin{cases} \tilde{C}(y, d) & \text{إذا كان } d \in \tilde{\mathcal{D}} \\ \gamma & \text{إذا كان } d = d_r \end{cases}$
حيث $\tilde{C}$ هي تكلفة الاستجابة المرشحة بالنظر إلى الحقيقة الأرضية $y$ .

2. اشتقاق قواعد التسجيل المناسبة (PSR)

لتجنب تثبيت قيمة $\gamma$ ، يبني المؤلفون مقياساً يكافئ الأنظمة التي تنتج درجات عدم يقين قابلة للتفسير احتماليًا.

قرار بايز (Bayes Decision): بالنسبة لدالة تكلفة معينة وتوزيع شرطي $q$ على الفئات، فإن القرار الأمثل يقلل التكلفة المتوقعة. التكلفة المتوقعة للقرار الأمثل، والمشار إليها بـ $u_{\tilde{C}}(q)$ ، تعمل كعدم اليقين النظري.
قاعدة التسجيل المناسبة (Proper Scoring Rule - PSR): من خلال تقييم دالة التكلفة عند قرار بايز، يتم اشتقاق دالة تكلفة جديدة $C^*_\gamma(y, q)$ . هذه الدالة هي قاعدة تسجيل مناسبة، مما يعني أنها تُقلل في التوقع عندما يتطابق التوزيع المتنبأ به مع التوزيع الحقيقي. تضمن هذه الخاصية أن المقياس يكافئ الاحتمالات جيدة المعايرة، على عكس AURC.

3. عائلة ECUASn

لإنشاء مقياس مستقل عن تكلفة رفض محددة، يقوم المؤلفون بدمج الـ PSR $C^*_\gamma$ عبر نطاق من تكاليف الرفض الممكنة $\gamma$ ، موازنةً بدالة وزن $w(\gamma)$ .
$C^*_w(y, q) = \int_{0}^{u_M} w(\gamma) C^*_\gamma(y, q) d\gamma$
يقوم المؤلفون بترميز دالة الوزن كـ $w_n(\gamma) \propto \gamma^{n-1}$ ، مما ينتج عنه مقياس ECUASn. يتحكم المعامل $n$ في المقايضة:

$n=0$ : يعاقب بشدة التنبؤات الخاطئة التي تتم بثقة عالية (مما يتطلب عدم يقين عالٍ للرفض). وهذا مُوصى به للسيناريوهات عالية المخاطر.
$n \to \infty$ : ينهار المقياس نحو معدل خطأ 0-1 القياسي، ليصبح أقل حساسية لجودة درجة عدم اليقين نفسها.

4. التطبيق على الأنظمة التوليدية

بالنسبة للنماذج التوليدية، يتم تعريف مفهوم "الصحة" عبر فئات التكافؤ الدلالي (semantic equivalence classes) بدلاً من مطابقة السلاسل النصية بدقة. يجادل المؤلفون بأنه من أجل اتخاذ القرار الأمثل، يجب حساب عدم اليقين على توزيع فئات التكافؤ هذه، وليس على تسلسلات الرموز (tokens) الفردية. يوفر هذا تبريراً نظرياً للنتائج التجريبية التي تشير إلى أن الإنتروبيا الدلالية (semantic entropy) تعطي درجات عدم يقين أفضل. عملياً، بالنسبة للمهام التوليدية، يُفترض أن عدد الفئات $K$ يقترب من اللانهاية.

المساهمات الرئيسية

استبدال منهجي للمقاييس: تقديم ECUASn، وهي عائلة من المقاييس القائمة على نظرية القرار التي تحل محل AURC. بخلاف AURC، يكافئ ECUASn درجات عدم اليقين القابلة للتفسير احتماليًا (قواعد التسجيل المناسبة) بينما يظل غير مبالٍ بتكلفة رفض محددة.
رؤية نظرية لعدم اليقين التوليدي: تقديم تفسير نظري لسبب تفوق درجات عدم اليقين المستمدة من فئات التكافؤ الدلالي (بدلاً من التنبؤات الفردية) في الأنظمة التوليدية. ويتم اشتقاق ذلك مباشرة من بناء تكلفة قرار بايز.
مقايضة مُعلمة (Parameterized Trade-off): تقديم المعامل $n$ ، مما يسمح للممارسين بضبط قيمة ECUASn بناءً على ملف المخاطر الخاص بتطبيقهم (على سبيل المثال، $n=0$ لسيناريوهات الرفض عالية المخاطر).

النتائج التجريبية

قيم المؤلفون ECUASn على مجموعات بيانات متنوعة للتصنيف والتوليد:

التصنيف: تجارب على بيانات اللغة (AGNews, SST-2)، والكلام (SITW, FVCAUS)، والصور (CIFAR-10/100).
- تأثير المعايرة: نجحت مقاييس ECUASn (خاصة للقيم المنخفضة لـ $n$ ) في اكتشاف التحسينات في جودة النظام الناتجة عن المعايرة اللاحقة (post-hoc calibration)، في حين ظل AURC دون تغيير غالباً لأنه غير متغير تجاه التحويلات الرتيبة التي تحافظ على الترتيب.
- الخط المرجعي الساذج (Naive Baseline): حدد ECUASn بشكل صحيح الأنظمة التي، رغم امتلاكها درجات معايرة جيدة (مثل CE أو Brier score على التوزيع $q$ )، أدت أداءً أسوأ من نظام مبني على توزيع مسبق (prior-based system) عند النظر في المخرج المشترك للتنبؤ وعدم اليقين.
التوليد (TriviaQA & MMLU): تجارب باستخدام نماذج لغوية كبيرة متنوعة (Qwen, Ministral, Gemini) وثلاث طرق لاستخراج الثقة (Sequence Posterior, Is True, Verbalized).
- اختلاف المقاييس: اختلف ترتيب طرق استخراج الثقة بشكل كبير اعتماداً على المقياس المستخدم. فعلى سبيل المثال، طريقة "Verbalized" غالباً ما كانت تمتلك أفضل معدل خطأ (ER) ولكن معايرة ضعيفة، مما أدى إلى درجات ECUASn عالية (أداء أسوأ) مقارنة بـ "Sequence Posterior".
- حساسية الحقيقة الأرضية: قام المؤلفون بتنقيح مجموعة فرعية من TriviaQA (455 عينة) يدوياً لتصحيح الأخطاء في تسمية التكافؤ الدلالي التلقائية. وأثبتوا أن التقييم التلقائي يمكن أن يغير تصنيفات النظام بشكل جذري، مما يسلط الض الضوء على الحاجة إلى بروتوكولات تقييم دقيقة.

الأهمية والادعاءات

يزعم البحث أن ECUASn يوفر تقييماً شاملاً للأنظمة المعززة بعدم اليقين من خلال دمج تأثير كل من التنبؤات الخاطئة وعدم اليقين غير المثالي في قيمة واحدة.

التوافق مع نظرية القرار: صُممت المقاييس لتعكس المنفعة الفعلية للنظام للمستخدم الذي يتخذ قرارات تحت ظروف عدم اليقين، بدلاً من مجرد قياس الخصائص الإحصائية للمخرج.
حساسية المعايرة: من خلال مكافأة التفسير الاحتمالي، يعالج ECUASn عيباً رئيسياً في AURC، والذي يفشل في التمييز بين درجات عدم اليقين جيدة المعايرة وسيئة المعايرة إذا تم الحفاظ على الترتيب.
الفائدة العملية: يوفر الإطار للمستخدمين إمكانية اختيار قيمة $n$ مناسبة لمستوى تحمل المخاطر لديهم، مما يجعله أداة مرنة لتقييم الأنظمة في البيئات عالية المخاطر حيث تكون تكلفة الخطأ (قبول إجابة خاطئة) جسيمة.

يخلص المؤلفون إلى أنه بينما يفترض ECUASn أن المستخدم يعمل تحت إطار نظري للقرار (تقليل التكلفة المتوقعة)، فإنه يقدم بديلاً أكثر قوة ومنهجية لممارسات التقييم الحالية للأنظمة المعززة بعدم اليقين.