🤖 machine learning

Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts

تقدم هذه الورقة دقة التوازن الموزونة بالتنبؤ (pBA)، وهي مقياس تقييم عملي يقلل من تحيز تقدير الأداء في التصنيف غير المتوازن عن طريق استبدال تسميات المفاهيم الفرعية الحقيقية غير المتاحة بالاحتمالات اللاحقة المتوقعة لتوفير تقييمات أكثر استقراراً وقابلية للتفسير لأداء النموذج عبر المجموعات السكانية الفرعية غير المتجانسة.

المؤلفون الأصليون: Taylor Maxson, Roberto Corizzo, Yaning Wu, Nathalie Japkowicz, Colin Bellinger

نُشر 2026-04-30

📖 5 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Taylor Maxson, Roberto Corizzo, Yaning Wu, Nathalie Japkowicz, Colin Bellinger

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

إليك شرح للورقة البحثية باستخدام لغة بسيطة وتشبيهات من الحياة اليومية.

المشكلة الكبرى: كذبة "المتوسط"

تخيل أنك مدير مدرسة تقوم بتقييم برنامج وجبات غداء مدرسي جديد. تسأل: "كيف أحب الطلاب الطعام؟" فيجيب المدير: "رائع! متوسط التقييم هو 9 من 10".

يبدو الأمر جيداً، أليس كذلك؟ ولكن ماذا لو كان "المتوسط" يخفي سراً؟

المجموعة (أ) (الأغلبية): 90% من الطلاب يتناولون شطائر عادية، وهم يحبونها (10/10).
المجموعة (ب) (الأقلية): 10% من الطلاب يعانون من حساسية شديدة تجاه المكسرات ويتناولون وجبة خاصة خالية من الغلوتين وبلا نكهة، وهم يكرهونها (1/10).

إذا نظرت فقط إلى المتوسط، سيبدو البرنامج ناجحاً للغاية (9/10). ولكن إذا نظرت إلى المجموعات الفرعية، ستكتشف أن البرنامج كارثي بالنسبة لمجموعة الحساسية. "المتوسط" يكذب عليك لأنه يسمح للمجموعة الكبيرة من آكلي الشطائر بطمس وجود المجموعة الصغيرة من المصابين بالحساسية.

هذا هو بالضبط ما يحدث في تعلم الآلة (Machine Learning) عند التعامل مع البيانات غير المتوازنة (Imbalanced Data).

الفئة: "المرضى المصابون" (الأقلية) مقابل "المرضى الأصحاء" (الأغلبية).
المفاهيم الفرعية: داخل مجموعة "المرضى"، قد يكون هناك "إنفلونزا" (شائعة) و"اضطراب جيني نادر" (نادر جداً).

إذا كان نموذج الذكاء الاصطناعي الخاص بالطبيب دقيقاً بنسبة 95% في حالات "الإنفلونزا" ولكن بدقة 10% فقط في حالات "الاضطراب الجيني النادر"، فإن الدرجة الإجمالية قد تبدو رائعة. ولكن في العالم الحقيقي، هذا الذكاء الاصطناعي يفشل الأشخاص الذين هم في أمس الحاجة للمساعدة. تطلق الورقة على هذا اسم تحيز تقدير الأداء (Performance Estimation Bias).

الطريقة القديمة مقابل الطريقة الجديدة

الطريقة القديمة (الدرجات غير الموزونة):
هذه تشبه قيام مدير المدرسة بأخذ المتوسط فقط. هي تفترض أن كل طالب له نفس الأهمية بغض النظر عن عددهم. من حيث البيانات، إذا كان "المرض النادر" يشكل 1% فقط من بيانات الاختبار الخاصة بك، فإن الكمبيوتر بالكاد سيلاحظ إذا أخطأ في حقهم. تظل الدرجة مرتفبة، مما يعطي شعوراً زائفاً بالأمان.

"الإصلاح" السابق (الأوزان الحقيقية):
حاول الباحثون سابقاً إصلاح ذلك بالقول: "دعونا نحسب المرضى المصابين بالمرض النادر 100 مرة أكثر من مرضى الإنفلونزا". هذا يعمل بشكل مثالي، ولكن يتطلب الأمر "قوة خارقة": يجب أن تعرف بدقة نوع المرض المحدد الذي يعاني منه المريض قبل اختبار النموذج. في العالم الحقيقي، غالباً لا تعرف هذا إلا بعد فوات الأوان. إنه يشبه محاولة تقييم برنامج الغداء المدرسي بمعرفة حساسية كل طالب قبل أن يتذوقوا الطعام حتى.

حل الورقة البحثية (دقة التوازن ذات الأوزان المتوقعة أو "pBA"):
ابتكر المؤلفون حلاً ذكياً للالتفاف على المشكلة. أدركوا أنك لست بحاجة إلى معرفة المفهوم الفرعي بشكل مؤكد؛ أنت فقط بحاجة إلى تخمين جيد.

مرحلة التدريب: يقومون بتعليم ذكاء اصطناعي مساعد ("مصنف المفاهيم الفرعية") للتعرف على الأنواع المختلفة من "المرضى" (مثل الإنفلونزا مقابل الاضطراب النادر) باستخدام بيانات تكون فيها التصنيفات معروفة.
مرحلة الاختبار: عندما يأتي مريض جديد، يقوم الذكاء الاصطناعي الرئيسي بالتشخيص. وفي الوقت نفسه، ينظر الذكاء الاصطناعي المساعد إلى المريض ويقول: "أنا متأكد بنسبة 80% أن هذه إنفلونزا، ولكن بنسبة 20% قد يكون اضطراباً نادراً".
الرياضيات السحرية: بدلاً من فرض خيار قاطع (إنفلونزا أو اضطراب)، تستخدم الطريقة الجديدة هذا التخمين (80/20) لتعديل الدرجة.
- إذا أصاب الذكاء الاصطناعي الرئيسي في حالة "الإنفلونزا"، فإنه يحصل على درجة عادية.
- إذا أخطأ الذكاء الاصطناعي الرئيسي في حالة "الاضطراب النادر"، ولكن الذكاء الاصطناعي المساعد كان غير متأكد (ربما ظن أنها إنفلونزا)، فإن العقوبة تكون مخففة.
- إذا أخطأ الذكاء الاصطناعي الرئيسي في حالة "الاضطراب النادر" وكان الذكاء الاصطناعي المساعد متأكداً من أنه اضطراب نادر، فإن العقوبة تكون شديدة.

هذا يخلق درجة "ناعمة ومدركة لعدم اليقين". فهي لا تنظر فقط إلى الإجابة النهائية؛ بل تنظر إلى مدى ثقة النظام في نوع المريض الذي يتعامل معه.

لماذا يهمنا هذا الأمر؟ (لماذا يجب أن أهتم؟)

اختبرت الورقة هذا على ثلاثة أنواع من البيانات الواقعية:

البيانات الجدولية (Tabular Data): مثل جداول الأرقام (مثلاً: درجات الائتمان، أنواع المركبات).
الصور الطبية: صور الأشعة السينية للرئتين (للبحث عن أنواع مختلفة من مشاية الرئة).
النصوص: اكتشاف خطاب الكراهية (للبحث عن أنواع مختلفة من خطاب الكراهية).

النتائج:

الدرجة "المتوسطة" غالباً ما تكون كاذبة. في كثير من الحالات، كانت الدرجة القياسية مرتفعة جداً، لكن النموذج كان يفشل فعلياً في المجموعات الصغيرة والنادرة.
الدرجة الجديدة (pBA) تقول الحقيقة. فهي تخفض الدرجة عندما يفشل النموذج في المجموعات النادرة، حتى لو كانت مجموعة الاختبار مليئة بالحالات الشائعة.
الأمر لا يتعلق بجعل الدرجة منخفضة. في بعض الأحيان، إذا كانت المجموعات النادرة في الواقع أسهل في التنبؤ من الحالات الشائعة، فإن الدرجة الجديدة ترتفع. الهدف ليس محاولة أن يكون النظام متشائماً، بل محاولة أن يكون دقيقاً بشأن ما إذا كان النموذج جيداً أم سيئاً بالفعل.

تشبيه الخلاصة

تخيل أنك تحكم في عرض مواهب.

الدرجة القديمة: تقوم بعدّ كل صوت. إذا صوّت 900 شخص لـ "المغني" وصوّت 10 أشخاص لـ "لاعب الخفة"، فإن المغني يفوز في 99% من الحالات. لن تعرف أبداً ما إذا كان لاعب الخفة سيئاً حقاً.
درجة الورقة البحثية: تدرك أن "لاعب الخفة" هو "عرض نادر". فتسأل الجمهور: "ما مدى تأكدكم أن هذا لاعب خفة؟"
- إذا كان الجمهور مرتبكاً (غير متأكد)، فلا تعاقب لاعب الخفة بشدة على خطأ ما.
- إذا كان الجمهور متأكداً أنه لاعب خفة، وفشل لاعب الخفة، فإنك تعطيه درجة "رسوب" كبيرة.
- هذا يعطي تقرير درجات أكثر عدلاً يخبرك: "المغني رائع، لكن لاعب الخفة يحتاج إلى مزيد من التدريب"، رغم أن لاعب الخفة حصل على 10 أصوات فقط.

الملخص

تقدم هذه الورقة طريقة جديدة لتقييم نماذج الذكاء الاصطناعي لا تسمح للمجموعات "الشعبية" بإخفاء إخفاقات المجموعات "النادرة". إنها تستخدم نظام "تخمين" لتعديل الدرجات، مما يضمن أنه إذا فشل الذكاء الاصطناعي في مجموعة صغيرة ومهمة، فإن الدرجة النهائية ستعكس هذا الفشل، مما يمنع الأخطاء الخطيرة في مجالات مثل الطب أو السلامة.

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تصحيح انحياز تقدير الأداء في التصنيف غير المتوازن مع المفاهيم الفرعية للأقليات" (Correcting Performance Estimation Bias in Imbalanced Classification with Minority Subconcepts).

1. بيان المشكلة

تعالج الورقة خللاً حرجاً في تقييم نماذج التصنيف غير المتوازن: انحياز تقدير الأداء الناتج عن عدم التجانس داخل الفئة الواحدة.

المشكلة الجوهرية: تعمل مقاييس التقييم القياسية (مثل: الدقة المتوازنة، F1، وAUC) على مستوى الفئة. ومع ذلك، غالباً ما تحتوي الفئة الواحدة (خاصة فئات الأقلية) على عدة مفاهيم فرعية (subconcepts) متميزة (مثل أنواع مختلفة من الأمراض في التصوير الطبي أو فئات مختلفة من خطاب الكراهية في النصوص).
الانحياز: في الإعدادات غير المتوازنة، تكون المقاييس القياسية منحازة بشدة نحو أكبر المفاهيم الفرعية للأقلية. يمكن للنموذج أن يحقق درجة إجمالية عالية من خلال الأداء الجيد في المفهوم الفرعي الأكثر تكراراً، بينما يفشل فشلاً ذريعاً في المفاهيم الفرعية الأصغر والأندر، ولكنها بالغة الأهمية طبياً أو اجتماعياً.
قصور الأعمال السابقة: أظهرت الأبحاث السابقة أن استخدام تسميات المفاهيم الفرعية الحقيقية لوزن العينات أثناء التقييم يمكن أن يصحح هذا الانحياز. ومع ذلك، نادراً ما تتوفر تسمات المفاهيم الفرعية الحقيقية في مرحلة الاختبار عند النشر في العالم الحقيقي، مما يجعل هذا التصحيح غير عملي.

2. المنهجية

يقترح المؤلفون إطار عمل تقييمياً عملياً يعتمد على الوزن المنفعي (utility-weighted)، والذي يقرب الوزن المثالي لـ "التسمية الحقيقية" باستخدام بيانات التدريب والاحتمالات المتوقعة فقط.

أ. الإطار المفاهيمي: الدقة المتوازنة ذات الوزن المنفعي (UWBA)

يعيد المؤلفون تعريف الدقة المتوازنة (BA) لتشمل أوزان العينات ( $w_i$ ) التي تعكس الأهمية النسبية للمفاهيم الفرعية.

الدقة المتوازنة القياسية (Standard BA): $BA = \frac{1}{2} (Recall_0 + Recall_1)$ .
الاستدعاء الموزون (Weighted Recall): $Recall^{(w)}_c = \frac{\sum w_i \cdot \mathbb{I}[y_i=c \land \hat{y}_i=c]}{\sum w_i \cdot \mathbb{I}[y_i=c]}$ .
الهدف: تخصيص أوزان أعلى للعينات التي تنتمي إلى مفاهيم فرعية أصغر لمواجهة هيمنة المفاهيم الفرعية الكبيرة على الدرجة الإجمالية.

ب. الحل المقترح: الدقة المتوازنة ذات الوزن المتوقع (pBA)

بما أن تسميات المفاهções الفرعية الحقيقية غير متوفرة في وقت الاختبار، قدم المؤلفون استراتيجية وزن ناعمة ومدركة لعدم اليقين:

مرحلة التدريب: يتم تدريب مصنف مفاهيم فرعية متعدد الفئات على فئة الأقلية (والممكن فئة الأغلبية أيضاً) باستخدام تسمات المفاهيم الفرعية المتاحة.
مرحلة الاستدلال: بالنسبة لعينة اختبار $x$ ، يخرج مصنف المفاهيم الفرعية توزيع احتمالات لاحق $q_s(x) = P(s|x)$ عبر جميع المفاهيم الفرعية $s$ .
حساب الوزن: بدلاً من التخصيص القسري (Hard-assignment) للعينة لمفهوم فرعي واحد (مما يؤدي إلى أخطاء هشة)، يتم حساب الوزن كـ منفعة متوقعة:
$a_x = \sum_{s \in S} q_s(x) u_s$
حيث $u_s$ هي قيمة منفعة مخصصة للمفهوم الفرعي $s$ (تكون عادةً عكسية لنسبة حجمه في مجموعة التدريب).
النتيجة: ينتج عن ذلك pBA (الدقة المتوازنة ذات الوزن المتوقع)، وهو مقياس حساس للأداء في المفاهيم الفرعية النادرة دون الحاجة إلى تسميات المفاهيم الفرعية الحقيقية في وقت الاختبار.

3. المساهمات الرئيسية

مقياس تقييم عملي: تقديم pBA، الذي يسد الفجوة بين التقييم المثالي النظري (باستخدام التسميات الحقيقية) والنشر العملي (حيث تكون التسميات مفقودة).
آلية وزن ناعمة: الانتقال من التخصيص القسري للمفاهيم الفرعية إلى وزن قائم على الاحتمالات والتوقعات، مما يحافظ على عدم اليقين ويتجنب معاقبة المقياس بسبب أخطاء حدود المصنف.
تحليل تجريبي شامل: تثبت الدراسة منهجيتها عبر مجالات متنوعة:
- بيانات الجداول (Tabular): مجموعات بيانات Keel وPMLB.
- التصوير الطبي: NIH ChestX-ray، وOttawa Hospital، وPneumonia/COVID-19/TB، وHAM10000.
- النصوص/متعدد الوسائط: MMHS150K (خطاب الكراهية).
رؤية تشخيصية: توضح الورقة أن pBA يعمل كـ أداة تشخيصية. فعندما يتباعد pBA بشكل كبير عن BA غير الموزون القياسي، فإنه يشير إلى أن الدرجة الإجمالية مضللة ومدفوعة بمجموعات فرعية محددة.

4. النتائج التجريبية

قيم المؤلفون الطريقة مقابل ثلاثة أسئلة بحثية (RQs):

السؤال البحثي الأول (RQ1): هل يمكن للوزن المتوقع تقليل الانحياز نحو المفاهيم الفرعية الكبيرة؟
- النتيجة: نعم. في مجموعات بيانات Keel وPMLB، قلل pBA بشكل كبير من فجوة الارتباط بين درجة الاختبار الكاملة ودرجة أكبر مفهوم فرعي للأقلية.
- المقارنة: بينما وفرت "الدقة المتوازنة ذات الوزن الحقيقي" (باستخدام الحقيقة الأرضية) أقوى تصحيح، فقد نجح pBA في تقريب هذا السلوك، مما أبعد الدرجة الإجمالية عن كونها مهيمنة من قبل أكبر مفهوم فرعي.
- حساسية المقياس: كان التأثير أكثر وضوحاً في الدقة المتوازنة (BA) ومقياس F1. أظهر AUC تحسناً أقل دراماتيكية، ويرجع ذلك على الأرجح إلى كونه مقياساً قائماً على الترتيب وأقل حساسية لوزن العينات المحددة مقارنة بمقاييس الدقة.
السؤال البحثي الثاني (RQ2): كيف تؤثر دقة مصنف المفاهيم الفرعية على موثوقية pBA؟
- النتيجة: هناك ارتباط سلبي قوي بين أداء مصنف المفاهيم الفرعية والخطأ بين الأوزان المتوقعة والحقيقية.
- الاستنتاج: مع تحسن أداء مصنف المفاهيم الفرعية، تتقارب أوزان pBA نحو الأوزان الحقيقية المثالية. وهذا يؤكد أن الطريقة قوية وتتحسن مع تحسن النموذج المساعد.
السؤال البحثي الثالث (RQ3): كيف تؤثر هندسة وصعوبة المفاهيم الفرعية على الدرجات؟
- النتيجة: الطريقة لا تعاقب المفاهيم الفرعية النادرة بشكل أعمى.
  - إذا كانت المفاهيم الفرعية الصغيرة أصعب (دقة أقل)، فإن pBA يخفض الدرجة الإجمالية، مما يكشف عن التفاؤل المفرط للمقياس غير الموزون.
  - إذا كانت المفاهيم الفرعية الصغيرة أسهل (دقة أعلى)، يمكن لـ pBA أن يرفع الدرجة الإجمالية.
- الأهمية: يثبت هذا أن pBA ليس تصحيحاً "متشائماً" بل هو تصحيح تمثيلي، يعكس التوزيع الفعلي للأداء عبر المجموعات الفرعية الكامنة.

5. الأهمية والخاتمة

ما وراء العدالة: تؤطر الورقة هذه المسألة ليس فقط كقضية عدالة، بل كمسألة تقييم أساسية. فالأداء المتوسط العالي يمكن أن يخفي "الاستراتيجات الطبقية الخفية" حيث يتم إهمال مجموعات فرعية حرجة.
سلامة النشر: في المجالات عالية المخاطر مثل الطب، يمكن أن يؤدي الاعتماد على الدرجات غير الموزونة إلى نشر أنظمة تفشل في التعامل مع حالات نادرة ولكنها حرجة. يوفر pBA تقييماً أكثر استقراراً وقابلية للتفسير.
أداة تشخيصية خفيفة الوزن: لا تتطلب الطريقة إعادة تدريب المصنف الرئيسي أو تحسيناً معقداً للنماذج. إنها تعمل كطبقة تحليلية لاحقة (post-hoc) خفيفة لتحديد ما إذا كانت الدرجة المبلغ عنها قوية تجاه عدم التجانس داخل الفئة.
العمل المستقبلي: يقترح المؤلفون تحسين خطوة التنبؤ بالمفاهيم الفرعية وتوسيع التحليل ليشمل المفاهيم الفرعية الكبيرة للأغلبية.

الملخص: تقدم الورقة pBA، وهو مقياس تقييم عملي يستخدم احتمالات المفاهيم الفرعية المتوقعة لتصحيح انحياز مقاييس التصنيف غير المتوازن القياسية. إنه يكشف بفعالية متى يكون الأداء المتوسط العالي للنموذج مجرد وهم ناتج عن هيمنة المفاهيم الفرعية الكبيرة والسهلة، مما يوفر أداة أكثر موثوقية لتقييم أداء النماذج في السيناريوهات الواقعية غير المتجانسة.