💻 computer science

CCS: A Continuous Spatial-Semantic Concordance Score for Robust Evaluation of Object Detection Models

تقترح هذه الورقة البحثية مقياس CCS، وهو مقياس توافق مكاني-دلالي مستمر يستبدل مقاييس العتبة الصلبة غير المستقرة بتشابه مكاني قائم على التوزيع الغاوسي وتشابه دلالي مدفوع بالتصنيف لتوفير تقييم قوي ومستقل عن العتبة لنماذج كشف الأشياء، لا سيما في المجالات ذات عدم التوازن في الفئات والهياكل الدلالية مثل تشخيص اللسان الطبي.

المؤلفون الأصليون: Quoc Thai Mai

نُشر 2026-07-31

📖 7 دقيقة قراءة🧠 قراءة متعمّقة

CC BY 4.0

المؤلفون الأصليون: Quoc Thai Mai

البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك حَكَم في برنامج مواهب، حيث يحاول المتسابقون العثور على أشياء مخفية في غرفة فوضوية وعملاقة. في عالم الرؤية الحاسوبية، هؤلاء "المتسابقون" هم نماذج الذكاء الاصطناعي، و"الأشياء" هي أشياء مثل القطط، أو السيارات، أو في هذه الحالة تحديداً، أنواع مختلفة من أعراض اللسان في الطب الصيني التقليدي. لسنوات طويلة، استخدم الحكام قواعد صارمة للغاية تعتمد على مبدأ "الكل أو لا شيء": إذا رسم الذكاء الاصطناعي صندوقاً حول جسم ما يتداخل مع الجسم الحقيقي بنسبة 50% على الأقل، فإنه يحصل على ختم "صحيح" مثالي. أما إذا كان التداخل 49% فقط، فإنه يحصل على ختم "خطأ"، وتكون الدرجة هي نفسها تماماً كما لو كان قد أخطأ الهدف تماماً. الأمر يشبه مسابقة رقص، حيث يحصل الراقص الذي يخطئ في خطوة بمقدار مليمتر واحد على نفس درجة الشخص الذي نسي الروتين بأك ول. هذه القاعدة "الحدية القاسية" هي المعيار لقياس مدى براعة هؤلاء المحققين من الذكاء الاصطناعي، لكن بها عيب: فهي تتجاهل حقيقة أن بعض الأخطاء هي أقرب إلى الصواب من غيرها بكثير.

الآن، تخيل نوعاً جديداً من الحكام لا ينظر فقط إلى الصندوق، بل يستمع أيضاً إلى "نية" التخمين. هذا الحكم الجديد يفهم أنه إذا خمن الذكاء الاصطناعي "لسان أحمر" بينما كانت الإجابة الحقيقية هي "لسان أحمر منقط"، فإن هذا ليس فشلاً ذريعاً؛ بل هو اقتراب من الصواب يظهر أن الذكاء الاصطناعي يفهم الفكرة العامة بالفعل. تقدم هذه الورقة البحثية نظام تسجيل جديد يسمى CCS (درجة التوافق المكاني-الدلالي المستمر) والذي يعمل مثل هذا الحكم الأكثر ذكاءً. فبدلاً من مفتاح بسيط "نجاح/رسوب"، يمنح CCS درجات جزئية. إنه يستخدم الرياضيات لقياس مدى قرب صندوق الذكاء الاصطناعي من الجسم الحقيقي (حتى لو لم يتلامسا)، ومدى قرب تسمية الذكاء الاصطناعي من المصطلح الطبي الحقيقي في "شجرة عائلة" المصطلحات الطبية. اختبر المؤلفون هذا النظام على ستة نماذج مختلفة من الذكاء الاصطناعي تحاول رصد أعراض اللسان، ووجدوا أنه بينما جعلت القواعد القديمة الصارمة التصنيفات تتذبذب بجنون بناءً على تغييرات طفيفة في القواعد، فإن درجة CCS الجديدة ظلت ثابتة وعادلة، مدركة أن "الاقتراب من الصواب" هو في الواقع علامة على التقدم، وليس مجرد فشل.

المشكلة في التسجيل "الكل أو لا شيء"

لفترة طويلة، كان الطريقة القياسية لتقييم كواشف الأشياء في الذكاء الاصطناعي تشبه لعبة "ساخن أو بارد" ذات نقطة قطع حادة جداً. إذا كان تخمينك "ساخناً" بما يكفي (أي أن الصندوق يتداخل مع الجسم الحقيقي بنسبة 50% على الأقل)، تحصل على نقطة. وإذا كان "بارداً" (تداخل بنسبة 49.9%)، تحصل على صفر. هذا هو عتبة IoU (التقاطع فوق الاتحاد). المشكلة هي أن هذا يخلق منحدرًا؛ فالصندوق المثالي بنسبة 99% والصندوق المثالي بنسبة 51% يحصلان على نفس الدرجة تماماً، بينما الصندوق الذي يبلغ مثاليته 49% لا يحصل على شيء. إنه يشبه تقييم مقال طالب حيث يحصل المقال الذي يحتوي على خطأ مطبعي واحد صغير على درجة (A)، بينما المقال الذي يحتوي على نفس الخطأ بالإضافة إلى فاصلة مفقودة يحصل على (F).

علاوة على ذلك، يعامل هذا النظام القديم جميع التسميات الخاطئة على أنها سيئة بنفس القدر. إذا رأى الذكاء الاصطناعي "لساناً أحمر" لكنه سماه "لساناً أزرق"، فهذا خطأ جسيم. ولكن إذا سماه "لساناً أحمر منقطاً" بدلاً من "لسان أحمر"، فإن النظام القديم يعامله بقسوة مماثلة لتسمية "اللسان الأحمر" بـ "اللسان الأزرق". في عالم الطب الحقيقي، الخلط بين لسانين أحمرين متشابهين هو خطأ أصغر بكثير وأكثر غفراناً من الخلط بين الأحمر والأزرق. نظام التسجيل القديم يتجاهل هذا التمييز تماماً.

مرحباً بـ CCS: حكم "الدرجات الجزئية"

يقترح مؤلفو هذه الورقة، كوك ثاي ماي، نظاماً جديداً يسمى CCS لإصلاح هذه المشكلات. لقد بنوه بجزأين، مثل "سموذي" مكون من عنصرين طعمه أفضل من أي منهما بمفرده.

1. الجزء المكاني (Csp): الصندوق "الناعم"
بدلاً من معاملة صندوق الذكاء الاصطناعي كمستطيل صلب بحواف حادة، يتخيل CCS الصندوق كسحابة ناعمة وضبابية (رياضياً، توزيع غاوسي ثنائي الأبعاد). فكر في الأمر كخريطة حرارية: مركز الصندوق هو الأكثر سخونة (الأكثر ثقة)، ويصبح أبرد كلما اتجهت نحو الحواف. عندما تتداخل سحابة الذكاء الاصطناعي الضبابية مع السحابة الضبابية للجسم الحقيقي، لا تنخفض الدرجة إلى الصفر لمجرد أنهما لا يتطابقان تماماً. بدلاً من ذلك، تنخفض الدرجة بسلاسة بناءً على مدى بعد مركزيهما واختلاف أحجامهما. هذا يعني أن الصندوق الذي يبتعد قليلاً عن المركز لا يزال يحصل على درجة عالية، بدلاً من أن يُعاقب بقسوة كما يحدث في حالة الخطأ الكلي. إنه الفرق بين حكم يقول: "لقد أخطأت في إصابة مركز الهدف، لكنك كنت قريباً، لذا سأعطيك درجة B"، وبين حكم يقول: "لقملت مركز الهدف، لذا سأعطيك F".

2. الجزء الدلالي (Csem): "شجرة العائلة" للأخطاء
هذا هو المكون الثاني الذكي. نظم المؤلفون أعراض اللسان الثمانية المختلفة في شجرة عائلة (تصنيف). على سبيل المثال، "اللسان الأحمر" و"اللسان الأحمر المنقط" هما أخوان في فرع "اللون"، بينما "اللسان المتضخم" يقع في فرع "الشكل". إذا خمن الذكاء الاصطناعي "لساناً أحمر" بينما الحقيقة هي "لسان أحمر منقط"، فإن النظام القديم يقول "خطأ". أما نظام CCS فينظر إلى شجرة العائلة، ويرى أنهما أخوان، ويقول: "حسناً، هذا تخمين قريب. ستحصل على درجة جزئية". يستخدم النظام أداة رياضية تسمى تشابه وو-بالمر (Wu-Palmer similarity) لحساب مدى قرب التخمين من الحقيقة بناءً على مدى بعدهما في شجرة العائلة. إذا خمن الذكاء الاصطناعي "لساناً أحمر" لمشكلة تتعلق بـ "الشكل"، فهذا خطأ كلي (صفر من الدرجات). ولكن إذا خمن "لساناً أحمر" لـ "لسان أحمر منقط"، فإنه يحصل على درجة جزئية عالية.

ما وجدوه: الاستقرار والعدالة

اختبر الفريق درجة CCS الجديدة هذه مقابل ست نسخ مختلفة من نموذج ذكاء اصطناي شهير (YOLOv8, v10, v11) على مجموعة بيانات لأعراض اللسان. وإليك ما حدث:

القواعد القديمة كانت غير مستقرة: عندما استخدموا قواعد "الحد الحاد" القديمة، تغير ترتيب نماذج الذكاء الاصطناعي بجنون اعتماداً على ما إذا كانوا قد ضبطوا العتبة عند 0.3 أو 0.5 أو 0.7. في الواقع، بالنسبة لـ 5 من أصل 15 زوجاً من النماذج، تغير "الفائز" بناءً على القاعدة التي استخدموها. كان الأمر يشبه سباق يتغير فيه الفائز لمجرد أن خط النهاية تحرك بضع بوصات.
كانت CCS صلبة للغاية: ظلت درجة CCS مستقرة بشكل ملحوظ. بغض النظر عن تعديل الإعدادات، لم يتغير ترتيب النماذج. تراوحت درجة النماذج باستمرار بين 0.62 و 0.65، بينما انخفضت درجات F1 القديمة بشكل كبير (بنسبة تصل إلى 16.9%) مع زيادة صرامة القواعد.
إنقاذ "الاقتراب من الصواب": وجدت الدراسة أن جزءاً كبيراً مما اعتبره النظام القديم "أخطاءً" كان في الواقع مجرد "اقتراب من الصواب". وتحديداً، 39.5% من الأخطاء التي وقعت في الفئات الأصعب كانت قريبة دلالياً (مثل الخلط بين "الأحمر" و"الأحمر المنقط"). كان النظام القديم يعتبر هذه أخطاءً فادحة، لكن CCS منحها درجات جزئية، مما كشف أن الذكاء الاصطناعي كان يؤدي عملاً أفضل مما توحي به الدرجات القديمة.
تغير "أفضل" نموذج: تحت القواعد القديمة الصارمة (mAP)، بدا أحد النماذج (YOLOv10n) هو الفائز. ولكن تحت قواعد CCS الجديدة، أخذ نموذج آخر (YOLOv8m) الصدارة. يشير هذا إلى أن القواعد القديمة كانت تفضل النماذج الجيدة فقط في إصابة المركز بدقة بكسلية مثالية، بينما فضلت CCS النماذج التي تفهم المفهوم العام وشكل الأعراض بشكل أفضل.

الحدود: ما لا يفعله CCS بعد

يشير المؤلفون بحذر إلى أن CCS ليس عصا سحرية تحل كل شيء.

إنه "درجة على مستوى الفئة": حالياً، يحسب CCS فئة (مثل "اللسان الأحمر") كأنها موجودة إذا وجد الذكاء الاصطناعي صندوقاً واحداً على الأقل جيداً لها. هو لا يعاقب الذكاء الاصطناعي إذا كان هناك 20 بقعة حمراء على اللسان ووجد الذكاء الاصطناعي واحدة منها فقط. تشير الورقة إلى أنه بالنسبة لبعض الأعراض، مثل "اللسان الأحمر المنقط"، يمكن أن يكون هناك عشرات البقع في صورة واحدة، وطريقة CCS الحالية تتجاهل البقع التي فاتتها.
شجرة العائلة مؤقتة: "شجرة العائلة" التي بناها المؤلفون لأعراض اللسان تم إنشاؤها من قبل المؤلفين لجعل الرياضيات تعمل، وليس من قبل لجنة من الخبراء الطبيين. إنها شجرة "مؤقتة". إذا قال طبيب حقيقي: "لا، هذان العرضان ليسا مرتبطين في الواقع"، فستحتاج الدرجة إلى إعادة حساب.
مجموعة بيانات واحدة فقط: لقد اختبروا هذا على مجموعة بيانات واحدة فقط من صور اللسان. وبينما النتائج واعدة، لا نعرف بعد ما إذا كان يعمل بشكل مثالي لاكتشاف السيارات، أو الأورام، أو أشياء أخرى دون مزيد من الاختبار.

الخلاصة

تشير هذه الورقة إلى أننا بحاجة إلى طريقة جديدة لتقييم محققي الذكاء الاصطناويين. نظام "النجاح أو الفشل" القديم قاس للغاية وغير مستقر، فهو يعاقب الذكاء الاصطناعي لكونه بعيداً قليلاً ويتجاهل حقيقة أن بعض الأخطاء هي أخطاء "أذكى" من غيرها. توفر درجة CCS طريقة أكثر سلاسة وعدالة لتقييم الذكاء الاصطناعي من خلال منح درجات جزئية لكونه قريباً في المكان وقريباً في المعنى. ورغم أنها ليست منتجاً نهائياً جاهزاً لكل التطبيقات الطبية بعد، إلا أنها تظهر وعداً كبيراً في جعل تقييم الذكاء الاصطناعي أكثر ملاءمة للبشر وذا صلة سريرية، خاصة في المجالات مثل الطب الصيني التقليدي حيث تكون الخطوط الفاصلة بين الأعراض غالباً ضبابية.

ملخص تقني: درجة التوافق المكاني-الدلالي المستمر (CCS)

بيان المشكلة
يعتمد تقييم اكتشاف الأشياء القياسي على مقاييس ذات عتبة صلبة (مثل mAP، F1) تتطلب أن يتجاوز التقاطع فوق الاتحاد (IoU) قيمة ثابتة (عادةً 0.5) لاعتبار الاكتشاف "إيجابياً حقيقياً". يرى المؤلفون أن عملية اتخاذ القرار الثنائية هذه تخلق مشكلتين حرجتين في المجالات السريرية وذات البنية الدلالية:

عدم الاستقرار والعقوبات القاسية: يتم اختزال جودة التحديد المستمرة في قرار (نعم/لا). فالصندوق الذي يقل قليلاً عن العتبة يُعاقب بنفس قسوة الخطأ الكامل، مما يؤدي إلى عدم استقرار ترتيب النماذج مع تغير العتبات.
العمى الدلالي: تُعامل جميع الملصقات الخاطئة على أنها خاطئة بالتساوي. ففي مجالات مثل تشخيص لسان الطب الصيني التقليدي (TCM)، يعتبر التنبؤ بـ "لسان منقط باللون الأحمر" لأساس حقيقي هو "لسان أحمر" أمراً مختلفاً سريرياً عن خطأ عشوائي، ومع ذلك تعامل المقاييس القياسية كلاهما كفشل تام.

تعالج مقاييس الاستمرارية الحالية مثل GIoU وDIoU وNormalized Wasserstein Distance (NWD) الحساسية المكانية، لكنها تظل مكانية بحتة وتتجاهل دلالات الملصقات. وفي المقابل، توجد مقاييس التشابه الدلالي في مجال التصنيف، ولكن لم يتم دمجها في تقييم اكتشاف الأشياء.

المنهجية: إطار عمل CCS
يقترح البحث CCS (درجة التوافق المكاني-الدلالي المستمر)، وهو مقياس واحد يجمع بين حدين متكاملين:
$CCS = \alpha \cdot C_{sp} + \beta \cdot C_{sem}$
حيث $\alpha + \beta = 1$ . الإعداد الافتراضي هو $\alpha = \beta = 0.5$ .

التوافق المكاني ( $C_{sp}$ ):
- الآلية: بدلاً من IoU الصلب، يتم نمذجة صناديق الإحاطة كأشكال غاوسية ثنائية الأبعاد متوافقة مع المحاور ممركزة عند مركز الصندوق. ويتم اشتقاق الانحراف المعياري ( $\sigma$ ) من أبعاد الصندوق ( $\sigma = \text{width}/4$ ).
- الحساب: الدرجة هي حاصل الضرب الداخلي الموحد (تشابه جيب التمام) بين توزيع غاوس المتوقع وتوزيع غاوس للحقيقة الأرضية.
- الخصائص: ينتج عن ذلك حل مغلق الشكل يعاقب الانحراف المكاني بسلاسة بناءً على مسافة المركز واختلافات الحجم. كما يتجنب عدم الاستمرارية في عتبات IoU، حيث يمنح ائتماناً جزئياً لعمليات التحديد "القريبة من الهدف".
التوافق الدلالي ( $C_{sem}$ ):
- الآلية: يستخدم هذا الحد تصنيفاً مؤقتاً لفئات أعراض اللسان الثمانية (المقسمة إلى فروع اللون، والغطاء، والشكل).
- الحساب: يستخدم تشابه Wu-Palmer، الذي يحسب قرب تسميتين بناءً على المسافة بينهما في شجرة التصنيف (تحديداً عمق "أدنى سلف مشترك").
- التطبيق: إذا لم يتطابق الملصق المتوقع مع الحقيقة الأرضية تماماً، فإنه يحصل على ائتمان جزئي يتناسب مع قربه الدلالي. على سبيل المثال، التنبؤ بـ "لسان منقط باللون الأحمر" مقابل حقيقة أرضية هي "لسان أحمر" يحصل على درجة > 0، بينما التنبؤ بـ "لسان متضخم" سيحصل على 0.

الإعداد التجريبي

مجموعة البيانات: مجموعة فرعية من ثماني فئات لأعراض اللسان من مرجع TCM-Tongue، تتميز باختلال شديد في صعوبة الفئات (على سبيل المثال، "hongdianshe" لديه كثافة عالية في الحالات، بينما غيره نادر).
النماذج: ستة أنواع من نماذج YOLO تغطي ثلاثة أجيال (YOLOv8, v10, v11؛ بأحجام n/m).
الخطوط المرجعية: تمت المقارنة مع IoU وGIoU وDIoU وNWD وmAP@[0.5:0.95] القياسي لـ COCO.
المقاييس: تم تقييم درجات F1 عند عتبات IoU متغيرة (0.3، 0.5، 0.7) وCCS المقترح.

النتائج الرئيسية

الاستقرار مقابل حساسية العتبة:
- انخفضت درجات F1 القياسية بشكل كبير (انخفاض نسبي بنسبة 10.8%–16.9%) مع تشديد عتبة IoU من 0.3 إلى 0.7.
- ظل CCS مستقراً (يتراوح بين 0.62–0.65) بغض النظر عن تغيرات العتبة، لأنه يُحسب دون الحاجة لقطع المطابقة.
اتساق الترتيب:
- أنتجت المقاييس ذات العتبة الصلبة ترتيبات غير مستقرة؛ حيث عكس 5 من أصل 15 زوجاً من النماذج ترتيبهم النسبي اعتماداً على عتبة IoU المستخدمة.
- وفر CCS ترتيباً متسقاً ارتبط بقوة مع F1@0.5 (معامل سبيرمان $\rho = 0.94$ ).
- ومن الملاحظ أن النموذج صاحب أعلى mAP (وهو YOLOv10n) كان صاحب أدنى CCS، مما يشير إلى أن mAP يكافئ التحديد الدقيق للبكسلات في الفئات السهلة، بينما يلتقط CCS المتانة الدلالية والمكانية الأوسع.
الإنقاذ الدلالي للأخطاء:
- تفوق المكون الدلالي ( $C_{sem}$ ) باستمرار على المكون المكاني ( $C_{sp}$ ) (0.67–0.70 مقابل 0.57–0.60).
- كشف التحليل أن 39.5% من الأخطاء في أصعب الفئات كانت "خلطاً قريباً" (متجاور دلالياً) وليست فشلاً عشوائياً. وفي فئات محددة مثل botaishe، كانت 94.5% من الأخطاء عبارة عن حالات "قريبة من الهدف".
حساسية الوزن:
- ظل الترتيب مستقراً لـ $\alpha \in [0.5, 0.7]$ .
- أسفر وزن الإنتروبيا المستند إلى البيانات عن $\alpha \approx 0.64$ ، والذي أعاد إنتاج الترتيب الافتراضي المتساوي الأوزان، مما يؤكد قوة تقسيم 0.5/0.5.

الأهمية والادعاءات
يضع البحث CCS ليس كبديل نهائي وعام لـ mAP، بل كمرشح قابل للتطبيق للتقييم في مساحات الملصقات ذات البنية الدلالية وعدم توازن الفئات.

الأهمية السريرية: في تشخيص لسان الطب الصيني التقليدي، يميز CCS بين "النقرات القريبة" ذات المعنى السريري والفشل الحقيقي، وهو تمييز لا تستطيع المقاييس ذات العتبة الصلبة التعبير عنه.
المتانة: يقضي على عدم الاستقرار الناتج عن اختيار العتبة التعسفي.
الاعتراف بالقيود: يشير المؤلفون صراحةً إلى أن CCS يستخدم حالياً التقييم على مستوى الفئة (زوج واحد لكل فئة لكل صورة)، مما يعني أنه يفشل في معاقبة الحالات المفقودة في الفئات الكثيفة متعددة الحالات (مثل hongdianshe). كما أن التصنيف المستخدم مؤقت ولم يتم التحقق منه من قبل خبراء الطب الصيني التقليدي. والتقييم محدود بنماذج YOLO على مجموعة بيانات واحدة.

يخلص المؤلفون إلى ضر p استخدام CCS جنباً إلى جنب مع المقاييس الحالية: mAP/F1 لتحديد المواقع بدقة البكسل، وCCS لتقييم ما إذا كانت الأخطاء حميدة سريرياً أو جسيمة، خاصة عندما تُستخدم مخرجات الكاشف في تدفقات العمل التشخيصية.

المشكلة في التسجيل "الكل أو لا شيء"

مرحباً بـ CCS: حكم "الدرجات الجزئية"

ما وجدوه: الاستقرار والعدالة

الحدود: ما لا يفعله CCS بعد

الخلاصة

أبحاث مشابهة