Development and evaluation of CADe systems in low-prevalence setting: The RARE25 challenge for early detection of Barrett's neoplasia

إليك ملخص تقني مفصل لورقة البحث بعنوان: "تطوير وتقييم أنظمة الكشف بمساعدة الحاسوب (CADe) في بيئات منخفضة الانتشار: تحدي RARE25 للكشف المبكر عن ورم مريء باريت النشوئي."

1. بيان المشكلة

تتناول الورقة التحدي الحرج المتمثل في الكشف بمساعدة الحاسوب (CADe) في بيئات المراقبة ذات الانتشار المنخفض، وتحديداً للكشف المبكر عن الأورام (الآفات السرطانية أو ما قبل السرطانية) لدى المرضى المصابين بـ مريء باريت (BE).

• المشكلة الجوهرية: في المراقبة السريرية الروتينية، تُظهر الغالبية العظمى من صور التنظير أنسجة طبيعية أو حميدة، بينما تكون الآفات النشوئية ذات الصلة سريرياً نادرة للغاية (غالباً أقل من 1% من نسبة الانتشار).
• فجوة "تحول الانتشار": تعتمد معظم أبحاث CADe الحالية على تدريب وتقييم النماذج على مجموعات بيانات متوازنة اصطناعياً (على سبيل المثال، 50% طبيعي، 50% غير طبيعي) لتحسين الدقة. ومع ذلك، عندما يتم نشر هذه النماذج في بيئات واقعية ذات عدم توازن شديد في الفئات (مثل نسبة 100:1)، فإنها تعاني من:
  • مقاييس متفائلة: درجات دقة أو AUROC مرتفعة لا تترجم إلى فائدة سريرية.
  • إجهاد الإنذارات الكاذبة: عدد غير مقبول من الإيجابيات الكاذبة، مما يثقل كاهل الأطباء ويمكن أن يؤدي إلى إجهاد الإنذار أو تفويت التشخيصات إذا تم رفع عتبات القرار للتعويض عن ذلك.
• الهدف: إنشاء معيار يجبر الباحثين على مواجهة ندرة الفئات أثناء التدريب وتحول الانتشار أثناء النشر، وتقييم الأنظمة في ظل ظروف واقعية سريرياً.

2. المنهجية: تحدي RARE25

تم تنظيم تحدي RARE25 كجزء من مؤتمر EndoVis/MICCAI 2025 لتوفير إطار تقييم صارم يراعي الانتشار.

أ. تصميم مجموعة البيانات

• مجموعة التدريب العامة: 3,095 صورة تنظيرية مجهولة الهوية بالكامل (2,937 غير خلل تنسجي، 158 حالة نشوء مؤكدة). هذه هي أكبر مجموعة بيانات متاحة علناً لمريء باريت حتى الآن. تم الحصول على الصور باستخدام أنظمة Olympus Exra III من مراكز طبية هولندية.
• مجموعة الاختبار الخاصة: مجموعة اختبار "مغلقة" تضم أكثر من 25,000 صورة (23,176 غير خلل تنسجي، 3,232 حالة نشوء). ومن الأهمية بمكان أن هذه المجموعة تم أخذ عينات منها لتعكس الواقع الفعلي لحدوث ورم مريء باريت (حوالي 100:1 من حيث عدم التوازن)، بدلاً من التوزيع المتوازن.
• مجموعة التحقق: مجموعة خاصة أصغر (1,143 صورة) استُخدمت للتحقق الداخلي أثناء التحدي.

ب. بروتوكول التقييم

لمعالجة قيود المقاييس القياسية في البيئات غير المتوازنة، استخدم التحدي استراتيجية تقييم تراعي الانتشار:

1. البوتستراب (Bootstrapping): تم إجراء 1,000 تكرار بوتستراب حيث تم الاحتفاظ بالفئة السالبة (الطبيعية)، مع إعادة أخذ عينات من الفئة الموجبة (النشوء) للحفاظ على نسبة عدم توازن ثابتة قدرها 100:1.
2. المقاييس الرئيسية:
   • AUROC & AUPRC: لقياس الأداء التمييزي والاسترجاعي العام.
   • PPV@90% Recall (المقياس الأساسي): القيمة التنبؤية الإيجابية عند حساسية 90%. هذا المقياس يحدد كمياً عبء الإيجابيات الكاذبة الذي سيواجهه الطبيب عندما يتم ضبط النظام لالتقاط 90% من جميع حالات السرطان. وهو مقياس التصنيف الأساسي.
3. القيود: سُمح فقط بالطرق المؤتمتة بالكامل. كان بإمكان المشاركين استخدام النماذج المدربة مسبقاً العامة، لكنهم كانوا مقيدين ببيانات التدريب المقدمة (بالإضافة إلى مجموعات البيانات العامة) لضمان العدالة.

3. الطرق المشاركة (11 فريقاً)

جذب التحدي 11 فريقاً من 7 دول. كشف التحليل المقارن لنهجهم عن عدة اتجاهات:

• التجميع (Ensembling): استراتيجية مهيمنة. استخدمت الفرق المتصدرة (مثل IMSY، agaldran، sk) مجموعات ضخمة (10-40 نموذجاً) تجمع بين بنيات مختلفة (ResNet، ViT، ConvNeXt) لتقليل التباين.
• استراتيجيات التدريب المسبق:
  • المتخصصة في المجال: استخدمت العديد من الفرق (IMSY، MEDAI، iRARE) نموذج GastroNet-5M أو نماذج مشابهة متخصصة في الجهاز الهضمي، والتي تفوقت على التدريب المسبق العام (ImageNet) في عدة حالات.
  • النماذج التأسيسية (Foundation Models): استفادت الفرق من محولات الرؤية الضخمة (ViT-L، DINOv3) التي تم ضبطها بدقة غالباً باستخدام طرق فعالة في المعلمات مثل LoRA.
  • التدريب المسبق المتدرج: استخدم فريق Jmees-inc مساراً فريداً يبدأ بتقسيم البوليب (Polyp Segmentation)، ثم تقسيم مريء باريت، وأخيراً التصنيف.
• دوال الخسارة والمعايرة:
  • اعتمدت معظم الفرق على التصنيف الخاضع للإشراف مع دوال خسارة معدلة (Fal Loss، Asymmetric Loss، Balanced MixUp) للتعامل مع عدم التوازن.
  • المعايرة الصريحة: نادرة الاستخدام. استخدمت فرق قليلة فقط (IMSY، MEDAI) المعايرة اللاحقة (affine re-calibration، Platt scaling) لضبط مخرجات الاحتمالات لتناسب الانتشار المتوقع.
• الغياب الملحوظ: لم يقدم أي فريق نهجاً للكشف عن الشذوذ (Anomaly Detection) أو تعلم الفئة الواحدة (One-class Learning). اعتمدت جميع الطرق على التصنيف الخاضع للإشراف بالكامل، رغم هيمنة البيانات الطبيعية.

4. النتائج الرئيسية

• الأداء:
  • حقق الفريق IMSY أعلى PPV@90% Recall (0.035) على وسيط البوتستراب و 0.320 على مجموعة البيانات الكاملة، محتلاً المركز الأول.
  • حقق الفريق UT أعلى AUPRC متوسط (0.532) في عينات البوتستراب، مما يسلط الضوء على أن مقاييس التصنيف (AUPRC/AUROC) يمكن أن تختلف بشكل كبير عن مقاييس نقاط التشغيل (PPV).
  • القدرة التمييزية: حققت أفضل النماذج درجات AUROC عالية (>0.90)، مما يشير إلى قدرتها على التمييز بين الفئات من منظور نظري.
  • الواقع السريري: رغم القدرة التمييزية العالية، ظلت قيمة PPV منخفضة (<4%) لجميع الفرق عند مستويات استدعاء (Recall) عالية. وهذا يؤكد أنه حتى أحدث النماذج تولد عدداً هائلاً من الإيجابيات الكاذبة عند نشرها في بيئة انتشار بنسبة 1%.
• المتانة (Robustness): تباين الأداء بشكل كبير عبر عينات البوتستراب، مما يشير إلى أن التحقق المتقاطع الداخلي على مجموعات إيجابية صغيرة هو مؤشر غير موثوق للأداء في العالم الحقيقي.
• النتائج النوعية: واجهت أفضل النماذج صعوبة في التعامل مع الآفات المبكرة واللطيفة حيث تكون العلامات البصرية باهتة، لكنها أدت أداءً جيداً في حالات النشوء المتقدمة والواضحة تماماً.

5. المساهمات الرئيسية

1. معيار RARE25: إنشاء أكبر مجموعة بيانات عامة لمريء باريت (3,095 صورة) مقترنة بمجموعة اختبار خاصة ضخمة وواقعية من حيث الانتشار (>25,000 صورة).
2. إطار التقييم: تقديم بروتوكول تقييم صارم يعطي الأولوية لـ PPV عند الاستدعاء العالي ويستخدم البوتستراب لمراعاة عدم اليقين في حالات الانتشار المنخفض، متجاوزاً مجرد استخدام AUROC/Accuracy التقليدية.
3. الدليل التجريبي على "فجوة الانتشار": أثبت التحدي تجريبياً أن النماذج المحسنة على بيانات متوازنة تفشل في التحول إلى فائدة سريرية دون تعديلات خاصة تراعي الانتشار، كما يتضح من درجات PPV المنخفضة رغم ارتفاع AUROC.
4. تحديد الفجوات المنهجية: تسلط الورقة الضوء على الاعتماد المفرط للمجال على التصنيف الخاضع للإشراف والافتقار إلى استكشاف الكشف عن الشذوذ أو تعلم الفئة الواحدة، وهي أساليب قد تكون أكثر ملاءمة لمهام المراقبة حيث تتوفر البيانات الطبيعية بكثرة.

6. الأهمية والتوجهات المستقبلية

• الأثر السريري: تعمل النتائج كتحذير لنشر الذكاء الاصطناي في عمليات المراقبة. فالحساسية العالية (Recall) لا قيمة لها إذا كانت تأتي مع معدل إيجابيات كاذبة لا يمكن إدارته ويجهد الأطببة. يجب أن تحسن الأنظمة المستقبلية نقاط التشغيل السريرية، وليس فقط المقاييس العالمية.
• الاتجاه البحثي: تدعو الورقة إلى التحول نحو النهجات غير المرتبطة بالانتشار (مثل الكشف عن الشذوذ، والتعلم الخاضع للإشراف الذاتي على البيانات الطبيعية). يمكن لهذه الأساليب تعلم نموذج قوي لـ "الطبيعي" (Normal) وتحديد الانحرافات، مما قد يوفر تعميماً أفضل ومعدلات أقل للإيجابيات الكاذبة.
• التقنين (Standardization): يضع RARE25 معياراً جديداً لتقييم الذكاء الاصطاذ الطبي في سيناريوهات الانتشار المنخفض، ويحث المجتمع العلمي على تقديم مقاييس نقاط التشغيل وتقديرات عدم اليقين جنباً إلى جنب مع مقاييس التصنيف التقليدية.

باختالام، نجح تحدي RARE25 في كشف أوجه القصور في ممارسات تطوير الـ CADe الحالية في بيئات الانتشار المنخفض، وقدم خارطة طريق لتطوير أنظمة أكثر متانة وقابلية للتطبيق سريرياً من خلال التقييم الذي يراعي الانتشار والابتكار المنهجي.