NucEval: A Robust Evaluation Framework for Nuclear Instance Segmentation
تقدم هذه الورقة NucEval، وهو إطار تقييم قوي يعالج أربع مشكلات رئيسية في تجزئة النوى (nuclear instance segmentation) — وهي التعامل مع المناطق الغامضة، وتطبيع الدرجات، والتداخل بين الحالات، وعدم اليقين في الحدود — لتوفير مسار موحد ومحسن لتقييم نماذج التعلم العميق في علم الأمراض الحسابي.
تخيل أنك حَكَم في مسابقة طبخ ضخمة. الطهاة (النماذج الحاسوبية) يحاولون تقطيع سلطة فواكه عملاقة ومعقدة (صورة مجهرية للأنسجة) إلى قطع فردية (نوى الخلايا). بعض القطع ملتصقة ببعضها، وبعضها ضبابي، وبعضها مقطوع عند حافة الوعاء.
لسنوات، كان الحكام يستخدمون ورقة تسجيل معيارية لتقييم هؤلاء الطهاة. لكن مؤلفي هذه الورقة البحثية، NucEval، أدركوا أن ورقة التسجيل نفسها بها عيوب خطيرة. إنهم يجادلون بأن الطريقة الحالية التي نقيم بها النماذج تشبه الحكم على طباخ بناءً على مدى جودة تقطيعه لقطعة فاكهة كانت بالفعل مهروسة أو مخفية جزئيًا تحت منديل. هذا ليس عادلاً، ولا يخبرنا من هو الطباخ الأفضل حقًا.
إليك قصة الورقة البحثية، مقسمة إلى أجزاء بسيطة:
المشكلة: بطاقة تسجيل معيبة
حددت الورقة أربعة طرق محددة تجعل "بطاقة التسجيل" الحالية معطلة:
مشكلة "الفاكهة المهروسة" (المناطق الغامضة): أحيانًا تكون الفاكهة مضغوطة جدًا، أو خارج التركيز، أو ممزقة لدرجة أنه حتى الخبير البشري لا يستطيع معرفة أين تنتهي قطعة وأين تبدأ أخرى. نظام التسجيل القديم أجبر الكمبيوتر على التخمين في هذه البقع الضبابية. وإذا خمن الكمبيوتر بشكل خاطئ، فسيتم عقابه، رغم أن البقعة كانت مستحيلة التقييم.
الحل:تجاهل الجزء المهروس. النظام الجديد يقول: "دعونا نتخلص من الأجزاء الضبابية والمستحيلة الرؤية من الصورة قبل أن نبدأ التقييم". بهذه الطريقة، نحن نحكم على الطباخ فقط على الأجزاء التي استطاع رؤيتها بالفعل.
مشكلة "الطبق الصغير مقابل الوليمة الكبيرة" (تطبيع الدرجات): تخيل أن أحد الطهاة حصل على طبق به 5 قطع من الفاكهة، وطباخ آخر حصل على طبق به 500 قطعة. إذا أخطأ الأول في قطعة واحدة، ستنهار درجته لأن هذا الخطأ يمثل 20% من إجمالي درجاته. أما إذا أخطأ الثاني في قطعة واحدة من أصل 500، فلن يهم الأمر كثيرًا. النظام القديم كان يكتفي بحساب المتوسط للدرجات، مما عاقل الطهاة الذين حصلوا على أطباق صغيرة بشكل غير عادل.
الحل:وزن الأطباق. النظام الجديد يحسب عدد القطع الموجودة في كل طبق. إنه يعطي وزنًا أكبر للأطبقة التي تحتوي على المزيد من الفاكهة. هذا يضمن أن الخطأ في طبق صغير لا يؤدي إلى خفض درجة المنافسة بأكملها بشكل غير عادل.
مشكلة "الفاكهة اللزجة" (المناطق المتداخلة): أحيانًا تكون قطعتان من الفاكهة ملتصقتين ببعضهما. في النظام القديم، كان الحكام يقررون بشكل تعسفي: "حسنًا، هذا الجزء اللزج ينتمي إلى آخر فاكهة نظرنا إليها". هذا يعني أن الترتيب الذي نظر به الحكام إلى الفاكهة كان يغير الدرجة. كان الأمر يشبه القول بأن الفائز يتغير لمجرد أنك نظرت إلى التفاحة قبل البرتقالة.
الحل:مشاركة الجزء اللزج. النظام الجديد يقول: "إذا تشاركت فاكهتان في بقعة لزجة، فإن تلك البقعة تنتمي لكلتيهما". هذا يزيل العقوبة غير العادلة المتمثلة في الاضطرار لتخمين أي فاكهة "تملك" التداخل.
مشكلة "حافة الوعاء" (عدم اليقين عند الحدود): عندما ترسم خطًا حول قطعة فاكهة، قد ترسمه سميكًا قليًا أو رفيعًا قليًا. البشر يختلفون على مكان الحافة بالضبط. النظام القديم كان يعاقب الكمبيوتر إذا أخطأ ولو ببكسل واحد عند الحافة.
الحل:منحهم منطقة عازلة. النظام الجديد ينشئ حلقة "منطقة لا أحد" صغيرة حول كل قطعة فاكهة. إنه يتجاهل البكسلات الموجودة في هذه الحلقة. إذا أخطأ الكمبيوتر قليًا في هذه الحلقة، فلن يتم عقابه، لأن الحكام البشر أيضًا لم يستطيعوا الاتفاق على ذلك الخط الدقيق على أي حال.
التجربة: وضع القواعد الجديدة قيد الاختبار
بنى المؤلفون أداة جديدة تسمى NucEval (فكر فيها كأنها تطبيق تسجيل جديد ومطور) تتضمن جميع الحلول الأربعة هذه.
اختبروا الأداة على ثلاث مجموعات بيانات مختلفة من "سلطة الفواكه" (صور مجهرية حقيقية) واستخدموا ثلاثة نماذج حاسوبية مختلفة (الطهاة) لمعرفة ما سيحدث.
النتائج:
ارتفعت الدرجات: في معظم الحالات، عندما استخدموا قواعد NucEval الجديدة، ارتفعت درجات النماذج الحاسوبية.
الفائز الأكبر: قاعدة "المنطقة العازلة" (تجاهل الحواف) أحدثت الفرق الأكبر. لقد أظهرت أن العديد من النماذج كانت تقوم بعمل رائع بالفعل، لكن القواعد القديمة كانت شديدة التدقيق في تفاصيل الحواف الصغيرة.
العدالة: أثبت النظام الجديد أن النماذج لم تكن بالضرورة "أفضل" في تقطيع الفاكهة؛ بل كانت تُقيم بشكل أكثر عدلًا فقط. النظام القديم كان يخفي إمكاناتهم الحقيقية.
الخلاصة
يخلص البحث إلى أننا لفترة طويلة، كنا نحاول تحسين الطهاة (نماذج الذكاء الاصطناعي) دون أن ندرك أن نظام التسجيل الخاص بنا كان معطلًا. من خلال إصلاح بطاقة التسجيل لتجاهل الأجزاء المستحيلة، ووزن الأطباق بعدل، ومشاركة الأجزاء اللزجة، والعفو عن أخطاء الحواف الصغيرة، نحصل على صورة أوضح لمن هو الأفضل حقًا.
لقد أتاح المؤلفون أداة التسجيل الجديدة الخاصة بهم، NucEval، مجانًا حتى يتمكن الباحثون الآخرون من استخدامها لتقييم نماذجهم بإنصاف. إنهم يجادلون بأن هذا أمر ضروري، لأنه في العالم الطبي، اختيار النموذج الصحيح أمر بالغ الأهمية، ونحن بحاجة للتأكد من أننا نختار الأفضل بناءً على اختبار عادل.
ملخص تقني: NucEval – إطار تقييم قوي لتجزئة النوى النووية
بيان المشكلة
في علم الأمراض الحسابي، تُعد تجزئة النوى (Nuclear instance segmentation) مهمة أساسية وحرجة للتطبيقات السريرية اللاحقة مثل تشخيص السرطان والتنبؤ بسير المرض. وبينما ركزت جهود بحثية كبيرة على تحسين نماذج التجزئة (مثل الشبكات العصبية التلافيفية مثل HoVer-Net، ونماذج Vision Transformers مثل CellViT) وتقنيات المعالجة المسبقة واللاحقة، حظي خط أنابيب التقييم باهتمام أقل نسبياً.
تعاني ممارسات التقييم الحالية من عدة قيود جوهرية يمكن أن تؤدي إلى تقدير غير دقيق للأداء ومقارنات غير عادلة بين النماذج. حدد المؤلفون أربع مشكلات محددة في الأدبيات الحالية:
المناطق الغامضة (Vague Regions): تفتقر مجموعات البيانات القياسية غالباً إلى التوصيفات للمناطق الغامضة (مثل المناطق خارج نطاق التركيز، أو طيات الأنسجة، أو الحدود التي يصعب تمييزها). إن تضمين هذه المناطق في التقييم يمكن أن يعاقب أو يكافئ النماذج بشكل غير عادل على تنبؤات في مناطق لا يستطيع حتى الخبراء البشريون تقديم حقيقة أرضية (Ground Truth) موثوقة لها.
الدرجات غير المعيرة (Unnormalized Scores): يتم حساب المقاييس عادةً كمتوسط عبر رقع الصور (Image Patches) دون مراعاة عدد النوى في كل رقعة. يؤدي هذا إلى تحيز حيث تؤثر الرقع التي تحتوي على عدد قليل من النوى بشكل غير متناسب على الدرجة النهائية، وهو ما لا يعكس الواقع السريري حيث يتم إجراء التجزئة على صور كاملة الشريحة (WSIs).
النماذج المتداخلة (Overlapping Instances): في العديد من مجموعات البيانات، يتم تخصي إس مناطق النوى المتداخلة تعسفياً إلى نموذج واحد (غالباً آخر نموذج تم العثور عليه في ملف التوصيف). هذا يعاقب النماذج التي تحدد الهياكل المتداخلة بشكل صحيح ويؤدي إلى تحيز منطقي بناءً على ترتيب التوصيف.
عدم اليقين عند الحدود (Border Uncertainty): التوصيفات اليدوية عند حدود الأجسام هي بطبيعتها غير يقينية. إن معاقبة النماذج على الانحرافات الطفيفة (بضعة بكسلات) عند الحدود غالباً ما يكون غير عادل، حيث قد يختلف الموصّفون البشريون أنفسهم على الموقع الدقيق للحدود.
المنهجية
لمعالجة هذه المشكلات، يقترح المؤلفون NucEval، وهو إطار تقييم موحد قائم على لغة Python، يدمج أربعة تعديلات محددة في المقاييس القياسية (جودة البانوبتيك [PQ]، مؤشر جاكارد المجمع [AJI]، Dice، جودة الكشف [DQ]، وجودة التجزئة [SQ]).
التعديلات الأربعة
إدراج المناطق الغامضة (التعديل رقم 1):
يتم استبعاد المناطق الغامضة صراحةً من كل من الحقيقة الأرضية وتنبؤات النموذج.
بالنسبة للنماذج التي تتقاطع مع هذه المناطق، يتم استخدام استراتيجية قائمة على العتبة: يتم إزالة النموذج إذا تجاوزت نسبة تداخله مع المنطقة الغامضة إلى مساحته الإجمالية عتبة محددة مسبقاً (على سبيل المثال، 0.25).
يتم إعادة تسمية النماذج المتبقية لضمان معرفات صحيحة متتالية لحساب المقاييس.
معايرة الدرجات (التعديل رقم 2):
بدلاً من المتوسط الحسابي البسيط للدرجات عبر الصور، يقوم الإطار بحساب متوسط معاير بعدد النوى.
يتم وزن مساهمة كل صورة في الدرجة النهائية بناءً على عدد النوى الموصوفة فيها. هذا يقلل من التحيز تجاه الرقع ذات التوصيف المحدود.
التعامل مع المناطق المتداخلة (التعديل رقم 3):
يتم تخصيص المناطق المتداخلة لـ جميع النماذج ذات الصلة بدلاً من تخصيصها تعسفياً لنموذج واحد.
يتطلب هذا توفير بيانات الحقيقة الأرضية كمجموعة من مناطق الاهتمام (ROIs) أو قائمة من الأقنعة الثنائية (Binary Masks) حيث يتم الحفاظ على التداخلات، بدلاً من قناع واحد موسوم حيث يتم دمج التداخلات.
التعامل مع عدم اليقين عند الحدود (التعديل رقم 4):
يتم إنشاء "منطقة عدم يقين" حول حدود كل نموذج عن طريق تطبيق عمليات التآكل (Erosion) والتمدد (Dilation) المورفولوجية.
الفرق بين الأقنعة المتمددة والمتآكلة يحدد منطقة يتم استبعادها من التقييم (يتم تصفير البكسلات في كل من الحقيقة الأرضية والتنبؤ).
عرض المنطقة هو معلمة فائقة (Hyperparameter) قابلة للضبط (تم ضبطها على 1 بكسل في الدراسة) لموازنة عدم اليقين في التوصيف مع الحفاظ على مناطق التقييم ذات المعنى.
الإعداد التجريبي
تم تقييم الإطار باستخدام:
مجموعات البيانات:
NuInsSeg: المجموعة الأساسية، والتي اختيرت لتوفيرها الفريد لتوصيفات المناطق الغامضة والنسختين المزدوجتين لمعالجة مناطق التداخل (المحفوظة مقابل المدمجة).
CryoNuSeg: استُخدمت لاختبار التعديلات رقم 2 و3 و4 (تفتقر إلى توصيفات المناطق الغامضة).
PCNS: استُخدمت لاختبار التعديلين رقم 2 و4 (تفتقر إلى توصيفات المناطق الغامضة وتوصيفات ROI).
النماذج: ثلاثة نماذج من أحدث التقنيات في التعلم العميق تمثل بنيات مختلفة:
HoVer-Net (قائم على CNN)
Hover-Next (قائم على CNN)
CellViT (قائم على Vision Transformer)
التدريب: تم تدريب النماذج باستخدام التحقق المتقاطع خماسي الطيات (5-fold cross-validation) على محطة عمل واحدة مزودة بوحدة معالجة رسومات NVIDIA RTX 4090.
النتائج الرئيسية
أظهرت الدراسة أن تطبيق هذه التعديلات يحسن باستمرار مقاييس التقييم عبر جميع النماذج الثلاثة ومجموعات البيانات الثلاث.
التأثير الفردي:
أظهر التعديل رقم 4 (عدم اليقين عند الحدود) التأثير الأكثر جوهرية واستمرارية، حيث حسن جودة البانوبتيك (PQ) بنسبة 5-6% تقريباً عبر جميع النماذج في مجموعة بيانات NuInsSeg.
أدى التعديل رقم 1 (المناطق الغامضة) إلى تحسين جميع المقاييس باستمرار.
أظهر التعديل رقم 2 (معايرة الدرجات) مكاسب كبيرة في المجموعات الفرعية غير المتوازنة من البيانات (على سبيل المثال، تحسينات في PQ تتراوح بين 27-32% في مجموعة فرعية محددة)، مما يسلط الضوء على أهميته لمجموعات البيانات ذات الكثافات النووية المتفاوتة.
كان لـ التعديل رقم 3 (المناطق المتداخلة) التأثير الأقل على المقاييس الإجمالية (حيث تشكل التداخلات جزءاً صغيراً من مجموعة البيانات) ولكنه أثبت أن دمج التداخلات يمكن أن يقلل الأداء بشكل كبير (انخفاض في PQ يصل إلى ~10% في المقارنات المثالية).
التأثير التراكمي:
أدى تطبيق جميع التعديلات في وقت واحد إلى تحقيق أعلى المكاسب. في مجموعة بيانات NuInsSeg الكاملة، زادت جودة البانوبتيك (PQ) بنسبة 10.67% إلى 12.00% عبر النماذج الثلاثة مقارنة بالخط المرجعي.
في المجموعة الفرعية غير المتوازنة من NuInsSeg، كانت التحسينات التراكمية في PQ أكثر بروزاً، حيث تراوحت بين 38.45% إلى 43.19%.
لوحظت اتجاهات إيجابية مماثلة في CryoNuSeg وPCNS، مما يؤكد عمومية النهج، حتى عند عدم القدرة على تطبيق جميع التعديلات بسبب نقص أنواع التوصيفات.
الأهمية والادعاءات
يضع المؤلفون NucEval ليس كخوارزمية تجزئة جديدة، بل كـ إطار تقييم قوي ضروري للمقارنة العادلة واختيار النماذج للتطبيقات السريرية.
استقلالية النموذج: التعديلات مستقلة عن بنية نموذج التجزية، مما يجعلها قابلة للتطبيق على أي نهج قائم على CNN أو ViT.
العدالة والقابلية للتكرار: من خلال معالجة التحيزات في تجميع الدرجات، والمناطق الغامضة، وعدم اليقين عند الحدود، يهدف NucEval إلى منع اختيار نماذج أدنى أداءً للمهام السريرية اللاحقة.
الفائدة العملية: يوفر المؤلفون تطبيق Python متاحاً للجمهور (NucEval) مع إرشادات كاملة، مما يسمح للباحثين بتطبيق هذه التعديلات بشكل انتقائي بناءً على توافر توصيفات معينة (مثل أقنعة المناطق الغامضة أو مجموعات ROI) في مجموعات البيانات الخاصة بهم.
الاتجاه المستقبلي: تشير الورقة إلى أنه بينما يستخدم التنفيذ الحالي معلمات ثابتة، فإن الإطار مصمم ليكون مرناً. كما تقترح ضرورة أن تأخذ إصدارات مجموعات البيانات المستقبلية في الاعتبار الحفاظ على المناطق المتداخلة وتوصيف المناطق الغامضة للاستفادة الكاملة من تحسينات التقييم هذه.
في الختام، تجادل الورقة بأن التقييم الصارم لا يقل أهمية عن تطوير النماذج. ومن خلال توحيد وتحسين خط أنابيب التقييم عبر NucEval، يمكن للمجتمع العلمي تحقيق تقديرات أداء أكثر موثوقية وتحقيق نتائج سريرية أفضل في نهاية المطاف.