Confidence Matters: Uncertainty Quantification and Precision Assessment of Deep Learning-based CMR Biomarker Estimates Using Scan-rescan Data

إليك ملخص تقني مفصل للورقة البحثية بعنوان "الثقة مهمة: تقدير عدم اليقين وتقييم الدقة لتقديرات المؤشرات الحيوية القائمة على التعلم العميق باستخدام بيانات الفحص المتكرر (Scan-Rescan)."

1. بيان المشكلة

تُقيم نماذج التعلم العميق (DL) المستخدمة لتحليل بيانات التصوير بالرنين المغناطيسي القلبي (CMR) لصور القلب (cine) عادةً بناءً على الدقة (مثل درجات Dice، أو متوسط الخطأ مقابل الحقيقة الأرضية/المرجع) بدلاً من الإحكام (Precision). وبينما تقيس الدقة مدى قرب التنبؤ من المرجع اليدوي، يقيس الإحكام مدى اتساق النموذج عبر القياسات المتكررة لنفس المريض (الفحص والمتكرر - scan-rescan).

تعتمد الأدبيات الحالية غالباً على التقديرات النقطية (قيمة واحدة لكل فحص) لتقييم الإحكام. ومع ذلك، فإن تقديرات المؤشرات الحيوية تحتوي بطبيعتها على حالة من عدم اليقين. وفي الدراسات الطولية، حيث يتم تتبع تطور المريض بمرور الوقت، فإن تجاهل حالة عدم اليقين هذه يمكن أن يؤدي إلى استنتاجات مضللة حول الاستقرار السريري. وتفشل الطرق الحالية في تحديد توزيع قيم المؤشرات الحيوية المحتملة، مما يجعل من الصعب تحديد ما إذا كانت التغيرات في المؤشرات الحيوية ناتجة عن تغيرات فسيولوجية فعلية أم عن تباين النموذج.

2. المنهجية

2.1. خط العمل الأساسي (Core Pipeline)

استخدم المؤلفون بنية nnU-Net متطورة تم تدريبها لتقسيم حوض الدم في البطين الأيسر (LVBP)، وحوض الدم في البطين الأيمن (RVBP)، وعضلة القلب في البطين الأيسر (LV) من بيانات تصوير (SAX cine CMR) للمحور القصير.

• بيانات التدريب: 2,793 مسحة سريرية من مؤسسة Guy's and St Thomas' NHS Foundation Trust.
• حساب المؤشرات الحيوية: تم اشتقاقها من عمليات التقسيم لحساب الكسر القذفي للبطين الأيسر (LVEF)، والكسر القذفي للبطين الأيمن (RVEF)، وكتلة البطين الأيسر (LVM).

2.2. تقنيات تقدير عدم اليقين

للانتقال إلى ما وراء التقديرات النقطية وتوليد توزيعات المؤشرات الحيوية، طبقّت الدراسة ثلاث تقنيات لتقدير عدم اليقين:

1. المجموعة العميقة (Deep Ensemble - DE): استُخدمت عملية التحقق المتقاطع خماسي الطيات (5-fold cross-validation) المتأصلة في إطار عمل nnU-Net. تم تدريب خمسة نماذج منفصلة وتم دمج تنبؤاتها أثناء الاستدلال.
2. تعزيز وقت الاختبار (Test-Time Augmentation - TTA): طُبقت تحويلات مكانية وكثافة (تدوير، قص، تمويه غاوسي، تغيير كثافة) على الصورة المدخلة أثناء الاستدلال. تم إنشاء عشر نسخ معدلة لإنتاج عشر تقديرات متميزة.
3. إسقاط مونت كارلو (Monte Carlo Dropout): تم الإبقاء على طبقات الإسقاط نشطة (بمعدل 0.2) أثناء الاستدلال، مع تشغيل النموذج 10 مرات لإنتاج 10 تنبؤات عشوائية.

2.3. مجموعات بيانات التقييم

استُخدمت مجموعتان خارجيتان من بيانات الفحص المتكرر (scan-rescan) لاختبار الإحكام (حيث يتم فحص نفس المريض مرتين في نفس اليوم مع إعادة التخطيط):

• Roca-HC: 184 مسحة من 92 متطوعاً سليماً.
• Strain-8: 40 مسحة من 20 متطوعاً سليماً.

2.4. المقاييس المقترحة

قدم المؤلفون ثلاثة مقاييس جديدة قائمة على التوزيع لتقييم الإحكام، متجاوزين معامل الاختلاف (CoV) التقليدي:

• نسبة دقة الثقة (CPP): النسبة المئوية لقيم المسحة (B) التي تقع ضمن فاصل الثقة (CI) بنسبة 95% للمسحة (A) (والعكس صحيح).
• تقاطع الاتحاد لثقة (CIoU): نسبة التقاطع إلى الاتحاد بين فواصل الثقة للمسحة (A) والمسحة (B).
• نسبة فرق الدقة (PDP): النسبة المئوية للمرضى الذين رفضت الاختبارات الإحصائية (اختبار t المقترن أو اختبار ويلكوكسون لعلامة رانك) فرضية العدم بأن توزيعات المسحة (A) والمسحة (B) متطابقة.

3. المساهمات الرئيسية

1. التحول من التقديرات النقطية إلى التوزيعات: اقتراح إطار لتقدير التوزيعات الكاملة للمؤشرات الحيوية بدلاً من القيم المفردة باستخدام التعلم العميق.
2. مقاييس إحكام مبتكرة: تقديم CPP و CIoU و PDP لتقييم الاتفاق بين توزيعات المسحة والمتكرر بشكل صارم.
3. تحليل شامل لعدم اليقين: تقييم ثلاث تقنيات لعدم اليقين (DE، TTA، MC Dropout) خصيصاً في سياق التحليل الطولي لـ CMR.
4. رؤية نقدية للمقاييس: إثبات أن مقاييس الدقة/التقدير النقطي التقليدية يمكن أن تخفي ضعف الإحكام، بينما تكشف المقاييس القائمة على التوزيع عن عدم الاتساق الكبير.

4. النتائج

4.1. الدقة وإحكام التقدير النقطي

• حقق نموذج التقسيم دقة عالية بمتوسط درجة Dice بلغت 87%.
• أشارت المقاييس القياسية (فرق المتوسط و CoV) إلى إحكام مرضٍ لجميع الطرق. على سبيل المثال، أظهر MC Dropout أقل انحراف معياري في فروق المتوسط، مما يشير إلى اتساق عالٍ في التقديرات النقطية.

4.2. الإحكام القائم على التوزيع (النتيجة الحاسمة)

على الرغم من جودة مقاييس التقدير النقطي، كشف تحليل التوزيع عن مشكلات كبيرة:

• انخفاض تداخل فواصل الثقة: بالنسبة لـ MC Dropout، كان التداخل بين فواصل الثقة للمسحة/المسحة المتكررة (CIoU) أكبر من 50% في أقل من 45% من الحالات. وفي كثير من الحالات، لم تتداخل الفواصل على الإطلاق.
• التباين الإحصائي: أظهرت الاختبارات الإحصائية (PDP) أنه بالنسبة لـ MC Dropout، أدت أكثر من 90% من الحالات إلى فروق ذات دلالة إحصائية بين توزيعات المسحة والمتكررة. وحتى بالنسبة لـ DE و TTA، أظهرت أغلبية كبيرة (65-85%) فروقاً ذات دلالة إحصائية.
• مقارنة الطرق:
  • أظهرت TTA و DE اتفاقاً أعلى في فواصل الثقة، ويرجع ذلك على الأرجه إلى أن TTA تلتقط عدم اليقين "الألياتوري" (aleatoric uncertainty) (تباينات وضعية المريض وتخطيط المسح) بفعالية.
  • أنتج MC Dropout فواصل ثقة ضيقة فشلت في استيعاب التباين بين المسحات، مما أدى إلى انخفاض التداخل وارتفاع معدلات الرفض الإحصائي.

5. الأهمية والخاتمة

تخلص الدراسة إلى أن الاعتماد فقط على التقديرات النقطية ومقاييس الدقة القياسية غير كافٍ لتقييم موثوقية المؤشرات الحيوية لـ CMR القائمة على التعلم العميق في الدراسات الطولية.

• "وهم" الإحكام: يمكن لتجميع التقديرات المتعددة أن يخلق شعوراً زائفاً بالإحكام (انخفاض الانحراف المعياري) بينما تكون التوزيعات الأساسية للمسحة والمتكررة مختلفة إحصائياً.
• أهمية عدم اليقين "الألياتوري" (Aleatoric Uncertainty): تسلط النتائج الضوء على أن عدم اليقين "الألياتوري" (ضجيج البيانات، إعادة تموضع المريض) هو عامل مهيمن في تباين المسحة والمتكرر. التقنيات مثل TTA، التي تعمل على نمذجة التباينات في المدخلات صراحةً، تؤدي بشكل أفضل في التقاط هذا الواقع مقارنة بـ MC Dropout.
• الآثار السريرية: يوفر تقييم التوزيعات المقترح (CPP, CIoU, PDP) تقييماً أكثر صرامة وتمثيلاً لقابلية تكرار النماذج. وتشير النتائج إلى أن مسارات التعلم العميق الحالية قد تحتاج إلى مزيد من التحسين لتحسين قابلية التكرار (repeatability) للمؤشرات الوظيفية القلبية قبل أن يمكن استخدامها بموثوقية لمراقبة تطور المرض بمرور الوقت.

باختصار، تجادل الورقة بأن الثقة مهمة: فبدون تحديد وتقييم التوزيع الكامل لتقديرات المؤشرات الحيوية، يظل إحكام نماذج التعلم العميق في طب القلب السريري مبالغاً في تقديره.