Multimodal Fusion of Histopathology Images and Electronic Health Records for Early Breast Cancer Diagnosis

إليك ملخص تقني مفصل لورقة البحث المعنونة بـ "الدمج متعدد الوسائط لصور الأنسجة المرضية والسجلات الصحية الإلكترونية للتشخيص المبكر لسرطان الثدي."

1. بيان المشكلة

يعتمد تشخيص سرطان الثدي بشكل كبير على الفحص النسيجي لأنسجة الخزعة (المعيار الذهبي) والسجلات الصحية الإلكترونية (EHR) المهيكلة. ومع ذلك، فإن النهج الحوسبية الحالية تتعامل عادةً مع هذه الوسائط من البيانات بشكل منعزل:

• الأنسجة المرضية (Histopathology): تتفوق الشبكات العصبية التلافيفية (CNNs) في تصنيف السمات الخلوية في الصور، لكنها تفتقر إلى الوصول إلى السياق السريري الخاص بالمريض (الديموغرافيا، الأمراض المصاحبة، نتائج المختبر).
• السجلات الصحية الإلكترونية (EHR): توفر نماذج تعلم الآلة على البيانات الجدولية تصنيفاً للمخاطر، لكنها تتجاهل الأدلة المورفولوجية المجهرية المطلوبة للتشخيص النهائي.
• الفجوة: تفشل الأساليب الحالية في محاكة الاستنتاج التكاملي للأطباء الذين يجمعون بين الأدلة النسيجية البصرية والتاريخ المرضي الطولي للمريض. علاوة على ذلك، فإن عدم توازن الفئات (خاصة فيما يتعلق بـ الأشكال الانقسامية - mitotic figures النادرة ولكنها حرجة) يؤدي غالباً إلى ضعف الأداء في الفئات الأقلية، حتى عندما يكون الدقة الإجمالية مرتفعة.

2. المنهجية

يقترح المؤلفون إطار عمل نظامي للدمج المتوسط (intermediate-fusion framework) يدمج سمات الرقع النسيجية من مجموعة بيانات BreCaHAD مع البيانات السريرية المهيكلة من MIMIC-IV.

أ. معالجة البيانات مسبقاً

• بيانات الصور (BreCaHAD):
  • المصدر: صور كاملة الشريحة (WSI) عالية الدقة مع تعليقات توضيحية دقيقة من قبل الخبراء لثلاث فئات: النوى الورمية، النوى غير الورمية، والانقسام (Mitosis).
  • خط المعالجة (Pipeline): تستخرج نافذة منزلقة رقعاً بحجم $64 \times 64$ بكسل متمركزة حول النوى الموضحة. يتم تطبيع الرقع، وتغيير حجمها، وتعزيزها (تدوير، قلب، تباين لوني) للتعامل مع تباين الصبغة.
  • المخرج: ملايين الرقع المصنفة والمنظمة لعمليات الدفع (batching) الفعالة.
• البيانات الجدولية (MIMIC-IV):
  • المصدر: سجلات وحدة العناية المركزة (ICU) مجهولة الهوية والتي تم تصفيتها بناءً على تشخيصات سرطان الثدي (ICD-9/10).
  • خط المعالجة: تشمل السمات الديموغرافيا، و29 مؤشراً من مؤشرات "إليكسهاوزر" للأمراض المصاحبة، والقيم المختبرية، وتاريخ العلاج.
  • التعامل مع البيانات: تم استبعاد القيم المفقودة التي تزيد عن 80%. تم توحيد المتغيرات المستمرة، واستخدام الترميز الأحادي (one-hot encoding) للمتغيرات الفئوية. كما أضيفت مؤشرات ثنائية للقيم المفقودة في الحقول المتفرقة.

ب. بنيات النماذج

تقيم الدراسة ثلاثة نماذج أساسية أحادية الوسائط ونموذج دمج متعدد الوسائط واحد:

1. نماذج الصور أحادية الوسيط:
   • الشبكة التلافيفية البسيطة (Simple CNN): شبكة CNN ضحلة مكونة من 3 كتل (32 $\leftarrow$ 64 $\leftarrow$ 128 قناة) تم تدريبها من الصفر.
   • ResNet-18: نموذج ResNet-18 مدرب مسبقاً (على ImageNet) وتم ضبطه بدقة على الرقع. يستخدم استراتيجية "إلغاء التجميد التدريجي" (staged unfreezing) وخسارة موزونة للفئات لمعالجة عدم التوازن.
2. نماذج البيانات الجدولية أحادية الوسيط:
   • MLP (المدرك متعدد الطبقات): شبكة تغذية أمامية مكونة من طبقتتين (256 $\to$ 128 وحدة) مع استخدام BatchNorm وDropout.
   • XGBoost: نموذج تعزيز التدرج مهيأ بعمق أقصى يتراوح بين 6-8 ووزن موضع (scale_pos_weight) للتعامل مع عدم توازن الفئات.
3. نموذج الدمج المتوسط (Intermediate Fusion Model):
   • البنية: فرعان متوازيان.
     • فرع الصور: يستخرج فرع ResNet-18 (العمود الفقري مجمد، والرأس مضبوط بدقة) تضميناً كامناً (latent embedding) ببعد 512.
     • الفرع الجدولي: يستخرج فرع الـ MLP تضميناً للمريض ببعد 128.
   • الدمج: يتم دمج المتجهات (512D و 128D) لتشكيل تمثيل متعدد الوسائط ببعد 640.
   • التصنيف: يمر المتجه المدمج عبر طبقتين متصلتين بالكامل (256 $\to$ 128) مع وظيفة ReLU وDropout، تليها طبقة Softmax للتنبؤ بـ 3 فئات.

ج. القابلية للتفسير

• الصور: تُستخدم تقنية Grad-CAM لإنشاء خرائط حرارية، للتحقق من أن النموذج ينتبه إلى الهياكل النووية ذات الصلة بيولوجياً وليس إلى السدى (stroma) المحيط.
• البيانات الجدولية: تُستخدم تقنية SHAP (تفسيرات شابلِي المضافة) لتوفير نسب السمات عالمياً ومحلياً، مما يؤكد أن النموذج يعتمد على عوامل خطر سريرية منطقية (مثل العمر، والأمراض المصاحبة).

3. المساهمات الرئيسية

1. إطار عمل منهجي متعدد الوسائط: بنية مبتكرة تدمج التعليقات النسيوية الدقيقة (BreCaHAD) مع بيانات السجلات الصحية الإلكترية واسعة النطاق (MIMIC-IV) عبر الدمج المتوسط.
2. نماذج أساسية قوية أحادية الوسيط: وضع خطوط أساس عالية الأداء لكل من وسائط الصور (ResNet-18) والبيانات الجدولية (XGBoost)، مما يثبت أن XGBoost يتفوق على نماذج MLP في البيانات السريرية المهيكلة.
3. الأداء على الفئات الأقلية: إثبات أن الدمج يحسن بشكل كبير من الاستدعاء (recall) والمساحة تحت المنحنى (AUC) لفئة الانقسام (mitosis)، وهي فئة حرجة تشخيصياً ولكنها غير متوازنة في التوزيع.
4. تفسير مزديل الوسائط: إطار تفسيري مشترك (Grad-CAM + SHAP) يربط قرارات النموذج بالمعايير المرضية والسريرية الراسخة، مما يعزز الثقة والشفافية.

4. النتائج الرئيسية

• أداء الوسائط الأحادية:
  • ResNet-18 (الصور): حقق دقة (1.000) وAUC (1.000) شبه مثالية في مجموعة الاختبار. ومع ذلك، كشف تحليل الفئات عن انخفاض في AUC لفئة الانقسام (0.927) مقارنة بالفئات الأكثر انتشاراً.
  • XGBoost (الجدولية): حقق دقة 98% و0.94 AUC، متفوقاً على نموذج MLP الأساسي.
• أداء الدمج متعدد الوسائط:
  • الإجمالي: حقق نموذج الدمج متوسط AUC قدره 0.997، متفوقاً على جميع النماذج أحادية الوسيط.
  • التحسن في الفئات الأقلية: كان التحسن الأكثر أهمية في فئة الانقسام (mitosis)؛ حيث رفع نموذج الدمج قيمة AUC من 0.927 (في حالة ResNet فقط) إلى 0.994 (زيادة قدرها 6.7 نقطة مئوية).
  • تحليل الخطأ: قلل نموذج الدمج من حالات التصنيف الخاطئ لرقع الانقسام كـ "نوى ورمية" (انخفض من 15 خطأ إلى 0 خطأ في مجموعة الاختبار)، مما يشير إلى أن السياق السريري يساعد في فض الاشتباك بين الحالات المتشابهة مورفولوجياً.
• القابلية للتفسير:
  • أكدت خرائط Grad-CAM الانتباه على الهياكل النووية.
  • أكدت مخططات SHAP أن العمر، وعدد الأمراض المصاحبة، والمؤشرات الحيوية المختبرية كانت المحركات المهيمنة للتنبؤات السريرية، وهو ما يتوافق مع المعرفة الأورامية.

5. الأهمية والقيود

الأهمية:

• الأثر السريري: تثبت الدراسة أن دمج بيانات السجلات الصحية مع صور الأنسجة المرضية يحسن دقة التشخيص، خاصة للحالات النادرة وعالية الخطورة (الانقسام) حيث تصل النماذج المعتمدة على الصور فقط إلى مرحلة الثبات.
• الرؤية المنهجية: تسلط الض الضوء على أن الدقة الإجمالية قد تكون مضللة؛ فمقاييس الفئات الأقلية (مثل AUC للانقسام) ضرورية لتقييم الذكاء الاصطناعي في الرعاية الصحية.
• الشفافية: يجسد نهج التفسير المزدوج الفجوة بين "الصندوق الأسود" للذكاء الاصطناعي والاستنتاج السريري، حيث يقدم تفسيرات يمكن للأطباء التحقق منها.

القيود:

• محاذاة البيانات: بيانات BreCaHAD وMIMIC-IV ليست مرتبطة بالمرضى بشكل مباشر؛ حيث يحاكي الدمج سيناريو سريري باستخدام MIMIC-IV كتعزيز سياقي بدلاً من كونها بيانات مقترنة حقيقية.
• نطاق مجموعة البيانات: مجموعة BreCaHAD من مؤسسة واحدة، وMIMIC-IV تمثل مرضى العناية المركزة، مما قد يحد من القدرة على التعميم على مجتمعات الفحص الخارجي.
• البنية: لم تستكشف الدراسة نماذج المحولات الرؤية (Vision Transformers) أو آليات الانتباه متعددة الوسائط بسبب القيود الحسابية.
• التحقق: تعتمد النتائج على تقسيمات داخلية؛ ويتطلب الأمر تحققا خارجياً على مجموعات مستقلة ذات بروتوكولات صبغ مختلفة قبل النشر السريري.