Multimodal Deep Learning for Chest X-Ray Abnormality Classification and Interpretability through Demographic Feature Integration
تقترح هذه الدراسة إطار عمل للتعلم العميق متعدد الوسائط يدمج صور الأشعة السينية للصدر مع البيانات الوصفية الديموغرافية باستخدام هيكل ConvNeXt Large، محققاً متوسط مساحة تحت المنحنى (AUC) بنسبة 96.88% على مجموعة بيانات NIH ChestX-ray14، ومظهراً أداءً وقدرة على التفسير يتفوقان على النماذج الحالية التي تعتمد على الصور فقط.
المؤلفون الأصليون:Sultan Mesfer Aldossary, Samia M. Abd-Alhalem, Magda M. Algameel, Noha E. El-Attar
في كل يوم، يدخل ملايين الأشخاص إلى العيادات والمستشفيات لإجراء صورة بسيطة بالأشعة السينية للصدر. هذه الصورة السريعة ومنخفضة التكلفة هي حجر الزاوية في الطب الحديث، حيث تقدم لمحة داخل الصدر للكشف عن الالتهاب الرئوي، أو تراكم السوائل، أو غيرها من المشكلات الخفية. بالنسبة لطبيب الأشعة، تعد قراءة هذه الصور مهارة حيوية، لكنها تمثل أيضاً عبئاً ثقيلاً؛ فحجم الفحوصات في تزايد مستمر، وغالباً ما تكون المهمة صعبة لأن الأمراض المختلفة يمكن أن تبدو متشابهة، أو يمكن لعدة حالات أن تختبئ معاً في صورة واحدة. وللمساعدة في تخفيف هذا العبء، توجه العلماء نحو الذكاء الاصطناعي، لتعليم الحواسيب كيفية التعرف على الأنماط في هذه الصور. ومع ذلك، فإن معظم هذه البرامج الحاسوبية قد تم تدريبها للنظر فقط في الصورة نفسها، متجاهلة الشخص وراء الأشعة. فهي لا تعرف ما إذا كان المريض شاباً أم امرأة مسنة، أو كيف تم التقاط الصورة. تسأل هذه الدراسة سؤالاً بسيطاً ولكنه قوي: ماذا يحدث إذا علمنا الكمبيوتر أن ينظر إلى الصورة وتفاصيل المريض الأساسية في آن واحد؟
لقد شرع فريق من الباحثين في بناء نوع جديد من الأنظمة الحاسوبية التي تجمع بين المعلومات المرئية من الأشعة السينية للصدر والحقائق الديموغرافية البسيطة عن المريض، مثل عمره، وجنسه، والزاوية التي أُخذت بها الأشعة السينية. وقد استخدموا مجموعة ضخمة تضم أكثر من 112,000 صورة أشعة سينية للصدر من المعاهد الوطنية للصحة (NIH)، وهي مجموعة بيانات تتضمن صوراً من أكثر من 30,000 شخص مختلف. هذه المجموعة مشهورة في هذا المجال لكونها كبيرة جداً، لكنها تطرح أيضاً مشكلة معقدة: فبعض الأمراض تظهر في الصور آلاف المرات، بينما تكون أخرى نادرة للغاية. صمم الباحثون نظامهم للتعامل مع هذا التفاوت والتعلم من الأنماط المرئية للمرض والسياق الذي توفره خلفية المريض. واختبروا نهجهم مقابل عدة نماذج حاسوبية معروفة أخرى لمعرفة ما إذا كانت إضافة هذه الطبقة الإضافية من المعلومات ستحدث فرقاً بالفعل.
أظهرت النتائج أن النظام الجديد كان أفضل بشكل ملحوظ في تحديد الأمراض من النماذج القديمة التي كانت تعتمد على الصور وحدها. فعند اختباره على جزء من البيانات التي لم يسبق له رؤيتها، استطاع النظام الجديد التمييز بدقة بين أربعة عشر نوعاً مختلفاً من أمراض الصدر بمستوى عالٍ من الدقة، محققاً درجة 96.88 بالمائة. وفي المقابل، حققت أفضل النماذج القديمة، التي اعتمدت فقط على الصورة، درجات تتراوح بين 85 و88 بالمائة. ووجد الباحثون أن التحسن جاء من مصدرين رئيسيين: أولاً، بُني النظام على بنية حديثة تُعرف باسم (ConvNeXt)، وهي بارعة جداً في رصد التفاصيل في الصور. وثانياً، وهو الأهم ربما، تعلم النظام استخدام عمر المريض، وجنسه، ووضعية جهاز الأشعة السينية كإشارات استرشادية. فعلى سبيل المثال، معرفة ما إذا كان المريض ذكراً أم أنثى، أو ما إذا كانت الصورة قد التُقطت من الأمام أو من الخلف، ساعد الكمبيوتر على التمييز بدقة أكبر بين الحالات التي قد تبدو متطابقة لولا ذلك.
ولضمان أن الكمبيوتر لا يقوم بمجرد التخمين، أنشأ الباحثون أيضاً طريقة لرؤية ما يركز عليه الجهاز. لقد استخدموا تقنية تبرز الأجزاء المحددة من الأشعة السينية التي أدت إلى التشخيص. وعندما نظروا إلى هذه التوضيحات، وجدوا أن الكمبيوتر يولي اهتماماً للأماكن الصحيحة. فإذا توقع النظام وجود رئة منهارة، كان الجزء المظلل يقع على حافة الرئة. وإذا توقع وجود قلب متضخم، كان التركيز على القلب نفسه. هذا الدليل المرئي يشير إلى أن النظام لا يجد مجرد خدع إحصائية في البيانات، بل يتعلم بالفعل التعرف على العلامات الفيزيائية للمرض بطريقة منطقية للطبيب البشري. كما أكدت الدراسة أن تجاهل الأمراض النادرة في بيانات التدريب كان سيجعل النظام أسوأ، لذا قاموا بتعديل عملية التعلم لإعطاء اهتمام إضافي لتلك الحالات الأقل شيوعاً.
يقر الباحثون بأن عملهم هو خطوة للأمام، لكنه ليس حلاً نهائياً. فقد تم تدريب النظام على مجموعة بيانات محددة حيث تم إنشاء تسميات الأمراض بواسطة أجهزة كمبيوتر تقرأ التقارير الطبية، مما يعني احتمال وجود بعض الأخطاء في بيانات التدريب. بالإضافة إلى ذلك، فإن النظام حالياً كبير جداً ويتطلب أجهزة كمبيوتر قوية لتشغيله، مما قد يجعل من الصعب تثبيته في كل عيادة على الفور. ويقترح الفريق أن العمل المستقبلي يجب أن يختبر هذا النهج على بيانات من مستشفيات مختلفة لمعرفة ما إذا كان سيعمل بنفس الكفاءة مع أنواع مختلفة من الأجهزة ومجموعات المرضى. كما يقترحون أنه بإضافة المزيد من المعلومات، مثل تاريخ تدخين المريض أو سجلاته الطبية السابقة، يمكن جعل النظام أكثر دقة. في الوقت الحالي، تُظهر الدراسة مساراً واضحاً للمضي قدماً: فمن خلال تعليم الحواسيب رؤية كل من الصورة والشخص معاً، يمكننا بناء أدوات ليست أكثر دقة فحقة فحسب، بل وأكثر موثوقية أيضاً للأطباء الذين يعتمدون عليها.
ملخص تقني: التعلم العميق متعدد الوسائط لتصنيف تشوهات الأشعة السينية للصدر والتفسير من خلال دمج السمات الديموغرافية
1. بيان المشكلة
تعد تصوير الصدر بالأشعة السينية وسيلة أساسية لتشخيص أمراض الصدر، ومع ذلك تواجه سير العمل السريري تحديات بسبب الحجم الهائل للفحوصات وتعقيد تحديد تشوهات متعددة متزامنة. وبينما حقق التعلم العميق تقدماً في تحليل الأشعة السينية للصدر آلياً، إلا أن النهج الحالية تعتمد بشكل أساسي على بيانات الصور وحدها، مما يؤدي إلى عدم الاستفيد من البيانات الوصفية للمرضى المتاحة روتينياً مثل العمر، والجنس، ووضعية عرض الأشعة. علاوة على ذلك، تعاني مجموعات بيانات الأشعة السينية للصدر متعددة الملصقات، مثل NIH ChestX-ray14، من عدم توازن حاد في الفئات، حيث تهيمن النتائج الشائعة على الأمراض النادرة ولكنها ذات الأهمية السريرية، مما قد يؤدي إلى تحيز تعلم النموذج. بالإضافة إلى ذلك، فإن طبيعة "الصندوق الأسود" للشبكات العصبية العميقة تستلزم تحسين القدرة على التفسير لضمان الثقة السريرية، مما يتطلب من النماذج التركيز على المناطق ذات الصلة تشريحياً بدلاً من الارتباطات الزائفة.
2. المنهجية
تقترح الدراسة إطار عمل للتعلم العميق متعدد الوسائط مصمم لدمج صور الأشعة السينية للصدر مع البيانات الوصفية الديموغرافية لتصنيف أمراض الصدر متعددة الملصقات. تم بناء النظام على مجموعة بيانات NIH ChestX-ray14، التي تضم 112,120 صورة أشعة سينية أمامية لـ 30,805 مريضاً عبر 14 فئة من الأمراض.
البنية والمكونات
فرع الصور: يستخدم إطار العمل هيكل ConvNeXt Large كعمود فقري، مدرب مسبقاً على ImageNet-22K، لاستخراج الميزات البصرية عالية المستوى. يتم تغيير حجم الصور المدخلة إلى 512 × 512 بكسل وتطبيعها باستخدام إحصائيات ImageNet. يتم تطبيق تعزيز البيانات (القلب، التدوير، تعديلات السطوع، الضجيج) حصرياً على مجموعة التدريب.
فرع البيانات الوصفية: يعالج فرع مخصص ثلاث سمات ديموغرافية: عمر المريض (مستمر، مُطبع)، الجنس (فئوي)، ووضعية عرض الأشعة (AP مقابل PA، فئوي). يتم رسم المتغيرات الفئوية إلى تضمينات قابلة للتعلم. يتم دمج هذه الميزات وتمريرها عبر شبكة متصلة بالكامل خفيفة الوزن (طبقتان كثيفتان مع ReLU وتطبيع الدفعة) لتوليد تمثيل بيانات وصفية مكون من 64 بُعداً.
الدمج متعدد الوسائط: يتم دمج ميزات الصورة المكونة من 512 بُعداً وميزات البيانات الوصفية المكونة من 64 بُعداً عبر عملية الدمج (concatenation) لتشكيل تمثيل مشترك مكون من 576 بُعداً. يسمح هذا للشبكة بتعلم التفاعلات بين الأنماط البصرية والسمات السياقية الخاصة بالمريض.
رأس التصنيف: تتم معالجة التمثيل المدمج من خلال طبقتين متصلتين بالكامل، ترسم المسار إلى 14 عصبون مخرجاً يتوافق مع فئات الأمراض. يتم تطبيق دالة تنشيط "سيجمويد" (sigmoid) على كل مخرج للتنبؤ بالاحتمالات المستقلة لكل حالة مرضية.
التحسين واستراتيجية التدريب
دالة الخسارة: لمعالجة عدم التوازن الحاد في الفئات، يتم استخدام الإنتروبيا المتقاطعة الثنائية الموزونة (WBFC). يتم حساب أوزان الفئات بناءً على نسبة العينات الإيجابية العكسية، مما يزيد من مساهمة الأمراض غير الممثلة بشكل كافٍ أثناء عملية التحسين.
تقسيم البيانات: لمنع تسرب المعلومات، يتم فرض تقسيم طبقي على مستوى المريض (70% تدريب، 15% تحقق، 15% اختبار).
التفسير: تم دمج تقنية Grad-CAM (رسم خرائط تنشيط الفئة المعتمد على التدرج) لإنشاء خرائط حرارية خاصة بكل فئة، مما يوضح مناطق الصورة التي تساهم أكثر في تنبؤات النموذج.
3. المساهمات الرئيسية
إطار عمل متعدد الوسائط: تطوير بنية موحدة تدمج ميزات الصور القائمة على ConvNeXt مع البيانات الوصفية الديموغرافية (العمر، الجنس، وضعية العرض) لتصنيف أمراض الصدر واسعة النطاق متعددة الملصقات.
تحسين مدرك لعدم التوازن: تنفيذ خسارة الإنتروبيا المتقاطعة الثنائية الموزونة ضمن بنية تعتمد على ConvNeXt للتخفيف من آثار عدم التوازن في فئات مجموعة بيانات NIH ChestX-ray14.
التقييم الشامل والتفسير: إجراء تقييم صارم مقابل نماذج أساسية قوية (ResNet-152, DenseNet-121, DenseNet-169) تحت نفس البروتوكولات، مقترناً بتصورات Grad-CAM لتوفير أدلة نوعية على التركيز التشريحي ذي الصلة للنموذج.
4. النتائج التجريبية
تم تقييم إطار العمل على مجموعة الاختبار المحجوزة (16,741 صورة) باستخدام متوسط المساحة تحت منحنى خصائص التشغيل المستلم (AUC) الكلي وغيره من المقاييس.
الأداء: حقق إطار العمل المقترح (ConvNeXt Large + الديموغرافيا) متوسط AUC كلي قدره 96.88%.
المقارنة: تفوق هذا النتيجة بشكل كبير على البنيات الأساسية التي تم تدريبها تحت نفس الظروف:
ResNet-152: 85.02%
DenseNet-121: 87.76%
DenseNet-169: 87.21%
الأداء لكل فئة: حقق النموذج تمييزاً عالياً عبر جميع الفئات الـ 14، حيث سجل أعلى قيم AUC لمرض الفتق (0.999)، ونفاخ الرئة (0.990)، واسترواح الصدر (0.988). لوحظ أدنى درجة F1-score لمرض الارتشاح (0.81)، ويُعزى ذلك إلى مظهره البصري غير المتجانس وتداخله مع حالات أخرى.
دراسة الاستئصال (Ablation Study):
ConvNeXt Large فقط: 94.73% AUC.
Weighted BCE: 95.81% AUC (+1.08%).
البيانات الوصفية الديموغرافية: 96.12% AUC (+1.39% عن النموذج الأساسي).
الإطار الكامل: 96.88% AUC. وهذا يؤكد أن كلاً من التحسين المدرك لعدم التوازن ودمج البيانات الوصفية يساهمان إيجاباً في الأداء.
التفسير: أظهرت تصورات Grad-CAM أن النموذج ركز على مناطق منطقية تشريحياً (مثل مناطق الرئة الطرفية لاسترواح الصدر، والظلال القلبية لتضخم القلب)، مما يدعم الصلاحية السريرية للتنبؤات.
5. الأهمية والادعاءات
يدعي البحث أن دمج البيانات الوصفية الديموغرافية جنباً إلى جنب مع ميزات الصور يعزز التمييز بين أمراض الصدر، مما يدعم قيمة التعلم متعدد الوسائط لتحليل الأشعة السينية للصدر واسعة النطاق. ويرى المؤلفون أن الأنظمة التي تجمع بين بيانات المرضى التي تُجمع روتينياً والتحليل الشعاعي قد توفر دعماً تشخيصياً أكثر موثوقية من النهج التي تعتمد على الصور فقط، لا سيية للأمراض التي يختلف انتشارها أو مظهرها باختلاف الديموغرافيا.
يقر الباحثون بعدة قيود:
الاعتماد على الملصقات المستمدة من معالجة اللغات الطبيعية (NLP) والتي قد تُدخل ضجيجاً.
التقييم على مجموعة بيانات واحدة دون تحقق خارجي متعدد المراكز.
عدد المعلمات الكبير لنموذج ConvNeXt Large (197.8 مليون) قد يشكل تحدياً للنشر في البيئات محدودة الموارد.
نطاق محدود للبيانات الوصفية (العمر، الجنس، ووضعية العرض فقط)، مع استبعاد عوامل سريرية أخرى مثل تاريخ التدخين.
وبناءً على ذلك، يقترح المؤلفون أن العمل المستقبلي يجب أن يركز على التحقق الخارجي، وتطوير بنيات خفيفة الوزن (مثل تقطير المعرفة)، ودمج بيانات وصفية سريرية أوسع، وقياس عدم اليقين. تُقدم النتائج كخطوة نحو تطوير أنظمة تشخيص بمساعدة الكمبيوتر تتسم بالشفافية والموثوقية وتستفيد من الطيف الكامل للبيانات السريرية المتاحة.