Swin Transformer Based Multi-Label Chest Disease Classification
تقدم هذه الورقة دراسة مرجعية شاملة على مجموعة بيانات NIH ChestX-Ray14، تُظهر أن إطار عمل Swin Transformer V2-B، المعزز باستراتيجيات محددة لعدم توازن الفئات وتحسين العتبة، يتفوق على النماذج الحالية الرائدة في التعلم العميق في تصنيف أمراض الصدر متعددة الملصقات.
المؤلفون الأصليون:Abdullah Bakr, Ashraf Ullah, Abdul Jabbar
في كل يوم، يهرع الملايين من الناس إلى العيادات والمستشفيات لإجراء فحص بسيط بالأشعة السينية للصدر، وهو إجراء أصبح الطريقة الأكثر شيوعاً التي يستخدمها الأطباء للنظر داخل جسم الإنسان. وتعد هذه الصور حيوية لرصد حالات مثل الالتهاب الرئوي، أو وجود سوائل حول الرئتين، أو تضخم القلب، ومع ذلك فإن قراءتها مهمة شاقة؛ إذ يمكن لصورة واحدة أن تخفي أمراضاً متعددة في آن واحد، وحتى المتخصصون ذوو الخبرة قد يغفلون عن علامات دقيقة أو يجدون صعوبة في التمييز بين حالات تبدو متطابقة تقريباً. وبينما أظهر الذكاء الاصطناعي وعداً كبيراً في مساعدة الأطباء على تفسير هذه الفحوصات، لا تزال هناك عقبة رئيسية قائمة: وهي أن البيانات المستخدمة لتعليم هذه الحواسيب غالباً ما تكون غير متوازنة. فبعض الأمراض تظهر بشكل متكرر في السجلات الطبية، بينما تظهر أخرى بشكل نادر، مما يجعل البرامج الحاسوبية القياسية تصبح خبيرة في رصد المشكلات الشائعة ولكنها تفشل عندما تواجه الحالات غير الشائعة.
لقد شرع فريق من الباحثين في حل هذه المشكلة من خلال اختبار جيل جديد من الذكاء الاصطناعي مقابل طرق قديمة وراسخة. وركزوا على مجموعة ضخمة تضم أكثر من 112,000 صورة أشعة سينية للصدر من أكثر من 30,000 مريض، وهي مجموعة بيانات تتضمن صوراً مصنفة لما يصل إلى أربعة عشر مرضاً مختلفاً. ولم يكن الهدف مجرد بناء نموذج واحد، بل إجراء مقارنة عادلة ومباشرة بين ستة أنواع مختلفة من أنظمة التعلم العميق. وتراوحت هذه الأنظمة بين التصميمات التقليدية، التي تعالج الصور عبر مسحها بمرشحات صغيرة تشبه حركة العين البشرية عبر صفحة، إلى بنيات أحدث تستخدم آلية تسمى "الانتباه" (attention) للنظر إلى الصورة بأكملها مرة واحدة وتحديد الأجزاء الأكثر أهمية. كما قدم الباحثون تقنية تدريب محددة صُممت لإجبار الحاسوب على إيلاء اهتمام إضافي للأمراض النادرة، مما يضمن عدم تجاهلها ببساطة لصالح الأمراض الشائعة.
وكشفت الدراسة أن نوعاً أحدث من البنيات، يُعرف باسم "سوین ترانسفورمر" (Swin Transformer)، قد تفوق بشكل كبير على جميع الطرق الأخرى التي تم اختبارها. وبخلاف النماذج القديمة التي قد تغفل عن الغابة بسبب التركيز على الأشجار، أو النماذج الجديدة التي تنظر إلى الصورة الكاملة ولكنها تعاني مع التفاصيل الدقيقة، يجمع هذا النظام الفائز بين أفضل ما في العالمين؛ فهو يقسم الصورة إلى نوافذ صغيرة ويحللها محلياً، ثم ينقل تركيزه لربط تلك النوافذ معاً، مما يسمح له برؤية كل من التفاصيل الصغيرة لعقدة رئوية صغيرة والشكل العام لتضخم القلب في آن واحد. وعند اختباره على نفس مجموعة الصور، حقق هذا النموذج درجة دقة أعلى من الأنظمة الخمسة الأخرى، بما في ذلك نموذج مرجعي شهير كان هو المعيار لسنوات عديدة. وقد نجح في تحديد وجود الأمراض على كافة المستويات، مما أثبت أن هذه الطريقة المحددة في معالجة المعلومات البصرية هي الأنسب للطبيعة المعقدة والمتعددة الطبقات للأشعة السينية للصدر.
ولضمان موثوقية النتائج، أولى الباحثون عناية فائقة لمنع الحاسوب من حفظ الإجابات. فقد قاموا بتقسيم البيانات بحيث لا تظهر صور المريض نفسه في كل من مجموعة التدريب ومجموعة الاختبار، مما ضمن أن النظام يتعلم حقاً التعرف على أنماط المرض بدلاً من مجرد التعرف على أشخاص محددين. كما قاموا بتعديل عملية اتخاذ القرار في النظام لكل مرض على حدة، وضبط حساسيته بدقة بحيث لا يغفل عن حالة نادرة لمجرد أنها غير شائعة. وأظهرت النتائج أنه بينما استغرق النموذج الجديد وقتاً أطول في التدريب مقارنة ببعض الأنظمة الأبسط، إلا أن الوقت الإضافي أثمر عن تشخيص أكثر موثوقية. كما استخدم الباحثون أداة تصور للنظر داخل "عقل" النموذج، للتأكد من أنه عندما يشير إلى وجود مرض ما، فإنه يركز بالفعل على الأجزاء ذات الصلة من الرئة أو القلب، بدلاً من التركيز على ضوضاء الخلفية العشوائية.
وتشير النتائج إلى أن مستقبل التشخيص الطبي المؤتمت قد يكمن في هذه الأنظمة الأكثر تطوراً القائمة على "الانتباه". وبينما لم يحل النموذج الجديد كل التحديات — حيث لا تزال بعض الأمراض التي يصعب رصدها تمثل صعوبة، كما أن درجات الدقة الإجمالية، رغم كونها الأفضل في الدراسة، تترك مجالاً للتحسين — إلا أنه أظهر ميزة واضحة على الطرق التقليدية التي هيمنت على هذا المجال لسنوات. ومن خلال إظهار أن النظام القادر على فهم التفاصيل المحلية والسياق العالمي يمكنه التعامل بشكل أفضل مع الواقع الفوضوي للأمراض المتزامنة والمتعددة، يوفر هذا العمل أساساً قوياً لبناء أدوات يمكنها يوماً ما مساعدة الأطباء في اتخاذ قرارات أسرع وأكثر دقة للمرضى في جميع أنحاء العالم.
ملخص تقني: تصنيف أمراض الصدر متعددة الملصقات القائم على محول سوين (Swin Transformer)
بيان المشكلة يتناول البحث التحديات المتأصلة في التصنيف الآلي متعدد الملصقات لأشعة الصدر (CXR)، مع التركيز بشكل خاص على مشكلتين حرجتين: عدم توازن الفئات وتعقيد التنبؤ متعدد الملصقات. في الممارسة السريرية، غالبًا ما تظهر صورة أشعة واحدة للصدر عدة أمراض متزامنة (مثل تضخم القلب، والانصباب الجنبي، والالتهاب الرئوي في آن واحد)، مما يتطلب من النماذج التنبؤ بملصقات متعددة مستقلة بدلاً من فئة واحدة. علاوة على ذلك، فإن توزيع الأمراض في مجموعات البيانات الطبية منحرف للغاية، حيث تهيمن حالات "عدم وجود نتائج" (No Finding) بينما تمثل الأمراض النادرة جزءًا صغيرًا من البيانات. غالبًا ما تقارن الدراسات الحالية النماذج تحت ظروف تدريب غير متسقة أو تركز على معماريات فردية، مما يجعل المقارنة المعيارية العادلة أمرًا صعبًا. الهدف هو تطوير إطار عمل قوي يصنف بدقة 14 مرضًا صدريًا متميزًا مع التخفيف من آثار عدم توازن البيانات ومنع تسرب البيانات.
المنهجية تقدم الدراسة إطار عمل للمقارنة المعيارية تم تقييمه على مجموعة بيانات NIH ChestX-Ray14، والتي تضم 112,120 صورة أشعة أمامية من 30,805 مريضًا. وتتم هيكلة المنهجية حول خمس وحدات أساسية:
معالجة البيانات والتحضير المسبق:
تقسيم على مستوى المريض: لمنع تسرب البيانات، تم تقسيم مجموعة البيانات على مستوى المريض (التدريب: 69,219؛ التحقق: 17,305؛ الاختبار: 25,596)، مما يضمن عدم ظهور صور من نفس المريض في كل من مجموعتي التدريب والاختبار.
المعالجة المسبقة: تم تغيير حجم الصور لتناسب الأبعاد الخاصة بكل معمارية (على سبيل المثال، 224×224 لـ ResNet-50، و256×256 لـ Swin Transformer V2-B) وتم تطبيعها باستخدام إحصائيات ImageNet.
تعزيز البيانات (Augmentation): تخضع بيانات التدريب للقلب الأفقي العشوائي، والتدوير (±10 درجات)، وتذبذب الألوان للتخفيف من حدة الإفراط في التخصيص (Overfitting).
معمارية النموذج والتدريب:
الدراسة المقارنة: يتم تقييم ست معماريات للتعلم العميق تحت ظروف متطابقة: أربع شبكات عصبيات تلافيفية (CNNs) وهي (ResNet-50, VGG-19, DenseNet-121, Inception V3) ونموذجان يعتمدان على المحولات (Transformers) وهما (ViT-B/16, Swin Transformer V2-B).
طبقة المخرجات: تم تكييف جميع النماذج للتصنيف متعدد الملصقات عن طريق استبدال الطبقة النهائية برأس "سيجمويد" (sigmoid head) ذي 14 مخرجًا.
دالة الخسارة: لمعالجة عدم توازن الفئات، تم استخدام خسارة فوكال (Focal Loss) (مع α=1,γ=2) بدلاً من "الإنتروبيا المتقاطعة الثنائية" القياسية. تعمل هذه الدالة على تقليل وزن الأمثلة السهلة وإجبار النموذج على التركيز على الحالات الصعبة التي تم تصنيفها بشكل خاطئ.
التحسين (Optimization): تم تدريب النماذج باستخدام محسن AdamW، وجدولة معدل التعلم OneCycleLR، والتدريب بدقة مختلطة (AMP).
المعالجة اللاحقة والتقييم:
تحسين العتبة (Threshold Optimization): تم تحسين عتبات كل فئة على مجموعة بيانات التحقق لتعظيم مقياس F1-score لكل مرض بشكل مستقل.
المقاييس: يتم تقييم الأداء باستخدام AUC-ROC، وF1-score، والدقة (Precision)، والاستدعاء (Recall)، ومصفوفات الارتباك (Confusion Matrices).
القابلية للتفسير: تم تطبيق تقنية Grad-CAM++ على نموذج Swin Transformer المقترح لإنشاء خرائط حرارية، للتحقق من أن النموذج ينتبه إلى المناطق التشريحية ذات الصلة سريريًا.
المساهمات الرئيسية يدعي البحث المساهمات المحددة التالية:
المقارنة المعيارية الصارمة: تحقق الدراسة من ستة نماذج رائدة للتعلم العميق تحت ظروف تدريب متطابقة تمامًا على مجموعة بيانات NIH ChestX-Ray14، مما يوفر مقارنة عادلة بين الشبكات التلافيفية (CNNs) والمحولات (Transformers).
تفوق الإطار المقترح: تثبت الدراسة أن نموذج Swin Transformer V2-B يتفوق على جميع تقنيات التعلم العميق المعيارية الأخرى ونموذج CheXNet الأساسي عند تقييمه تحت ظروف النموذج الفردي المتطابقة.
سلامة البيانات: يضمن تنفيذ التقسيم على مستوى المريض القضاء على تسرب البيانات، وهو خطأ شائع في دراسات التصوير الطبي.
استراتيجيات التحسين: يعمل تطبيق "خسارة فوكال" لمعالجة عدم توازن الفئات وتحسين العتبة لكل فئة على تعزيز أداء التصنيف لجميع النماذج الستة.
القابلية للتفسير: يوفر دمج Grad-CAM++ مع هدف متعدد الملصقات مخصص دليلًا مرئيًا على عملية اتخاذ القرار في النموذج.
النتائج أسفرت التجارينات المكثفة عن النتائج التالية:
الأداء: حقق Swin Transformer V2-B أعلى متوسط AUC بلغ 0.8495، متفوقًا على جميع النماذج المعيارية الأخرى. كما تفوق على ثاني أفضل نموذج (VGG-19، بـ AUC قدره 0.8341) وعلى نموذج المحولات الأساسي ViT-B/16 (بـ AUC قدره 0.8312).
مقارنة المعماريات: تتفوق المعماريات القائمة على المحولات (متوسط AUC بلغ 0.8409) عمومًا على المعماريات القائمة على CNN (متوسط AUC بلغ 0.8214) عبر جميع المقاييس، مما يشير إلى أن آليات الانتباه تلتقط بشكل أفضل التبعيات المكانية طويلة المدى المطلوبة لتحليل أمراض الصدر.
الأداء لكل فئة: أظهر Swin V2-B أداءً قويًا في الأمراض الواضحة بصريًا والممثلة جيدًا (مثل Hernia بـ AUC 0.935، وCardiomegaly بـ AUC 0.915)، لكنه واجه تحديات مع الاعتلالات المرضية ذات المظهر الخافت مثل Infiltration (بـ AUC 0.729) وNodule (بـ AUC 0.729).
مقايضة الكفاءة: بينما يوفر Swin V2-B أعلى دقة، فإنه يتطلب أطول وقت للتدريب (5.83 ساعة) مقارنة بـ ViT-B/16 (2.57 ساعة) والشبكات التلافيفية الأخرى، مما يسلط الض الضوء على المقايضة بين التكلفة الحسابية ومكاسب الأداء.
المقارنة مع CheXNet: حقق تنفيذ DenseNet-121 في هذه الدراسة AUC قدره 0.8163، وهو أقل من قيمة CheXNet الأصلية البالغة 0.8410. ويعزو المؤلفون هذا الفرق إلى استخدام CheXNet لتقنيات تجميع النماذج (ensembling) وموارد تدريب إضافية، مشيرين إلى أن نتائج Swin V2-B تم تحقيقها في إعداد نموذج واحد وتشغيل واحد.
الأهمية والادعاءات خلص البحث إلى أن Swin Transformer V2-B يمثل تقدمًا كبيرًا لتصنيف أمراض الصدر متعددة الملصقات. ويجادل المؤلفون بأن آلية الانتباه الهرمي للنافذة المزاحة (hierarchical shifted-window attention) في Swin Transformer فعالة بشكل خاص للتصوير الطبي، حيث تلتقط التفاصيل المحلية الدقيقة (مثل العقيدات/nodules) والسياق الهيكلي الأوسع (مثل تضخم القلب) بشكل أكثر فعالية من الانتباه العالمي (ViT) أو المرشحات التلافيفية البحتة (CNNs).
وتؤكد الدراسة أنه بينما يخفف استخدام "خسارة فوكال" وتحسين العتبة من حدة عدم توازن الفئات، فإن صعوبة التمييز بين الاعتلالات المرضية الغامضة بصريًا تظل تحديًا، كما يتضح من قيم F1-score المنخفضة نسبيًا (0.23–0.31) عبر جميع النماذج. ويدعي المؤلفون بتواضع أن عملهم يوفر خط أساسًا قويًا للأبحاث المستقبلية، موضحين تفوق معماريات المحولات في هذا المجال دون الاعتماد على تقنيات تجميع النماذج. كما أقروا بوجود قيود، بما في ذلك الافتقار إلى التحقق الخارجي باستخدام مجموعات بيانات أخرى، وغياب التقييم الكمي للقابلية للتفسير مقابل تعليقات أطباء الأشعة.