No gain from attention or graph modules in matched ResNet-50, ResNet-18, EfficientNet-B0 and MobileNetV2 baselines for nine-class chest radiographs
تُظهر هذه الدراسة أن وحدات الانتباه والرسوم البيانية خفيفة الوزن تفشل في تقديم تحسينات ذات دلالة إحصائية مقارنة بنماذج ResNet وEfficientNet المتطابقة لتصنيف صور الأشعة السينية للصدر المكونة من تسع فئات، مما يتحدى صحة المكاسب المُبلغ عنها سابقاً والتي غالباً ما تفتقر إلى المقارنات الإحصائية المقترنة والمتعددة البذور الصارمة.
في عالم التصوير الطبي، أصبحت الحواسيب ماهرة بشكل ملحوظ في قراءة صور الأشعة السينية للصدر. لسنوات طويلة، كان النهج المعياري يتمثل في أخذ "دماغ حاسوبي" قوي ومُدرب مسبقاً — تم تعليمه في الأصل التعرف على القطط والسيارات والمناظر الطبيعية — وتعليمه كيفية رصد أمراض مثل الالتهاب الرئوي أو السوائل في الرئتين. يعمل هذا النهج بشكل جيد لأن الحاسوب يفهم بالفعل الأشكال والأنماط الأساسية للعالم. ومع ذلك، تساءل الباحثون لفترة طويلة عما إذا كان بإمكانهم جعل هذه الأنظمة أكثر حدة من خلال إضافة أدوات صغيرة متخصصة تسمى "وحدات الانتباه" (attention modules). فكر في هذه الأدوات كوسيلة لإخبار الحاسوب: "انظر بدقة هنا"، أو "تجاهل هذا الجزء"، على أمل توجيه تركيزه نحو التفاصيل الأكثر أهمية في المسح الطبي. والوعد هنا هو أن هذه الإضافات، التي تتطلب قدرًا ضئيلًا جدًا من قوة الحوسبة الإضافية، يمكن أن تستخلص قدرًا أكبر قليلاً من الدقة للنظام، مما قد يؤدي إلى تشخيصات أفضل للمرضى.
لقد وضع فريق من الباحثين من جامعات ومستشفيات في الصين هذا الوعد تحت اختبار دقيق للغاية. أرادوا معرفة ما إذا كانت أدوات الانتباه هذه تحسن بالفعل قدرة الحاسوب على تصنيف تسعة أنواع مختلفة من حالات الصدر، أم أن التحسينات المسجلة كانت مجرد نتيجة للحظ العشوائي. ولإيجاد الإجابة، بنوا تجربة منضبطة حيث أخذوا نموذجًا حاسوبيًا قياسيًا وأنشأوا ست نسخ متطابقة منه. تم تجهيز خمس من هذه النسخ بكل واحدة من أدوات الانتباه الشائعة، بينما ظلت النسخة السادسة بسيطة، لتكون بمثابة خط أساس (baseline). قاموا بتدريب جميع النماذج الستة على ما يقرب من 10,000 صورة أشعة سينية للصدر واختبروها على 2,300 صورة أخرى، مع تشغيل العملية بأكملها عشر مرات بظروف بداية مختلفة قليلاً لضمان استقرار النتائج وعدم كونها مجرد صدفة.
كانت النتائج واضحة ومفاجئة نوعًا ما: لم تجعل أي من أدوات الانتباه الخمس الحاسوب أفضل في أداء مهمته. في الواقع، كان النموذج الأصلي غير المعدل يؤدي المهمة بنفس كفاءة النماذج المزودة بميزات الانتباه المتطورة. وعندما نظر الباحثون عن كثب في الأرقام، وجدوا أن أداتين من الأدوات جعلتا النظام أسوأ قليلاً، رغم أن الفرق كان ضئيلاً. أما الأدوات الثلاث الأخرى، فلم تضر بالأداء، لكنها فشلت أيضًا في تقديم أي فائدة ملموسة. وقد تحقق الباحثون بعناية مما إذا كان عدم التحسن هذا ناتجًا عن حجم مجموعة البيانات الخاصة بهم أو النوع المحدد لنموذج الحاسوب المستخدم. لقد كرروا التجربة مع مجموعات أكبر من الصور ومع ثلاثة أنواع مختلفة من البنى الحاسوبية، وظلت النتيجة كما هي: الأدوات الإضافية لم تساعد.
كما بحثت الدراسة في مكان وضع هذه الأدوات داخل "دماغ الحاسوب" لتعمل بأفضل شكل. اقترحت بعض الدراسات السابقة إدراجها في الطبقات العميقة من المعالجة، بينما وضعها آخرون في النهاية تمامًا. اختبر الباحثون هذه المواضع المختلفة ووجدوا أن وضعها داخل طبقات المعالجة لم يساعد، لكن وضعها في نهاية كتلة معينة تسبب في انخفاض كبير في الأداء. يشير هذا إلى أنه بينما لا تكون هذه الأدوات ضارة عند استخدامها بطرق معينة، إلا أنها بالتأكيد ليست "الدفعة السحرية" التي كان الكثيرون يأملون فيها. تشير النتائج إلى أنه بالنسبة لهذا النوع المحدد من المهام الطبية، فإن النماذج الحاسوبية القياسية تقوم بالفعل بعمل جيد للغاية، وأن إضافة هذه الطبقات الإضافية من التعقيد لا تؤدي بالضرورة إلى نتائج أفضل.
خلص الباحثون إلى أنه عندما يدعي العلماء أن أداة جديدة تحسن تحليل الصور الطبية، فإن تلك الادعاءات تحتاج إلى أن تُدعم باختبارات دقيقة ومتكررة مقابل خط أساس بسيط. في هذه الحالة، لم تؤدِ التعقيدات الإضافية لوحدات الانتباه والرسوم البيانية (graph modules) إلى أي جدوى. وتعد هذه الدراسة تذكيرًا بأنه في السعي وراء تكنولوجيا طبية أفضل، فإن الطرق الأبسط والأكثر إثباتًا تكون أحيانًا كافية بالفعل، وأن إضافة المزيد من المكونات لا يعني دائمًا إضافة المزيد من القيمة. يسلط العمل الضوء على أهمية التحقق من التحسينات باستخدام أساليب إحصائية صارمة لضمان أن المجتمع الطبي يبني على أرض صلبة بدلاً من مطاردة مكاسب صغيرة غير موثوقة.
ملخص تقني: لا مكاسب من وحدات الانتباه أو الرسوم البيانية في نماذج ResNet-50، وResNet-18، وEfficientNet-B0، وMobileNetV2 المتطابقة كخطوط أساس لصور الأشعة السينية للصدر ذات التسع فئات
بيان المشكلة
تهيمن الشبكات العصبية التلافيفية العميقة، ولا سيما عائلات ResNet المدربة مسبقًا على ImageNet، على تصنيف صور الأشعة السينية للصدر. ومن الممارسات الشائعة في أدبيات التصوير الطبي تعزيز هذه النماذج الأساسية بوحدات انتباه خفيفة (مثل SE، CBAM، BAM) أو وحدات رسوم بيانية (مثل GCN، GAT) لشحذ تمثيلات الميزات وتحسين الدقة. ومع ذلك، فإن المكاسب المسجلة غالبًا ما تكون غير متسقة، وتعتمد على الوحدة المستخدمة، ونادرًا ما تخضع لاختبارات إحصائية مقترنة صارمة. علاوة على ذلك، عندما تكون خطوط الأساس قوية بالفعل (على سبيل المثال، بعد الضبط الدقيق)، فإن هامش التحسن الملموس يكون ضيقًا، مما يجعل من الصعب التمييز بين المكاسب المعمارية الحقيقية وبين التباين الناتج عن اختلاف التشغيل بسبب التحسين العشوائي وعدم الحتمية في الأجهزة.
تختبر هذه الدراسة فرضية محددة وقابلة للتفنيد، وهي أن خمسًا من هذه الوحدات (SE، CBAM، BAM، GCN، GAT) تحقق تحسنًا ملموسًا مقارنة بنموذج ResNet-50 الأساسي ذي الهيكل المجمد (frozen-backbone) في مهمة تصنيف صور الأشعة السينية للصدر ذات التسع فئات غير مشبعة.
المنهجية
تستخدم الدراسة تصميم اختبار معيار يضمن أن الوحدة المدرجة هي المتغير الوحيد.
مجموعة البيانات: تم استخدام مجموعة NIH ChestX-ray14، مع أخذ عينة فرعية مكونة من تسع فئات (انخماص الرئة، تضخم القلب، الانصباب، الارتشاح، الكتلة، العقدة، الالتهاب الرئوي، استرواح الصدر، ولا يوجد شيء). تكونت مجموعة التدريب من 9,532 صورة (بحد أقصى 1,200 لكل فئة، مع الاستخدام الكامل للفئات الأصغر) ومجموعة التحقق من 2,383 صورة. تم تطبيق أوزان الفئات للتخفيف من عدم التوازن.
النماذج والمعمارية:
النموذج الأساسي (Baseline): نموذج ResNet-50 بأوزان ImageNet. تم تجميد المرحلتين الأوليين؛ بينما تم تدريب المرحلتين الأخيرتين، والوحدة المدرجة، ورأس التصنيف.
المتغيرات: تم إدراج خمس وحدات مرة واحدة عند الانتقال بين النموذج الأساسي ورأس التصنيف (بعد النموذج الأساسي).
الاستئصال على موضع الإدراج (Ablation on Placement): بالنسبة لـ SE وCBAM، تم اختبار موضعين إضافيين: (1) داخل الفرع (In-branch): داخل الوظيفة المتبقية لكل كتلة قابلة للتدريب (قبل إضافة الهوية)، لمحاكاة تصميمات الأوراق الأصلية؛ و(2) بوابة مخرجات لكل كتلة (Per-block output gating): تُطبق على المخرج الكامل لكل كتلة قابلة للتدريب (بعد إضافة الهوية).
متانة النموذج الأساسي: تكررت التجارب على ResNet-18، وEfficientNet-B0، وMobileNetV2 مع تجميد متناسب.
بروتوكول التجربة:
البذور (Seeds): تم تدريب كل نموذج عبر 10 بذور عشوائية للفصل بين التباين وتأثيرات الوحدة.
التدريب: تم استخدام معاملات فائقة متطابقة (Adam، معدل تعلم 1e-4، حجم دفعة 16، مدخلات 224×224). لم يتم إجراء ضبط خاص لمعدل التعلم لكل وحدة.
التقييم: المقياس الأساسي هو متوسط المساحة تحت المنحنى الكلي (macro-averaged AUC) بنظام (واحد مقابل الكل).
التحليل الإحصائي:
الاختبارات المقترنة: اختبار ويلكوكسون لمراتب الإشارات (Wilcoxon signed-rank tests) على فروق macro-AUC لكل بذرة مقابل النموذج الأساسي، مع التحكم في معدل اكتشاف الخطأ (FDR) باستخدام طريقة بنجاميني-هوكبرج.
اختبار التكافؤ (Equivalence Testing): استخدام اختبارات الطرف الواحد المزدوجة (TOST) مع هامش تكافؤ محدد مسبقًا قدره ±0.01 AUC.
فترات الثقة: فترات ثقة بنسبة 2,000 تكرار (bootstrap CIs) لتنبؤات المجموعة، و5,000 عينة (bootstrap CIs) للفروق المقترنة.
النتائج الرئيسية
لا توجد مكاسب ملموسة: لم تتفوق أي من الوحدات الخمس (SE، CBAM، BAM، GCN، GAT) على نموذج ResNet-50 الأساسي المتطابق. وقعت جميع الوحدات الخمس ضمن هامش التكافؤ المحدد مسبقًا وهو ±0.01 AUC.
النتائج السلبية: كانت CBAM وGAT أسوأ إحصائيًا من النموذج الأساسي (CBAM: Δ = -0.0028، p=0.0195؛ GAT: Δ = -0.0055، p=0.0020) بعد تصحيح FDR، رغم أن أحجام تأثيرهما ظلت ضمن هامش التكافؤ.
النتائج المحايدة: لم تظهر SE وBAM وGCN أي فرق معنوي عن النموذج الأساسي.
تأثير موضع الإدراج:
موضع داخل الفرع (In-Branch Placement): أدى إدراج SE وCBAM داخل الفرع المتبقي لكل كتلة قابلة للتدريب (الشكل المعياري) إلى أداء مكافئ للنموذج الأساسي (+0.0013 و+0.0016 على التوالي)، دون تحقيق مكاسب أو ضرر.
بوابة مخرجات لكل كتلة (Per-Block Output Gating): أدى تطبيق الوحدة على المخرج الكامل لكل كتلة (التحكم في مسار الهوية) إلى تدهور كبير في الأداء. انخفضت SE بمقدار -0.0274 وانخفضت CBAM بمقدار -0.0703 مقابل النموذج الأساسي (10/10 بذور سلبية، p=0.0020). كان هذا العقاب خاصًا بـ ResNet-50 ولم يعمم على النماذج الأساسية الأخرى.
اختبارات المتانة:
حجم مجموعة التدريب: لم يؤدِ زيادة مجموعة التدريب بمقدار 2.4 ضعفًا (إلى 22,898 صورة) إلى تحقيق أي مكاسب لأي وحدة.
تباين النماذج الأساسية: أكدت إعادة التجربة على ResNet-18، وEfficientNet-B0، وMobileNetV2 غياب المكاسب (19 من أصل 21 مقارنة كانت مكافئة، 2 كانت أسوأ، و0 كانت أفضل).
تسرب البيانات (Data Leakage): أدى الانتقال من تقسيم على مستوى الصورة إلى تقسيم على مستوى المريض (إزالة التداخل بين المرضى) إلى تقليل أداء النموذج الأساسي قليلاً (بمقدار ~0.01 AUC) ولكنه لم يغير الاستنتاج بأن الوحدات لم تحقق أي مكاسب.
المساهمات الرئيسية
التقييم المعياري الصارم: تقدم الدراسة مقارنة إحصائية مقترنة متعددة البذور بين وحدات الانتباه والرسوم البيانية مقابل نموذج أساسي متطابق، مما يعالج نقص الاختبارات الرسمية في الأدبيات السابقة.
إثبات التكافؤ: من خلال استخدام اختبار التكافؤ (TOST)، يوضح المؤلفون أن غياب المكاسب ليس مجرد فشل في رفض الفرضية الصفرية، بل هو استنتاج مدعوم إحصائيًا بأن الوحدات لا تقدم تحسنًا يتجاوز هامش 0.01 AUC.
حساسية الموضع: يسلط العمل الضوء على أن موضع الإدراج أمر بالغ الأهمية. فبينما يعد وضع "داخل الفرع" (In-branch) المعياري محايدًا، فإن التحكم في مخرج الكتلة الكامل (per-block gating) يسبب ضررًا فعليًا لـ ResNet-50، وهو تفصيل غالبًا ما يتم تجاهله في التنفيذات القياسية.
المعيار المنهجي: تدعو الورقة إلى استخدام المقارنات المقترنة متعددة البذور مع هوامش التكافؤ كمعيار لتقييم التغييرات المعمارية الصغيرة في التصوير الطبي.
الأهمية والادعاءات
تخلص الورقة إلى أنه في النظام المحدد لضبط ResNet-50 (أو نماذج مشابهة) بدقة على مهمة تسع فئات لصور الأشعة السينية للصدر، لا ينبغي افتراض أن وحدات الانتباه والرسوم البيانية الخفيفة تحسن الأداء. تقع مسؤولية الإثبات على التحسين لإظهار المكاسب عبر مقارنات مقترنة متعددة البذور.
يصرح المؤلفون صراحةً أن نتائجهم لا تثبت عدم قدرة آليات الانتباه على المساعدة في جميع السياقات (مثل التجزئة أو مجموعات البيانات المختلفة)، بل تشير إلى أنه في هذا الإعداد المحدد والمسيطر عليه، فإن النموذج الأساسي قوي بما يكفي بحيث لا تقدم الوحدات أي فائدة ملموسة، بل وتؤدي في بعض التكوينات (بوابة الكتلة - per-block gating) إلى تدهور الأداء. وتؤكد الدراسة أن المكاسب المبلغ عنها في الأدبيات قد تكون غالبًا ناتجة عن التباين بين عمليات التشغيل أو نقص الضبط الإحصائي الصارم.