Feature-level Site Leakage Reduction for Cross-Hospital Chest X-ray Transfer via Self-Supervised Learning

إليك ملخص تقني مفصل للورقة البحثية بعنوان: "تقليل تسرب الموقع على مستوى الميزات لنقل صور الأشعة السينية للصدر عبر المستشفيات باستخدام التعلم الذاتي الإشراف (Self-Supervised Learning)."

1. بيان المشكلة

يُعد تعميم النماذج عبر المستشفيات في التصوير الطبي خطراً حرجاً عند النشر الفعلي. فالنماذج التي يتم تدريبها على بيانات من مستشفى واحد غالباً ما تفشل عند نشرها في مستشفى آخر بسبب انزياح النطاق (Domain Shift) الناتج عن الاختلافات في أجهزة الماسح الضوئي، وبروتوكولات الاستحواذ، والضغط، والديموغرافيا الخاصة بمرضى كل موقع.

• المشكلة الجوهرية: تتعلم النماذج غالباً "طرقاً مختصرة" (Shortcuts) عبر ربط إشارات خاصة بالموقع (مثل عيوب الماسح الضوئي) بتسميات المرض، بدلاً من تعلم ميزات المرض الحقيقية.
• الفجوة: بينما تدعي العديد من الأوراق البحثية تحقيق "الثبات تجاه الموقع" (Site Invariance) من خلال تكييف النطاق، فإن القليل منها يقوم فعلياً بقياس مدى بقاء معلومات الموقع في تمثيلات النموذج. معظم الأوراق تفترض الثبات دون قياس "تسرب الموقع" (Site Leakage).
• الهدف: قياس تسرب الموقع في تمثيلات الميزات بشكل مباشر، وتقييم كيفية تأثير استراتيجيات التدريب المختلفة (التعلم الذاتي الإشراف مقابل الارتباك التنافسي/Adversarial Confusion) على كل من التسرب وأداء النقل في المهام اللاحقة.

2. المنهجية

2.1 الإعداد التجريبي

• مجموعات البيانات:
  • NIH ChestX-ray14: استُخدمت كمصدر مُصنف للتدريب الخاضع للإشراف (كشف الالتهاب الرئوي) وكجزء من مجمع التعلم الذاتي الإشراف (SSL).
  • CheXpert: استُخدمت كمصدر غير مُصنف للتدريب المسبق بـ SSL وكمستهدف تقييم ثانوي.
  • RSNA Pneumonia Detection Challenge: استُخدمت حصرياً كموقع مستهدف معزول لتقييم النقل (لم تُستخدم أثناء التدريب الخاضع للإشراف).
• الهيكل الأساسي (Backbone): شبكة ResNet-18 تم تهيئتها بأوزان ImageNet، وتحويلها لتستقبل مدخلات أحادية القناة.
• المهمة: تصنيف ثنائي للالتهاب الرئوي.

2.2 إطار العمل المقترح

يقترح المؤلفون مسار تقييم يتكون من مرحلتين:

1. التدريب المسبق متعدد المواقع باستخدام التعلم الذاتي الإشراف (SSL):

   • يتم تدريب المشفر ($f_\theta$) ورأس الإسقاط ($p_\psi$) مسبقاً على صور غير مصنفة من NIH وCheXpert باستخدام تعلم التباين من نمط SimCLR (خسارة InfoNCE).
   • يهدف هذا إلى تعلم ميزات قوية دون الاعتماد على تسميات المرض.

2. الارتباك التنافسي على مستوى الميزات (CanonicalF):

   • في هذا المتغير، يتم إلحاق مصنف موقع ($g_\phi$) بـ ميزات الهيكل الأساسي ($h$) المستخدمة في المهمة اللاحقة.
   • عكس التدرج (Gradient Reversal): يتم تدريب مصنف الموقع للتنبؤ بالموقع، بينما يتم تدريب المشفر لتقليل هذا التنبؤ (عبر عكس التدرج)، مما يجبر ميزات الهيكل الأساسي على أن تكون "ثابتة تجاه الموقع".
   • يُطبق هذا بالإضافة إلى خسارة SSL.

3. التقييم اللاحق:

   • يتم تجميد المشفر.
   • يتم تدريب مصنف التهاب رئوي خطي على بيانات من موقع مصدر واحد (مثل NIH).
   • يتم تقييم الأداء على مواقع غير مرئية (RSNA، CheXpert).

2.3 بروتوكول قياس التسرب (الابتكار الرئيسي)

بدلاً من افتراض الثبات، قدم المؤلفون مسباراً خطياً لاحقاً (Post-hoc linear probe) لقياس تسرب الموقع:

• الآلية: يتم تدريب انحدار لوجستي متعدد الحدود على التمثيلات المجمدة (Embeddings) للتنبؤ بموقع الاستحواذ ($s$).
• المقاييس:
  • المسبار على $h$ (ميزات الهيكل الأساسي): الميزات المستخدمة بواسطة المصنف اللاحق.
  • المسبار على $z$ (ميزات الإسقاط): الميزات المستخدمة فقط لـ SSL.
• خط الأساس: دقة الصدفة هي 0.50 للثنائي (NIH مقابل CheXpert) و0.33 للمواقع الثلاثة (NIH، CheXpert، RSNA) في المسبار.
• الأهمية: تشير دقة المسبار العالية إلى "تسرب موقع" عالٍ، مما يعني أن النموذج لا يزال يعتمد على إشارات خاصة بالموقع.

3. المساهمات الرئيسية

1. بروتوكول قياس التسرب: طريقة صارمة لقياس معلومات الموقع في التمثيلات باستخدام مسابير لاحقة، مما ينقل البحث من مجرد ادعاءات نظرية حول الثبات إلى القياس التجريبي.
2. خط الأساس لـ SSL متعدد المواقع: يثبت أن التدريب المسبق لـ SSL متعدد المواقع يحسن بشكل كبير من نقل النطاقات عند استخدامه كـ "هيكل أساسي مجمد"، بما في ذلك سيناريوهات "ترك موقع واحد خارج المجموعة" (LOSO).
3. CanonicalF (المتغير التنافسي): يقدم رأساً تنافسياً على مستوى الميزات يُطبق خصيصاً على ميزات الهيكل الأساسي المستخدمة في المهام اللاحقة لاختبار حدود افتراضات الثبات.
4. التقييم الشامل: يقدم نتائج عبر اتجاهات نقل متعددة (NIH $\to$ الآخرين، CheXpert $\to$ الآخرين) وإعدادات LOSO، مع دلالة إحصائية (المتوسط $\pm$ الانحراف المعياري عبر 3 بذور عشوائية).
5. الرؤية التجريبية: يخلص إلى أن التعلم الذاتي الإشراف (SSL) متعدد المواقع هو المحرك الرئيسي للنقل، بينما يعد الارتباك التنافسي أداة لتقليل التسرب لا تضمن بالضر بالضرورة مكاسب في الأداء وقد تزيد من التباين.

4. النتائج الرئيسية

4.1 أداء النقل (AUC)

• التهيئة من ImageNet: خط الأساس لـ RSNA AUC هو 0.6736.
• SSL فقط (مجمد): تحسن RSNA AUC إلى 0.7804 (+0.1068).
• CanonicalF (SSL + التنافسي): انخفض RSာ AUC إلى 0.7241 مع تباين أعلى بشكل ملحوظ (الانحراف المعياري 0.0956 مقابل 0.0197 لـ SSL-only).
  • ملاحظة: لم يؤدِ التدريب التنافسي إلى تحسين AUC باستمرار، بل تسبب في عدم استقرار.

4.2 تسرب الموقع (دقة المسبار)

• قبل SSL (ImageNet): كانت دقة المسبار على ميزات الهيكل الأساسي ($h$) هي 0.9962 (فصل شبه مثالي بين المواقع).
• بعد SSL-Only: انخفضت الدقة إلى 0.9890.
• بعد CanonicalF: انخفضت الدقة بشكل كبير إلى 0.8504.
  • ملاحظة: نجح CanonicalF في تقليل تسرب الموقع القابل للقياس في ميزات الهيكل الأساسي (من ~99% إلى ~85%)، لكن التسرب ظل أعلى بكثير من نسبة الصدفة (50%).

4.3 الاستقرار

• أدى التدريب التنافسي (CanonicalF) إلى زيادة معامل التباين لـ RSNA AUC من حوالي 0.025 (لـ SSL-only) إلى 0.13، مما يشير إلى أن فرض الثبات يجعل النموذج حساساً للغاية للتهيئة (Initialization) والمعلمات الفائقة (Hyperparameters).

5. الأهمية والخلاصة

• إعادة صياغة مفهوم الثبات: تجادل الورقة بأن "الثبات تجاه الموقع" غالباً ما يكون افتراضاً غير مثبت. بدلاً من ذلك، يجب على الباحثين الإبلاغ عن مقاييس التسرب جنباً إلى جنب مع أداء النقل.
• المحرك الأساسي: تخلص الدراسة إلى أن التعلم الذاتي الإشراف (SSL) متعدد المواقع هو الاستراتيجية الأكثر فعالية لتحسين النقل عبر المستشفيات. فهو يتعلم طبيعياً ميزات تتعمم بشكل أفضل من تهيئة ImageNet.
• دور التعلم التنافسي: يمكن للتعلم التنافسي على مستوى الميزات تقليل تسرب الموقع القابل للقياس، ولكنه لا يضمن أداءً أفضل في المهام اللاحمة. في الواقع، يمكن أن يؤدي إلى تدهور الأداء عن طريق إزالة الإشارات التنبؤية التي ترتبط بالصدفة مع الموقع، أو عن طريق إدخال عدم استقرار في التدريب.
• الآثار العملية: بالنسبة لنشر التصوير الطبي، فإن الاعتماد على التدريب المسبق بـ SSL يعد أكثر قوة من الاعتماد على تكييف النطاق التنافسي لفرض الثبات. يجب قياس تقليل التسرب صراحة، حيث أن "تقليل التسرب" لا يعني تلقائياً "أداءً سريرياً أفضل".

الخلاصة النهائية: تغير هذه الورقة النموذج من "تحقيق الثبات" إلى "قياس وإدارة التسرب"، وتوضح أنه بينما يقود الـ SSL عملية النقل، فإن الأساليب التنافسية هي سلاح ذو حدين يتطلب التحقق بعناية.