Multi-Dataset Cross-Domain Knowledge Distillation for Unified Medical Image Segmentation, Classification, and Detection

ملخص تقني: تقطير المعرفة عبر النطاقات لمتعدد البيانات من أجل توحيد تقسيم الصور الطبية، والتصنيف، والكشف

بيان المشكلة
أحدث التعلم العميق ثورة في تحليل الصور الطبية، ومع ذلك، فإن النماذج التي يتم تدريبها على مجموعات بيانات فردية غالباً ما تفشل في التعميم على البيئات السريرية الجديدة بسبب التحولات النطاقية (domain shifts) الناتجة عن التباينات في بروتوكولات التصوير، وأجهزة المسح الضوئي، والمجموعات السكانية للمرضى. وبينما تقدم تقنيات نقل التعلم (transfer learning) وتعزيز البيانات (data augmentation) حلولاً جزئية، إلا أنها تعتمد غالباً على تدريب مسبق من مصدر واحد أو بيانات اصطناعية تفشل في التقاط التفاصيل التشريحية الدقيقة والتباين بين مجموعات البيانات. علاوة على ذلك، فإن مناهج تقطير المعرفة (Knowledge Distillation - KD) الحالية تستخدم عادةً معلماً واحداً (teacher) على بيانات متجانسة لمهمة واحدة (مثل التقسيم)، متجاهلةً الطبيعة المتنوعة متعددة المهام لسير العمل السريري، والتي تشمل التقسيم، والتصنيف، وكشف الأشياء عبر وسائط غير متجانسة (الرنين المغناطيسي MRI، التصوير المقطعي CT، والأشعة السينية X-ray).

المنهجية
يقترح المؤلفون إطار عمل موحداً ومستقلاً عن المهمة (task-agnostic) يعتمد على المعلم والطالب، مصمماً لتجميع المعرفة من مجموعات متعددة وغير متجانسة من الصور الطبية. يعمل هذا الإطار عبر ثلاث مراحل متتالية:

1. تدريب المعلم الخصمي للنطاق (Domain-Adversarial Teacher Training):

   • يتم تدريب معلم مستهدف حصرياً على مجموعة بيانات الهدف باستخدام خسارة خاصة بالمهمة (مثل خسارة Dice للتقسيم).
   • يتم تدريب معلمين مصدريين على مجموعات البيانات المصدرية الخاصة بهم، ولكن مع تعزيزها بمميز نطاق (domain discriminator). باستخدام هدف خصمي للنطاق، تُجبر هذه المشفرات (encoders) على إنتاج ميزات ثابتة النطاق تضلل المميز، مما يؤدي إلى محاذاة توزيعات ميزات المصدر والهدف. تدعم هذه المرحلة كلاً من التكيف الخاضع للإشراف (supervised) وغير الخاضع للإشراف (unsupervised).

2. بناء المعلم المشترك عبر دمج الانتباه المتقاطع (Cross-Attention Fusion):

   • يتم بناء معلم مشترك ($\mathcal{T}^*$) عن طريق دمج ميزات المشفر متعدد المستويات وميزات عنق الزجاجة (bottleneck) من المعلم المستهدف وجميع المعلمين المصدريين.
   • يستخدم هذا الدمج آليات الانتباه المتقاطع لتجميع التمثيلات المتكاملة من نطاقات مختلفة. يتم تجميد طبقات المشفر وعنق الزجاجة لجميع المعلمين المكونين خلال هذه العملية للحفاظ على المعرفة المتعلمة.
   • يتم إرفاق رأس جديد خاص بالمهمة (decoder، أو classifier، أو رأس كشف) بهذا العمود الفقي المدمج وتدريبه من الصفر على مجموعة بيانات الهدف. يسمح هذا للمعلم المشترك بالتخصص في مهمة الهدف مع الاحتفاظ بالميزات الثابتة النطاق.

3. التقطير متعدد المستويات المدفوع بالمنهج الدراسي (Curriculum-Driven Multi-Level Distillation):

   • يتم تدريب نموذج طالب مدمج على مجموعة بيانات الهدف لوراثة المعرفة من المعلم المشترك.
   • يجمع هدف التدريب بين خسارة المهمة الأساسية وعدة حدود للتقطير: محاذاة الميزات (MSE)، التشابه الجيبي (cosine similarity)، خسارة التباين (KL divergence على توزيعات التشابه)، وتوسعات خاصة بالمهمة (مثل نقل الانتباه، وتقطير اللوجيت/logit distillation، ومحاذاة ميزات منطقة الاهتمام ROI للكشف).
   • يقوم عامل المنهج الدراسي ($c_f$) بجدولة وزن خسائر التقطير ديناميكياً. يبدأ التدريب بالتركيز على خسارة المهمة الخاضعة للإشراف، ثم تزداد تدريجياً تأثير حدود التقطير لصقل التمثيلات الداخلية للطالب دون زعزعة استقرار التعلم المبكر.

تم تصميم الإطار ليكون مرناً، حيث يدعم بنيات مثل UNet، وTResUNet، وMedViT، وEfficientNet، وFaster R-CNN، وRF-DETR عبر مهام التقسيم، والتصنيف، والكشف.

المساهمات الرئيسية

1. إطار عمل موحد: بنية واحدة قابلة للتوسع قادرة على التعامل مع التقسيم، والتصنيف على مستوى الصورة، وكشف الأشياء عبر مجموعات البيانات الطبية غير المتجانسة.
2. بنية المعلم المشترك: طريقة مبتكرة لدمج الميزات متعددة المستويات من عدة معلمي مصادر عبر الانتباه المتقاطع، مما يتيح انتقال تمثيل قوي عبر النطاقات دون الحاجة إلى نموذج مسبق التدريب ضخم واحد.
3. التقطير القائم على المنهج الدراسي: استراتيجية تقطير متعددة المستويات تجمع بين خسائر التقسيم، والتباين، والمحاذاة، والتشابه، المحكومة بجدول منهجي لضمان الاستقرار الأمثل.
4. تقييم شامل: تجارب مكثفة عبر ثلاث مهام، وثلاث وسائط (MRI، CT، X-ray)، والعديد من مجموعات البيانات (بما في ذلك BrainMetShare، ISLES، BraTS، Liats، KiTS، COVIDx-CXR، OASIS، ADNI، وDeepLesion).

النتائج التجريبية
تم تقييم الطريقة المقترحة مقابل نموذجين مرجعيين: النماذج الخاصة بكل مجموعة بيانات (المدربة بشكل مستقل على كل مجموعة) والنماذج متعددة الرؤوس ومتعددة مجموعات البيانات (التي تشترك في عمود فقري واحد مع رؤوس خاصة بكل مجموعة بيانات).

• التقسيم: في مجموعات بيانات MRI وCT، تفوقت نماذج الطالب باستمرار على كلا النموذجين المرجعيين. بالنسبة لمهام الـ CT، حقق الطالب تحسناً متوسطاً في تقاطع IoU بنسبة 2.5% عن النماذج الخاصة بكل مجموعة بيانات، و4.8% عن النماذج متعددة الرؤوس، مع انخفاض ملحوظ في مسافة Hausdorff (HD95)، مما يشير إلى تنبؤات أكثر دقة للحدود.
• التصنيف: في مهام تصنيف أمراض الرئة والخرف، حققت نماذج الطالب المقطرة دقة أعلى من النماذج المرجعية الخاصة بكل مجموعة بيانات والنماذج متعددة الرؤوس. أدى التقطير في الطبقات المتأخرة (Late-$k$ distillation) (نقل المعرفة من الطبقات الأعمق) عموماً إلى نتائج متفوقة.
• كشف الأشياء: في مجموعات بيانات CT للرئة، حسّن الإطار من متوسط الدقة (mAP). حقق المعلم المشترك غالباً أعلى أداء، بينما احتفظ الطالب المقطر بمعظم هذه المكاسب، مما يوفر نموذجاً أكثر دمجاً ومناسباً للنشر.
• الدراسات الاستئصالية (Ablation Studies): أكدت النتائج أن (1) التكيف المستهدف الخاضع للإشراف يحسن دقة الحدود؛ (2) الأداء يتوسع مع عدد مجموعات البيانات المصدرية؛ و(3) استخراج الميزات متعدد المستويات (المشفر + عنق الزجاجة) يعطي نتائج أفضل من الاستخراج أحادي المستوى.
• التصور البصري: أظهرت تصورات t-SNE أن نماذج الطالب المقطرة تتعلم عناقيد ميزات أكثر دمجاً وأفضل انفصالاً مقارنة بالنماذج المرجعية الخاصة بكل مجموعة بيانات عبر جميع المهام الثلاث.

الأهمية والادعاءات
يدعي البحث أن تقطير المعرفة متعدد مجموعات البيانات يعمل كنهج قابل للتوسع ومستقل عن المهمة لتعزيز الأداء عبر النطاقات الطبية غير المتجانسة. ومن خلال تجميع التمثيلات الثابتة النطاق من مصادر متنوعة وتقطيرها في طالب مدمج، يعالج الإطار تحديات ندرة البيانات، وتكاليف التوسيم (annotation)، والتحولات النطاقية. ويؤكد المؤلفون أن نهجهم يحقق تحسينات متسقة مقارنة بالنماذج المرجعية القوية، مما يظهر قدرة أكبر على تحمل التحولات التوزيعية وتعمماً فائقاً. يضع هذا العمل البحث نفسه كامتداد جوهري لأبحاث التقسيم السابقة، حيث تم التحقق من صحته الآن عبر كامل طيف مهام تحليل الصور الطبية.