Adaptive Knowledge Transferring with Switching Dual-Student Framework for Semi-Supervised Medical Image Segmentation

ملخص تقني: نقل المعرفة التكيفي باستخدام إطار عمل الطلاب المزدوجين المتناوبين لتجزئة الصور الطبية شبه الخاضعة للإشراف

بيان المشكلة

تهدف عملية تجزئة الصور الطبية شبه الخاضعة للإشراف (SSMIS) إلى الاستفادة من كميات كبيرة من البيانات غير المصنفة جنباً إلى جنب مع مجموعات البيانات المحدودة الموصوفة لتقليل العبء الشاق لتوصيف البكسلات. وبينما أصبح إطار عمل "المعلم-المتوسط" (Mean-Teacher - MT) بنية مهيمنة في هذا المجال، حدد المؤلفون قصورين جوهريين يؤديان إلى تدهور أدائه:

1. الارتباط القوي وتعزيز الخطأ: تخلق عملية تحديث المتوسط المتحرك الأسي (EMA) القياسية ارتباطاً قوياً بين شبكات الطالب والمعلم. ونتيجة لذلك، يرث المعلم انحيازات الطالب اللحظية وأخطاء تنبؤاته. يؤدي هذا إلى حلقة تعزيز ذاتي حيث يتم تكرار نشر التسميات الزائفة (pseudo-labels) الخاطئة أو المفرطة في الثقة، مما يقلل من تنوع وموثوقية إشارات الإشراف.
2. ديناميكيات التحديث الثابتة: تمنع الطبيعة الثابتة لأوزان الـ EMA المعلم من الاستجابة التكيفية للتغيرات السريعة في ديناميكيات تعلم الطالب. يتسبب هذا عدم التطابق الزمني في تأثير التأخر (lag effect)، حيث قد توجه تنبؤات المعلم القديمة الطالب بشكل خاطئ، لا سيما خلال مراحل التدريب المبكرة أو فترات التحسين غير المستقرة.

تحاول النهج الحالية غالباً تحسين التسميات الزائفة بعد حدوثها (post-hoc) بناءً على الثقة أو الاستقرار، لكنها تفشل في معالجة السبب الجذري: جودة نموذج المعلم نفسه وآلية نقل المعرفة.

المنهجية

يقدم إطار العمل المقترح بنية الطلاب المزدوجين المتناوبين (Switching Dual-Student) المتكاملة مع وحدتين مبتكرتين: آلية اختيار الطالب (Student Selection) والمتوسط المتحرك الأسي المدرك للخسارة (LA-EMA).

1. تقنية CutMix للعينات المتقاطعة للطلاب المزدوجين
بدلاً من طالب واحد، يستخدم إطار العمل شبكتي طلاب ($S_1$ و $S_2$) يوجههما معلم واحد ($T$). لتعزيز التنوع والتعميم، تستخدم الطريقة استراتيجية تعزيز Cross-Sample CutMix. يتضمن ذلك خلط العينات المصنفة ($x_l$) وغير المصنفة ($x_u$) باستخدام قناع مركزي الصفر ($M$) لإنشاء مدخلات هجينة ($x_{l2u}$ و $x_{u2l}$).

• دالة الخسارة: يتم تحسين الطلاب باستخدام دالة خسارة مركبة ($L_i$) تتكون من:
  • خسارة الاتساق ($L_{CM}$): مزيج من خسارتي Dice و Cross-Entropy المطبقة على العينات المختلطة مقابل التسميات المختلطة (التي تجمع بين الحقيقة الأرضية والتسميات الزائفة المولدة من المعلم).
  • خسارة التركيز على عدم اليقين ($L_{MSE}$): حد إضافي لمتوسط مربع الخطأ (MSE) يتم حسابه فقط في المناطق التي تنتج فيها الشبكتان توقعات غير متسقة (يتم تحديدها عبر عملية XOR على مخرجات argmax الخاصة بهما). هذا يجبر الطلاب على تحسين التنبؤات في المناطق غير المؤكدة.

2. وحدة اختيار الطالب
لمنع المعلم من التعلم من طالب ضوضائي أو غير مستقر، يقوم إطار العمل باختيار الطالب الأكثر موثوقية في كل تكرار لتحديث المعلم.

• العملية: يولد كلا الطالبين تنبؤات على البيانات غير المصنفة. يتم حساب قناع محاذٍ بناءً على تقاطع تنبؤاتهما المتسقة (عملية XNOR).
• معايير الاختيار: يتم حساب اعتلاج (entropy) التنبؤات فقط ضمن هذه المناطق المتسقة. يتم اختيار الطالب الذي يمتلك درجة اعتلاج أقل (مما يشير إلى ثقة أعلى) لنقل المعرفة إلى المعلم.

3. المتوسط المتحرك الأسي المدرك للخسارة (LA-EMA)
يقوم الطالب المختار بتحديث المعلم باستخدام استراتيجية EMA معدلة تعدل وزن التحديث ديناميكياً بناءً على أداء الطالب.

• الوزن العالمي ($w_{global}$): يتبع جدول اضمحلال قياسي، حيث تزدادة وزن الطالب مع تقدم تكرارات التدريب.
• وزن الاضمحلال ($w_{decay}$): مكون مبتكر يتم حسابه كـ $1 / e^{\lambda \cdot loss_t}$، حيث $loss_t$ هي الخسارة الحالية للطالب المختار. يضمن هذا أن الطلاب ذوي الخسائر الأقل (الأداء الأفضل) يساهمون بشكل أكبر في تحديث المعلم، بينما يتم كبح الطلاب ذوي الخسائر العالية.
• التحديث النهائي: يتم تحديث بارامترات المعلم باستخدام حاصل ضرب الأوزان العالمية والاضمحلال، مما يضمن انتقالاً مستقراً وهادفاً للمعرفة.

المساهمات الرئيسية

يدعي البحث المساهمات التالية:

• إعادة النظر في تصميم المعلم-المتوسط: يعالج العمل القيود الجوهرية لهياكل MT القياسية من خلال تقديم آليات نقل معرفة تكيفية تخفف من الانحياز ذاتي التعزيز.
• وحدة اختيار الطالب: آلية مبتكرة ضمن بنية الطلاب المزدوجين تستخدم درجات الاعتلاج لتحديد واستخدام الطالب الأكثر ملاءمة في كل تكرار، مما يضمن اكتساب المعرفة الأمثل للمعلم.
• LA-EMA: استراتيجية وزن ديناميكية تستفيد من سلوك خسارة الطالب لتعديل تحديث EMA، مما يسمما المعلم لدمج الإشارات الموثوقة انتقائياً بمرور الوقت.
• إطار عمل قابل للتركيب والتشغيل (Plug-and-Play): تم تصميم الوحدات المقترحة لتكون نمطية وتم التحقق من صحتها في مهام تجزئة الصور الطبية والعامة.

النتائج التجريبية

تم تقييم إطار العمل على اثنين من معايير تجزئة الصور الطبية ثلاثية الأبعاد: LA (الأذين الأيسر) و ACDC (تحدي التشخيص القلبي الآلي)، باستخدام إعدادات بيانات مصنفة بنسبة 5% و 10%.

• الأداء على مجموعة بيانات LA: مع 10% من البيانات المصنفة، حققت الطريقة المقترحة درجة Dice بلغت 91.31% و Jaccard بلغت 84.07%، متفوقة على AD-MT بنسبة 1.48% و 2.45% على التوالي.
• الأداء على مجموعة بيانات ACDC: تحت إعداد 10% من البيانات المصنفة، حققت الطريقة درجة Dice بلغت 90.67% و Jaccard بلغت 83.41%، متجاوزة AD-MT بنسبة 2.74% في Jaccard.
• التعميم: تم اختبار وحدة LA-EMA على مجموعات بيانات عامة (CIFAR-10 و Pascal VOC). في CIFAR-10 (2% مصنفة)، حسنت الدقة من 82.36% إلى 84.08% عند دمجها في Mean-Teacher. وفي Pascal VOC (20% مصنفة)، حسنت IoU لكل من نماذج الطالب والمعلم بنسبة تقارب 0.8% عند دمجها في UniMatchV2.
• دراسات الاستئصال (Ablation Studies): أكدت التجارب أن الجمع بين Dual-Student و Cross-Sample CutMix و Student Selection و LA-EMA يحقق أفضل أداء. وتحديداً، تفوقت وحدة اختيار الطالب بشكل كبير على متوسط أوزان الطلاب أو استخدام طالب واحد. كما حسنت وحدة LA-EMA الأداء باستمرار عبر مختلف البنى الأساسية (BCP, UA-MT).
• التحليل النوعي: أظهرت النتائج المرئية أن الطريقة المقترحة تنتج حدوداً أكثر سلاسة وأخطاء أقل في التنبؤ الإيجابي الكاذب مقارنة بـ BCP و AD-MT، لا سيما في التعامل مع التباين التشريحي والمناطق منخفضة التباين.

الأهمية والادعاءات

يرى البحث أن الابتكار الجوهري يكمن في التآزر بين اختيار الطلاب المزدوجين المتناوبين و LA-EMA. من خلال اختيار الطالب الأكثر ملاءمة والتحكم التكيفي في حجم تحديث المعلم، يمنع إطار العمل انتقال المعرفة غير الموثوقة ويعزز إشراف المعلم.

يدعي المؤلفون أن هذا النهج يخفف بفعالية من انحياز التأكيد (حيث تؤدي التسميات الزائفة الخاطئة إلى تدهور التدريب) ويتغلب على عدم التطابق الزمني المتأصل في تحديثات EMA الثابتة. ومع الإقرار بأن نهج الطلاب المزدوجين يضيف عبئاً حسابياً واستهلاكاً للذاكرة مقارنة بطرق الطالب الواحد، يرى المؤلفون أن هذا مقايضة معقولة مقابل المكاسب الكبيرة في دقة التجزئة، والاستقرار، والقدرة على التعميم. وتخلص الدراسة إلى أن إطار العمل المقترح يضع معياراً جديداً (SOTA) لتجزئة الصور الطبية شبه الخاضعة للإشراف تحت ظروف الإشراف المحدود.