Learning Class Difficulty in Imbalanced Histopathology Segmentation via Dynamic Focal Attention

إليك ملخص تقني مفصل للورقة البحثية بعنوان "تعلم صعوبة الفئة في تقسيم الصور النسيجية غير المتوازنة عبر الانتباه البؤري الديناميكي" (Learning Class Difficulty in Imbalanced Histopathology Segmentation via Dynamic Focal Attention).

1. بيان المشكلة

تتناول الورقة البحثية تحدي التقسيم الدلالي (Semantic Segmentation) لصور الأنسجة المرضية تحت ظروف عدم توازن الفئات. وبينما تعتمد النهج القياسية على إعادة وزن التردد (Frequency-based reweighting) (مثل Focal Loss) للتعامل مع الفئات النادرة، يرى المؤلفون أن هذا النهج معيب جوهرياً لسببين:

• الانفصال بين التردد والصعوبة: لا يرتبط تردد البكسل بشكل موثوق بصعوبة التقسيم. فقد تكون الفئة نادرة ولكن سهلة التقسيم (مثل الحدود الواضحة)، أو شائعة ولكن صعبة (مثل الحدود الغامضة أو التباين المورفولوجي العالي).
• محدودية الأساليب الحالية:
  • استراتيجيات مستوى البيانات: تغير التوزيعات دون إضافة معلومات حول الصعوبة الدلالية.
  • استراتيجيات مستوى الخسارة (Loss-level): (مثل Focal Loss) تعيد وزن التدرجات بعد إجراء التنبؤات. وبحلول هذه المرحلة، تكون التمثيلات الميزية (Feature representations) قد تشكلت بالفعل، مما يعني أن النموذج لا يمكنه توجيه سعة إضافية للفئات الصعبة خلال مرحلة تجميع الميزات الحرجة.
  • نهج المرحلتين: (تقدير الصعوبة عبر التدريب المسبق) مكلف حوسبياً ويتطلب مراحل تدريب منفصلة.

2. المنهجية: الانتباه البؤري الديناميكي (DFA)

يقترح المؤلفون الانتباه البؤري الديناميكي (Dynamic Focal Attention - DFA)، وهو آلية مدمجة في طبقات الانتباه المتقاطع (Cross-attention) الخاصة بفك التشفير القائم على الاستعلام (Query-based mask decoders) (تحديداً ضمن بنية SAM-Path).

الآلية الجوهرية

بدلاً من تعديل التدرجات بعد التنبؤ، يقدم DFA انحيازاً قياسياً قابلاً للتعلم خاصاً بالفئة ($b_c$) مباشرة في لوغاريتمات الانتباه (Attention logits) قبل عملية Softmax.

• الصيغة: يتم تعديل وزن الانتباه $\tilde{\alpha}_{i,c}$ كالتالي:
  $$\tilde{\alpha}_{i,c} = \frac{\exp(s_{i,c} + b_c)}{\sum_{c'} \exp(s_{i,c'} + b_{c'})}$$
  حيث أن $s_{i,c}$ هو درجة التشابه الأصلية بين الاستعلام $i$ والفئة $c$.
• الأثر: يعمل هذا الانحياز على ضبط مدى قوة تجميع الميزات لكل فئة على مستوى التمثيل. يزيد الانحياز الموجب من وزن الانتباه لتلك الفئة، مما يؤدي فعلياً إلى تخصيص سعة تمثيلية أكبر للفئات "الصعبة".

إطار عمل انحياز الانتباه البؤري

تحدد الورقة تسلسلاً من ثلاث استراتيجيات ضمن هذا الإطار:

1. CFFA (الانتباه البؤري لتردد الفئة): يضبط $b_c$ بناءً على مقلوب اللوغاريتم الترددي ($b_c = \gamma \cdot \log(1-f_c)$). هذا يعتبر تصوراً ثابتاً (Static prior) لا يزال يخلط بين الندرة والصعوبة.
2. HCFA (الانتباه البؤري للفئة الصعبة): يضبط $b_c$ بناءً على الصعوبة التجريبية (درجات Dice في التحقق) من نموذج أساسي مدرب مسبقاً. يتطلب هذا عملية تدريب من مرحلتين مكلفة.
3. DFA (الانتباه البؤري الديناميكي - المقترح): يعامل $b_c$ كـ معلم قابل للتعلم ($\delta_c$) يتم تحسينه من البداية إلى النهاية (End-to-end) خلال مرحلة تدريب واحدة.
   • التهيئة (البدء الدافئ - Warm-Start): لمنع "تجويع التدرج" (حيث تتلقى الفئات النادرة تدرجات صفرية لأن أوزان الانتباه تقترب من الصفر)، يتم تهيئة $\delta_c$ باستخدام تصور لوغاريتمي ترددي ممركز.
   • التحسين: يتم تحديث الانحياز عبر خسارة التقسيم. يتضمن تحديث التدرج عامل بوابات ذاتي (Self-gating factor) ($\tilde{\alpha}(1-\tilde{\alpha})$)، والذي يكون في أقصى حالاته عندما يكون الانتباه غير مؤكد (صعوبة متوسطة) ويتلاشى عندما يكون النموذج واثقاً أو يتجاهل الفئة تماماً. هذا يخلق تأثيراً ضمنياً لتعلم المناهج (Curriculum learning).

3. المساهمات الرئيسية

1. الدليل التجريبي على الانفصال: أثبت المؤلفون عبر ثلاثة معايير (BCSS, BDSA, CRAG) أن تردد الفئة هو مؤشر غير موثوق للصعوبة. على سبيل المثال، في مجموعة بيانات BCSS، تمتلك فئتا "الالتهاب" (Inflammatory) و"النخر" (Necrosis) ترددات متطابقة تقريباً، ومع ذلك فإن "الالتهاب" أصعب بكثير في التقسيم (بفارق 22.0 نقطة في Dice).
2. إطار عمل موحد: اقترحوا إطار عمل انحياز الانتباه البؤري، الذي يوحد النهج القائمة على التردد الثابت، والصعوبة الثابتة، والتعلم الديناميكي في آلية انحياز انتباه واحدة.
3. الكفاءة والأداء: يحقق DFA نتائج هي الأفضل في حالته (State-of-the-art) في مرحلة تدريب واحدة، مما يلغي الحاجة إلى التدريب المسبق أو مقدرات الصعوبة المنفصلة المطلوبة في نهج المرحلتين. كما أنه يضيف تكلفة حوسبية ضئيلة جداً (مجرد معلم قياسي واحد لكل فئة).

4. النتائج التجريبية

تم تقييم الطريقة على ثلاثة معايير للصور النسياسية: BCSS (سرطان الثدي)، BDSA (أنسجة الدماغ)، و CRAG (سرطان القولون والمستقيم).

• مكاسب الأداء:
  • BCSS: حقق DFA متوسط درجة Dice بلغ 0.7826، متفوقاً على نموذج Focal Loss الأساسي (+4.9 نقطة) وعلى نموذج HCFA المكون من مرحلتين (+0.5 نقطة). ومن الجدير بالذكر أنه حسن فئة "الالتهاب" بمقدار +15.2 نقطة عن النموذج الأساسي بدون Focal loss.
  • BDSA: فشل النموذج الأساسي تماماً في فئتي "Leptomeninges" و "Superficial Cortex" (Dice = 0.000). نجح Focal loss في استعادتهما، لكن DFA حسنهما بشكل أكبر ليصل إلى 0.6908 و 0.7808 على التوالي.
  • CRAG: حتى في مجموعة البيانات شبه المتوازنة، حقق DFA أعلى متوسط Dice (0.8858)، مما يثبت قدرته على التقاط هياكل الصعوبة بما يتجاوز مجرد التردد البسيط.
• الكفاءة: قلل DFA وقت التدريب الفعلي (Wall-clock time) بنحو 40% مقارما نهج HCFA المكون من مرحلتين مع مطابقة أدائه أو تجاوزه.
• دراسة الاستئصال (Ablation Study): أدى إزالة "التهيئة الدافئة" (البدء البارد - Cold-start) إلى جعل النموذج يستقر عند ملف تعريف انحياز مسطح تقريباً (تجويع التدرج)، مما أدى إلى انخفاض قدره 0.75 نقطة في Dice، مما يؤكد ضرورة التصور اللوغاريتمي الترددي.
• الانحيازات المتعلمة: أظهرت الانحيازات المتعلمة النهائية ($\delta_c$) ارتباطاً سالباً قوياً مع صعوبة النموذج الأساسي. والأهم من ذلك، تعلم النموذج تخصيص انحيازات موجبة عالية للفئات الصعبة (مثل الالتهاب) حتى عندما كانت تردداتها مشابهة للفئات الأسهل، مما يؤكد أن النموذج تعلم الصعوبة الدلالية وليس فقط الندرة.

5. الأهمية

يمثل هذا العمل تحولاً جذرياً في التعامل مع عدم توازن الفئات في تقسيم الصور الطبية:

• التدخل على مستوى التمثيل: ينقل الحل من دالة الخسارة (مستوى التدرج) إلى تجميع الميزات (مستوى التمثيل)، مما يسمح للنموذج بالتركيز بنشاط على الفئات الصعبة أثناء استخراج الميزات.
• فك الارتباط بين الندرة والصعوبة: يثبت أن الفئات "الصعبة" لا تُعرف بمدى ندرتها، بل بتعقيدها المورفولوجي وغموض حدودها، ويمكن تعلم هذه العوامل ديناميكياً.
• النشر العملي: من خلال اشتراط مرحلة تدريب واحدة فقط وحمل ضئيل من المعلمات، يقدم DFA بديلاً فعالاً ومبنياً على أسس سليمة للعمليات المعقدة متعددة المراحل، مما يجعله مناسباً جداً للنشر السريري حيث تكون موارد التدريب والوقت مقيدة.