ملخص تقني: Patch-MoE Mamba

بيان المشكلة

يعتمد تقسيم الصور الطبية بشكل كبير على الشبكات العصبية التلافيفية (CNNs) والمحولات (Transformers). ومع ذلك، فإن الشبكات التلافيفية محدودة بطبيعتها بمجالات استقبال محلية، مما يجعلها تعاني في نمذجة الاعتمادات طويلة المدى، بينما تترتب على المحولات غالباً تعقيدات حسابية وذاكرية تربيعية. مؤخراً، برزت نماذج الحالة الفضائية (SSMs)، ولا سيما بنيات Mamba، كبدائل فعالة ذات تعقيد تسلسلي خطي.

على الرغم من وعودها، تواجه نماذج Mamba الحالية لتقسيم الصور مشكلتين حرجتين:

1. تعطيل البنية المكانية المحلية: تقوم معظم النماذج بتحويل خرائط الميزات ثنائية الأبعاد إلى تسلسلات أحادية الأبعاد باستخدام المسح المستعرض (raster scanning) لكل بكسل. هذه العملية يمكن أن تفصل البكسلات المتجاورة مكانياً في التسلسل، مما يضعف التماسك المكاني ثنائي الأبعاد المحلي. وهذا أمر ضار بمهام التنبؤ الكثيف التي تتطلب تحديد دقيق للحدود والحفاظ على البنية المحلية.
2. الدمج الاتجاهي غير المرن: تعتمد الطرق الحالية عادةً على دمج مخرجات مسارات متعددة عبر الجمع البسيط. يفترض هذا التجميع الثابت أن جميع الاتجاهات متساوية الأهمية في كل موقع مكاني، مما يفشل في التكيف مع الأحجام والأشكال والأنسجة المتنوعة وتعقيدات الحدود للأهداف الطبية (مثل الآفات الصغيرة منخفضة التباين مقابل الهياكل الكبيرة غير المنتظمة).

المنهجية

يقترح المؤلفون Patch-MoE Mamba، وهي بنية حالة فضائية قائمة على خليط من الخبراء (MoE) مرتبة حسب الرقع (patches)، مصممة لمعالجة القيود المذكورة أعلاه. تتبع البنية تصميماً على طراز U-Net، حيث تستبدل كتل الحالة الفضائية البصرية (VSS) القياسية في VM-UNetV2 بكتلة Patch-MoE VSS جديدة.

1. المسح الهرمي المرتب بالرقع (Hierarchical Patch-Ordered Scanning)

بدلاً من المسح المستعرض للبكسلات الفردية، تقوم الطريقة بتقسيم خرائط الميزات إلى رقع محلية وإجراء المسح الاتجاهي بطريقة مرتبة حسب الرقع.

• الآلية: بالنظر إلى خريطة ميزات، يتم تقسيم الشبكة المكانية إلى رقع غير متداخلة بحجم $p \times p$. داخل كل رقعة، يتم ترقيم البكسلات بترتيب الصفوف قبل الانتقال إلى الرقعة التالية.
• الفائدة: يضمن ذلك بقاء جميع البكسلات داخل الرقعة متتالية في التسلسل، مما يحافظ على الجوارات المكانية المحلية مع تمكين نمذجة الاعتماد طويل المدى عبر الرقع.
• الاستراتيجية الهرمية: لالتقاط سياق متعدد المقاييس، يستخدم النموذج مجموعة من أحجام الرقع $\{p^{(1)}, p^{(2)}, \dots\}$. تلتقط الرقع الأصغر التفاصيل الدقيقة للحدود، بينما تنمذج الرقع الأكبر الهياكل الأكثر خشونة. يمكن لمسارات المسح المختلفة (للأمام، للخلف، وللأمام-عرض-ارتفاع، وللخلف-عرض-ارتفاع) استخدام أحجام رقع متميزة للتعامل مع الهياكل متباينة الخواص.

2. الدمج الاتجاهي القائم على خليط الخبراء (MoE-Based Directional Fusion)

لاستبدال الجمع البسيط، قدم المؤلفون وحدة دمج تكيفية تعامل المخرجات الاتجاهية كـ "خبراء".

• بناء الخبراء: تستخدم الوحدة خمسة خبراء:
  • أربعة خبراء متخصصين في الاتجاهات ($E_1$ إلى $E_4$): وهي المخرجات المعيرة للمسحات الأربعة الاتجاهية.
  • خبير التوصيل ($E_{concat}$): يتكون من دمج الخرائط الأربعة المعيرة على طول بُعد القنوات وإعادة إسقاطها عبر تلافيف $1\times1$. يلتقط هذا الخبير الارتباطات عبر الاتجاهات ويوفر رؤية شاملة غير مرتبطة باتجاه معين.
• البوابة المدركة مكانياً (Spatial-Aware Gating): تقوم شبكة توجيه (router) بحساب أوزان تعتمد على الموقع لدمج هؤلاء الخبراء بشكل تكيفي. يتم توجيه الموجه بواسطة مزيج من السياق المحلي (عبر التلافيف عميقة المدى) والسياق العالمي (عبر التجميع المتوسط التكيفي)، ويتحكم فيه معامل قابل للتعلم $\alpha$.
• استقرار المتبقي (Residual Stabilization): يضيف مسار متبقٍ (residual bypass) المخرجات الاتجاهية الخام مرة أخرى إلى النتيجة المدمجة ($Z_l = \hat{Y}_l + \sum Y_l^{(i)}$). يضمن هذا استجابات أساسية قوية ويحافظ على الإشارات الاتجاهية القوية، مما يؤدي إلى استقرار التدريب.

3. حقن الدلالات والتفاصيل (Semantics and Detail Infusion - SDI)

تتم معالجة مخرجات المشفر بواسطة وحدة SDI (المقتبسة من U-Net v2) لتعزيز خرائط الميزات عن طريق حقن المعلومات الدلالية من المستويات الأعلى ودمج التفاصيل الدقيقة من المستويات الأدنى عبر ضرب هادامارد (Hadamada product).

المساهمات الرئيسية

1. المسح المرتب بالرقع: آلية مسح مبتكرة تستبدل المسح المستعرض للبكسلات بالعبور المرتب بالرقع، مما يحافظ بفعالية على التماسك المكاني ثنائي الأبعاد مع الحفاظ على كفاءة نماذج الحالة الفضائية.
2. الدمج الاتجاهي القائم على MoE: وحدة دمج تكيفية تستبدل الجمع البسيط بشبكة بوابة قابلة للتعلم. تقوم بوزن عدة خبراء اتجاهيين وخبير التوصيل ديناميكياً بناءً على السياق المكاني، مما يسمح للنموذج بالتكيف مع مقاييس الآفات وتعقيداتها المتغيرة.
3. النمذجة متعددة المقاييس الهرمية: يسمح دمج أحجام الرقع الهرمية للشبكة بالتقاط تفاصيل الحدود الدقيقة والهياكل الدلالية الخشنة في آن واحد.
4. استقرار المتبقي: يضمن تضمين مسار متبقٍ للمخرجات الاتجاهية الخام استقرار التدريب ويمنع فقدان الإشارات الاتجاهية الحرجة.

النتائج التجريبية

قام المؤلفون بتقييم Patch-MoE Mamba على خمس مجموعات بيانات عامة لتقسيم السلائل (polyp) (Kvasir-SEG, ClinicDB, ColonDB, ETIS, CVC-300) ومجموعتي بيانات لتقسيم آفات الجلد (ISIC 2017, ISIC 2018).

• الأداء: حقق Patch-MoE Mamba أداءً رائداً (SOTA) عبر جميع مجموعات البيانات، متفوقاً باستمرار على النماذج القائمة على CNN (مثل U-Net, U-Net v2) والنماذج القائمة على Mamba (مثل VM-UNet, VM-UNetV2).
  • في مجموعة بيانات ETIS الصعبة (المعروفة بتباينها المنخفض وسلائلها الصغيرة)، حسن النموذج درجة Dice من 72.56% (VM-UNetV2) إلى 74.04%.
  • في ISIC 2018، حقق درجة Dice بلغت 89.34%، متجاوزاً أفضل نتيجة سابقة بلغت 88.36%.
• دراسات الاستئصال (Ablation Studies):
  • استبدال المسح المستعرض بالمسح المرتب بالرقع وحده حسن متوسط Dice من 83.46% إلى 84.02%.
  • إضافة وحدة دمج MoE رفعت المتوسط إلى 84.30%.
  • حققت أحجام الرقع الهرمية (خشنة في المراحل المبكرة، دقيقة في المراحل الأعمق) أفضل النتائج.
• التعقيد الحسابي: بينما لا يزيد المسح المرتب بالرقع من التكلفة الحسابية (عدد الرموز/tokens يبقى دون تغيير)، فإن تضمين خبير التوصيل يزيد عدد المعلمات إلى حوالي 70 مليون وعدد العمليات (FLOPs) إلى حوالي 28 جيجا فلوپ. يشير المؤلفون إلى أن هذا العبء متوقع بسبب التفاعلات الكثيفة بين القنوات المطلوبة لآلية MoE.

الأهمية والادعاءات

يزعم البحث أن Patch-MoE Mamba يقدم حلاً عاماً وفعالاً لتقسيم الصور الطبية. من خلال معالجة القيود المحددة لنماذج Mamba الحالية — وهي فقدان البنية المكانية المحلية وجمود الدمج الاتجاهي — تظهر البنية المقترحة قدرة فائقة على التكيف مع الأهداف الطبية المتنوعة ذات الأحجام والأشكال وتعقيدات الحدود المتفاوتة. تشير النتائج إلى أن الحفاظ على الجوارات المكانية المحلية من خلال المسح المرتب بالرقع، جنباً إلى جنب مع دمج الخبراء التكيفي، يعزز بشكل كبير تحديد الحدود ودقة التقسيم، خاصة في السيناريوهات الصعبة التي تنطوي على آفات منخفضة التباين أو صغيرة الحجم.