⚡ electrical engineering

Mamba Goes HoME: Hierarchical Soft Mixture-of-Experts for 3D Medical Image Segmentation

تقدم هذه الورقة البحثية إطار عمل HoME، وهو إطار عمل هرمي لخليط الخبراء الناعم مبني على هيكل Mamba، والذي يستخدم آلية توجيه الرموز ثنائية المستوى لتعزيز نمذجة السياق الطويل وتحقيق أداء رائد في تقسيم الصور الطبية ثلاثية الأبعاد عبر مختلف الأنماط وجودات البيانات.

المؤلفون الأصليون: Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

نُشر 2026-02-09

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Szymon Płotka, Gizem Mert, Maciej Chrabaszcz, Ewa Szczurek, Arkadiusz Sitek

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تنظيم مكتبة ضخمة تحتوي على ملايين الكتب (والتي تمثل مسحاً طبياً ثلاثي الأبعاد لجسم الإنسان). هدفك هو العثور على تفاصيل دقيقة وصغيرة للغاية — مثل ورم صغير أو حدود عضو معين — مع فهم الصورة الكبيرة لكيفية ترتيب المكتبة بأكملها.

يقدم هذا البحث نظام ذكاء اصطناعي جديد يسمى Mamba-HoME لحل هذه المشكلة. إليك كيف يعمل، مشروحاً من خلال تشبيهات بسيطة:

المشكلة: أكبر من أن يستوعبها عقل واحد

حاولت نماذج الذكاء الاصطناي السابقة النظر إلى المكتبة بأكملها في وقت واحد.

الطريقة القديمة أ (الشبكات العصبية التلافيفية - CNNs): تشبه أمين مكتبة ينظر فقط إلى رف واحد في كل مرة. هم سريعون وجيدون في رؤية التفاصيل المحلية، لكنهم لا يستطيعون رؤية كيف تتصل الرفوف ببعضها عبر الغرفة بأكملها. إنهم يفتقدون "الصورة الكبيرة".
الطريقة القديمة ب (المحولات - Transformers): تشبه أمين مكتبة يحاول قراءة كل كتاب في المكتبة في آن واحد لفهم الروابط بينها. هذا رائع لرؤية الصورة الكبيرة، لكنه يستغرق وقتاً طويلاً ويتطلب حاسوباً فائق القدرة للتعامل مع الذاكرة. إنه يصبح بطيئاً جداً بالنسبة للمسحات ثلاثية الأبعاد عالية الدقة.

الحل: فريق "Mamba-HoME"

ابتكر المؤلفون فريقاً جديداً من عمال الذكاء الاصطناعي يجمع بين سرعة الطريقة (أ) والرؤية الشاملة للطريقة (ب)، ولكن مع لمسة ذكية تسمى HoME (خليط الخبراء الناعم الهرمي).

فكر في HoME كأنه نظام إدارة من مستويين لطاقم بناء ضخم:

المستوى 1: مراقبو المواقع المحليون ("الخبراء المحليون")

عندما يتلقى الفريق مسحاً ثلاثي الأبعاد ضخماً، فإنهم لا يرسلون كل بكسل إلى المدير الرئيسي. بدلاً من ذلك، يقومون بتقسيم المسح إلى أحياء صغيرة يمكن إدارتها (مجموعات).

في كل حي، يتم تعيين مراقب موقع (خبير) للتعامل مع التفاصيل المحددة لتلك المنطقة.
إذا كان الحي يحتوي على الكثير من نسيج العظام، سيتولى "خبير العظام" المهمة. وإذا كان يحتوي على سوائل، سيتولى "خبير السوائل" المسؤولية.
هذا فعال لأن الخبراء يتواصلون مع الأشخاص في حيهم الخاص أولاً؛ فهم لا يضيعون الوقت في الصراخ عبر المدينة بأكملها.

المستوى 2: مخططو المدن ("الخبراء العالميون")

بمجرد أن ينتهي مراقبو المواقع المحليون من عملهم، يرسلون ملخصاً إلى مخططي المدن (الخبراء العالميين).

ينظر هؤلاء المخططون إلى الملخصات الواردة من جميع الأحياء.
يكتشفون كيف تتناسب الأحياء مع بعضها البعض. على سبيل المثال: "الكبد (الحي أ) يقع بجوار المعدة (الحي ب)".
يقومون بتحسين الخريطة النهائية، مما يضمن أن التفاصيل المحلية تتوافق مع السياق العالمي.

لماذا "Mamba"؟

يستخدم البحث تقنية أساسية تسمى Mamba. فكر في Mamba كأنه حزام ناقل عالي الكفاءة.

على عكس الأنظمة القديمة التي كان عليها التوقف والنظر إلى كل عنصر على الحزام لفهم الخط بأكمله (وهو أمر بطيء)، يتحرك Mamba على طول الحزام بشكل خطي. إنه يتذكر ما رآه سابقاً ويستخدم تلك الذاكرة لفهم ما يراه الآن، كل ذلك دون أن يتعثر أو يتباطأ.
يسمح هذا للنظام بالتعامل مع المسحات ثلاثية الأبعاد الضخمة (مثل جسم الإنسان بالكامل) بشكل أسرع بكثير وبذاكرة حاسوبية أقل من الطرق السابقة.

النتائج: خرائط أفضل، ذاكرة أقل

اختبر المؤلفون هذا النظام على ثلاثة أنواع مختلفة من "كاميرات" التصوير الطبي:

الأشعة المقطعية (CT scans): (مثل الأشعة السينية التي تظهر العظام والأعضاء بشكل ثلاثي الأبعاد).
الرنين المغناطيسي (MRI scans): (الذي يظهر الأنسجة الرخوة مثل الدماغ والكبد بتفاصيل دقيقة).
الموجات فوق الصوتية (Ultrasound): (التي غالباً ما تكون مليئة بالضجيج وغير واضحة).

ما وجدوه:

الدقة: رسم Mamba-HoME حدود الأعضاء والأورام بدقة أكبر من أي طريقة حالية؛ لقد كان أفضل في تحديد "الحواف" للأشياء.
الكفاءة: على الرغم من كونه ذكياً جداً، إلا أنه لم يكن بحاجة إلى كمية هائلة من ذاكرة الحاسوب (RAM) للتشغيل، وهو ما يمثل مشكلة كبيرة للصور الطبية ثلاثية الأبعاد.
تعدد الاستخدامات: تعلم النظام من الأشعة المقطعية والرنين المغناطيسي، وكان بارعاً جداً في فهم "شكل" الأعضاء لدرجة أنه استطاع العمل بشكل جيد أيضاً على الموجات فوق الصوتية، رغم أنه لم يتم تدريبه عليها صراحةً في البداية.

باختصار

يزعم البحث أن Mamba-HoME هو طريقة جديدة لتعليم الحواسيب كيف "ترى" داخل جسم الإنسان. يفعل ذلك باستخدام فريق من مستويين من المتخصصين: خبراء محليين يتعاملون مع التفاصيل الصغيرة بسرعة، وخبراء عالميين يضمنون توافق تلك التفاصيل مع بعضها البعض بشكل مثالي. هذا النهج أسرع، ويستهلك طاقة حاسوبية أقل، وينتج خرائط طبية أكثر دقة من الأدوات الأفضل حالياً.

ملاحظة: يركز البحث بالكامل على الأداء التقني لنموذج الذكاء الاصطناعي في مهام التجزئة (رسم الخطوط حول الأعضاء). ولا يدعي أن النموذج يُستخدم حالياً في المستشفيات لتشخيص المرضى أو التخطيط للعلاج، كما لا يناقش التطبيقات السريرية المستقبلية خارج المعايسات التقنية المقدمة.

ملخص تقني: Mamba Goes HoME

بيان المشكلة

يعد تقسيم الصور الطبية ثلاثية الأبعاد (3D) أمراً بالغ الأهمية للتشخيص وتخطيط العلاج عبر وسائط مختلفة مثل التصوير المقطعي المحوسب (CT)، والتصوير بالرنين المغيناطيسي (MRI)، والموجات فوق الصوتية (US). ومع ذلك، تواجه البنيات الحالية مقايضات كبيرة:

الشبكات العصبية التلافيفية (CNNs): توفر تعقيداً حسابياً خطياً ولكنها تعاني من مجالات استقبال محدودة، مما يعيق قدرتها على التقاط الأنماط المكانية العالمية، وهو أمر ضروري لفهم العلاقة الهرمية بين الآفات المحلية والهياكل التشريحية العالمية.
محولات الرؤية (ViTs): تستخدم الانتباه العالمي لنمذجة الاعتمادات طويلة المدى، ولكنها تتسبب في تعقيد حسابي تربيعي بالنسبة لعدد الرموز (tokens). وهذا يجعلها مكلفة حسابياً بالنسبة للبيانات الحجمية ثلاثية الأبعاد عالية الدقة.
نماذج فضاء الحالة الانتقائية (SSMs): مثل Mamba، توفر تعقيداً خطياً لنمذجة التسلسلات الطويلة، مما يقدم بديلاً فعالاً لـ ViTs. ومع ذلك، فإن نماذج SSM القياسية ليست مصممة بطبيعتها للتكيف مع الأنماط المحلية المتنوعة الموجودة في البيانات الطبية متعددة المقاييس والمعقدة.
أطر عمل خليط الخبراء (MoE): يمكنها توجيه الميزات ديناميكياً إلى شبكات فرعية متخصصة للتعامل مع الأنماط المحلية، ولكن دمج الكفاءة العالمية لـ SSMs مع القدرة على التكيف المحلية لـ MoE في التصوير الطبي ثلاثي الأبعاد يظل غير مستكشف إلى حد كبير.

المنهجية: Mamba-HoME

يقترح المؤلفون Mamba-HoME، وهي بنية مبتكرة تدمج العمود الفقري لنموذج Mamba Selective State-Space Model (SSM) مع طبقة Hierarchical Soft Mixture-of-Experts (HoME). يهدف التصميم إلى نمذجة تسلسلات الأنماط من المحلي إلى العالمي بكفاءة وبتعقيد حسابي خطي.

1. خليط الخبراء الناعم الهرمي (HoME)

الابتكار الجوهري هو طبقة توجيه الرموز ثنائية المستوى المصممة لموازنة التخصص المحلي مع تكامل السياق العالمي:

المستوى 1: التجميع والتوجيه المحلي. يتم تقسيم تسلسلات المدخلات إلى مجموعات محلية. تقوم طبقة Soft Mixture-of-Experts (SMoE) بتوجيه الرموز داخل هذه المجموعات إلى خبراء محليين متخصصين. وهذا يتيح استخراج الميزات المحلية مع الحفاظ على الموقعية المكانية وتقليل العبء على الذاكرة مقارنة بالتوجيه العالمي.
المستوى 2: التجميع العالمي. يتم تجميع مخرجات المستوى الأول وتمريرها عبر طبقة SMoE عالمية من المستوى الثاني. هذا يسهل دمج المعلومات بين المجموعات وصقل السياق العالمي.
القابلية للتوسع: من خلال إجراء التوجيه داخل المجموعات قبل التجميع العالمي، تتجنب الطريقة التكاليف الباهظة للذاكرة المرتبطة بالتوجيه العالمي على البيانات ثلاثية الأبعاد عالية الدقة (حيث يمكن أن تصل أعداد الرموز إلى الملايين)، مما يحافظ على تعقيد حسابي قدره $O(Nd)$ .

2. كتلة Mamba-HoME

تدمج البنية طبقة HoME في شبكة مشفر-فك تشفير على شكل حرف U (مستوحاة من SegMamba):

العمود الفقري: يستخدم طبقات Mamba لنمذجة الاعتمادات طويلة المدى بكفاءة مع تعقيد زمني خطي.
التلافيف المكاني المبوّب (GSC): مدمج لالتقاط الأولويات المكانية المحلية قبل تسطيح البيانات إلى تسلسلات أحادية البعد لمعالجة Mamba.
الـ Tanh الديناميكي (DyT): يستبدل تطبيع الطبقة (Layer Normalization) القياسي بدالة غير خطية نقطية ( $f(x) = w \cdot \tanh(\alpha \cdot x) + b$ ). هذا يعمل على استقرار التدرجات وتقليل العبء الحسابي عن طريق تجنب حسابات المتوسط والتباين، مما يسرع التدريب والاستدلال.
التقدم الهرمي: يزدادة عدد الخبراء بشكل مطرد مع العمق ( $E_1 < E_2 < \dots$ )، بينما تتناقص أحجام المجموعات ( $K_1 > K_2 > \dots$ )، مما يسمح بمعالجة أكثر دقة وتدرجاً كلما تعمقت الشبكة.

المساهمات الرئيسية

طبقة HoME: تقديم طبقة توجيه رموز MoE ثنائية المستوى تلتقط بكفاءة تسلسلات الأنماط من المحلي إلى العالمي من خلال تجميع الرموز لتوجيه الخبراء المحليين يليه صقل الخبراء العالمي.
بنية موحدة: تصميم كتلة Mamba-HoME، التي تدمج SSMs الخاصة بـ Mamba مع HoME، وتجمع بين معالجة التسلسلات الطويلة الموفرة للذاكرة وتوجيه الخبراء الهرمي.
شبكة تقسيم متعددة المراحل: دمج هذه المكونات في بنية على شكل حرف U مصممة خصيصاً لتقسيم الصور الطبية ثلاثية الأبعاد، مما يعزز التمثيل السياقي عبر الأبعاد المكانية والعمق.

النتائج التجريبية

قيم المؤلفون Mamba-HoME على أربع مجموعات بيانات عامة (PANORAMA, AMOS, FeTA 2022, MVSeg) ومجموعة بيانات CT داخلية، تغطي وسائط CT وMRI وUS.

الأداء: حقق Mamba-HoME نتائج رائدة (SOTA) في دقة التقسيم (معامل تشابه Dice - DSC) ودقة الحدود (مسافة Hausdorff 95% - HD95) عبر جميع الوسائط المختبرة.
- في مجموعة بيانات PANORAMA، حقق DSC بنسبة 56.7% (تدريب مسبق) و54.8% (من الصفر)، متفوقاً على النماذج المرجعية مثل SegMamba وSwin UNETR.
- في مجموعة بيانات FeTA 2022 لصور رنين جنين MRI، وصل إلى DSC بنسبة 87.7% (تدريب مسبق).
- في مجموعة بيانات MVSeg ثلاثية الأبعاد للموجات فوق الصوتية 3D US، حقق DSC بنسبة 85.0% (تدريب مسبق).
الكفاءة: على الرغم من امتلاك عدد أكبر من المعلمات (170.1 مليون) مقارنة ببعض المنافسين، أظهر النموذج استخداماً منخفضاً لذاكرة وحدة معالجة الرسومات أثناء الاستدلال، وهي ميزة حاسمة للبيانات ثلاثية الأبعاد عالية الدقة. وبينما كان الاستدلال أبطأ بنسبة 30% تقريباً من بعض النماذج المرجعية، يشير المؤلفون إلى أن هذه مقايضة مقبولة مقابل المكاسب الكبيرة في الدقة.
القدرة على التعميم: أظهر النموذج قدرة قوية على التعميم عبر الوسائط. حيث نجح نموذج تم تدريبه مسبقاً على بيانات CT وMRI في التكيف مع مهام الموجات فوق الصوتية ثلاثية الأبعاد بأقل قدر من الضبط الدقيق، متفوقاً على طرق SOTA في كل من مقاييس DSC وHD95.
دراسات الاستئصال (Ablation Studies):
- تم العثور على الأداء الأمثل مع أعداد خبراء محددة ( $E_1 \in \{4, 8, 12, 16\}$ , $E_2 \in \{8, 16, 24, 32\}$ ) وأحجام مجموعات ( $K \in \{2048, 1024, 512, 256\}$ ).
- حسن الـ Dynamic Tanh (DyT) سرعة التدريب والاستدلال بنسبة ~6% مقارنة بتطبيع الطبقة (Layer Normalization) دون التضحي بالدقة.
- عزز التدريب المسبق الخاضع للإشراف على مجموعات بيانات CT وMRI واسعة النطاق الأداء والمتانة عبر المناطق التشريحية والوسائط المختلفة.

الأهمية والادعاءات

يزعم البحث أن Mamba-HoME يمثل تقدماً كبيراً في تقسيم الصور الطبية ثلاثية الأبعاد من خلال سد الفجوة بفعالية بين كفاءة SSMs وقدرة التكيف لأطر عمل MoE. يؤكد المؤلفون أن تصميمهم الهرمي يسمح للنماذج بالتقاط التسلسلات المكانية من المحلي إلى العالمي المتأصلة في البيانات الطبية بشكل أكثر فعالية من النهج السابقة القائمة على CNN أو Transformers.

يسلط العمل الضوء على إمكانات تمثيل الميزات المستقل عن الوسائط، موضحاً أن نموذجاً تم تدريبه مسبقاً على CT وMRI يمكنه التعميم بفعالية على مهام الموجات فوق الصوتية ثلاثية الأبعاد، مما يعالج تحدي تباين البيانات عبر وسائط التصوير المختلفة. يضع المؤلفون Mamba-HoME كحل قابل للتوسع للبيانات ثلاثية الأبعاد عالية الدقة يحافظ على كفاءة الذاكرة والحوسبة مع تقديم دقة تقسيم فائقة.

الاعتراف بالقصور: أشار المؤلفون إلى أن القابلية للتوسع إلى مجموعات بيانات ضخمة جداً (مثلاً >10,000 مسحة) وسلوك النموذج تحت التعلم الذاتي واسع النطاق (>200,000 مسحة) لا يزالان غير مستكشفين، مما يحدد هذه النقاط كتوجهات للعمل المستقبلي.