MMIF-MESFusion：Coupling Modality-Specific Enhancement and Statistics- Guided Adaptive Fusion for Medical Image Fusion
تقترح هذه الورقة MESFusion، وهو إطار عمل مبتكر يعالج تحديات توزيع الميزات غير المتجانسة والتكامل التكيفي في دمج الصور الطبية متعددة الوسائط من خلال الجمع بين وحدة تعزيز الوعي بالنمط، ووحدة "مابما" المكانية ذات البوابة لالتقاط الاعتماد طويل المدى، ووحدة الدمج التكيفي الموجه إحصائياً لتحقيق دمج قوي وعالي الجودة عبر مجموعات بيانات متنوعة.
المؤلفون الأصليون:Ming Gong, XinWang Wang, Xinlan Chen, Wenze Kan
تخيل أنك تحاول حل لغز، ولكن ليس لديك سوى نوعين مختلفين من الأدلة. أحد الأدلة هو مخطط هندسي حاد للغاية باللونين الأبيض والأسود لمنزل، يوضح بدقة أين توجد الجدران والأبواب، ولكنه لا يخبرك شيئًا عن من يعيش هناك أو ماذا يفعلون. الدليل الآخر هو خريطة حرارية ملونة ومتوهجة تظهر أين يتحرك الناس وأين تكون الطاقة عالية، لكنها ضبابية للغاية لدرجة أنك لا تستطيع معرفة ما إذا كان الناس في المطبخ أم في غرفة النوم. في عالم العلوم الطبية، يواجه الأطباء هذه المشكلة بالضبط كل يوم. فهم يستخدمون أجهزة مثل ماسحات CT و MRI للحصول على تلك "المخططات الهندسية" الحادة لأجسادنا، ويستخدمون أجهزة مثل PET و SPECT للحصول على تلك "الخرائط الحرارية" المتوهجة لعمليات التمثيل الغذائي ووظائف الأعضاء. المشكلة هي أن النظر إلى واحدة فقط من هذه الصور ليس كافيًا للحصول على القصة الكاملة. إذا حاولت لصقهما معًا يدويًا، فستكون النتيجة عادةً ضبابية فوضوية حيث تضيع التفاصيل. لقد حاول العلماء بناء برامج كمبيوتر — باستخدام الرياضيات المتقدمة والذكاء الاصطناعي — لدمج هاتين الصورتين تلقائيًا في "صورة فائقة" مثالية واحدة تظهر كلاً من البنية الحادة والنشاط المتوهج. لكن جعل هذه الحواسيب تفعل ذلك دون خلق تشوهات غريبة أو فقدان تفاصيل مهمة كان تحديًا صعبًا.
تقدم هذه الورقة برنامج كمبيوتر جديدًا وذكيًا يسمى MESFusion يعمل مثل طاهٍ ماهر يمزج مكونين مختلفين تمامًا في طبق واحد لذيذ. أدرك المؤلفون، وهم فريق من الباحثين من جامعات في الصين، أن الطرق السابقة حاولت معاملة جميع الصور الطبية بنفس الطريقة، وهو أمر يشبه محاولة تقطيع قطعة لحم وفراولة بنفس سرعة السكين تمامًا. وجدوا أن هذا النهج أغفل "الشخصية" الفريدة لكل نوع من أنواع الصور. لذا، صمموا نظامًا يعطي في البداية لكل صورة "دفعة تمهيدية" مخصصة لاحتياجاتها الخاصة. بالنسبة للصور التشريحية الحادة (مثل MRI)، يستخدم النظام "مصباحًا يدويًا للتدرج" لتسليط الضوء على الحواف والأنسجة، مما يجعل جدران الجسم تبرز بوضوح. أما بالنسبة للصور الوظيفية المتوهجة (مثل PET)، فيستخدم "كاشف طاقة" لضمان عدم تلاشي البقع الساطعة من النشاط. يضمن هذا أنه قبل بدء عملية المزج، يكون كلا المكونين في أفضل حالاتهما.
بمجرد تجهيز المكونات، يستخدم البرنامج وحدة تشبه الدماغ تسمى Spatial Gated Mamba (SGMam) للنظر إلى الصورة بأكملها دفعة واحدة. فكر في هذا الأمر كحارس أمن يمكنه مسح ملعب كامل بنظرة واحدة ليرى أين يتحرك الجمهور، بدلاً من النظر إلى صف واحد في كل مرة. يسمح هذا للكمبيوتر بفهم كيفية ارتباط الأجزاء المختلفة من الجسم ببعضها البعض عبر مسافات طويلة، وهو أمر عانت منه البرامج الحاسوبية القديمة دون أن تتعثر في حسابات ثقيلة. أخيرًا، يستخدم البرنامج "وعاء خلط" ذكيًا يسمى Statistical-Guided Adaptive Fusion (SDAF). فبدلاً من مجرد سكب الصورتين معًا، يتذوق هذا الوعاء الخليط أثناء العمل. إنه يتحقق من "متوسط النكهة" (المتوسط الحسابي) و"درجة التوابل" (الانحراف المعياري) للبيانات ليقرر بالضبط مقدار ما يحتفظ به من كل صورة. إذا كان جزء من الصورة ساطعًا جدًا أو مظلمًا جدًا، فإن الوعاء يعدل الوصفة أثناء العمل لضمان أن النتيجة النهائية تبدو طبيعية ومتوازنة.
اختبر الباحثون هذه الوصفة الجديدة على ثلاثة أنواع مختلفة من أزواج الصور الطبية: CT و MRI، و PET و MRI، و SPECT و MRI. كما تحدوا برنامجهم بمجموعة جديدة تمامًا من البيانات لم يسبق له رؤيتها من قبل (مجموعة بيانات تسمى NAF-PROSTATE) ليروا ما إذا كان بإمكانه التعامل مع المفاجآت. أظهرت النتائج أن MESFusion أنشأ صورًا أكثر وضوحًا وحدّة وتوازنًا من الطرق الرائدة الأخرى. لقد نجح في الحفاظ على التفاصيل الدقيقة لبنية الجسم مع تسليط الضوء أيضًا على المناطق الوظيفية المهمة دون خلق تشوهات مربكة أو "أشباح". تشير الورقة إلى أنه من خلال معاملة كل نوع من الصور باحترام واستخدام الإحصاء الذكي لتوجيه عملية المزج، يوفر هذا الإطار الجديد طريقة أكثر موثوقية لإنشاء هذه الصور الفائقة المنقذة للحياة. وبينما يشير الفريق إلى أنهم لا يزالون بحاجة إلى ضبط بعض إعدادات "التوابل" يدويًا في وصفتهم، إلا أن طريقتهم تثبت أن النهج المخصص والتكيفي يعمل بشكل أفضل بكثير من استراتيجية "مقاس واحد يناسب الجميع".
ملخص تقني: MESFusion-MMIF
بيان المشكلة يهدف دمج الصور الطبية متعددة الأنماط إلى تخليق التفاصيل التشريحية (من الأشعة المقطعية CT/الرنين المغناطيسي MRI) والمعلومات الأيضية الوظيفية (من PET/SPECT) في صورة واحدة للقضاء على "نقاط المعلومات العمياء" في التشخيص السريري. ومع ذلك، تواجه النهج الحالية للتعلم العميق ثلاثة تحديات رئيسية:
التفاوتات في الميزات غير المتجانسة: تمتلك الأنماط المختلفة آليات تصوير فيزيائية متميزة (مثل الأنسجة التشريحية عالية التردد في الرنين المغغناطيسي مقابل الكثافة الأيضية منخفضة التردد في PET)، والتي تفشل النماذج الموحدة القياسية في معالجتها بفعالية.
عدم كفاية النمذجة بعيدة المدى: بينما توفر نماذج المحولات (Transformers) نمذجة عالمية، إلا أن تعقيدها التربيعي يعيق التعامل مع الصور الطبية عالية الدقة. وفي المقابل، تظل الشبكات العصبية الالتفافية (CNNs) القياسية محدودة بمجالات استقبال محلية، كما أن التطبيقات المباشرة لنموذج Mamba (نماذج فضاء الحالة) غالبًا ما تعاني مع البنية المكانية غير السببية للصور ثنائية أو ثلاثية الأبعاد، مما يؤدي إلى ضعف الاستمرارية المكانية.
استراتيجيات الدمج غير الفعالة: تعتمد طرق الدمج الحالية غالبًا على آليات انتباه مكثفة حسابيًا أو مجرد عملية دمج بسيط (concatenation)، مما يفشل في موازنة المعلومات الهيكلية والوظيفية ديناميكيًا بناءً على الخصائص الإحصائية الشاملة لخرائط الميزات.
المنهجية: إطار عمل MESFusion يقترح المؤلفون MESFusion، وهو إطار عمل خفيف الوزن وشامل (end-to-end) مصمم لربط تعزيز الأنماط النوعية بالدمج التكيفي الموجه بالإحصائيات. تتبع البنية نموذج (المشفر-الدمج-المفكك) وتتكون من أربع مراحل رئيسية:
التعزيز المدرك للنمط (MAE):
بدلاً من وحدة معالجة مسبقة مشتركة، يستخدم MAE استراتيجيات متمايزة للصور التشريحية (MRI) والوظيفية (PET/SPECT/CT).
بالنسبة لـ MRI، يستخدم استخراج التدرج متعدد المقاييس (التفافات 3×3 و5×5) والانتباه المدرك للهيكل لتعزيز الأنسجة التشريحية عالية التردد.
بالنسبة لـ الصور الوظيفية، يقوم بنمذجة إحصائية قائمة على القنوات (حساب المتوسط العالمي والانحراف المعياري) لإنشاء أوزان انتباه مدركة للطاقة، مما يحافظ على توزيعات الكثافة ويبرز المناطق الأيضية.
العمود الفقري لـ Mamba المكاني المبوب (SGMam):
لمعالجة قيود Mamba القياسي في التصوير الطبي ثنائي الأبعاد، قدم المؤلفون SGMam، الذي يدمج النمذجة العالمية الخطية مع استخراج الميزات المحلية.
يتميز بفرع بوابي مكاني (SPG) يستخدم التلافيف بعمق (depth-wise convolution) بحجم 7×7 لتوليد خريطة وزن مكاني، مما يقلل من حشو الخلفية ويعزز التفاصيل الهيكلية البارزة.
يستخدم آلية المسح الانتقائي ثنائي الأبعاد (SS2D) مع استراتيجية مسح متعددة المسارات لالتقاط التبعيات بعيدة المدى والسياق العالمي بتعقيد حسابي خطي، مما يحافظ على الاستمرارية التشريحية دقيقة التفاصيل.
يستخرج الإحصائيات من الدرجة الأولى (المتوسط) والدرجة الثانية (الانحراف المعياري) من قنوات الميزات لكلا النمطين.
يتم دمج هذه الإحصائيات ومعالجتها عبر شبكة عنق الزجاجة (bottleneck network) لتوليد أوزان ديناميكية لكل قناة، مما يسمح للنموذج بموازنة المعلومات الهيكلية والوظيفية بشكل تكيفي بناءً على المحتوى المحدد للصور المدخلة.
المفكك ودالة الخسارة:
يقوم مفكك هرمي بإعادة بناء الصورة المدمجة باستخدام تلافيف متتالية مع تنشيطات SiLU و Tanh لضمان الدقة الإشعاعية.
تستخدم عملية التدريب دالة خسارة مركبة تجمع بين خسارة الكثافة (للتوازن العالمي وتعزيز الهدف)، وخسارة التدرج (للحفاظ على الحواف)، وخسارة التشابه الهيكلي (MS-SSIM) (للاتساق الإدراكي).
المساهمات الرئيسية
بنية مدفوعة بالمشكلات: يقدم البحث إطار عمل مصمم خصيصًا للأنماط الطبية غير المتجانسة، مبتعدًا عن التجميع العام للوحدات نحو نهج (مشفر-دمج-مفكك) مخصص.
التعزيز النوعي للنمط: تسد وحدة MAE الفجوة التمثيلية بين الصور التشريحية والوظيفية من خلال تطبيق استراتيجيات تعزيز متميزة قبل التفاعل العميق.
Mamba المكاني المبوب خفيف الوزن: نجح نموذج SGMam في تكييف بنية Mamba للصور الطبية ثنائية الأبعاد، حيث جمع بين التحيزات الاستقرائية المحلية ونمذجة السياق العالمي مع الحفاظ على التعقيد الخطي.
الدمج الموجه بالإحصائيات: توفر طبقة SDAF بديلًا فعالًا للدمج القائم على الانتباه، باستخدام الأولويات الإحصائية للقنوات لمعايرة الأوزان ديناميكيًا دون عبء حسابي كبير.
النتائج التجريبية قيم المؤلفون MESFusion على ثلاثة مجموعات بيانات عامة (CT-MRI، PET-MRI، SPECT-MRI) واختبار خارجي لمجموعة بيانات مختلفة (NAF-PROSTATE PET/CT).
الأداء الكمي: حقق MESFusion نتائج تنافسية أو متفوقة عبر مقاييس متعددة، بما في ذلك وفاء المعلومات المرئية (VIF)، ومعامل الارتباط (CC)، وجودة الدمج القائم على الحواف (QAB/F)، والتشابه الهيكلي متعدد المقاييس (MS-SSIM). ومن الجدير بالذكر أنه أظهر أداءً قويًا في PSNR و MS-SSIM، مما يشير إلى تفوق في الحفاظ على البنية.
دراسات الاستئصال (Ablation Studies): أدى إزالة أي مكون أساسي (MAE، SGMam، أو SDAF) إلى تدهور ملموس في الجودة المرئية ودرجات المقاييس، مما أكد التأثير التآزري للوحدات المقترحة. وقد تبين أن تضمين كل من المتوسط والانحراف المعياري في SDAF كان أفضل من استخدام المتوسط وحده.
التعميم: في مجموعة بيانات NAF-PROSTATE غير المرئية، حافظت الطريقة على جودة دمج قوية، متفوقة على الطرق الأخرى في الحفاظ على تباين الآفات والحدود التشريحية رغم تغير التوزيع.
الكفاءة: تتميز الطريقة المقترحة بكفاءة عالية، حيث سجلت عدد عمليات حسابية (FLOPs) أقل بكثير (3.511G) وعدد بارامترات أقل (31.6K) مقارنة بالطرق الحديثة مثل DDBFusion و DM-FNet، مع تحقيق أوقات استدلال أسرع (0.056 ثانية).
الأهمية والادعاءات يزعم البحث أن MESFusion يوفر حلاً قويًا وفعالًا لدمج الصور الطبية متعددة الأنماط من خلال معالجة عدم تجانس توزيع الميزات والتكاليف الحسابية للنمذجة العالمية بشكل فعال. ويؤكد المؤلفون أن نهجهم يحقق توازنًا مثاليًا بين الحفاظ على البنية، والاحتفاظ بالمعلومات الوظيفية، والكفاءة الحسابية. ويُقدم الإطار كخيار قابل للتطبيق في البيئات السريرية محدودة الموارد، حيث يقدم نتائج متسقة بصريًا مع حدود تشريحية واضحة وتمثيل وظيفي دقيق. ويقر المؤلفون بأن وزن دالة الخسارة الحالية يعتمد على الضبط اليدوي، ويحددون تحسين أوزان الخسارة التكيفي كمسار للعمل المستقبلي.