ملخص تقني: MultiMAE لصور الرنين المغناطيسي للدماغ

بيان المشكلة

في التصوير الطبي، وخاصة في تصوير الرنين المغناطيسي للدماغ، تواجه نماذج التعلم العميق غالبًا تحدي فقدان تسلسلات المدخلات. فالبيئات السريرية تفتقر كثيرًا إلى البيانات متعددة الأنماط الكاملة (مثل فقدان تسلسلات T1، أو T1c، أو T2، أو FLAIR) نتيجة لمشكلات في عملية الاستحواذ أو قيود تتعلق بالمريض. وتستخدم النهج القياسية عادةً استراتيجية الدمج المبكر (early-fusion strategy)، عبر تكديس جميع الأنماط المتاحة على طول بُعد القنوات (بشكل مشابه لقنوات RGB). ورغم بساطة هذا النهج، إلا أنه يتطلب وجود جميع الأنماط أثناء التدريب والاستنتاج معًا. ونتيجة لذلك، تعاني النماذج المدربة باستخدام الدمج المبكر من انخفاض حاد في الأداء عند فقدان المدخلات، وتفشل في تعلم تمثيلات متميزة خاصة بكل نمط يمكن الاستفادة منها في الاستدلال عبر الأنماط (cross-modal reasoning).

المنهجية

يقترح المؤلفون إطار عمل المشفر التلقائي المقنع متعدد الأنماط (Multi-Modal Masked Autoencoder - MultiMAE) المصمم لصور الرنين المغناطيسي ثلاثية الأبعاد للدماغ. وبإلهام من بنية MultiMAE للصور الطبيعية، ينتقل هذا الأسلوب من الدمج المبكر إلى استراتيجية الترميز الخاص بكل نمط (modality-specific encoding) المقترنة بـ الدمج المتأخر (late-fusion) عبر محول (transformer) للمشفّر.

البنية والتدريب المسبق

• العمود الفقري (Backbone): يستخدم النموذج محول رؤية معدل (ViT-B/16) كمشفّر.
• المهايئات الخاصة بالنمط (Modality-Specific Adapters): بدلاً من تكديس القنوات، يتم معالجة كل تسلسل رنين مغناطيسي (t1, t1c, t2, fla) عبر مهايئ خطي خاص به ليعمل على إسقاط الرقع (patches) غير المتداخلة بحجم $16 \times 16 \times 16$ في فضاء رموز مشترك (shared token space).
• استراتيجية القناع (Masking Strategy): يتم تطبيق نسبة قناع عالمية قدرها 75%. ومن الأهمية بمكان أن أخذ عينات القناع يتم لكل نمط من توزيع ديرايشليه ($\alpha=1$)، مما يسمح بقناع يصل إلى 100% لنمط معين مع الحفاظ على المعدل العالمي. وهذا يجبر النموذج على تعلم الاعتمادات المتبادلة بين الأنماط.
• تصميم المشفّر وفك التشفير (Encoder-Decoder Design):
  • المشفّر (Encoder): يقوم نموذج ViT-B/16 قياسي (12 طبقة) بمعالجة الرموز غير المقنعة من جميع الأنماط بالإضافة إلى رمز [cls].
  • فك التشفير (Decoders): يتم استخدام أربعة أجهزة فك تشفير خفيفة الوزن وخاصة بكل نمط (3 طبقات لكل منها). وهي تستخدم آلية الانتباه المتقاطع (cross-attention) حيث تقوم الاستعلامات (رموز [mask] قابلة للتعلم للرقع المفقودة) بالانتباه إلى السياق المشترك الذي يوفره المشفّر.
• الهدف (Objective): يتم تدريب النموذج مسبقًا لإعادة بناء الرقع المقنعة باستخدام خسارة متوسط مربع الخطأ (MSE)، مما يشجع على تعلم تمثيلات غنية يمكنها استنتاج التسلسلات المفقودة من التسلسلات المتاحة.

التكيف مع المهام اللاحقة

يتم تكييف المشفّر المدرب مسبقًا لمهمتين لاحقتين:

1. التقطيع (Segmentation): باستخدام بنية UNETR. وللتعامل مع طول التسلسل المتغير الناتج عن الترميز المنفصل لكل نمط، يتم حساب متوسط الرموز عند كل موقع مكاني للحفاظ على طول تسلسل ثابت.
2. التصنيف (Classification): تحل طبقة خطية واحدة محل أجهزة فك التشفير. ويتم حساب متوسط رموز الرقع ورمز [cls] لتكوين متجه سمات لتصنيف أنواع الورم الدبقي (GBM, Astro, Oligo).

المساهمات الرئيسية

1. تدريب مسبق لـ MultiMAE لصور الرنين المغناط المغناطيسي ثلاثية الأبعاد: يبحث هذا العمل في تطبيق MultiMAE لصور الرنين المغناطيسي ثلاثية الأبعاد للدماغ، مما يتيح الترميز الخاص بكل نمط والنمذجة المقنعة عبر عدة تسلسلات.
2. المتانة تجاه الأنماط المفقودة: أظهر المؤلفون أن استراتيجية التدريب المسبق هذه تحسن الأداء والمتانة بشكل كبير في مهام التقطيع (الورم الدبقي والنقائل) والتصنيف عند فقدان أنماط المدخلات، متفوقة على نماذج MAE-ViT القياسية.
3. تخليق الأنماط المفقودة: يظهر إطار العمل القدرة على تخليق تسلسلات رنين مغناطيسي مفقودة بالكامل في وقت الاستنتاج من خلال الاستفادة من العلاقات المتبادلة بين الأنماط التي تم تعلمها أثناء التدريب المسبق.

النتائج التجريبية

تم تقييم الطريقة على مجموعة بيانات ضخمة مجمعة (BraTS 2021/2023, UPENN-GBM, UCSF-PGDM، إلخ) واختبارها على مجموعات بيانات داخلية وخارجية.

• توليد الأنماط المفقودة: نجح النموذج في إعادة بناء الأنماط المفقودة بدقة عالية (PSNR ~20–21, SSIM ~0.71–0.76)، متفوقًا بشكل كبير على نموذج MAE-ViT القياسي (PSNR ~7–10, SSIM ~0.52–0.61).
• أداء التقطيع (Segmentation):
  • تفوق نموذج MultiMAE المدرب مسبقًا باستمرار على نموذج MAE-ViT الأساسي في كل من مجموعات الاختبار الداخلية والخارجية لتقطيع الورم الدبقي والنقائل.
  • في سيناريوهات الأنماط المفقودة، أظهر MultiMAE مرونة فائقة. فعلى سبيل المثال، عندما كان نمط T1c مفقودًا، حافظ MultiMAE على درجة Dice تبلغ ~51.55 (المشفّر مجمد) لمركز الورم، بينما انخفض نموذج ViT الأساسي إلى ~47.91.
  • حقق النموذج تحسنًا مطلقًا قدره 10.1 في درجة Dice الإجمالية و0.46 في معامل كوردن (MCC) فوق النماذج المرجعية عند فقدان المدخلات.
• أداء التصنيف:
  • حقق النموذج دقة عالية متعددة الفئات ومعامل MCC (يصل إلى 0.70) لتصنيف أنواع الورم الدبقي.
  • على عكس مهمة التقطيع، كان تجميد المشفّر أقل فعالية بالنسبة للتصنيف؛ حيث أعطت عملية الضبط الدقيق الكاملة (full fine-tuning) أفضل النتائج.
  • حتى مع الأنماط المفقودة (مثل عدم وجود T1c)، حافظ MultiMAE على دقة عالية (0.89) مقارنة بنموذج ViT الأساسي (0.41)، مما يدل على استدلال فعال عبر الأنماط.

الأهمية والادعاءات

يزعم البحث أن نموذج MultiMAE يقدم مشفّرًا مرنًا وقابلًا للتعميم لصور الرنين المغناطيسي للدماغ يعالج التحدي السريري الحرج المتمثل في عدم اكتمال البيانات. ومن خلال معاملة كل تسلسل كنمط منفصل وفرض إعادة البناء المتبادل بين الأنماط، يتعلم النموذج كيفية استنتاج التسلسلات المفقودة من المدخلات المتاحة.

يؤكد المؤلفون أنه على الرغم من أن النهج يضيف تغييرات طفيفة على بنية ViT، إلا أنه يحقق مكاسب كبيرة في المتانة. وتسمح استراتيجية التدريب المسبق للنموذج بالتعامل مع "تكوينات المدخلات غير المرئية" دون الحاجة لإعادة التدريب، مما يجعله مناسبًا للبيئات السريرية محدودة الموارد حيث لا يمكن ضمان اكتمال البيانات. ومع ذلك، أشار المؤلفون بتواضع إلى ما يلي:

• تظهر عمليات إعادة البناء بعض الضبابية بسبب قيود خسارة MSE القائمة على البكسل.
• لا تزال هناك فجوة نطاق (domain gap) بين مجموعات البيانات الداخلية والخارجية، مما يعكس التحدي الأوسع المتمثل في التكيف عبر المواقع المختلفة.
• يتطلب تعقيد التكامل بين الأنماط قدرًا كبيرًا من الحوسبة والبيانات للتدريب المسبق للوصول إلى التقارب، حيث كانت النسخ العشوائية من النموذج تؤدي بشكل أسوأ في بعض الحالات.

في النهاية، يقدم هذا العمل إعادة صياغة لنموذج التدريب المسبق MAE تتيح التعامل الأكثر أناقة مع بيانات الرنين المغناطيسي متعددة الأنماط للدماغ، مع إعطاء الأولوية للمتانة في مواجهة المدخلات المفقودة.