BrainAnytime: Anatomy-Aware Cross-Modal Pretraining for Brain Image Analysis with Arbitrary Modality Availability

ملخص تقني لـ "BrainAnytime: التدريب المسبق عبر الأنماط المدرك للتشريح لتحليل صور الدماغ مع توافر عشوائي للأنماط"

بيان المشكلة

تتبع مسارات التشخيص السريري للأمراض التنكسية العصبية، ولا سيما مرض ألزهايمر (AD)، "مسار تصعيد الأنماط". عادةً ما يبدأ الأطباء بالتصوير الهيكلي الروتيني (مثل T1-weighted MRI)، ثم يضيفون بشكل انتقائي تسلسلات أخرى (مثل FLAIR، T2) لتنقيح التشخيصات التفريقية، ويحتفظون بالتصوير الجزيئي (مثل amyloid-PET) للحالات غير المؤكدة. وبناءً على ذلك، تتميز بيانات المرضى في المجموعات الواقعية بوجود مجموعات فرعية متباينة وغير مكتملة من الأنماط غالباً.

تفترض النماذج الذكية الحالية عموماً مدخلات ذات أنماط ثابتة، مما يتطلب تبديلاً هيكلياً أو إعادة تدريب عند تغير توافر البيانات. علاوة على ذلك، تعاني نماذج التدريب المسبق لنماذج الدماغ واسعة النطاق الحالية من ثلاث قيود في هذا السياق:

1. هي عادةً تقتصر على التصوير بالرنين المغناطيسي (MRI) فقط، وتفشل في تعلم جسور صريحة إلى تصوير الأميلويد (amyloid-PET)، وهو مؤشر حيوي حاسم.
2. تفترض تركيبات ثابتة للأنماط، مما لا يتوافق مع حالات فقدان البيانات المرتبطة بالمراحل الزمنية في الواقع.
3. يعتمد التدريب المسبق القياسي للمشفر التلقائي المقنع (MAE) على قناع مكاني موحد، متجاهلاً حقيقة أن مرض ألزهايمر يظهر ضعفاً مناطقياً انتقائياً (مثل الحصين) بدلاً من كونه مرضاً موحداً في التوزيع.

المنهجية

يقترح المؤلفون BrainAnytime، وهو إطار عمل موحد للتدريب المسبق مصمم لدعم تحليل صور الدماغ تحت أي ظرف من ظروف توافر الأنماط. تم تدريب الإطار مسبقاً على 34,899 مسحاً دماغياً ثلاثي الأبعاد من خمس مجموعات بيانات (A4, DOD-ADNI, AIBL, BraTS23, NACC) تشمل تسلسلات متعددة من الرنين المغناطيسي (MRI) وتصوير الأميلويد (amyloid-PET). يدمج الإطار ثلاثة مكونات أساسية ضمن بنية مشفر تلقائي ثلاثي الأبعاد مقنع مشترك:

1. Multi-MAE3D (المشفر التلقائي المقنع متعدد الأنماط ثلاثي الأبعاد)

• البنية: يعالج مشفر Transformer مشترك أي مجموعة فرعية من الأنماط المتاحة (T1, T2, FLAIR, PET).
• الترميز (Tokenization): يستخدم كل نمط تضميناً (patch embedding) ثلاثي الأبعاد عبر التلافيف (convolutional) خاصاً بهذا النمط.
• التعامل مع البيانات المفقودة: يتم قناع الأنماط المفقودة بالكامل. وللحفاظ على عدد ثابت من الرموز (tokens) بغض النظر عن توافر الأنماط، يتم إعادة توزيع ميزانية الرم tokens المرئية بين الأنماط الملحوظة باستخدام توزيع ديريكليه (Dirichlet distribution - Dir($\alpha$)).
• فك التشفير (Decoding): يمتلك كل نمط مفكك تشفير خفيف الوزن لإعادة بناء جميع الرقع (patches). تُحسب خسارة التدريب ($L_{MAE}$) فقط على الرقع المقنعة باستخدام متوسط مربع الخطأ مع تطبيع لكل رقعة.

2. التقطير المتبادل عبر الأنماط (RCMD)

• الهدف: تعلم الارتباطات بين الرنين المغناطيسي الهيكلي والتصوير الجزيئي (PET).
• الآلية: تستخدم شبكة معلم تعتمد على المتوسط المتحرك الأسي (EMA) نفس بنية المشفر. بالنسبة لعينات (MRI-PET) المزدوجة، يتم حساب التمثيلات على مستوى المجموعة ($z_{MRI}$ و $z_{PET}$) عبر التجميع المتوسط (average pooling).
• الخسارة: يتم تدريب متنبئين متناظرين من نوع MLP (أي $g_{M\to P}$ و $g_{P\to M}$) للتنبؤ بميزات المعلم عبر الأنماط. تعمل الخسارة ($L_{RCMD}$) على تعظيم تشابه جيب التمام (cosine similarity) بين ميزات الطالب المتنبأ بها وميزات المعلم في فضاء النمط المقابل.

3. القناع المنهجي المدرك للتشريح (PACM)

• الهدف: إعطاء الأولوية للتشريح المعرض للمرض أثناء عملية إعادة البناء بدلاً من القناع الموحد.
• تسجيل الأهمية: يتم اشتقاق درجة ثابتة من الأولويات التشريحية المرضية (Braak staging) المخططة عبر أطلس AAL116. كما يتم الحصول على درجة ديناميكية عبر تجميع خرائط الانتباه من معلم تشريحي يعمل بنظام EMA. يتم دمج هذه العناصر لتوليد درجات أهمية الرقع.
• الجدول الزمني للمنهج: يتم استخدام استراتيجية ثلاث مراحل:
  1. المرحلة المبكرة: قناع عشوائي موحد.

2. المرحلة المتوسطة: يتلاشى معامل الحرارة ($\tau$) عبر اضمحلال جيب التمام (cosine decay)، مما يؤدي إلى جعل توزيع القناع أكثر حدة لتركيز القناع على المناطق عالية الأهمية (أي إجبار النموذج على إعادة بناء المناطق الحرجة).
3. المرحلة المتأخرة: درجة حرارة ثابتة.

• الاختيار: يتم اختيار الرقع باستخدام خدعة Gumbel-top-k، مما يضمن أن الرقع عالية الأهمية هي الأكثر عرضة للقناع وبالتالي إعادة البناء.

التدريب والضبط الدقيق:
إجمالي الخسارة هو $L = L_{MAE} + \lambda \cdot \mathbb{1}_{[paired]} \cdot L_{RCMD}$. بالنسبة للمهام اللاحقة، يُستخدم فقط مشفر الطالب مع رأس مهمة خفيف الوزن. تظل الأنماط المفقودة معدومة (zeroed) ومحظورة عن الانتباه (attention-blocked) أثناء الاستدلال، مما يضمن قدرة النموذج على التعامل مع أي مجموعة فرعية دون تغييرات هيكلية.

المساهمات الرئيسية

1. إطار عمل موحد: نموذج واحد قادر على قبول أي مجموعة فرعية من الأنماط (من مسح T1 منفرد إلى فحص كامل متعدد الأنماط) دون إعادة تدريب أو تبديل هيكلي.
2. التعلم عبر الأنماط: يتعلم صراحةً الارتباطات الهيكلية-الجزيئية بين MRI و PET عبر التقطير المتبادل، مما يجسّر الفجوة بين الأدلة الهيكلية والمرضية.
3. التدريب المسبق المدرك للتشريح: يقدم استراتيجية قناع منهجية توجه جهد إعادة البناء للنموذذ نحو التشريح العصبي الأكثر ارتباطاً بمرض ألزهايمر، معالجةً بذلك قصور القناع الموحد في نماذج MAE القياسية.
4. تدريب مسبق قابل للتوسع: نجح في التدريب المسبق على مجموعة بيانات ضخمة وغير متجانسة (34,899 مسحاً) تحاكي أنماط فقدان البيانات السريرية.

النتائج التجريبية

تم تقييم النموذج في أربع مهام لاحقة (CN vs. AD، CN vs. MCI، انحدار MMSE، التنبؤ بالعمر) عبر خمس إعدادات أنماط مدفوعة سريرياً (تتراوح من T1-only إلى T1+T2+FLAIR+PET).

• الأداء: تفوق BrainAnytime على النماذج المخصصة لنمط معين (مثل 3D ResNet, M3T)، وطرق دمج النمط المزدوج، ونماذج التأسيس الدماغية واسعة النطاق (BrainIAC, SAM-Brain3D)، ونهج التعلم متعدد الأنماط غير المكتمل (Flex-MoE, FuseMoE).
• المقاييس الرئيسية:
  • CN vs. AD: حقق متوسط دقة قدره 89.4% (مقابل 84.2% لأقوى نموذج أساسي من نوع Flex-MoE)، مما يمثل تحسناً نسبياً قدره 6.2% عن أقوى نموذج أساسي في حالة نقص الأنماط.
  • CN vs. MCI: حقق متوسط دقة قدره 67.2% (مقابل 60.6% لـ MoE-retriever)، وهو تحسن نسبي قدره 7.0%.
  • الانحدار: أظهر أداءً فائقاً في التنبؤ بـ MMSE والعمر عبر جميع إعدادات الأنماط.
• المتانة: أكدت دراسة المتانة داخل الشخص الواحد أن الأداء يتحسن باستمرار مع إضافة المزيد من الأنماط (على سبيل المثال، ارتفع F1 لـ CN vs. AD من 65.0% مع T1-only إلى 80.4% مع المدخلات الكاملة)، مما يثبت قدرة النموذج على الاستفادة من البيانات المتاحة بفعالية.
• الدراسة الاستبعادية (Ablation): أدى إزالة RCMD أو PACM بشكل فردي إلى انخفاض في الأداء، مما يؤكد ضرورة كل من التقطير عبر الأنماط والقناع المدرك للتشريح.

الأهمية

يدعي البحث أن BrainAnytime يعالج فجوة حرجة بين الواقع السريري (الحصول على البيانات على مراحل وغير مكتملة) والنماذج الذكية الحالية (التي تعتمد على مدخلات ثابتة). من خلال تمكين نموذج واحد من قبول أي مجموعة فرعية من الأنماط بمرونة، فإنه يتوافق مع مسار تصعيد الأنماط السريري. يثبت إطار العمل أن التدريب المسبق باستخدام التقطير عبر الأنماط والقناع المدرك للتشريح ينتج نموذجاً تأسيسياً قوياً يتفوق بشكل كبير على النماذج الأساسية الحالية، خاصة في السيناريوهات التي تكون فيها البيانات غير مكتملة أو الأنماط مفقودة. يوفر هذا النهج حلاً عملياً لنشر الذكاء الاصطناعي في البيئات السريرية الواقعية حيث نادراً ما تتوفر بيانات متعددة الأنماط لكل مريض.