A Geometric Multimodal Foundation Model Integrating Bp-MRI and Clinical Reports in Prostate Cancer Classification
تقدم الورقة البحثية MFM-Geom، وهو نموذج تأسيسي هندسي متعدد الوسائط يدمج التصوير بالرنين المغناطيسي ثنائي المعلمات والتقارير السريرية باستخدام التعلم العميق الريماني لتحقيق تصنيف متفوق وقوي لسرطان البروستاتا مع تقليل متطلبات بيانات التدريب بشكل كبير.
المؤلفون الأصليون:Juan A. Olmos, Antoine Manzanera, Fabio Martínez
تخيل أنك محقق تحاول حل لغز ما، لكن ليس لديك سوى نصف الأدلة. في عالم الطب، وتحديداً عند البحث عن سرطان البروستاتا، يعتمد الأطباء غالباً على نوعين رئيسيين من الأدلة: نوع خاص من الصور ثلاثية الأبعاد للبروستاتا (يسمى bp-MRI) وتقرير مكتوب يحتوي على تاريخ المريض وأرقام فحوصات الدم. لفترة طويلة، كانت البرامج الحاسوبية المصممة لمساعدة الأطباء تشبه المحققين الذين ينظرون فقط إلى الصور ويتجاهلون الملاحظات المكتة. فهي تحاول تخمين الإجابة بمجرد التحديق في الصورة، وهو أمر قد يكون صعباً لأن الصور الطبية معقدة ولا توجد دائماً آلاف الأمثلة لدراستها. وهنا يأتي دور "نماذج التأسيس" (Foundation Models) — وهي عقول ذكاء اصطناعي ضخمة ومُدربة مسبقاً، تعلمت الكثير عن الصور والنصوص الطبية، تماماً مثل طالب قرأ كل الكتب المدرسية في المكتبة قبل بدء امتحان محدد. السؤال الكبير الذي يطرحه الباحثون هو: هل يمكننا بناء محقق أكثر ذكاءً ينظر إلى كل من الصور والملاحظات في نفس الوقت، باستخدام نوع خاص من الرياضيات التي تفهم كيف تتناسب هذه الأدلة المختلفة مع بعضها البعض هندسياً؟
تقدم هذه الورقة محققاً جديداً يُدعى MFM-Geom. فبدلاً من مجرد لصق صورة وتقرير نصي معاً في النهاية، يستخدم هذا النموذج حيلة ذكية تسمى "التعلم الهندسي". فكر في فهم الكمبيوتر للصورة والنص كأنه لغتان مختلفتان. عادةً، يحاول الذكاء الاصطناعي ترجمتهما إلى قائمة واحدة مسطحة من الأرقام. لكن MFM-Geom يعامل هذه الأدلة كشكل في فضاء منحني ("متعدد طيات ريمان" - Riemannian manifold)، حيث تهم المسافة والزاوية بين أدلة الصورة وأدلة النص بقدر ما تهم الأدلة نفسها. ومن خلال استخدام هذا النهج الهندسي المنحني، يمكن للنموذج إيجاد روابط خفية بين ما يظهره التصوير بالرنين المغناطيسي وما يقوله التقرير السريري، حتى عندما لا يرى الكثير من الأمثلة للتعلم منها.
اختبر الباحثون هذا المحقق الجديد على مجموعة بيانات لحالات سرطان البروستاتا. ووجدوا أن MFM-Geom كان بارعاً للغاية في رصد السرطان الهام، حتى عندما أعطوه 10% فقط من بيانات التدريب المعتادة للتعلم. في سيناريو "البيانات الصغيرة" هذا، حقق MFM-Geim درجة AUC-PR بلغت 90.67، وهي أفضل بكثير من الطرق القديمة التي كانت تنظر إلى الصور فقط أو تستخدم تقنيات الترجمة القياسية. على سبيل المثال، تفوق على أفضل نموذج يعتمد على الصور فقط بنسبة 8.3% في هذا المقياس المحدد. كما اختبرت الورقة النموذج على مجموعة بيانات مختلفة تماماً (مجموعة بيانات خارجية تسمى PROSTONE158) لمعرفة مدى قدرته على التعميم، وحافظ على درجة AUC-PR قوية بلغت 90.6، مما أثبت أن هذا النهج الهندسي قوي ومتين.
تجادل الورقة صراحة ضد فكرة أن مجرد دمج توقعات الصور والنصوص في النهاية (ما يسمى "دمج مستوى القرار" - decision-level fusion) هو السبيل الأفضل. وتقترح أن هذه الطريقة القديمة تفقد العلاقات المعقدة المبكرة بين تفاصيل الصورة والمتغيرات السريرية. بدلاً من ذلك، تقترح أن هذه الأدلة يجب أن تُنسج معاً في أعماق "دماغ" النموذج باستخدام هيكلها الهندسي. كما أظهروا أن استخدام نموذج مُدرب مسبقاً على صور عامة (مثل ImageNet) ليس فعالاً بقدر استخدام نموذج مُدرب على بيانات طبية حيوية (BiomedCLIP)، مما يشير إلى أن "المفردات الطبية" المتعلمة مسبقاً أمر بالغ الأهمية.
في تجاربهم، قارن الفريق بين MFM-Geom وعدة إعدادات أخرى: نموذج قياسي يعتمد على الصور فقط، ونموذج يقوم ببساطة بمتوسط قطع الصور، ونموذج يستخدم نفس هيكل الصورة ولكنه مُدرب مسبقاً على بيانات غير طبية. وأظهرت النتائج أن "الرأس الهندسي" (الجزء الذي يتعامل مع الرياضيات المنحنية) تفوق باستمرار على الآخرين، خاصة في الحالات الصعبة التي تتضمن مستويات متوسطة من السرطان. كما نظر المؤلفون في "خرائط الانتباه" (attention maps)، وهي تشبه الخرائط الحرارية التي توضح أين يركز الذكاء الاصطناعي. ووجدوا أن جزء الصورة في النموذج ركز على الآفات الفعلية، بينما ركز جزء النص على المتغيرات الرئيسية مثل حجم البروستاتا والمناطق المحددة، مما يؤكد أن النموذج يتعلم الأشياء الصحيحة. وبينما يعد النموذج فعالاً للغاية، يشير المؤلفون إلى أنه يستغرق وقتاً أطول قليلاً للتشغيل (حوالي 14.3 مللي ثانية لكل عينة مقارنة بـ 7.6 مللي ثانية للنموذج الأبسط)، كما أن "عملية التفكير" الداخلية للنموذج لا تزال صعبة التفسير بشكل كامل، رغم أن خرائط الانتباه تقدم لمحة عنها. في النهاية، يشير هذا العمل إلى أن معاملة البيانات الطبية كشكل هندسي بدلاً من قائمة مسطحة من الأرقام يمكن أن يكون وسيلة قوية لتحسين اكتشاف السرطان، خاصة عندما تكون البيانات شحيحة.
ملخص تقني: MFM-Geom لتصنيف سرطان البروستاتا
بيان المشكلة يعد سرطان البروستاتا (PCa) من الأورام الخبيثة المنتشرة حيث يكون التصنيف الدقيق وفي الوقت المناسب لسرطان البروستاتا ذو الأهمية السريرية (csPCa) أمراً حاسماً لنتائج العلاج. تعتمد سير العمل التشخيصية الحالية بشكل كبير على التصوير بالرنين المغناطيسي ثنائي المعلمة (bp-MRI) والمتغيرات السريرية (مثل PSA، والعمر). ومع ذلك، فإن التقييم الخبير يستغرق وقتاً طويلاً ويخضع لتباين التقدير بين القراء. تعتمد طرق التشخيص بمساعدة الحاسوب (CAD) الحالية بشكل أساسي على نماذج التعلم العميق أحادية النمط القائمة على التصوير، والتي غالباً ما تهمل السياق السريري المكمل. علاوة على ذلك، فإن النهج التي تدمج البيانات التصويرية والسريرية معاً تعتمد غالباً على دمج مستوى القرار، مما يغفل الارتباطات المعقدة في المراحل المبكرة بين السمات التصويرية والمتغيرات السريرية. بالإضافة إلى ذلك، تعاني هذه النماذج غالباً من ندرة البيانات، مما يحد من قدرتها على تعلم تمثيلات قوية.
المنهجية يقترح المؤلفون MFM-Geom، وهو نموذج تأسيسي هندسي متعدد الوسائط مصمم لتعلم التمثيلات بشكل مشترك من أحجام bp-MRI والتقارير السريرية. يتكون خط الإنتاج من ثلاثة مكونات رئيسية:
تعلم التمثيل متعدد الوسائط:
فرع التصوير: يستخدم النموذج فروعاً حجمية مستقلة لكل تسلسل من تسلسلات bp-MRI (T2W، ADC، DWI). يقوم النموذج بتكييف نموذج BiomedCLIP التأسيسي للمشفر الصوري (وهو محول رؤية، ViT) للمدخلات الحجمية باستخدام استراتيجية تضخم الأوزان (weight-inflation). يتم معالجة أحجام مناطق الاهتمام (VoIs) المدخلة إلى رقع ثلاثية الأبعاد عبر طبقة Adapter 3D (A3D)، مما يولد تضمينات الرقع وتضمين الفئة (class embedding).
فرع النص: يتم تحويل المتغيرات السريرية (العمر، PSA، PSAD، حجم البروستاتا، والامتدادات الخاصة بالمناطق) إلى تقرير نصي مهيكل بنظام "ملء الفراغات". يتم ترميز هذا التقرير ومعالجته بواسطة مشفر النصوص الخاص بـ BiomedCLIP (PubMedBERT)، مما ينتج عنه تضمينات رموز النص وتضمين الفئة.
المحاذاة التباينية: يتم ضبط النموذج بدقة باستخدام فقد تبايني (InfoNCE) لمحاذاة تضمينات فئة التصوير وتضمينات فئة النص في مساحة كامنة مشتركة، مما يعظم التشابه للأزواج المتقابلة ويقلل منه للأزواج غير المتقابلة.
رأس التصنيف الهندسي:
بدلاً من الاعتماد فقط على تضمينات رمز الفئة، يوحد الأسلوب جميع تضمينات الرقع والرموز النصية في تسلسل متعدد الوسائط واحد.
يتم حساب واصف موجب محدد متماثل (SPD) (S0) من هذا التسلسل لالتقاط العلاقات والارتباطات الزوجية بين التصوير والمتغيرات السريرية.
للحفاظ على البنية الهندسية الجوهرية لمنطويد (manifold) الـ SPD، يستخدم النموذج التعلم العميق الريماني. يتضمن ذلك كتلة BiRe (تتكون من طبقة رسم خرائط خطي وطبقة تصحيح) تقوم بمعالجة مصفوفات SPD مع الحفاظ على خصائصها الهندسية.
يتم إسقاط التمثيلات في المجال الإقليدي عبر طبقة LogEig وتمريرها عبر مدرك متعدد الطبقات (MLP) للتصنيف النهائي.
استراتيجية التدريب:
يستفيد النموذج من التدريب المسبق على ملايين الأزواج من الصور والنصوص الطبية الحيوية. ما يتم ضبطه بدقة باستخدام دالة فقد مشتركة: الفقد ثنائي التقاطع (binary cross-entropy) للتصنيف، والفقد التبايني للمحاذاة.
المساهمات الرئيسية يحدد البحث أربع مساهمات رئيسية:
تكييف النموذج التأسيسي الطبي الحيوي: تكييف نموذج طبي حيوي متعدد الوسائط لتشخيص سرطان البروستاتا، باستخدام مشفرات مستقلة لأحجام bp-MRI والتقارير النصية المستمدة من متغيرات مثل موقع منطقة البروستاتا والامتداد خارج البروستاتا.
واصف SPD: تقديم واصف SPD لالتقاط الارتباطات متعددة الوسائط من تضمينات المشفر، مما يوفر بديلاً للتصنيف القائم على رمز الفئة القياسي.
الرأس الهندسي: تطوير وحدة تعلم ريماني عميقة (الرأس الهندسي) لمعالجة واصف SPD مع الحفاظ على البنية الهندسية لمنطويد SPD.
التعلم التبايني: تنفيذ دالة فقد تباينية لمحاذاة تضمينات التصوير والنصوص المتعلقة بسرطان البروستاتا ضمن مساحة كامنة متعددة الوسائط.
النتائج تم تقييم النموذج على مجموعة بيانات PI-CAI (داخلية) ومجموعة بيانات PROSTATE158 (خارجية).
كفاءة البيانات: باستخدام 10% فقط من بيانات التدريب، حقق MFM-Geom AUC-PR بلغ 90.67 في مهمة التمييز بين حالات غير سريرية الخطورة وحالات السرطان متوسطة/عالية الخباثة. وقد تفوق هذا على النماذج أحادية الوسائط (UFM-C, UFM-GAP) والنماذج التي لا تحتوي على رؤوس هندسية بفارق كبير (على سبيل المثال، +8.3% عن UFM-C).
التعميم: في مجموعة البيانات الخارجية PROSTATE158، أظهر الرأس الهندسي متانة، حيث حقق كل من MFM-Geom والمتغير أحادي الوسائط الهندسي (UFM-Geom) درجات AUC-PR بلغت 90.6 و 90.61 على التوالي، متفوقين على النماذج المعتمدة على Image-Net ونماذج التصنيف القياسية.
مقاييس الأداء: أظهرت النماذج الهندسية باستمرار معدلات إنذار كاذب (False Positive Rates) أقل عند معدل إيجابي حقيقي 95% (FPR95) مقارنة بالنماذج المرجعية.
القابلية للتفسير: أشارت خرائط الانتباه إلى أن مشفر الصور ركز على الآفات، بينما سلط مشفر النص الضوء على المتغيرات السريرية ذات الصلة (مثل PSAD، وامتداد الآفة)، مما يؤكد أن النموذج تعلم تمثيلات متعددة الوسائط متماسكة.
الأهمية والادعاءات يزعم المؤلفون أن MFM-Geom يعالج قيود النماذج أحادية الوسائط ونهج دمج مستوى القرار من خلال إنشاء مساحة كامنة موحدة تحترم البنية الهندسية للبيانات متعددة الوسائط. ويؤكد البحث أن الرأس الهندسي المقترح يتفوق على رؤوس التصنيف التقليدية، خاصة في ظروف توافر البيانات المحدودة. تشير النتائج إلى أن دمج السياق السريري مع التصوير عبر نموذج تأسيسي هندسي يعزز اكتشاف الآفات متوسطة الخباثة، وهو أمر ذو أهمية سريرية للقرارات المتعلقة بالمراقبة النشطة مقابل العلاج العدواني. يوضح العمل أن ضبط النماذج التأسيسية الطبية الحيوية باستخدام وحدات تعلم هندسية يمكن أن يحقق أداءً تنافسياً مع النهج القائمة على الشبكات العصبية التلافيفية (CNN) مع استخدام كمية أقل بكثير من بيانات التدريب.