تخيل عالماً تستطيع فيه الحواسيب النظر إلى صورة وإخبارك بقصة عنها. هذا هو سحر "نماذج الرؤية واللغة" (Vision-Language Models)، وهو فرع من فروع الذكاء الاصطناعي يعمل كمترجم فائق الذكاء بين ما نراه وما نقوله. لفترة طويلة، كانت هذه المساعدات الذكية بارعة في النظر إلى الصور ثنائية الأبعاد المسطحة، مثل لقطة لقطة أو غروب الشمس. لكن جسم الإنسان ليس مسطحاً؛ بل هو لغز معقد ثلاثي الأبعاد. يستخدم الأطباء نوعاً خاصاً من الكاميرات يسمى التصوير بالرنين المغناطيسي (MRI) لأخذ "شرائح" ثلاثية الأبعاد عميقة من داخل أجسامنا، مما ينشئ خريطة حجمية لأدمغتنا وأعضائنا. التحدي كان يتمثل في تعليم الحواسيب ليس فقط رؤية هذه الأشكال ثلاثية الأبعاد، بل وفهم "نكهات" مختلفة من الفحص (مثل كيف يبدو الماء مختلفاً عن الدهون) ثم الدردشة مع الأطباء حول ما تراه بلغة إنجليزية بسيطة. إذا استطعنا فك هذه الشفرة، فقد يعني ذلك تشخيصات أسرع وأكثر وضوحاً للمرضى ومساعداً جديداً قوياً للأطباء المرهقين.
إليك Mr3D-VL، وهو نموذج ذكاء اصطناعي جديد صُمم خصيصاً ليكون المحقق النهائي لصور الدماغ ثلاثية الأبعاد. فكر فيه كمتدرب طبي قرأ كل الكتب الدراسية، وحفظ كل خرائط الدماغ ثلاثية الأبعاد، ويمكنه إجراء محادثة مع جراح. على عكس النماذج القديمة التي حاولت تسطيح المسوح ثلاثية الأبعاد إلى مجموعة من الصور ثنائية الأبعاد (مثل النظر إلى رغيف خبز شريحة تلو الأخرى وتخمين شكل الرغيف بأكمله)، فإن Mr3D-VL يفهم الرغيف ككائن ثلاثي الأبعاد كامل. لقد بُني للتعامل مع الرنين المغناطيري "متعدد المعلمات" (multiparametric)، مما يعني أنه يمكنه النظر إلى عدة أنواع مختلفة من مسوحات الدماغ في وقت واحد — حيث يسلط كل نوع الضوء على أنسجة مختلفة مثل كشاف ملون مختلف.
وجد الباحثون أن Mr3D-VL يغير قواعد اللعبة. فبامتلاكه 4 مليارات معلمة (وهي بمثابة الخلايا العصبية للذكاء الاصطناعي)، تعلم الربط بين أنواع المسوحات المختلفة وتحويلها إلى تقارير واضحة بلغة طبيعية. وفي الاختبارات، لم يكتفِ بالتخمين؛ بل أنتج تقارير طبية بدرجة عالية بلغت 0.856 (على مقيض حيث كلما زاد الرقم كان أفضل)، وأجاب على أسئلة صعبة حول أورام الدماغ بدقة بلغت 91.2% في سيناريوهات الاختيار من متعدد. حتى أنه تمكن من القيام بكل هذا مع استخدام طاقة حاسوبية وذاكرة أقل بكثير من النماذج العملاقة الأخرى، مما يجعل من الممكن تشغيله على أجهزة أصغر وأكثر سهولة في الوصول إليها.
تجادل الورقة البحثية بأن الطريقة القديمة في القيام بالأشياء — وهي معاملة المسوحات ثلاثية الأبعاد كمجموعة من الشرائح ثنائية الأبعاد أو محاولة جعل النموذج يتعلم من نوع واحد فقط من المسوحات في كل مرة — تغفل الصورة الكبيرة. ومن خلال تعليم الذكاء الاصطناعي رؤية "عمق" البيانات وفهم كيفية ارتباط أنواع المسح المختلفة ببعضها البعض في الفضاء ثلاثي الأبعاد، يشير Mr3D-VL إلى أننا نستطيع أخيراً جعل الذكاء الاصطناعي يتحدث لغة الأطباء بطلاقة. الأمر لا يتعلق فقط برصد مشكلة ما؛ بل يتعلق بشرح أين توجد، وكيف تبدو في الأبعاد الثلاثية، ولماذا هي مهمة، كل ذلك في محادثة واحدة متماسكة.
ملخص تقني: Mr3D-VL
بيان المشكلة
يعد التصوير بالرنين المغناطيسي متعدد المعلمات (mpMRI) حجر الزاوية في تشخيص وعلاج أورام الدماغ، ومع ذلك تواجه نماذج الذكاء الاصطناً الحالية قيوداً حرجة في قابليتها للتطبيق السريري. تعاني الحلول الحالية من ثلاثة تحديات رئيسية:
الافتقار إلى التفاعل باللغة الطبيعية: لا يستطيع الأطباء الاستعلام عن الخصائص المكانية للأورام، أو الارتباطات بين الأنماط (modes)، أو الآثار السريرية مباشرة عبر اللغة الطبيعية، مما يحد من فائدة النماذج الحالية في التخطيط الجراحي وتقييم المخاطر.
التعقيد المكاني والنمطي: تعكس أنماط الرنين المغناطوري المختلفة (مثل T1، T2، DWI) اختلافات جوهرية في خصائص الأنسجة، مما يتطلب من النماذج فهم المعاني الفيزيائية المتميزة. علاوة على ذلك، غالباً ما يحدث عدم محاذاة مكاني بسبب حركة المريض بين عمليات المسح ذات الفترات الزمنية المتفاوتة.
القيود في نماذج VL ثلاثية الأبعاد الحالية: بينما تظهر نماذج الرؤية واللغة (VLMs) إمكانات واعدة، فإن معظمها يقوم بتكييف البنى ثنائية الأبعاد للبيانات ثلاثية الأبعاد عبر معاملة الأحجام كشرائح ثنائية الأبعاد متسلسلة. هذا النهج يهمل العلاقات المكانية ثلاثية الأبعاد الصريحة، ويقطع الاستمرارية الحجمية، ويتسبب في نمو أسي في عدد الرموز (tokens). كما تفشل نماذج 3D VL الحالية (مثل تلك المخصصة للأشعة المقطعية CT) في معالجة التحدي المحدد المتمثل في الاستدلال التعاوني عبر أنماط تصوير متعددة مطلوب في mpMRI. بالإضافة إلى ذلك، فإن ندرة مجموعات البيانات ثلاثية الأبعاد عالية الجودة (صور-نصوص) تعيق التعلم الخاضع للإشراف.
المنهجية
قدم المؤلفون Mr3D-VL، وهو نموذج تأسيسي للرؤية واللغة عام بقدر 4 مليارات معلمة (parameters)، مصمم خصيصاً للرنين المغناطيسي ثلاثي الأبعاد متعدد المعلمات. تتكون البنية من ثلاثة مكونات أساسية:
1. بنية النموذج
مشفر رؤية ثلاثي الأبعاد مشترك: على عكس النهج التي تستخدم مشفرات خاصة بكل نمط أو معالجة تعتمد على الشرائح ثنائية الأبعاد، يستخدم Mr3D-VL مشفراً بصرياً ثلاثي الأبعاد محايداً للأنماط يعتمد على MedNext (باستاستخدام ConvNeXt3D، وUpKern، والتحجيم المركب). تم تدريب هذا المشفر مسبقاً باستخدام بنية Dino-v2 بطريقة غير خاضعة للإشراف، مما يلغي الحاجة إلى الملصقات النصية ويسمح بالتقاط كل من الميزات داخل النمط الواحد والاختلافات بين الأنماط.
الترميز الموضعي الدوراني رباعي الأبعاد (4D-RoPE): لمعالجة التعقيد المكاني للبيانات الحجمية، قام النموذج بتوسيع الترميز الموضعي التقليدي إلى نظام إحداثيات رباعي الأبعاد: الزمن (النمط)، العمق (محور z)، العرض (محور x)، والارتفاع (محور y). يسمح هذا للنموذج بتعيين ترميزات موضعية متميزة لرموز النصوص وأبعاد مكانية محددة للحجم ثلاثي الأبعاد، مما يسهل الدمج ثنائي الأبعاد لمعلومات النمط والتموضع المكاني.
غرس الميزات متعدد الدقة: مستلهماً من DeepStack وUNet، يستخرج النموذج خرائط ميزات منخفضة، ومتوسطة، وعالية الدقة من بنية الهرم للمشفر البصري. يتم دمج هذه الميزات عبر محول رؤية (ViT) وزرعها تدريجياً في الطبقات المتوسطة لمفكك الشفرة الخاص بالنموذج اللغوي الكبير (LLM). تضمن هذه الاستراتيجية أن ينتبه الـ LLM إلى كل من السياق العالمي والتفاصيل التشخيصية الدقيقة. // ملاحظة: تم استخدام "المفكك" لترجمة Decoder.
العمود الفقري للنموذج اللغوي الكبير (LLM Backbone): يستخدم النموذج Qwen3-4B-Instruct كعمود فقري لغوي، حيث يعالج النصوص المدمجة مع التضمينات البصرية ثلاثية الأبعاد المتوقعة بشكل تلقائي (autoregressively).
2. خط إنتاج توليد البيانات
للتغلب على ندرة مجموعات البيانات الطبية ثلاثية الأبعاد متعددة الأنماط، طور المؤلفون خط إنتاج لتوليد البيانات مدفوعاً بالنماذج اللغوية الكبيرة (LLM-driven):
تحليل التقارير والتعزيز: يتم تحليل التقارير السريرية لاستخراج المعلومات المهيكلة. تقوم النماذج اللغوية الكبيرة بإعادة كتابة هذه التقارير لتعزيز التماسك المنطقي، ودمج المعرفة الطبية، وتوليد أوصاف متنوعة للأنماط الفردية أو المتعددة.
التأسيس الموجه من قبل الخبراء: يتم دمج نتائج التجزئة (segmentation) والكشف (detection) من نماذج أصغر ومتخصصة لتوفيد تحديد مكاني دقيق (صناديق الإحاطة - bounding boxes) للآفات والمناطق التشريحية.
بناء مجموعة البيانات الاصطناعية: ينتج الخط أربعة أنواع من بيانات التدريب: أوصاف الأنماط، أوصاف المناطق التشريحية، الاستدلال القائم على التجزئة/الكشف، وأزواج الأسئلة والأجوبة الخاصة بالإدراك المكاني. نتج عن ذلك مجموعة بيانات تضم 103,605 حالة (460,541 صورة) تغطي ثمانية أنماط.
3. خط تدريب النموذج
تنقسم عملية التدريب إلى مرحلتين رئيسيتين:
التدريب المسبق (Pre-training): تم إجراؤه في ثلاث مراحل (S0، S1، S2) تنتقل من محاذاة النص القصير أحادي النمط إلى فهم السياق الطويل متعدد الأنماط. يتضمن ذلك تجميد/إلغاء تجميد مكونات محددة (وحدة الإسقاط، المشفر، الـ LLM) لسد الفجوة بين الأنماط وتعلم الاستدلال عبر الأنماط.
التدريب الدقيق الخاضع للإشراف (SFT): الهدف هو التدريب الدقيق الموجه نحو مهام محددة على ما يقرب من 300,000 عينة، بما في ذلك توليد التقارير الإشعاعية والإجابة على الأسئلة المفتوحة أو متعددة الخيارات.
المساهمات الرئيسية
توليد البيانات المدفوع بالنماذج اللغوية الكبيرة: خط إنتاج مبتكر يقوم بتحليل التقارير السريرية ودمج الاستدلال من نماذج أصغر لتوليد مجموعات بيانات متعددة الأنماط (صورة-نص) متنوعة وعالية الجودة، مما يعالج ندرة البيانات وعدم التماسك الدلالي.
التدريب المسبق غير الخاضع للإشراف مع مشفر مشترك: مشفر ثلاثي الأبعاد محايد للأنماط مشترك عبر جميع الأنماط، تم تدريبه مسبقاً عبر Dino-v2، مما يقلل عدد المعلمات مع تعزيز قدرات الدمج بين الأنماط.
الترميز الموضعي الدوراني رباعي الأبعاد: استراتيجية ترميز متخصصة تضيف بُعد "العمق" إلى الترميز ثلاثي الأبعاد التقليدي، مما يبني نظاماً رباعي الأبعاد لتوحيد معلومات النمط والمعلومات المكانية ضمن مساحة فك تشفير الـ LLM.
غرس الميزات متعدد الدقة: استراتيجية تحقن الميزات من مستويات دقة متعددة في طبقات مفكك شفرة الـ LLM، مما يسمح بالانتباه التعاوني للميزات العالمية والتفصيلية دون فقدان التفاصيل ذات الصلة تشخيصياً.
النتائج التجريبية
تم تقييم Mr3D-VL مقابل النماذج المتخصصة في المجال (Hulu-Med، Lingshu) والنماذج العامة (سلسلة Qwen3.5) في مهام توليد التقارير الإشعاعية والأسئلة البصرية (VQA).
توليد التقارير: حقق Mr3D-VL درجة BERTScore بلغت 0.856، متفوقاً بشكل كبير على Qwen3.5-4B (0.688) والنماذج الطبية المتخصصة مثل Hulu-Med (0.659). كما أظهر أداءً فائقاً في مقاييس METEOR (0.496) وCIDEr (0.655).
الإجابة على الأسئلة:
المفتوحة: حقق دقة بلغت 0.713، وهو تحسن بنسبة ~20% عن النماذج الموجودة.
متعددة الخيارات: حقق دقة بلغت 0.912، وهو تحسن بنسبة ~13% عن النماذج الموجودة.
الكفاءة: رغم امتلاكه 4 مليارات معلمة فقط (مقارنة بـ 7 مليار أو 35 مليار في المنافسين)، أظهر Mr3D-VL كفاءة حسابية فائقة. في حالة إدخال 5 أنماط، قلل العمليات الحسابية (FLOPs) بنسبة 96% مقارنة بـ Qwen3.5-4B، وقلل ذروة استخدام ذاكرة وحدة معالجة الرسومات (GPU) بنسبة 93% مقارنة بـ Lingshu-7B.
المتانة: على عكس النماذج الأخرى التي أظهرت تدهوراً في الأداء أو ضجيجاً دلالياً مع زيادة عدد الأنماط المدخلة، حافظ Mr3D-VL على استقرار مقاييس BERTScore وMETEOR، مما يشير إلى قدرات استدلال شاملة ومتينة.
الأهمية والادعاءات
يضع البحث نموذج Mr3D-VL كتحول جذري في التحليل الذكي لـ mpMRI، من مجرد الكشف البسيط إلى التفاعل القابل للتفسير سريرياً. من خلال تمكين الاستعلام باللغة الطبيعية، يسمح النموذج للأطباء بطرح أسئلة تشخيصية مباشرة وتلقي استجابات تتضمن التحديد التشريحي، والخصائص الإشارية، والمعلمات الوظيفية.
يدعي المؤلفون أن هذه القدرة تعزز بشكل كبير كفاءة ودقة اتخاذ القرار السريري في التشخيص وتخطيط العلاج. إن قدرة النموذج على التعامل مع البيانات ثلاثية الأبعاد متعددة الأنماط بشكل أصيل، دون فقدان المعلومات المرتبط بالشرائح ثنائية الأبعاد، تعالج فجوة حرجة في الذكاء الاصطناعي الطبي الحالي. يهدف هذا العمل إلى تسهيل الانتقال من "التشخيص الإشعاعي" إلى "الطب الدقيق" من خلال توفير أساس لأنظمة مستقبلية يمكنها دمج البيانات الجينية، وتاريخ العلاج، والحوار السريري متعدد الجولات.