🤖 AI

Adapting 2D Multi-Modal Large Language Model for 3D CT Image Analysis

تقترح هذه الورقة طريقة لتكييف النماذج اللغوية الكبيرة متعددة الوسائط ثنائية الأبعاد لتحليل صور الأشعة المقطعية ثلاثية الأبعاد من خلال إعادة استخدام المعلمات المدربة مسبقاً وتقديم إطار عمل "خليط الخبراء" (MoE) هرمي موجه بالنص مع استراتيجية تدريب ثنائية المراحل للتعامل بفعالية مع المهام الطبية ثلاثية الأبعاد مثل توليد التقارير والإجابة على الأسئلة البصرية.

المؤلفون الأصليون: Yang Yu, Dunyuan Xu, Yaoqian Li, Xiaomeng Li, Jinpeng Li, Pheng-Ann Heng

نُشر 2026-04-14

📖 4 دقيقة قراءة☕ قراءة في استراحة قهوة

CC BY 4.0

المؤلفون الأصليون: Yang Yu, Dunyuan Xu, Yaoqian Li, Xiaomeng Li, Jinpeng Li, Pheng-Ann Heng

البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل

تخيل أنك تحاول تعليم ناقد فني بارع وعالمي (الذكاء الاصطناعي) كيفية فهم المسحات الطبية ثلاثية الأبعاد مثل الأشعة المقطعية (CT) أو الرنين المغناطيسي (MRI).

إليك المشكلة: هذا الناقد قضى حياته بأكملها في دراسة اللوحات والصور الفوتوغرافية ثنائية الأبعاد. إنه بارع جداً في وصف صورة قطة مسطحة. لكن الآن، تقدم له كتلة ضخمة من الجبن ثلاثية الأبعاد (مسحة طبية ثلاثية الأبعاد) وتطلب منه وصف الثقوب الموجودة بداخلها أو الإجابة على أسئلة محددة حول فتات صغير جداً. يصاب بالارتباك لأنه لم يسبق له رؤية كائن ثلاثي الأبعاد، وليس لديه ما يكفي من الكتب التدريبية (البيانات) ليتعلم من الصفر.

تقترح هذه الورقة حلاً ذكياً لإصلاح ذلك. وإليك كيف يعمل الأمر، مقسماً إلى خطوات بسيطة:

1. التكيف من "2D إلى 3D" (تعليم الناقد إدراك العمق)

بدلاً من محاولة بناء ناقد جديد تماماً (وهو أمر صعب لعدم وجود كتب طبية ثلاثية الأبعاد كافية)، يأخذ المؤلفون ناقدهم الحالي الذكي جداً في ثنائية الأبعاد ويمنحونه نظارات خاصة.

الطريقة القديمة: حاول الباحثون السابقون بناء "عقل" جديد مخصص للثلاثي الأبعاد فقط. ولكن لأن الصور الطبية ثلاثية الأبعاد قليلة جداً في العالم مقارنة بمليارات الصور ثنائية الأبعاد على الإنترنت، فإن هذا العقل الجديد يكون ضعيفاً ولم يتعلم الكثير.
الطريقة الجديدة: يأخذون "العقل" القوي ثنائي الأبعاد (الذي يعرف بالفعل كيفية رؤية الأنسجة والأشكال) ويقومون بتعديل "عدساته". يعلمونه أن ينظر إلى المسحة ثلاثية الأبعاد ليس ككتلة واحدة ضخمة، بل كمجموعة من الشرائح ثنائية الأبعاد (مثل النظر عبر رغيف خبض). يقومون بتعديل الطبقات الداخلية للعقل حتى يمكنه فهم عمق الرغيف، وليس مجرد سطح شريحة واحدة.
النتيجة: يحصل الذكاء الاصطناعي على "الخبرة العملية" من عالم ثنائي الأبعاد، لكنه يتعلم كيفية التنقل في "العالم ثلاثي الأبعاد" دون أن ينسى ما عرفه بالفعل.

2. "النموذج الهرمي الموجه بالنص" (لوحة التوزيع الذكية)

الآن بعد أن أصبح بإمكان الذكاء الاصطناعي رؤية المسحة ثلاثية الأبعاد، تظهر مشكلة ثانية. يستخدم الأطباء هذه المسحات لوظيفتين مختلفتين تماماً:

كتابة تقرير (MRG): "صف كل شيء تراه في هذه المسحة". (يتطلب رؤية شاملة وعامة).
الإجابة على سؤال (MVQA): "هل يوجد ورم في الكلية اليسرى؟" (يتطلب تركيزاً دقيقاً وحاداً على نقطة واحدة فقط).

استخدمت نماذج الذكاء الاصطناعي السابقة نفس "وضع العقل" لكلا المهمتين. الأمر يشبه استخدام عدسة كاميرا واسعة الزاوية لالتقاط صورة شخصية (سيلفي)؛ ستحصل على الغرفة بأكملها، لكن الوجه سيكون ضبابياً.

بنى المؤلفون لوحة توزيع ذكية تسمى TGH-MoE:

الدليل النصي: ينظر الذكاء الاصطناعي إلى سؤال الطبيب (المطالبة النصية). إذا كان النص يقول "اكتب تقريراً"، تعرف لوحة التوزيع وجوب استخدام خبراء "الرؤية الشاملة". أما إذا قال النص "أين الورم؟"، فإنها تنتقل إلى خبراء "التركيز الحاد".
الهيكلية (التسلسل الهرمي): إنها تشبه فريق إدارة مكون من مستويين.
- المستوى 1 (مدير المهام): يقرر أي فريق سيتم استخدامه (فريق التقارير أم فريق الأسئلة).
- المستوى 2 (المتخصصون): داخل كل فريق، هناك العديد من المتخصصين الصغار الذين ينظر كل منهم إلى جزء صغير من الصورة لبناء الإجابة النهائية.
التشبيه: تخيل مطعماً. إذا طلت "قائمة تذوق كاملة" (تقرير)، يستخدم الطاهي جميع مهاراته لتحضير وجبة كاملة. وإذا طلبت "الحساء فقط" (سؤال)، يركز الطاهي تماماً على صنع الحساء المثالي. يفعل الذكاء الاصطناعي الشيء نفسه تلقائياً بناءً على طلبك.

3. التدريب على مرحلتين (استراتيجية "التعميم ثم التخصص")

لا يمكنك مجرد تشغيل المفتاح وتوقع أن يكون الذكاء الاصطناعي مثالياً على الفور. إذا حاولت تعليمه أن يكون شاملاً ومتخصصاً في نفس الوقت، فسيصاب بالارتباك ويتعلم بشكل سيء.

لذلك، استخدم المؤلفون معسكراً تدريبياً من مرحلتين:

المرحلة 1 (مرحلة الشمولية): يقومون بإيقاف "لوحة توزيع المهام". يجبرون الذكاء الاصطناعي على النظر إلى كل من التقارير والأسئلة باستخدام "وضع عقل" واحد. هذا يعلم الذكاء الاصطناعي الأساسيات المشتركة للصور الطبية (كيف يبدو شكل الكلية، وكيف يبدو شكل الورم) دون أن يتشتت بالمهام المحددة.
المرحلة 2 (مرحلة التخصص): الآن بعد أن عرف الذكاء الاصطناعي الأساسيات، يقومون بتشغيل "لوحة توزيع المهام" مرة أخرى. يقولون له: "حسناً، الآن بعد أن عرفت ماهية الكلية، تعلم كيف تصف الكلية بالكامل للتقارير، وكيف تكتشف ورماً للأسئلة".
النتيجة: يتعلم الذكاء الاصطناعي الأساس أولاً، ثم يتخصص، مما يؤدي إلى أداء أفضل بكثير.

لماذا يهم هذا؟

تشخيص أفضل: يمكن للذكاء الاصطناعي الآن كتابة تقارير طبية أكثر دقة والإجابة على أسئلة محددة بشكل أفضل من أي ذكاء اصطناعي ثلاثي الأبعاد سابق.
الكفاءة: لا يحتاج إلى التدريب من الصفر باستخدام بيانات طبية نادرة؛ بل يعيد استخدام المعرفة الهائلة للصور ثنائية الأبعاد الموجودة على الإنترنت.
تعدد الاستخدامات: يمكنه التعامل مع "الصورة الكبيرة" و"التفاصيل الدقيقة" بنفس الكفاءة، تماماً كما يفعل طبيب الأشعة البشري.

باختة القول: أخذ المؤلفون ذكاءً اصطناعياً ثنائي الأبعاد ذكياً، وعلموه كيفية الرؤية في الأبعاد الثلاثية، وأعطوه مفتاحاً ذكياً لتغيير تركيزه حسب المهمة، ودربوه في خطوتين ليصبح المساعد الطبي الأمثل.

إليك ملخص تقني مفصل لورقة البحث بعنوان "تكييف النماذج اللغوية الكبيرة متعددة الوسائط ثنائية الأبعاد لتحليل صور الأشعة المقطعية ثلاثية الأبعاد".

1. بيان المشكلة

تعالج الورقة التحديات المتعلقة بتطبيق النماذج اللغوية الكبيرة متعددة الوسائط (MLLMs) على تحليل الصور الطبية ثلاثية الأبعاد، وتحديداً في مجالي توليد التقارير الطبية (MRG) والإجابة على الأسئلة البصرية الطبية (MVQA). هناك قصور أساسي في نماذج الـ 3D MLLMs الحالية المتطورة:

قدرة إدراكية غير كافية: تعتمد نماذج 3D MLLMs الحالية عادةً على التدريب المسبق لمحولات الرؤية ثلاثية الأبعاد (3D ViTs) من الصفر باستخدام مجموعات بيانات طبية (نص-صورة) ثلاثية الأبعاد محدودة. ونظراً لندرة البيانات الطبية ثلاثية الأبعاد (التي تقل بمراحل عن مجموعات بيانات الصور الطبيعية)، تفتقر هذه المشفرات إلى قدرات استخراج الميزات القوية الموجودة في النماذج المدربة مسبقاً على مجموعات بيانات ضخمة من الصور والنصوص الطبيعية ثنائية الأبعاد.
الافتقار إلى القدرة على التكيف مع المهام: تستخرج نماذج 3D MLLMs الحالية نفس ميزات الصورة لجميع المهام. ومع ذلك، تتطلب مهمة توليد التقارير (MRG) إدراك ميزات الصورة الشاملة والكلية لتوليد تقارير وصفية، بينما تتطلب مهمة الإجابة على الأسئلة (MVQA) غالباً التركيز على مناطق محددة وموضعية ذات صلة بالسؤال. إن معاملة هاتين المهمتين بشكل متطابق يؤدي إلى أداء دون المستوى الأمثل.

2. المنهجية

يقترح المؤلفون إطار عمل مبتكر يعمل على تكييف نموذج 2D MLLM مدرب جيداً للتعامل مع مدخلات حجمية ثلاثية الأبعاد مع تقديم آلية للتمييز بين المهام المختلفة. تتكون المنهجية من ثلاثة مكونات أساسية:

أ. تكييف 2D ViT للمدخلات الحجمية ثلاثية الأبعاد

بدلاً من تدريب 3D ViT من الصزل، قام المؤلفون بتعديل 2D ViT مدرب مسبقاً (من نموذج 2D MLLM) لمعالجة الأحجام الطبية ثلاثية الأبعاد ( $D \times H \times W$ ) مع إعادة استخدام جميع المعلمات المدربة مسبقاً.

تضمين الرقعة (Patch Embedding): يتم التعامل مع الحجم ثلاثي الأبعاد كسلسلة من الشرائح ثنائية الأبعاد. يتم إعادة تشكيل المدخلات لتناسب طبقة تضمين الرقعة ثنائية الأبعاد (على سبيل المثال، معاملة العمق $D$ كمجموعة من 3 شرائح متتالية).
تضمين الموضع (Positional Embedding): بما أن تضمينات الموضع ثنائية الأبعاد لا يمكنها تمييز العمق ( $D$ )، فقد تمت إضافة تضمينات الموضع الدوارة (RoPE) إلى استعلامات ومفاتيح الانتباه الذاتي لترميز المواضع المكانية ثلاثية الأبعاد.
آلية الانتباه (Attention Mechanism): تظل الطبقات الدنيا (المتخصصة في الأنسجة المحلية ثنائية الأبعاد) ككتل انتباه ثنائية الأبعاد. أما الطبقات العليا، فيتم تعديلها لتصبح كتل انتباه ثلاثية الأبعاد عبر إعادة تشكيل المدخلات لالتقاط السياق الحجمي.
دمج الرقع (Patch Merging): يُستخدم دمج الرقع القياسي ثنائي الأبعاد لـ $H$ و $W$ ، يليه متوسط التجميع (average pooling) على طول البعد $D$ لتقليل عدد الرموز (tokens).
الضبط الدقيق (Fine-tuning): على عكس الطرق التي تجمد مشفر الرؤية، يقوم هذا النهج بتحديث معلمات المشفر أثناء الضبط الدقيق للتكيف مع البيانات الطبية ثلاثية الأبعاد.

ب. خليط الخبراء الهرمي الموجه بالنص (TGH-MoE)

لمعالجة الحاجة إلى ميزات خاصة بكل مهمة، دمج المؤلفون إطار عمل TGH-MoE في شبكات التغذية الأمامية (FFNs) لمشفر الرؤية.

MoE على مستوى المهمة: يستخدم الموجه (router) المطالبة النصية (text prompt) (التي تشير إلى نوع المهمة، مثل "توليد تقرير" مقابل "الإجابة على سؤال") للاختيار بين خبراء محددين. يتم استخدام موجه صلب (hard router) لثنائية الأوزان، مما يعين الصورة بالكامل إما لخبير MRG أو خبير MVQA، وذلك لمنع التداخل في التحسين (optimization interference).
MoE على مستوى الرمز (Token-level MoE): داخل كل خبير متخصص في مهمة معينة، يقوم MoE على مستوى الرمز بتوجيه رموز الصورة الفردية إلى مجموعة فرعية من الخبراء الفرعيين. وهذا يخلق شبكة متفرقة وقوية قادرة على التقاط التفاصيل الدقيقة لرموز محددة.
الهيكلية الهرمية: تسمتد هذه البنية ذات المستويين للسماح للنموذج بمشاركة الميزات منخفضة المستوى (عبر التوجيه الأولي) بينما تتباعد نحو تمثيلات عالية المستوى متخصصة بناءً على المهمة.

ج. استراتيجية التدريب على مرحلتين

يؤدي التحسين المباشر لـ TGH-MoE إلى أداء ضعيف لأن النموذج يفشل في تعلم التمثيلات المشتركة قبل التخصص. اقترح المؤلفون استراتيجية من مرحلتين:

المرحلة الأولى (تعلم المهام المشتركة): يتم تعطيل MoE على مستوى المهمة. يتم تفعيل MoE على مستوى الرمز فقط، مما يجبر كل من مهام MRG و MVQA على مشاركة نفس ميزات الصورة. يتم ضبط الشبكة بالكامل (مشفر الرؤية، الموصل، والنموذج اللغوي LLM) باستخدام فقدان التنبؤ الذاتي (auto-regressive loss).
المرحلة الثانية (التعلم الخاص بالمهمة): يتم نسخ MoE الذي تدرب في المرحلة الأولى لتهيئة الخبراء لـ MoE على مستوى المهمة. يتم تجميد النموذج اللغوي (LLM)، ويتم ضبط مشفر الرؤية والموصل فقط. يتم تدريب الموجه للتمييز بين المهام، مما يسمح للنموذج بتعلم ميزات مميزة للمهام مع الاحتفاظ بالأساس المشترك.

3. المساهمات الرئيسية

التكيف من 2D إلى 3D: استراتيجية لتكييف نماذج 2D MLLMs القوية والمدرة مسبقاً لتحليل الصور الطبية الحجمية ثلاثية الأبعاد، مع وراثة القدرة الإدراكية القوية من التدريب المسبق على الصور الطبيعية الضخمة دون الحاجة إلى معلمات جديدة قابلة للتعلم للبنية الأساسية.
إطار عمل TGH-MoE: نظام خليط خبراء هرمي موجه بالنص يستخرج ديناميكياً ميزات صور خاصة بالمهمة (MRG مقابل MVQA) بناءً على المطالبات النصية، مما يعالج التباين في متطلبات الميزات عبر المهام.
استراتيجية التدريب على مرحلتين: بروتوكول تدريب يوازن بفعالية بين تعلم الميزات المشتركة بين المهام والميزات الخاصة بكل مهمة، متجاوزاً تداخل التحسين الشائع في تدريب MoE متعدد المهام.
أداء يمثل أحدث ما توصل إليه العلم (SOTA): حققت الطريقة نتائج متفوقة في كل من مهام MRG و MVQA مقارنة بنماذج 3D MLL-s الحالية (مثل M3D و Med3DVLM).

4. النتائج التجريبية

تم تقييم الطريقة باستخدام مجموعة بيانات M3D-Data (التي تحتوي على حوالي 106 ألف عينة وصف وحوالي 438 ألف عينة VQA).

الإجابة على الأسئلة البصرية الطبية (MVQA):
- الأسئلة المغلقة (Closed-ended): حققت دقة بنسبة 81.06%، متفوقة على ثاني أفضل طريقة (M3D بنسبة 79.35%) بفارق 1.71%.
- الأسئلة المفتوحة (Open-ended): تفوقت على M3D بتحسن قدره 2.54% في BLEU-1 و 2.78% في ROUGE-1.
توليد التقارير الطبية (MRG):
- حققت أفضل الدرجات في ROUGE-1 و METEOR، مما يشير إلى جودة نصية أعلى واكتمال سريري أكبر.
- تفوقت على نموذج RadFM المكون من 14 مليار معلمة في 8 من أصل 9 مقاييس باستخدام 4 مليارات معلمة فقط.
دراسات الاستئصال (Ablation Studies):
- أكدت أن التكيف من 2D إلى 3D أمر بالغ الأهمية لاستخدام المعلومات المكانية ثلاثية الأبعاد.
- أظهرت أن التدريب على مرحلتين ضروري؛ حيث أدى تخطي المرحلة الأولى (تعلم الميزات المشتركة أولاً) إلى أداء دون المستوى في MRG.
  led الموجه الصلب (Hard Router) في TGH-MoE يتفوق على الموجهات الناعمة (soft routers)، لأنه يمنع التداخل بين المهام.

5. الأهمية

تجسر هذه الورقة الفجوة بين وفرة بيانات الصور الطبيعية ثنائية الأبعاد وندرة البيانات الطبية ثلاثية الأبعاد. ومن خلال النجاح في نقل القوة الإدراكية لنماذج 2D MLLMs إلى المجالات ثلاثية الأبعاد وتقديم آلية للتعامل مع تنوع المهام، يقدم المؤلفون حلاً أكثر كفاءة وفعالية للمساعدين السريريين القائمين على الذكاء الاصطناعي. يوضح هذا النهج أن التعامل المتخصص مع المهام (عبر MoE) والتدريب الاستراتيجي (المرحلتين) لا يقل أهمية عن البنية نفسها للمهام الطبية متعددة الوسائط. تضع هذه الط طريقة معياراً جديداً لتحليل الصور الطبية ثلاثية الأبعاد، مما يمهد الطريق لأنظمة تشخيص وتقارير مؤتمتة أكثر دقة.