Vision Foundation Models for Multi-Modal Medical Image Classification
تُظهر هذه الورقة أن تهيئة نماذج الرؤية التأسيسية (مثل DINOv2 وMedSigLIP) تتفوق بشكل كبير على التهيئة العشوائية في التصنيف متعدد الوسائط للصور الطبية، لا سيما عندما تكون البيانات المصنفة نادرة أو عند فقدان وسائط التصوير.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في المستشفى الحديث، نادراً ما يعتمد الطبيب على صورة واحدة فقط للتشخيص. بدلاً من ذلك، يقومون بنسج لوحة من المعلومات من أنواع مختلفة من الفحوصات الطبية. فالمريض المصاب بورم في الدماغ قد يحتاج إلى سلسلة من صور الرنين المغناطيسي الملتقطة بإعدادات مختلفة لرؤية حواف الورم وإمداده الدموي. والمريض المصاب بمرض الكبد قد يتطلب الأمر فحوصات ملتقطة في لحظات مختلفة أثناء تدفق الصبغة عبر العضو. وبالمثل، فإن عالم الأمراض الذي يفحص الأنسجة قد ينظر إلى صبغتين كيميائيتين مختلفتين على نفس الشريحة لفهم سلوك السرطان. هذا النهج، المعروف باسم التصوير متعدد الوسائط (multi-modal imaging)، هو المعيار المتبع لأن كل عرض يكشف عما يغفله الآخر. ومع ذلك، فإن تعليم الكمبيوتر القيام بالأمر نفسه أمر صعب للغاية. لتدريب كمبيوتر على التعرف على الأنماط، يحتاج الباحثون عادةً إلى آلاف الأمثلة التي تتوفر فيها كل أنواع الفحوصات وتكون مصنفة بدقة من قبل خبير بشري. وفي العالم الحقيقي، مثل هذه البيانات المثالية نادرة؛ فغالباً ما يتغيب المرضى عن المواعيد، أو تتعطل الأجهزة، أو تستخدم المستشفيات المختلفة بروتوكولات مسح مختلفة، مما يترك الكمبيوتر بمعلومات ناقصة. وعندما تكون البيانات مفقودة أو شحيحة، غالباً ما تفشل النماذج الحاسوبية القياسية، مما يؤدي إلى تشخيصات خاطئة.
لقد سعى الباحثون في جامعة ميونيخ التقنية ومستشفى جامعة تقنية ميونيخ لحل هذه المشكلة من خلال تغيير كيفية تعليم هذه النماذج الحاسوبية منذ البداية. فبدلاً من تعليم النموذج من الصفر بإعدادات عشوائية في كل مرة تظهر فيها مهمة طبية جديدة، اختبروا ما إذا كان البدء بنموذج تعلم بالفعل كيف يرى العالم يمكن أن يساعد. هذه النماذج سابقة التدريب، والتي تسمى "النماذج التأسيسية" (foundation models)، تشبه الطلاب الذين قضوا سنوات بالفعل في دراسة ملايين الصور العامة، وتعلموا التعرف على الأشكال والأنسجة والهياكل قبل رؤية أي مسح طبي. قارن الفريق بين ثلاثة مناهج: تدريب نموذج من الصفر بإعدادات عشوائية، والبدء بنموذج عام مخصص للصور اليومية، والبدء بنموذج تم تدريبه خصيصاً على الصور الطبية. وقد اختبروا هذه الأساليب على ثلاثة تحديات طبية متميزة: تصنيف أورام الدماغ من تسلسلات رنين مغناطيسي متعددة، وتقييم أنسجة سرطان الثدي من شرائح مجهرية مزدوجة، وتحديد آفات الكبد من مسحات البطن متعددة المراحل.
أظهرت النتائج أن البدء بنموذج سابق التدريب هو دائماً الخيار الأفضل تقريباً، لكن هذه الميزة تصبح أكثر دراماتيكية عندما تكون البيانات غير مثالية. فعندما كان لدى الباحثين مجموعة كاملة من الصور المصنفة لكل مريض، كان أداء النماذج سابقة التدريب يضاهي، أو يتفوق قليلاً على، النماذج التي تم تدريبها من الصفر. فعلى سبيل المثال، في مهمة آفات الكبد، أدى استخدام نموذج سابق التدريب إلى تحسين القدرة على تحديد المرض بشكل صحيح من 54 بالمئة إلى 76 بالمئة. ومع ذلك، تجلت القوة الحقيقية لهذا النهج عندما قام الباحثون بمحاكاة مشكلات العالم الحقيقي. فعندما قللوا من كمية البيانات المصنفة المتاحة للتدريب، حافظت النماذج سابقة التدريب على ثباتها بينما عانت النماذج المدربة من الصفر. وكان الفرق أكثر إثارة للدهشة عندما أزالوا أحد المسحات المطلوبة تماماً، وهو أمر شائع في الممارسة السريرية. في سيناريوهات البيانات المفقودة هذه، انهارت النماذج المدربة من الصفر غالباً، حيث انخفضت قدرتها على اكتشاف آفات الكبد إلى 29 بالمئة فقط. في المقابل، حافظت النماذج التي بدأت بمعرفة سابقة التدريب على حساسية تقارب 73 بالمئة، متجاهلة المعلومات المفقودة بفعالية ومقدمة تنبؤات دقيقة رغم ذلك.
كما استكشفت الدراسة كيفية تعامل هذه النماذج مع حقيقة أن المستشفيات المختلفة تستخدم أجهزة مختلفة، مما قد يغير مظهر المسحات. وعند اختبارها على بيانات من مستشفى لم يره النموذج من قبل، أظهرت النماذج سابقة التدريب مرة أخرى استقراراً فائقاً، لا سيما عند دمجها مع طريقة تدريب تستخدم كلاً من البيانات المصنفة وغير المصنفة. ووجد الباحثون أن الطريقة التي يدمج بها الكمبيوتر الأنواع المختلفة من الصور مهمة، ولكن نقطة البداية للنموذج هي العامل الأكثر حرجاً. لقد اكتشفوا أن النماذج سابقة التدريب تعلمت سمات كانت قوية بما يكفي للتعامل مع المدخلات المفقودة دون الحاجة إلى حيل هندسية خاصة لسد الفجوات. وهذا يشير إلى أن المعرفة العامة المكتسبة من رؤية ملايين الصور توفر أساساً قوياً ينتقل بشكل جيد إلى الواقع المعقد والمضطرب أحياناً للتصوير الطبي.
في النهاية، يرى الباحثون أن الطريقة القديمة المتمثلة في تدريب نماذج الذكاء الاصطناዊ الطبية من الصفر يجب أن تصبح الاستثناء لا القاعدة. فمن خلال البدء بنموذج يفهم بالفعل الأنماط البصرية، تصبح أنظمة الذكاء الاصطناዊ الطبية أكثر موثوقية، وتتطلب أمثلة مصنفة أقل للتعلم، ويمكنها التعامل مع الفجوات الحتمية في بيانات المرضى التي تحدث في الممارسة اليومية. هذا التحول يمكن أن يجعل أدوات التشخيص المتقدمة أكثر سهولة في الوصول إليها وأكثر قوة، مما يضمن بقاء المساعد الحاسوبي مفيداً حتى عندما يكون المسح الخاص بالمريض غير مكتمل أو عندما يمتلك الطبيب أمثلة قليلة فقط لتعليمه. وتؤكد الدراسة أنه في عالم التشخيص الطبي عالي المخاطر، حيث تكون البيانات غالباً شحيحة وغير كاملة، فإن أفضل استراتيجية هي البناء على ما يعرفه الكمبيوتر بالفعل.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.