MedGemma vs GPT-4: Open-Source and Proprietary Zero-shot Medical Disease Classification from Images
تُظهر هذه الدراسة أن نموذج MedGemma مفتوح المصدر، والمُعدل باستخدام تقنية LoRA، يتفوق بشكل كبير على نموذج GPT-4 المملوك لشركة OpenAI في تصنيف الأمراض طبياً من الصور بأسلوب التعلم الصفري، محققاً دقة وحساسية أعلى مع التأكيد على الأهمية البالغة للضبط الدقيق المتخصص في المجال لضمان موثوقية الذكاء الاصطناعي السريري.
المؤلفون الأصليون:Md. Sazzadul Islam Prottasha, Nabil Walid Rafi
تخيل أنك تحاول تشخيص مرض مريض باستخدام صورة لجسمه فقط (مثل الأشعة السينية، أو الرنين المغناطيسي، أو مسح جلدي). لديك "طبيبان" مختلفان متاحان لمساعدتك:
الدكتور العام (GPT-4): هو موسوعي عبقري مشهور عالمياً، قرأ كل كتاب تقريباً في المكتبة. هو يعرف القليل عن كل شيء — التاريخ، والطبخ، والرياضيات، وحتى بعض الطب. ومع ذلك، فهو لم يرتدِ معطف الطب الأبيض قط، ولم يسبق له رؤية ملف مريض محدد من قبل. إنه يخمن بناءً على معرفته العامة.
الدكتور المتخصص (MedGemma): هو طبيب مقيم عالي التدريب، قضى سنوات في دراسة الطب خصيصاً. لقد قرأ الملايين من الدوريات الطبية، ودرس آلاف سجلات المرضى، وتدرب على مجموعة محددة من الصور. إنه خبير في مجاله.
هذه الورقة البحثية هي منافسة وجهاً لوجه بين هذين الطبيبين لمعرفة أيهما أفضل في تشخيص ستة أمراض مختلفة (مثل سرطان الجلد، والالتهاب الرئوي، والزهايمر) بمجرد النظر إلى الصور الطبية.
الإعداد: تحدي الـ "Zero-Shot" (المحاولة الصفرية)
وضع الباحثون اختباراً صعباً.
الدكتور العام (GPT-4) طُلب منه النظر إلى الصور وإعطاء إجابة فوراً، دون أي تدريب أو دراسة إضافية لهذا الاختبار تحديداً. هذا ما يسمى بالتعلم بـ "المحاولة الصفرية" (zero-shot learning). إنه يشبه مطالبة شخص عام بتنفيذ عملية جراحية للقلب لمجرد أنه يعرف شكل القلب من كتاب مدرسي.
الدكتور المتخصص (MedGemma) حصل على "دورة مكثفة" (تسمى Fine-tuning أو الضبط الدقيق). أظهر له الباحثون آلاف الأمثلة على الأمراض المحددة التي يحتاج لتشخيصها. استخدموا تقنية مختصرة ذكية تسمى LoRA (التكيف منخفض الرتبة)، وهي تشبه إعطاء الطبيب مجموعة من أقلام التحديد والملاحظات اللاصقة للتركيز فقط على التفاصيل الأكثر أهمية، بدلاً من إعادة كتابة دماغه بالكامل.
النتائج: من فاز؟
كانت النتائج واضحة، تماماً مثل مباراة رياضية يهيمن فيها الفريق المضيف (المتخصص) على الفريق الزائر (العام).
لوحة النتائج: نجح الدكتور المتخصص (MedGemma) في تشخيص حوالي 80% من الحالات بشكل صحيح. بينما نجح الدكتور العام (GPT-4) في حوالي 70% فقط.
الفجوة: في عالم الطب، فرق الـ 10% يعد أمراً ضخماً. إنه الفرق بين مدرب يفوز بالبطولة وآخر يكاد يكتفي بالمشاركة في الأدوار الإقصائية.
لماذا فاز المتخصص؟
تستخدم الورقة استعارات رائعة لشرح سبب تعثر الشخص العام:
مشكلة "الهلوسة": الدكتور العام (GPT-4) واثق جداً لدرجة أنه أحياناً يختلق أشياء من خياله. إذا لم يعرف الإجابة، فقد يبتكر تشخيصاً يبدو منطقياً ولكنه خاطئ. هذا ما يسمى بـ "الهلوسة". في المستشفى، اختلاق تشخيص هو أمر خطير. أما الدكتور المتخصص، وبسبب دراسته للأنماط المحددة للأمراض، فهو أقل عرضة للتخمين العشوائي.
فخ "ذاكرة التسلسل": تشير الورقة إلى أن الدكتور العام كان أحياناً يحفظ ترتيب الأسئلة بدلاً من فهم الصورة حقاً. إنه يشبه طالباً يحفظ نموذج الإجابات لاختبار تجريبي، لكنه يفشل في الامتحان الحقيقي لأنه لم يتعلم الرياضيات فعلياً. أما الدكتور المتخصص، فقد تعلم بالفعل كيف "يرى" المرض.
"الصندوق الأسود" مقابل "الصندوق الزجاجي": نماذج الذكاء الاصطناعي التقليدية تشبه الصناديق السوداء — تضع صورة في الداخل، وتخرج نتيجة، لكنك لا تعرف "لماذا". أما الدكتور المتخصص فهو أشبه بصندوق زجاجي؛ لأنه تدرب على بيانات طبية، فإن استنتاجه أكثر تجذراً في الواقع السريري، مما يجعل الأطباء يثقون به أكثر.
الحكم النهائي
تخلص الورقة إلى أنه بينما نماذج الذكاء الاصطناعي العامة (مثل GPT-4) هي أدوات مذهلة لكتابة رسائل البريد الإلكتروني، أو البرمجة، أو الدردشة، إلا أنها ليست جاهزة لاستبدال الأطباء في التشخيصات الطبية الخطيرة.
فكر في الأمر بهذه الطريقة: قد تطلب من شخص عام مساعدتك في كتابة قصيدة، لكنك ستطلب من متخصص إجراء عملية جراحية. لجعل الذكاء الاصطناعي آمناً في المستشفيات، يجب أن يكون "متخصصاً" (عبر الضبط الدقيق) تماماً كما يحتاج طالب الطب إلى التخصص في مجال معين.
الخلاصة: إذا كنت تريد تشخيص مرض من صورة، فلا تسأل فقط أذكى شخص في الغرفة الذي يعرف القليل عن كل شيء. بل اسأل الشخص الذي درس هذه المشكلة المحددة لسنوات. في هذا السباق، تفوق النموذج مفتوح المصدر والمتخصص MedGemma على النموذج الشهير والمملوك لشركة GPT-4 بفارق كبير، مما يثبت أنه في الطب، التدريب المتخصص يتفوق على المعرفة العامة.
إليك ملخص تقني مفصل لورقة البحث بعنوان: "MedGemma مقابل GPT-4: تصنيف الأمراض الطبية من الصور باستخدام النماذج مفتوحة المصدر والملكية عبر التعلم الصفري (Zero-shot)."
1. بيان المشكلة
تعالج هذه الدراسة الفجوة الحرجة في تطبيق الذكاء الاصطناعي في التشخيص الطبي، وتحديداً فيما يتعلق بمحدودية النماذج اللغوية الكبيرة (LLMs) للأغراض العامة مقابل النماذج متعددة الوسائط المتخصصة في المجال الطبي.
التحدي: بينما تتفوق النماذج عامة الأغراض مثل GPT-4 في المهام اللغوية الواسعة، إلا أنها غالباً ما تفتقر إلى التأسيس السريري المتخصص المطلوب للتشخيص الطبي الدقيق. فهي عرضة لـ "الهلوسة" (تأليف حقائق طبية)، وتواجه صعوبة في التعامل مع ميزات التصوير الطبي عالية الدقة، وتفشل في تقديم استدلال قائم على الأدلة الضروري للثقة السريرية.
الفجوة: هناك نقص في المقارنات المباشرة والصارمة بين الوكلاء الطبيين مفتوحي المصدر والمتخصصين (مثل MedGemma) والنماذج المملوكة العامة (مثل GPT-4) عبر مجموعات بيانات متنوعة وعالية الخطورة للتصوير الطبي.
الهدف: تقييم ما إذا كان نموذج مفتوح المصدر تم ضبطه طبياً (MedGemma) يتفوق على نموذج ملكية يعمل بنظام التعلم الصفري (GPT-4) في تصنيف ستة أمراض مزمنة متميزة باستخدام التصوير الطبي.
2. المنهجية
استخدم البحث تصميماً تجريبياً مقارناً يتضمن بنيتين مختلفتين من الذكاء الاصطناعي تم تقييمهما عبر ست مجموعات بيانات طبية متنوعة.
أ. مجموعات البيانات
تم استخدام ست مجموعات بيانات تغطي أنماطاً سريرية متعددة (الرنين المغناطيسي MRI، الأشعة المقطعية CT، الأشعة السينية X-ray، تخطيط القلب ECG، طب الجلد):
سرطان الجلد (HAM10000): 10,015 صورة عبر 7 فئات (مثل الميلانوما، سرطان الخلايا القاعدية).
مرض ألزهايمر (OASIS): 86,437 شريحة من رنين مغناطيسي للدماغ مصنفة حسب شدة الخرف (من غير خرف إلى متوسط).
سرطان الثدي (CBIS-DDSM): 3,568 صورة ماموجرام (طبيعي، حميد، خبيث).
أمراض القلب والأوعية الدموية: 11,148 صورة تخطيط قلب (احتشاء عضلة القلب، ضربات قلب غير طبيعية، إلخ).
الالتهاب الرئوي: 5,856 صورة أشعة سينية للصدر (طبيعي مقابل التهاب رئوي).
مرض الكلى المزمن: 12,446 صورة أشعة مقطعية (طبيعي، كيس، ورم، حصوة).
ب. المعالجة المسبقة للبيانات
التطبيع (Normalization): تم تغيير حجم جميع الصور إلى 224×224 بكسل وتطبيع كثافة البكسل لتكون في النطاق [0, 1].
التعزيز (Augmentation): تم تطبيق دورات عشوائية (±10 درجات)، وقلب أفقي، وتعديلات في الكثافة (±20%) لمنع الإفراط في التخصيص (Overfitting).
استخراج الميزات: تم استخدام نموذج Vision Transformer (ViT-B/16) مدرب مسبقاً لاستخراج تضمينات الميزات (Feature Embeddings) ذات الأبعاد 768 من الصور. وقد عملت هذه التضمينات كمدخلات لرؤوس التصنيف.
ج. بنيات النماذج
MedGemma-4b-it (التجريبي):
نموذج متعدد الوسائط متخصص ومفتوح المصدر يعتمد على بنية Gemma، تم ضبطه بدقة للمجالات الطبية الحيوية.
استراتيجية التدريب: تم الضبط الدقيق باستخدام التكيف منخفض الرتبة (LoRA) لتقليل عدد المعلمات القابلة للتدريب بمقدار 10,000 ضعف، مما جعل التدريب ممكناً باستخدام موارد GPU محدودة (مجموعة NVIDIA A100).
المعلمات الفائقة: مُحسن AdamW، معدل تعلم 2×10−5، حجم الدفعة 32، 15 حقبة تدريبية (Epochs)، وإيقاف مبكر.
استراتيجية التقييم: الاستدلال عبر التعلم الصفري (Zero-shot) فقط. لم يتم تطبيق أي ضبط دقيق؛ حيث اعتمد النموذج كلياً على مطالبات (Prompts) لغوية طبيعية معيارية لتفسير الصور.
د. مقاييس التقييم
تم تقييم الأداء باستخدام الدقة (Accuracy)، الدقة التنبؤية (Precision)، الاستدعاء (Recall)، مقياس F1 (F1-Score)، ومصفوفات الارتباك (Confusion Matrices) على مجموعة اختبار محجوزة (5-10% من البيانات) لكل فئة مرضية.
3. المساهمات الرئيسية
التحقق التجريبي من التخصص المجالي: توفر الدراسة دليلاً كمياً على أن الضبط الدقيق المتخصص للمجال (MedGemma) يتفوق بشكل كبير على النماذج العامة التي تعمل بالتعلم الصفري (GPT-4) في مهام التصوير الطبي.
معيار شامل متعدد الوسائط: على عكس الدراسات السابقة التي ركزت على نمط واحد، يقيم هذا العمل الأداء عبر ستة أنواع مختلفة من الأمراض وتقنيات تصوير متنوعة (MRI, CT, X-ray, ECG, Dermatology).
تحليل "الهلوسة" والاستدلال: تسلط الورقة الضوء على أنه بينما يمكن لـ GPT-4 التعامل مع الاستعلامات العامة، فإنه يفتقر إلى التعرف العميق على الميزات البصرية المطلوبة للأنماط الطبية الدقيقة، مما يؤدي إلى انخفاض الحساسية في الحالات الحرجة مثل السرطان والالتهاب الرئوي.
كفاءة تقنية LoRA: تُظهر أن النماذج مفتوحة المصدر يمكن أن تحقق أداءً طبياً عالياً باستخدام تقنيات ضبط دقيق فعالة في استهلاك الموارد مثل LoRA، مما يوفر بديلاً قابلاً للتطبيق للنماذج الضخمة المملوكة.
4. النتائج
وجدت الدراسة فجوة أداء ثابتة لصالح نموذج MedGemma الذي تم ضبطه بدقة عبر جميع مجموعات البيانات الست.
الدقة الإجمالية:
MedGemma: متوسط دقة الاختبار بلغ 80.37%.
GPT-4: متوسط دقة الاختبار بلغ 69.58%.
الفجوة: تفوق MedGemma على GPT-4 بنسبة تتراوح بين 10-14% تقريباً في جميع الفئات.
أبرز نتائج أداء أمراض محددة:
الالتهاب الرئوي: حقق MedGemma دقة قدرها 81.71% مقابل 69.91% لـ GPT-4. أظهر MedGemma استدعاءً (Recall) متفوقاً بنسبة 83.6%، وهو أمر بالغ الأهمية لتقليل حالات العدوى المفقودة في حالات الطوارئ.
ألزهايمر: حقق MedGemma نسبة 80.44% مقابل 71.16% لـ GPT-4. أظهر MedGemma قدرة أفضل على التمييز بين مراحل شدة الخرف.
سرطان الثدي: حقق MedGemma نسبة 81.11% مقابل 70.45% لـ GPT-4. أظهر MedGemma حساسية أعلى في اكتشاف الآفات الخبيثة (F1-score بنسبة 81.6% مقابل 71.5%).
القلب والأوعية الدموية (ECG): حقق MedGemma نسبة 79.34% مقابل 67.65% لـ GPT-4. أظهر MedGemma استدعاءً أعلى بكثير لاحتشاء عضلة القلب (79.9% مقابل 69.4%).
مرض الكلى المزمن: حقق MedGemma نسبة 80.57% مقابل 68.76% لـ GPT-4.
التحليل النوعي:
كشفت مصفوفات الارتباك أن GPT-4 غالباً ما يخطئ في تصنيف الميزات الدقيقة (مثل الخلط بين الأورام الحميدة والخبيثة أو مراحل الخرف المختلفة).
بدا أن GPT-4 يعتمد على حفظ تسلسل المطالبات (Prompts) بدلاً من الاستخراج العميق للميزات البصرية.
أظهر MedGemma حساسية أعلى في الفئات عالية الخطورة (مثل الميلانوما وسرطان الثدي الخبيث)، مما يقلل من النتائج السلبية الكاذبة.
5. الأهمية والخاتمة
الآثار السريرية: تشير النتائج إلى أنه لاتخاذ القرارات السريرية عالية الخطورة، فإن النماذج اللغوية الكبيرة للأغراض العامة غير كافية دون تدريب متخصص. إن طبيعة "الصندوق الأسود" والافتقار إلى التأسيس الطبي في نماذج مثل GPT-4 يشكل مخاطر حدوث خطأ في التشخيص والهلوسة.
المسار المستقبلي: تدعو الدراسة إلى ضر أن يكون التكيف المتخصص للمجال (الضبط الدقيق) خطوة أساسية لنشر الذكاء الاصطنا de في الرعاية الصحية. النماذج مفتوحة المصدر مثل MedGemma، عند ضبطها باستخدام تقنيات مثل LoRA، تقدم بديلاً منخفض التكلفة، وشفافاً، وعالي الدقة للنماذج المملوكة ذات الصندوق الأسود.
القيود والعمل المستقبلي: يشير المؤلفون إلى أن أداء MedGemma مقيد بالمقياس المحدود لمجموعة بيانات الضبط الدقيق والموارد الحسابية مقارنة بالتدريب المسبق الهائل لـ GPT-4. يجب أن يركز العمل المستقبلي على التحقق السريري واسع النطاق، والتكامل الأخلاقي في سير العمل بالمستشفيات، وتطوير استراتيجيات تدريب "واعية بالهلوسة" لضمان السلامة والقابلية للتفسير.
الحكم النهائي: خلصت الورقة إلى أنه بينما يعد GPT-4 نموذجاً عاماً قوياً، فإن MedGemma هو الأداة الأفضل للتشخيص الطبي، مما يثبت أن التدريب المتخصص أمر غير قابل للتفاوض من أجل ذكاء اصطناً طبي موثوق وقائم على الأدلة.