Performance and Failure Patterns of Multimodal Large Language Models for Hepatocellular Carcinoma Detection on Portal Venous Phase CT
بينما أظهر النموذج اللغوي الكبير متعدد الوسائط الأفضل أداءً (ChatGPT-5.1 مع التوجيه التشريحي) تحسناً في الدقة في الكشف عن سرطان الخلايا الكبدية في المرحلة الوريدية البابية في التصوير المقطعي المحوسب، إلا أنه لا يزال يقل بشكل كبير عن أطباء الأشعة البشريين، مما يسلط الض الضوء على القيود الحالية للذكاء الاصطناعي في الكشف البصري عن الآفات والحاجة الماسة إلى تصميم دقيق للمطالبات والإشراف البشري.
المؤلفون الأصليون:Liu Jiang, Fangshi Lu, Haibin Zhu, Anna S Samuel, Ciara O'Brien, Isabelle Danika Gauthier, Chelsea CY Kim, Xiaoting Li, Masoom Abbas Haider, Xiaoyang Liu
المؤلفون الأصليون: Liu Jiang, Fangshi Lu, Haibin Zhu, Anna S Samuel, Ciara O'Brien, Isabelle Danika Gauthier, Chelsea CY Kim, Xiaoting Li, Masoom Abbas Haider, Xiaoyang Liu
تخيل أنك تحاول تعليم روبوت فائق الذكاء كيفية رصد كنز مخفي في غابة ضبابية عملاقة. في عالم الطب، هذه "الغابة" هي جسم الإنسان، و"الكنز" هو ورم خطير يسمى سرطان الخلايا الكبدية (HCC). عادةً ما يستخدم الأطباء نوعاً خاصاً من الأشعة السينية يسمى التصوير المقطعي المحوسب (CT scan) للرؤية عبر الضباب. ولكن مؤخراً، ظهر نوع جديد من عقول الروبوتات: "النموذج اللغوي الكبير متعدد الوسائط" (Multimodal LLM). فكر في هذه النماذج كطلاب مطلعين للغاية درسوا الملايين من الكتب والصور؛ فهم بارعون في الإجابة على الأسئال والدردشة، ولكن هل يمكنهم حقاً "رؤية" ورم في صورة طبية ضبابية كما يفعل الطبيب البشري؟ هذا هو السؤال الجوهب. يهتم الأطباء بالأمر لأنه إذا تعلمت هذه الروبوتات كيفية رصد السرطان مبكراً، فقد تتمكن من إنقاذ الأرواح. ولكن إذا ارتبكت بسبب الضباب وأخطأت في رؤية الكنز، أو ظنت أن صخرة غير ضارة هي كنز، فقد يكون ذلك خطيراً. لذا، أراد العلماء وضع هؤلاء الطلاب من الذكاء الاصطناعي تحت الاختبار ليروا ما إذا كانوا مستعدين للعالم الحقيقي أم أنهم لا يزالون بحاجة إلى الكثير من الدراسة.
في هذه الدراسة، قرر فريق من الباحثين من جامعات في الصين وكندا لعب لعبة "أوجد الفروق" عالية المخاطر مع هذه النماذج من الذكاء الاصطناعي. لقد جمعوا 211 صورة مقطعية لشرائح منفردة من الكبد - بعضها يحتوي على سرطان كبد مؤكد والبعض الآخر سليم تماماً. ثم قدموا هذه الصور لأربعة إصدارات مختلفة من طلاب الذكاء الاصطناعي (بما في ذلك ChatGPT-4o، وChatGPT-4.5، وPerplexity، وChatGPT-5.1 الأحدث) وسألوهم سؤالاً بسيطاً: "هل يوجد ورم هنا؟". ولجعل الأمر عادلاً، طلبوا أيضاً من خبيرين بشريين - أحدهما طبيب أشعة استشاري (محقق ماهر يتمتع بسنوات من الخبرة) والآخر طبيب متدرب (محقق مبتدئ) - النظر إلى نفس الصور تماماً والإجابة على نفس السؤال.
كانت النتائج مزيجاً من التقدم المثير للإعجاب والتذكير الواضح بمقدار العمل المتبقي للقيام بالمهمة. كان الخبراء البشريون هم الأبطال بلا منازع؛ فقد رصد طبيب الأشعة الاستشاري كل ورم (حساسية 100%)، وكانت إجاباته صحيحة بنسبة 91.5% بشكل عام. وكان الطبيب المتدرب قريباً جداً منه، حيث أصاب في 91.0% من الحالات. أما نماذج الذكاء الاصطناعي، فقد عانت قليلاً؛ إذ تمكن أفضل نموذج ذكاء اصطناعي أداءً، وهو ChatGPT-5.1، من الإجابة بشكل صحيح بنسبة 83.4%. هذه نتيجة جيدة، لكنها كانت لا تزال أقل بكريد من الأطباء البشر.
هنا تصبح القصة مثيرة للاهتمام: اكتشف الباحثون أن أداء الذكاء الاصطناعي يعتمد بشكل كبير على كيفية طرح السؤال عليه. فعندما أعطوا الذكاء الاصطناعي "أمراً" (prompt) قياسياً فقط، نجح بنسبة 74% تقريباً. ولكن، عندما أضافوا القليل من "التوجيه التشريحي" - أي أخبروا الذكاء الاصطناعي: "مهلاً، تذكر أن الكبد يقع في الجانب الأيسر من هذه الصورة، والرئتان خلفه" - قفزت درجة الذكاء الاصطناعي إلى 83.4%. كان الأمر كما لو أنهم منحوا الروبوت مصباحاً يدوياً وخريطة؛ وفجأة، أصبح بإمكانه الرؤية بشكل أفضل بكثير. ومع ذلك، حتى مع هذا التعزيز، لا يزال الذكاء الاصطناعي يخطئ في رصد المزيد من الأورام مقارنة بالأطباء البشر.
كما درست الدراسة عن كثب "لماذا" ارتكب الذكاء الاصطوي والبشر الأخطاء. كان أكبر فشل للذكاء الاصطناعي هو تفويت الأورام التي تبدو تماماً مثل أنسجة الكبد السليمة المحيطة بها (والتي تسمى الآفات "متساوية الكثافة"). كان الأمر يشبه محاولة العثور على كرة ثلج بيضاء وسط كومة من الثلج الأبيض. كان البشر أفضل بكثير في رصد هذه الحالات الصعبة. ومن ناحية أخرى، ارتبك كل من الذكاء الاصطناعي والبشر أحياناً بسبب الأوعية الدموية، حيث خلطوا بين مقطع عرضي لوريد وبين الورم. ومن المثير للاهتمام أن الذكاء الاصطناعي ارتكب أخطاء "الإنذار الكاذب" هذه بنسبة أقل من البشر، لكنه وقع في أخطاء غريبة خاصة به، مثل الهوس بدرجات معينة من اللون الرمادي وتجاهل الصورة الكبيرة.
في النهاية، تشير الورقة البحثية إلى أنه على الرغم من أن نماذج الذكاء الاصطناعي هذه تصبح أكثر ذكاءً ويمكن مساعدتها بتعليمات أفضل، إلا أنها ليست جاهزة بعد لاستبدال الأطباء البشر. إنهم يشبهون المتدربين الموهوبين جداً الذين لا يزالون يتعلمون أصول المهنة؛ يمكنهم أن يكونوا أدوات مفيدة لمساعدة الأطباء، لكنهم يحتاجون إلى مشرف بشري للتحقق من عملهم، خاصة عندما تكون الأدلة دقيقة. ويخلص الباحثون إلى أننا بحاجة إلى توخي الحذر، والاستمرار في اختبار هذه النماذج، وفهم أين قد تخفق بالضبط قبل أن نثق بها في تشخيصات المرضى الحقيقية.
ملخص تقني لورقة بحثية: أداء وأنماط فشل النماذج اللغوية الكبيرة متعددة الوسائط في الكشف عن سرطان الخلايا الكبدية في الأشعة المقطعية للمرحلة الوريدية البابية.
بيان المشكلة
بينما أظهرت النماذج اللغوية الكبيرة (LLMs) متعددة الوسائط كفاءة في المهام القائمة على اللغة ومعايير الاستدلال السريري، إلا أن قدرتها على تفسير الصور الطبية لا تزال غير متسقة. وتحديداً، يتطلب الكشف عن سرطان الخلايا الكبدية (HCC) في التصوير المقطعي (CT) تمييزاً بصرياً دقيقاً، واستدلالاً مكانياً، ودمجاً للسياق السريري. تشير الدراسات السابقة إلى أن النماذج الأقدم (مثل GPT-4) تعاني في تحديد أمراض الكبد الشائعة في الأشعة المقطعية، وغالباً ما يكون أداؤها أقل بكثير من أطباء الأشعة المدربين. وهناك نقص في دراسات المعايير القياسية التي تقارن مباشرة بين النماذج اللغوية الكبيرة المتقدمة والحديثة وبين القراء البشريين تحت ظروف متطابقة ومتحكم بها باستخدام صور سريرية حقيقية.
المنهجية
استخدمت الدراسة تصميماً استعادياً لتقييم الأداء التشخيصي للنماذج اللغوية الكبيرة متعددة الوسائط الحالية مقابل خبراء بشريين في مهمة بصرية مقيدة.
مجموعة البيانات: استخدمت الدراسة 211 صورة مقطعية أحادية الشريحة للمرحلة الوريدية البابية: 106 صور تحتوي على آفات مؤكدة باثولوجياً لسرطان الخلايا الكبدية (من مجموعة بيانات HCC-TACE-SEG) و105 صور لكبد سليم (من مجموعة بيانات CPTAC-UCEC).
توحيد الصور: لمنع تسرب البيانات أو التعلم عبر المسارات المختصرة (shortcut learning)، تم تحويل جميع الصور إلى تنسيق PNG موحد (512 × 512 بكسل) مع إعدادات نافذة ثابتة (WW 400, WL 50). كما تمت إزالة جميع بيانات DICOM الوصفية، والمعرفات المؤسسية، والتعليقات التوضيحية. ولم يتم توفير أي أقنعة تجزئة أو علامات للآفات.
النماذج التي تم تقييمها: تم اختبار أربعة نماذج لغوية كبيرة متعددة الوسائط في ظروف "الصفر المعرفة" (zero-shot) (أي بدون ضبط دقيق):
ChatGPT-4o (ديسمبر 2024)
ChatGPT-4.5 (فبراير 2025)
Perplexity AI (مهيأ بـ GPT-4.1، مايو 2025)
ChatGPT-5.1 (ديسمبر 2025)
استراتيجية التلقين (Prompting Strategy):
التشغيل 1 (الأساسي): تلقت جميع النماذج تلقيناً معيارياً دون سياق إضافي.
التشغيل 2 (التوجيه التشريحي): تمت إعادة تقييم ChatGPT-5.1 باستخدام تلقين "توجيه تشريحي" محدد أُضيف إلى مدخل الصورة الأولى، حيث وجه النموذج للتركيز على موقع الكبد بالنسبة للرئة واتجاه الصورة. تبعت ذلك الصور اللاحقة في الجلسة دون هذا التوجيه المحدد.
القراء البشريون: عمل طبيب أشعة استشاري (خبرة 15 عاماً) وزميل في تصوير البطن كمجموعة تحكم بشرية، حيث تلقوا نفس الصور الثابتة وتعليمات المهمة.
التقييم: تم تسجيل المخرجات كقرارات ثنائية (وجود آفة بؤرية مقابل عدم وجودها). تم حساب مقاييس الأداء (الحساسية، النوعية، الدقة) وأجريت مقارنات إحصائية باستخدام اختبار McNemar مع تصحيح Bonferroni. كما أُجري تحليل للأخطاء على الحالات المصنفة خطأً لتحديد أنماط الفشل.
النتائج الرئيسية
الأداء البشري: تفوق كلا القراء البشريين على جميع النماذج اللغبية الكبيرة متعددة الوسائط. حقق الاستشاري حساسية بنسبة 100% ودقة بنسبة 91.5%. وحقق الزميل حساسية بنسبة 98.1% ودقة بنسبة 91.0%.
أفضل نموذج لغوي كبير أداءً: كان ChatGPT-5.1 مع تلقين التوجيه التشريحي (التشغيل 2) هو النموذج الأعلى أداءً، حيث حقق:
الحساسية: 79.2%
النوعية: 87.6%
الدقة: 83.4% هذا الأداء كان أعلى بشكل ملحوظ من جميع النماذج الأخرى المختبرة (p < 0.05) ولكنه ظل أقل بشكل ملحوظ من كلا القراء البشريين (p < 0.05).
تأثير هندسة التلقين: أدى إضافة تلقين واحد للتوجه التشريحي إلى ChatGPT-5.1 إلى تحسينات كبيرة مقارنة بالتشغيل الأساسي (التشغيل 1):
زادت الحساسية بمقدار 12.2 نقطة مئوية (67.0% ← 79.2%).
زادت النوعية بمقدار 6.6 نقطة مئوية (81.0% ← 87.6%).
زادت الدقة بمقدار 9.5 نقطة مئوية (73.9% ← 83.4%).
تباين النماذج: تباين الأداء بشكل كبير بين النماذج. سجل ChatGPT-4.5 حساسية عالية (79.2%) ولكن نوعية ضعيفة (50.5%). بينما سجل ChatGPT-4o نوعية عالية (90.5%) ولكن حساسية منخفضة (43.4%).
تحليل أنماط الفشل
حددت الدراسة أنماط خطأ متميزة لكل من أفضل النماذج اللغوية الكبيرة والقراء البشريين:
السلبيات الكاذبة (تجاهل سرطان الخلايا الكبدية): كان السبب الرئيسي للنموذج اللغوي الكبير هو الآفات متساوية الكثافة (الآفات التي لها كثافة مشابهة لأنسجة الكبد المحيطة)، والتي شكلت 36.4% من أخطاء النموذج. وشملت الأسباب الأخرى الآفات الكبيرة غير المتجانسة، والآفات الموجودة عند حافة الكبد أو الشق، والآفات التي تشبه الهياكل المعدية المعوية. ومن الجدير بالذكر أن آفة واحدة متساوية الكثافة تم تجاهلها من قبل كل من النموذج اللغوي والزميل البشري.
الإيجابيات الكاذبة (اعتبار الكبد السليم مصاباً بالسرطان): كان السبب الأكثر شيوعاً لكل من النماذج اللغية الكبيرة والبشر هو الخطأ في تحديد الأوعية الدموية (على سبيل المثال، الخلط بين المقاطع العرضية للأوردة البابية أو الأوردة الكبدية وبين الآفات).
أظهرت النماذج اللغية الكبيرة أخطاءً أقل في الإيجابيات الكاذبة الناتجة عن العيوب التقنية (توسط حجم الجزء - partial volume averaging) مقارنة بالبشر.
ومع ذلك، أظهر النموذج اللغوي الكبير أخطاءً خاصة بالذكاء الاصطناعي، مثل الاعتماد المفرط على عتبات الكثافة، والتي لم تكن مرتبطة بأنماط التفكير البشري.
الأهمية والادعاءات
خلص المؤلفون إلى أنه على الرغم من التحسن السريع للنماذج اللغوية الكبيرة متعددة الوسائط، إلا أنها تفتقر حالياً إلى قدرة الكشف البصري عن الآفات المطلوبة للتشخيص المستقل لسرطان الخلايا الكبدية في صور الأشعة المقطعية أحادية الشريحة.
الوضع الحالي: حقق أفضل نموذج (ChatGPT-5.1 مع تعزيز التلقين) نوعية عالية مماثلة لأطباء الأشعة، ولكن حساسية أقل بكثير.
حساسية التلقين: توضح الدراسة أن أداء النماذج اللغية الكبيرة في التصوير الطبي حساس للغاية لسياق التلقين والتوجه التشريحي؛ حيث يمكن للتوجيه البسيط أن يحقق مكاسب كبيرة في الأداء.
الدور في التدفق السريري: تجادل الورقة بأن هذه النماذج لا ينبغي النظر إليها كأدوات تشخيصية مستقلة، بل يُفضل اعتبارها أدوات بحثية أو أدوات مساعدة لتوليد الفرضيات والتعليم، مما يتطلب تصميماً دقيقاً للتلقين، وتقييماً صارماً، وإشرافاً بشرياً دقيقاً.
المحددات: يقر المؤلفون بأن الدراسة كانت بمثابة "اختبار جهد" باستخدام صور أحادية الشريحة وأحادية المرحلة، وهو ما لا يعكس طبيعة تشخيص سرطان الخلايا الكبدية متعددة المراحل ومتعددة الشرائح في العالم الحقيقي. وبناءً على ذلك، فإن النتائج قد تقلل من القدرة المحتملة لكل من البشر والذكاء الاصطناعي في تدفق العمل السريري الكامل.
تؤكد الورقة أن مقاييس الأداء الملخصة وحدها غير كافية؛ بل إن فهم أنماط الفشل المحددة (مثل تساوي الكثافة والخلط مع الأوعية الدموية) أمر ضروري للتطوير المستقبلي والدمج الآمن للذكاء الاصطنا- في سير عمل الأشعة.