Comparison of performance of an LLM Council of LFM2.5-1.2B, Qwen3-4B-2507 and Phi-4-Mini- reasoning and Meta LLaMa 3.1 8B against MedGemma 4B on extraction and classification of free-text radiology reports
على الرغم من أن الدراسة افترضت أن نموذج MedGemma 4B المتخصص في هذا المجال سيتفوق على إطار عمل "مجلس النماذج اللغوية الكبيرة" (LLM Council) متعدد النماذج، إلا أن النتائج أظهرت أن MedGemma حقق دقة إجمالية أعلى من إطار عمل المجلس، بينما تفوق نموذج Qwen3-4B-2507 العام والمنفرد بشكل مستقل على كليهما، مما يشير إلى أن القدرة القوية على الاستنتاج العام يمكن أن تتفوق على كل من النهج القائم على الإجماع والنهج الطبي المتخصص في تحليل تقارير الأشعة السريرية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في همهمة هادئة داخل قسم الأشعة في أحد المستشفيات، تلتقط الآلات صوراً لجسم الإنسان، لكن القصة الحقيقية لصحة المريض غالباً ما تكمُم في النصوص المتدفقة لتقرير الطبيب. لسنوات، أمَل الباحثون أن تتمكن الذكولة الاصطناعية من قراءة هذه التقارير بطلاقة تضاهي المتخصص البشري، مستخرجةً تفاصيل حاسمة مثل أحجام الأورام أو كسور العظام لتسريع عملية الرعاية. وقد برز مساران رئيسيان لحل هذا اللغز؛ يتضمن المسار الأول تدريب حاسوب خصيصاً على الكتب الطبية وسجلات المرضى، على أمل بناء متخصص رقمي يحفظ لغة الأمراض عن ظهر قلب. أما المسار الآخر فيعتمد على حواسيب قوية عامة الأغراض، لم تُعلّم الطب ولكنها بارعة للغاية في فهم اللغة، واتباع التعليمات، والتفكير المنطقي في المشكلات المعقدة. والسؤال الكبير الذي يواجه هذا المجال هو ما إذا كان فريق من هؤلاء المفكرين العامين، الذين يعملون معاً للوصول إلى إجماع، يمكنهم التفوق على خبير طبي واحد عالي التدريب.
لقد شرع فريق من الباحثين في الإجابة على ذلك عبر وضع ذكاء اصطناعي طبي متخصص في مواجهة "مجلس" فريد من النماذج عامة الأغراض. جمعوا ما يقرب من ثمانمائة تقرير أشعة حقيقي ومجهول الهوية من مستشفى في نيودلهي، تغطي صور الثدي (الماموجرام)، وفحوصات الورك والركبة، وصور الرنين المغناطيسي للدماغ. كان هدفهم هو معرفة أي نظام يمكنه أداء نوعين من المهام بشكل أفضل: استخراج أرقام ورموز محددة من النص، وتحديد ما إذا كانت الأشعة طبيعية أم تتطلب مزيداً من الاهتمام. وكان النموذج المتخصص الذي اختاروه هو "MedGemma"، وهو نظام صُمم خصيصاً للرعاية الصحية. أما القوة المعارضة فكانت مجلساً يتكون من ثلاثة نماذج أصغر عامة الأغراض تولد إجاباتها بشكل مستقل، ثم تمت مراجعة هذه الإجابات ودمجها بواسطة نموذج رابع يعمل كـ "رئيس للجلسة"، لإنتاج قرار نهائي واحد. وافترض الباحثون أن النموذج الطبي المتخصص هو من سيفوز، نظراً لتدريبه العميق في هذا المجال.
ومع ذلك، أخبرت النتائج قصة مختلفة. فعندما تم اختبار الأنظمة على تقارير تصوير الثدي، والتي تتطلب استخراج درجات محددة، أدى النموذج المتخصص أداءً جيداً، لكنه لم يكن الفائز الواضح. في الواقع، حقق أحد النماذج العامة في المجلس، أثناء عمله بمفرده، أعلى دقة من بين الجميع؛ حيث حدد هذا النموذج المنفرد التفاصيل الضرورية بدقة بلغت قرابة اثنين وتسعين بالمائة في حالات تصوير الثدي، متفوقاً بذلك على النموذج الطبي المتخصص. أما المجلس ككل، مع وجود رئيس الجلسة الذي يجمع بين أفكار المجموعة، فقد كان أداؤه أقل قلياً من هذا النموذج القوي المنفرد. واتسعت الفجوة بشكل كبير عندما انتقلت المهمة إلى تصنيف تقارير الورك والركبة والكاحل؛ ففي هذه الحالة، حدد النموذج الطبي المتخصص ما إذا كان المريض قبل الجراحة أو بعدها بدقة بلغت حوالي ستة وثمانين بالمائة من الحالات، بينما تعثر المجلس، حيث نجح في ذلك بنسبة اثنتين وسبعين بالمائة فقط. ومع ذلك، حلق النموذج العام المنفرد بدقة وصلت إلى قرابة ثلاثة وتسعين بالمائة، مفسراً سياق التقارير بشكل أفضل بكثير من كل من المتخصص والمجهود الجماعي.
ظهرت النتيجة الأكثر إثارة للدهشة في فحوصات الدماغ. فقد كان النموذج المتخصص جيداً جداً في رصد الشذوذات، لكنه ارتكب أيضاً المزيد من الأخطاء عبر تصنيف الفحوصات الطبيعية على أنها غير طبيعية عندما يرى مشكلات طفيفة في مكان آخر من النص. وفي المقابل، كان النموذج العام المنفرد مثالياً في تحديد الفحوصات الطبيعية، فلم يرتكب ذلك الخطأ المحدد أبداً، مع استمرار قدرته على رصد الغالبية العظمى من المشكلات الحقيقية. وعندما نظر الباحثون في أداء المجلس، وجدوا أن عملية دمج آراء نماذج متعددة غالباً ما تؤدي إلى إضعاف الإجابات الصحيحة؛ ففي حالات عدة، تجاهل المجلس الإجابة الصحيحة التي قدمها أفضل أعضائه واتبع بدلاً من ذلك رأي الأغلبية، الذي تبين أنه خاطئ. تشير الدراسة إلى أنه بالنسبة لهذه المهام المحددة، فإن القدرة على التفكير المنطقي عبر السرد واتباع التعليمات هي أكثر قيمة من امتلاك قاعدة بيانات من الحقائق الطبية المحفوظة. كما أن بنية المجلس المعقدة، التي تطلبت أربعة أضعاف قوة الحوسبة والذاكرة مقارنة بالنموذج المنفرد، لم تؤدِ إلى نتائج أفضل، بل كانت ببساطة أكثر تكلفة في التشغيل.
في نهاية المطاف، تشير الأبحاث إلى أنه بالنسبة لقراءة تقارير الأشعة، قد يكون نموذج واحد قوي وعام الأغراض، يمكنه التفكير المنطقي عبر النصوص، أكثر فعالية من فريق من النماذج التي تحاول الوصول إلى إجماع، أو نظام تم تدريبه حصرياً على البيانات الطبية. لقد أثبت النموذج الطبي المتخصص أنه قوي، لكنه هُزم أمام قدرة "العام" على فهم السياق. كما كشفت التجربة أن إضافة طبقات من الاتفاق والتركيب يمكن أن تؤدي أحياناً إلى إدخال الأخطاء بدلاً من إصلاحها، حيث قد يعكس القرار النهائي تسويةً بدلاً من الحقيقة. وبينما يظل النموذج المتخصص أداة قوية، تشير الدراسة إلى أن مستقبل قراءة التقارير الطبية قد لا يعتمد على بناء فرق أكبر وأكثر تعقيداً من الذكاء الاصطناعي، بل على إيجاد النموذج المنفرد الذي يفهم القصة بأفضل شكل ممكن.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.