Evaluation of GPT-5.6 Models on the 2025 Chinese Licensed Pharmacist Qualification Examination, Including Image-Containing Questions
تقيم هذه الدراسة ثلاثة نماذج من GPT-5.6 في امتحان ترخيص الصيدلي الصيني لعام 2025، حيث وجدت أن جميع النماذج قد اجتازت كل مادة، مع تفوق نموذجي GPT-5.6-Sol وGPT-5.6-Terra بشكل ملحوظ على نموذج GPT-5.6-Luna، مع ملاحظة أن الأداء في الأسئلة التي تحتوي على صور كان أقل بشكل عام، ومن المحتمل أن يكون متأثراً بتوفير مدخلات الصور الأصلية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
في ظل المشهد المتطور بسرعة للذكاء الاصطناعي، ظهر جيل جديد من برامج الكمبيوتر التي يمكنها فهم وتوليد اللغة البشرية بطلاقة ملحوية. هذه الأنظمة، المعروفة باسم النماذج اللغوية الكبيرة، يتم تدريبها على كميات هائلة من النصوص، مما يسمح لها بالإجابة على الأسئلة، وكتابة القصال، وحل المشكلات التي كانت تتطلب ذات يوم خبرة بشرية. ومؤخراً، بدأت هذه الأدوات في رؤية الصور بالإضافة إلى الكلمات، حيث اكتسبت القدرة على تفسير المخططات والرسوم البيانية والصور الفوتوغرافية جنباً إلى جنب مع النص. وتعد هذه القدرة متعددة الوسائط (multimodal) أمراً بالغ الأهمية للتطبيقات في العالم الحقيقي، حيث نادراً ما تُقدم المعلومات في شكل نصي فقط. ومع ذلك، يظل هناك سؤال جوهري: هل يمكن لهذه الأنظمة المتطورة أن تفهم حقاً المعلومات البصرية والنصية المعقدة المطلوبة في المجالات المهنية عالية المخاطر، مثل الصيدلة؟ إن الإجابة لا تهم عشاق التكنولوجيا فحسب، بل تهم أيضاً مستقبل التعليم الطبي والاعتماد المهني، حيث يمكن أن يكون للقدرة على التفسير الصحيح لملصق دواء، أو بنية كيميائية، أو صورة طبية عواقب مباشرة على سلامة المرضى.
ولاستقصاء ذلك، شرع باحثون في جامعة شانتو والمستشفيات التابعة لها في الصين في اختبار ثلاث نسخ محددة من نموذج ذكاء اصطناعي قوي جديد، يُرمز له بـ GPT-5.6، مقابل امتحان تأهيل الصيدلي المرخص الصيني لعام 2025. وهذا امتحان وطني صارم يجب على الصيادلة اجتيازه لممارسة المهنة قانونياً في الصين. يغطي الامتحان أربعة موضوعات متميزة، تتراوح من المعرفة الصيدلانية المهنية إلى القوانين واللوائح، ويتطلب الحصول على درجة لا تقل عن 60 بالمائة في كل قسم للنجاح. وكان الباحثون مهتمين بشكل خاص بكيفية تعامل النماذج مع الأسئلة التي تتضمن صوراً، وهي سمة شائعة في الاختبارات الطبية تجاهلها العديد من الدراسات السابقة. أرادوا معرفة ما إذا كان بإمكان النماذج اجتياز الامتحان، وما إذا كانت النسخ المختلفة من نفس عائلة النماذج تؤدي بشكل مختلف، وما إذا كان توفير ملفات الصور الفعلية للكمبيوتر سيحسن إجاباته مقارنة بمجرد إخبار الكمبيوتر بوجود صورة.
قام الفريق ببناء مجموعة بيانات باستخدام دليل دراسي مستخدم على نطاق واسع لامتحان عام 2025، والذي احتوى على 400 سؤال في المجمل، بواقع 100 سؤال من كل موضوع من الموضوعات الأربعة. وقد استخرجوا النص والإجابات الصحيحة والصور بعناية، ونظموها بحيث يمكن اختبار الذكاء الاصطناعي تحت ظروف خاضعة للرقابة. ركزت الدراسة على ثلاث متغيرات محددة من نموذج GPT-5.6، تسمى Sol وTerra وLuna. تم تغذية هذه النماذج بأسئلة الامتحان واحداً تلو الآخر، لتعمل كصيدلي خبير يجب عليه اختيار الإجابة الصحيحة من قائمة خيارات. وبالنسبة للأسئلة التي تحتوي على صور، أجرى الباحثون نوعين من الاختبارات: أحدهما حيث يتلقى الكمبيوتر ملف الصورة الفعلي مع النص، والآخر حيث يتلقى الكمبيوتر النص فقط مع ملاحظة مؤقتة تشير إلى مكان وجود صورة، دون البيانات المرئية نفسها. وقد سمح هذا للباحثين بقياس مدى مساعدة المعلومات المرئية للنماذج في حل المشكلات.
أظهرت النتتائج أن جميع النماذج الثلاثة قادرة على اجتياز الامتحان بأكمله، محققة درجات أعلى بكثير من عتبة الـ 60 بالمائة المطلوبة للترخيص في كل موضوع من المواضيع. ومع ذلك، لم تكن جميع النماذج تؤدي بشكل متساوٍ؛ فقد تفوق نموذجا GPT-5.6-Sol وGPT-5.6-Terra بشكل كبير على نموذج GPT-5.6-Luna. حقق إصدار Sol دقة إجمالية بلغت 91.5 بالمائة، بينما سجل Terra نسبة 89.0 بالمائة. وفي المقابل، سجل Luna نسبة 83.3 بالمائة. وبينما نجحت جميعها، أكد التحليل الإحصائي أن الفرق بين أفضل نموذجين ونموذج Luna لم يكن ناتجاً عن الصدفة. كما وجد الباحثون أن النماذج كانت تؤدي بشكل عام بشكل أفضل في الأسئلة التي تحتوي على نصوص فقط مقارنة بتلك التي تتضمن صوراً. فبالنسبة لنموذج Sol، انخفضت الدقة بأكثر من 15 نقطة مئوية عند الانتقال من الأسئلة النصية فقط إلى الأسئلة التي تتضمن صوراً. ويشير هذا إلى أنه على الرغم من قدرة هذه النماذج العالية، فإن تفسير المعلومات المرئية يظل مهمة أكثر صعوبة بالنسبة لها من معالجة الكلمات المكتوبة.
وعندما فحص الباحثون تأثير تقديم الصور الفعلية مقابل مجرد نصوص مؤقتة، لاحظوا اتجاهاً واضحاً: أجابت النماذج بشكل أكثر صحة عندما تمكنت من رؤية الصور فعلياً. فبالنسبة لنموذج Sol، ارتفعت الدقة في الأسئلة التي تحتوي على صور من 66.7 بالمائ % بدون صور إلى 81.0 بالمائ % مع الصور. ولوحظت تحسينات مماثلة في النموذجين الآخرين، حيث أظهر كل من Terra وLuna زيادة بنحو 19 نقطة مئوية تقريباً عند تضمين البيانات المرئية. ومع ذلك، نظراً لأن عدد الأسئلة القائمة على الصور في الامتحان كان صغيراً نسبياً، أشار الباحثون إلى أن هذه التحسينات المحددة لم تصل إلى المستوى الصارم من اليقين الإحصائي المطلوب لاعتبارها دليلاً قاطعاً. كما ميزت الدراسة بين الصور التي تظهر في السؤال نفسه وتلك التي تظهر في خيارات الإجابة؛ حيث أشارت البيانات إلى أن الصور في خيارات الإجابة كانت مهمة بشكل خاص، حيث واجهت النماذج صعوبة أكبر عندما كانت هذه القرائن المرئية مفقودة، رغم أن حجم العينة الصغير حال دون الوصول إلى استنتاج حاسم بشأن هذه النقطة تحديداً.
تخلص الدراسة إلى أنه على الرغم من وصول نماذج الذكاء الاصطناعي المتقدمة هذه إلى مستوى من الكفاءة يسمح لها باجتياز امتحان صيدلة مهني صعب، إلا أن أداءها ليس موحداً عبر جميع متغيرات النماذج، ولا تزال تواجه تحديات مع البيانات المرئية. ويؤكد الباحثون أن قدرة النماذج على اجتياز الامتحان لا تعني أنها جاهزة لاستبدال الصيادلة البشريين أو لاستخدامها كأداة وحيدة للتقييم الطبي دون مزيد من التحقق. بدلاً من ذلك، تشير النتائج إلى مستقبل محتمل يمكن لهذه الأدوات فيه دعم المهنيين البشريين من خلال المساعدة في إنشاء برامج تدريبية مخصصة، وتحديد الفجوات المعرفية، والمساعدة في التحضير لامتحانات الاعتماد. وتسلط الدراسة الضوء على أنه لكي يكون الذكاء الاصطناعي فعالاً حقاً في المجالات الطبية المعقدة، يجب أن يكون قادراً على دمج المعلومات النصية والمرئية بسلاسة، وهي قدرة في طور التحسن ولكنها لا تزال تتطلب صقلاً وتطويراً.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.