Referring uncertain answers by decision-model confidence: Jev, OpenAI Decisions and Clef on Korean and US medical licensing examination questions

في ظل المشهد المتطور بسرعة للذكاء الاصطناعي، ظهرت فئة جديدة من الأدوات لمعالجة مشكلة محددة: كيفية جعل الآلات تختار بين خيارات ثابتة دون الحاجة لكتابة تفسيرات طويلة. تقليديًا، تجيب نماذج اللغات الكبيرة على الأسئلة عن طريق توليد النصوص كلمة بكلمة، وهي عملية مرنة ولكنها قد تكون بطيئة ومكلفة. أما النهج الأحدث، المعروف باسم "نمذجة القرار" (decision modeling)، فيتخطى مرحلة توليد النصوص تمامًا؛ فبدلاً من ذلك، ينظر النموذج إلى قائمة من الإجابات المحتملة التي يوفرها المستخدم ويخصص درجة احتمالية لكل منها، ليقول جوهريًا: "أنا متأكد بنسبة 90 بالمائة أن هذا هو الخيار الصحيح، وبنسبة 10 بالمائة أن هذا هو الآخر". هذه الطريقة أسرع وأرخص، لكنها تثير سؤالاً حرجاً في المجالات عالية المخاطر مثل الطب: هل يمكن لهذه الآلات أن تعرف متى تكون مخطئة؟ فإذا كان النموذج واثقاً ولكنه غير دقيق، فقد يؤدي ذلك إلى أخطاء خطيرة. ويكمن التحدي في إيجاد طريقة تمكن النظام من التعرف على عدم يقينه وتحويل الحالات الصعبة إلى خبير بشري أو كمبيوتر أكثر قوة قبل وقوع الخطأ.

لقد شرع باحثون في كلية الطب بجامعة إنجي (Inje University) في اختبار ما إذا كانت نماذج القرار هذه قادرة على رصد أخطائها بموثوقية في امتحانات التراخيص الطبية. وقد ركزوا على ثلاثة نماذج مختلفة من شركات مختلفة، واختبروها في مئات الأسئلة من امتحانات البورد الطبية الكورية والأمريكية. لم يكن الهدف مجرد معرفة عدد الأسئلة التي أجابت عليها الآلات بشكل صحيح، بل معرفة ما إذا كانت درجات الاحتمالية التي تولدها يمكن أن تعمل كنظام إنذار. تساءل الباحثون: إذا قال النموذج إنه واثق قليلاً فقط من إجابة ما، فهل يعني ذلك حقاً أن الإجابة من المرجح أن تكون خاطئة؟ وإذا طُلب من النظام استبعاد تخميناته الأقل ثقة وإرسالها إلى نموذج أقوى وأغلى ثمناً لإلقاء نظرة ثانية، فهل يؤدي ذلك إلى تحسين الدقة الإجمالية دون تكبد تكلفة باهظة؟

ولإيجاد الإجابات، أجرى الفريق سلسلة من المحاكاة الحاسوبية باستخدام أسئلة طبية حقيقية. حيث غدوا آلاف الأسئلة الطبية لثلاثة نماذج قرار مختلفة: Jev، وOpenAI Decisions، وClef. طُلب من كل نموذج اختيار الإجابة الصحيحة من قائمة خيارات وتقديم درجة ثقة لاختياره. ثم قارن الباحثون هذه الدرجات مع مفاتيح الإجابات الرسمية لمعرفة ما إذا كان انخفاض الثقة يرتبط حقاً بالأخطاء. واكتشفوا أن النماذج كانت جيدة جداً في هذا التقييم الذاتي؛ فعندما كانت النماذج غير متأكدة، كانت غالباً مخطئة. وتحديداً، حددت النماذج الإجابة الصحيحة بنسبة تتراوح بين 83 إلى 92 بالمائة في الأسئلة الكورية، وبين 85 إلى 88 بالمائة في الأسئلة الإنجليزية. والأهم من ذلك، نجحت درجات الاحتمالية في رصد الأخطاء؛ ففي الاختبارات الكورية، تمكنت درجات عدم اليقين الخاصة بالنماذج من تمييز الإجابات الخاطئة عن الصحيحة بدرجة عالية من الموثوقية، وانطبق الأمر ذاته على الاختبارات الإنجليزية.

ثم انتقلت الدراسة إلى تطبيق عملي: نظام الإحالة. حيث قام الباحثون بمحاكاة سيناريو يتم فيه إرسال أقل 20 بالمائة من الإجابات ثقة من كل نموذج تلقائياً إلى نموذج أقوى وأغلى بكثير، وهو GPT-6.1 Sol، لاتخاذ القرار النهائي. وأظهرت النتائج أن هذه الاستراتيجية البسيطة نجحت بشكل ملحوظ؛ فمن خلال إحالة خُمس الإجابات فقط، تمكن النظام من رصد ما بين 56 و91 بالمائة من الأخطاء التي ارتكبتها النماذج الأولية. وقد عززت هذه العملية الدقة الإجمالية للنظام بنسبة تتراوح بين 6 إلى 9 نقاط مئوية. وكانت تكلفة هذا التحسن جزءاً ضئيلاً مما كان سيكلفه تشغيل النموذج القوي على كل سؤال. لقد حقق نهج الإحالة ما يقرب من نصف إلى جميع مكاسب الدقة الممكنة التي قد تتوفر لو كان هناك "عراف" (oracle) مثالي يعرف بالضبط الإجابات الخاطئة مسبقاً، وكل ذلك مع إنفاق حوالي ربع إلى ثلث التكلفة التي يتطلبها استخدام النموذج القوي حصرياً.

ومع ذلك، كشف الباحثون أيضاً عن قيود مهمة تشير إلى أن هذه الأدوات ليست جاهزة بعد للاستخدام الفعلي في المستشفيات. فرغم أن النماذج كانت جيدة في رصد عدم يقينها، إلا أنها لم تكن مثالية؛ إذ وقعت بعض الأخطاء مع وجود ثقة عالية، مما يعني أن الآلة كانت واثقة من الإجابة الخاطئة. وكانت هذه الأخطاء الواثقة مستقرة في الغالب، بمعنى أنها لم تتغير حتى عند تغيير ترتيب خيارات الإجابة، وكانت أحياناً تتطابق مع الإجابات الخاطئة التي قدمتها نماذج متقدمة أخرى. وهذا يشير إلى أنه عندما تكون هذه النماذج واثقة ولكنها مخطئة، فإنها تكون مخطئة لنفس الأسباب العميقة، مثل نقص المعلومات في السؤال أو الاعتماد على لوائح قديمة. ففي الامتحانات الكورية، على سبيل المثال، تضمنت العديد من الأخطاء قوانين محلية وقواعد إدارية محددة عانت النماذج معها، حتى عندما أعربت عن عدم يقينها. وفي الامتحانات الإنجليزية، كانت بعض الأسئلة نفسها محل خلاف بين الأطببين البشر، مما جعل من الصيغ التاريخية من الصعب على أي آلة الوصول إلى الإجابة "الصحيحة".

كما بحثت الدراسة مدى حساسية هذه الأنظمة لطريقة تقديم الأسئلة. فعندما قام الباحثون بتدوير ترتيب خيارات الإجابة، تغيرت قرارات النماذج في حوالي 7 إلى 16 بالمائ المائة من الحالات. وهذا يعني أن النموذج قد يحيل سؤالاً للحصول على نظرة ثانية لمجرد أن الخيارات قد عُرضت بترتيب مختلف، حتى لو ظل المحتوى الطبي كما هو. وبينما ظلت الدقة الإجمالية للنظام مستقرة رغم هذه التحولات الطفيفة، إلا أن القرارات الفردية لم تكن متسقة تماماً. وأشار الباحثون إلى أن عدم الاستقرار هذا، مقترناً بوجود الأخطاء الواثقة، يعني أنه لا يمكن الوثوق بهذه النماذج للعمل بمفردها بعد. فهي تعمل بشكل أفضل كقارئ أول يتعامل مع الحالات السهلة ويضع علامات على الحالات الصعبة لمراجعتها من قبل طبيب بشري.

في الختام، تظهر الأبحاث أن نماذج القرار تقدم حلاً وسطاً واعداً بين السرعة والدقة. فهي تستطيع معالجة الأسئلة الطبية بسرعة وتكلفة منخفضة، وتوفر درجات الثقة الداخلية آلية مفيدة لتصفية الأخطاء الأكثر احتمالاً. ومن خلال إحالة الـ 20 بالمائ من الإجابات غير الواثقة إلى نظام أقوى، يمكن استعادة معظم دقة نموذج رفيع المستوى بتكلفة أقل بكين. ومع ذلك، فإن الطريق نحو الاستخدام السريري يتطلب ما هو أكثر من مجرد هذه المحاكاة؛ فوجود الأخطاء الواثقة والحساسية تجاه تنسيق الأسئلة يشيران إلى أن هذه الأدوات تحتاج إلى تحقق دقيق في بيئات العالم الحقيقي. وقبل أن تتمكن من توجيه رعاية المرضى، يجب اختبارها في تدفقات العمل السريرية الفعلية حيث يمكن للأطببين البشر مراجعة الحالات المحالة وتدقيق الإجابات الواثقة التي قد تظل خاطئة. تُظهر التكنولوجيا إمكانات كبيرة، لكنها تظل أداة تحتاج إلى يد بشرية لتوجيهها.