Prompt engineering does not universally improve Large Language Model performance across clinical decision-making tasks
تقيم هذه الدراسة ثلاثة من نماذج اللغات الكبيرة المتطورة عبر مهام اتخاذ القرار السريري، وتجد أنه في حين أن هندسة الأوامر تحسن الأداء بشكل كبير في مجالات ضعف محددة مثل الاختبار التشخيصي، إلا أنها ليست حلاً عالمياً ويمكن أن تؤدي إلى نتائج عكسية لمهام أخرى، مما يسلط الضوء على الحاجة إلى استراتيجيات دمج مخصصة ومدركة للسياق.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل عالماً تستطيع فيه الحواسيب قراءة كل الكتب الطبية التي كُتبت على الإطلاق وتذكر كل حقيقة منها بدقة مثالية. هذا هو الوعد الذي تقدمه النماذج اللغوية الكبيرة (LLMs)، وهي الأدمغة الاصطناعية فائقة الذكاء وراء برامج الدردشة الآلية التي بدأت تبدو وكأنها أطباء. لكن معرفة حقيقة ما تختلف تماماً عن استخدامها لحل لغز معقد من واقع الحياة. فكر في الأمر كفرق بين طالب يمكنه تسميع كتاب قواعد كرة القدم بأكمله، وبين لاعب يمكنه حقاً مراوغة المدافعين، وتمرير الكرة للزميل المناسب، وتسجيل هدف عندما تشتد وطأة الوقت. في لعبة الرعاية الصحية عالية المخاطر، لا يحتاج الأطباء فقط إلى معرفة القواعد؛ بل يحتاجون إلى اتخاذ سلسلة من القرارات الصعبة بالتتابع: ما الخطب؟ ما الذي يجب أن نتحقق منه الآن؟ ما هي الفحوصات التي نحتاجها؟ وأخيراً، كيف نعالج الأمر؟ وهنا تصبح الأمور معقدة. لقد حاول العلماء تعليم هؤلاء "الطلاب" من الذكاء الاصطناعي كيف يلعبون اللعبة بشكل أفضل من خلال إعطائهم تعليمات خاصة، تسمى "هندسة الأوامر" (prompt engineering). الأمر يشبه تسليم الذكاء الاصطناعي خطة لعب سرية أو دليلاً خطوة بخطوة لمساعدته على التفكير بوضوح أكبر. والسؤال الكبير الذي يطرحه الجميع هو: هل تساعد هذه الخطة الذكاء الاصطناعي حقاً على الفوز باللعبة، أم أنها تشتت تركيزه فحسب؟
قررت هذه الدراسة معرفة ذلك عبر وضع ثلاثة من أذكى نماذج الذكاء الاصطناعي تحت الاختبار: ChatGPT-4o، وGemini 2.5 Flash، وLlama 3.3 70B. لم يكتفِ الباحثون بسؤالهم أسئلة عامة، بل أعطوهم 36 قصة من واقع الحياة (تسمى الحالات السريرية) وطلبوا منهم المرور عبر عملية اتخاذ القرار بأكملها، خطوة بخطوة. أرادوا معرفة ما إذا كان استخدام تقنيات "هندسة الأوامر" المتطورة — وتحديداً طريقة تسمى MedPrompt تحاول إجبار الذكاء الاصطناعي على التفكير خطوة بخطوة والنظر في أمثلة سابقة مماثلة — سيجعل الذكاء الاصطناعي أفضل في حل هذه الألغاز الطبية.
إليك المفاجأة: الإجابة هي "يعتمد الأمر على الحالة" وبشكل قاطع. وجدت الدراسة أن هندسة الأوامر ليست عصا سحرية تصلح كل شيء. في الواقع، هي أشبه بسماعات إلغاء الضجيج التي تعمل بشكل رائع في المكتبة ولكنها تجعلك تفقد الحافلة في شارع مزدحم.
عندما تُركت نماذج الذكاء الاصطناعي لتتصرف بمفردها (باستخدام أوامر أساسية)، كانت جيدة بشكل مفاجئ في بعض الأشياء وسيئة جداً في أشياء أخرى. لقد كانوا شبه مثاليين في تحديد "التشخيص النهائي" بمجرد حصولهم على جميع الأدلة، لكنهم واجهوا الصعوبة الأكبر في تقرير "الفحوصات التشخيصية ذات الصلة" التي يجب طلبها. الأمر يشبه قدرتهم السهلة على تسمية الشرير في نهاية الفيلم، بينما يجدون صعوبة في معرفة أي الأدلة يجب البحث عنها في منتصف الحبكة.
بعد ذلك، جرب الباحثون "كتيب تعليمات" MedPrompt. بالنسبة للمهمة التي كان فيها الذكاء الاصطناعي في أضعف حالاته — وهي اختيار الفحوصات التشخيصية الصحيحة — حقق الكتيب نتائج مذهلة. كان الأمر كمن يعطي رحالة تائهاً خريطة مفصلة؛ حيث قفز أداء الذكاء الاصطناعي بشكل كبير. على سبيل المثال، ارتفعت دقة أحد النماذج في هذه المهمة الصعبة من حوالي 31% إلى 51%. هذه طفرة هائلة!
ومع ذلك، تأخذ القصة منعطفاً عندما حاول الذكاء الاصطناعي استخدام نفس الكتيب لمهام أخرى. فعندما طُلب منه سرد الأمراض المحتملة (التشخيص التفريقي) أو اقتراح العلاجات، جعلت الأوامر المتطورة الذكاء الاصطناعي أسوأ في الواقع. يبدو الأمر كما لو أن الذكاء الاصطناعي انشغل كثيراً باتباع القواعد الصارمة للكتيب لدرجة أنه نسي استخدام عقله الخاص. فقد انخفضت قدرة أحد النماذح على سرد الأمراض المحتملة من 71% إلى 56% لمجرد أنه كان يحاول جاهداً اتباع تعليمات "التفكير خطوة بخطوة".
كما اختبر الباحثون ما إذا كان تغيير "درجة الحرارة" (temperature) للذكاء الاصطناعي — والتي تتحكم في مدى إبداع أو عشوائية إجاباته — سيحدث فرقاً. ووجدوا، ومن المثير للدهشة، أن ذلك لم يؤثر كثيراً على الدقة. وسواء تم ضبط الذكاء الاصطناعي ليكون متحفظاً للغاية أو أكثر إبداعاً، فقد حصل على نفس عدد الإجابات الصحيحة تقريباً. وهذا يشير إلى أن عقل الذكاء الاصطناعي مستقر تماماً لهذه المهام المحددة، رغم أن الباحثين يشيرون إلى أن الاتساق لا يزال أمراً مهماً للسلامة في المستشفيات الحقيقية.
الخلاصة الكبرى من هذه الدراسة هي أنه لا يوجد حل "واحد يناسب الجميع". لا يمكنك مجرد وضع أمر متطور على أي ذكاء اصطناعي وتوقع أن يصبح طبيباً عبقرياً. أحياناً، يساعد الهيكل الإضافي، وأحياناً يعمل كقميص ضيق يمنع الذكاء الاصطناعي من التفكير بشكل طبيعي. يقترح المؤلفون أنه في العالم الحقيقي، لا ينبغي لنا الاعتماد على الذكاء الاصطناعي لاتخاذ هذه القرارات بمفرده. بدلاً من ذلك، يجب استخدامه كمساعد مفيد يحتاج إلى طبيب بشري لمراجعة عمله، خاصة عندما يحاول الذكاء الاصطناعي حل الأجزاء الأكثر صعوبة من اللغز. المسار المستقبلي لا يتعلق بإيجاد الأمر المثالي، بل يتعلق بمطابقة الأداة المناسبة للمهمة المناسبة وإبقاء العنصر البشري في الحلقة لضمان سلامة الجميع.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.