When Chain-of-Thought Backfires: Evaluating Prompt Sensitivity in Medical Language Models
تُظهر هذه الورقة أن تقنيات هندسة الأوامر القياسية، مثل سلسلة الأفكار والتحفيز بلقطات قليلة، تُضعف بشكل كبير أداء النماذج اللغوية الكبيرة الطبية، بينما توفر تقنيات التقييم بالفراغات والتصويت بالتبديل بدائل أكثر قوة ودقة للإجابة على الأسئلة الطبية.
البحث الأصلي مرخَّص بموجب CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). هذا شرح مولَّده بالذكاء الاصطناعي للبحث أدناه. لم يكتبه المؤلفون ولم يصادقوا عليه. وللتحقق من الدقة التقنية، يرجى الرجوع إلى البحث الأصلي. اقرأ إخلاء المسؤولية الكامل
تخيل أن لديك طالباً طبياً عبقرياً يُدعى MedGemma. هذا الطالب حفظ آلاف الكتب الطبية ويمكنه اجتياز أي امتحان تحريري بتفوق. أنت تريد استخدام هذا الطالب لمساعدة الأطباء في اتخاذ قرارات حقيقية في الحياة العملية.
ولكن هناك عقبة: MedGemma حساس للغاية تجاه كيفية طرحك للأسئلة.
هذه الورقة البحثية بمثابة "اختبار جهد" لـ MedGemma. حاول الباحثون طرح نفس الأسئلة الطبية بطرق مختلفة لمعرفة ما إذا كانت إجابات الطالب ستتغير. واكتشفوا أشياء صادمة: طريقة طرحك للسؤال تهم أكثر من معرفة الطالب الفعلية.
إليك تفصيل لنتائجهم باستخدام تشبيهات بسيطة:
1. مشكلة "المفرط في التفكير" (التفكير المتسلسل يؤدي لنتائج عكسية)
الفكرة: عادةً، عندما نريد من الذكاء الاصطناعي أن يكون ذكياً، نقول له: "فكر خطوة بخطوة قبل الإجابة". وهذا ما يسمى بـ سلسلة الأفكار (Chain-of-Thought - CoT). الأمر يشبه قولك لطالب: "لا تخمن فقط؛ بل اكتب منطقك".
المفاجأة: بالنسبة لـ MedGemma، أدى هذا في الواقع إلى جعل أدائه أسوأ.
التشبيه: تخيل لاعب شطرنج عظيم يلعب ببراعة بناءً على حدسه. إذا أجبرته على التوقف وكتابة كل عملية تفكير قبل القيام بنقلة ما، فقد يصاب بالارتباك، ويبدأ في التشكيك في نفسه، ويرتكب خطأً لم يكن ليرتكبه أبداً لو وثق في حدسه فقط.
النتيجة: إخبار MedGemma بأن "يفكر خطوة بخطوة" خفض دقة إجاباته بنسبة تقارب 6%. لقد بدأ في المبالغة في تحليل الأمور وتحدث نفسه حتى وصل إلى الإجابة الخاطئة.
2. فخ "الأمثلة" (التعلم من أمثلة قليلة)
الفكرة: أحياناً، لتعليم الذكاء الاصطناعي، نعطيه بضعة أمثلة أولاً (على سبيل إمثال: "إليك سؤال وإجابة صحيحة. الآن دورك").
المفاجأة: إعطاء أمثلة لـ MedGemma جعله أسوأ بشكل ملحوظ (انخفضت الدقة بنسبة تقارب 12%).
التشبيه: تخيل أنك تؤدي اختباراً. يعطيك المعلم ثلاثة أسئلة تدريبية في أعلى الصفحة. لكن تلك الأسئلة التدريبية كُتبت بأسلوب غريب ومربك. الآن، عندما تصل إلى الأسئلة الحقيقية، تصبح مشتتاً جداً في محاولة تقليد أسلوب الأمثلة لدرجة أنك تنسى الإجابات الفعلية. لقد "تشتت" MedGemma بالأمثلة وبدأ في التخمين بناءً على الأنماط الموجودة في الأمثلة بدلاً من الحقائق الطبية.
3. مشكلة "تبديل المقاعد" (تحيز الموضع)
الفكرة: في أسئلة الاختيار من متعدد، تُصنف الإجابات عادةً بـ أ، ب، ج، د (A, B, C, D).
المفاجأة: إذا قمت بتبديل الحروف (بحيث تنتقل الإجابة الصحيحة من أ إلى ج)، فإن MedGemma يغير إجابته في 59% من الحالات.
التشبيه: تخيل طالباً لا يعرف الإجابة حقاً، بل لديه مجرد عادة اختيار الخيار الموجود في المقعد الثاني. إذا نقلت الإجابة الصحيحة إلى المقعد الثالث، سيظل الطالب يختار المقعد الثاني، رغم أنه أصبح الآن خاطئاً. لم يكن MedGemma يقرأ المحتوى؛ بل كان يخمن بناءً على مكان وجود الإجابة.
4. قاعدة "الانطباع الأول" (بتر السياق)
الفكرة: أحياناً، يكون لديك تقرير طبي طويل ولا يمكنك عرض التقرير كاملاً للذكะ الاصطناعي، لذا تضطر لقص جزء منه.
المفاجأة:
- قص البداية: إذا حذفت النصف الأول من التقرير، فإن أداء الذكاء الاصطناٍ ينهار. الأمر يشبه محاولة فهم فيلم عبر مشاهدة آخر 10 دقائق منه فقط؛ لن تدرك ما الذي يحدث.
- قص النهاية: إذا حذفت النصف الأخير، فإن الذكاء الاصطناعي يعمل بشكل جيد جداً تقريباً.
التشبيه: يحتاج MedGemma إلى "التمهيد" الخاص بالقصة لفهم السياق. بمجرد معرفته بالبداية، يمكنه تخمين النهاية حتى لو كانت النهاية مفقودة. لكن إذا سحبت منه البداية، فسيضيع تماماً.
5. خدعة "المعرفة السرية" (تسجيل الفراغات)
الفكرة: عادةً، نطلب من الذكاء الاصطناعي كتابة إجابة مثل "الإجابة هي ب".
المفجأة: جرب الباحثون طريقة مختلفة. بدلاً من طلب أن "يتحدث" الذكاء الاصطناٍ، طلبوا منه أن "يهمس" بالحرف الذي يفكر فيه عبر فحص مستويات ثقته الداخلية (الاحتمالات اللوغاريتمية).
النتيجة: طريقة "الهمس" هذه كانت الأكثر دقة من بين جميع الطرق.
التشبيه: تخيل طالباً يؤدي اختباراً. عندما يتعين عليه كتابة الإجابة، قد يشعر بالتوتر، أو يرتكب خطأً مطبعياً، أو يرتبك بسبب التعليمات. ولكن إذا كان بإمكانك قراءة عقله ورؤية الإجابة التي كان يفكر فيها، فستدرك أنه كان يعرف الإجابة طوال الوقت! لقد "عرف" MedGemma الإجابة الصحيحة، لكن عملية كتابتها هي التي أفسدت الأمر.
الخلاصة الكبرى
تحذرنا هذه الورقة من أننا لا يمكننا مجرد نسخ ولصق "أفضل الممارسات" من الذكاء الاصطناعي العام وتطبيقها على الذكاء الاصطناعي الطبي.
- لا تجبره على التفكير خطوة بخطوة إذا كان خبيراً بالفعل؛ فقد يبالغ في التفكير.
- لا تعطه أمثلة إذا كانت قد تشتت تركيزه عن أسلوبه.
- لا تثق في ترتيب الإجابات؛ قم بتبديلها لتختبر ما إذا كان الذكاء الاصطناعي ذكياً حقاً أم أنه مجرد يخمن.
- حافظ دائماً على بداية النص؛ يمكن قص النهاية إذا لزم الأمر.
الخلاصة: قبل أن نثق في الذكاء الاصطناعي في أمور صحتنا، يجب أن ندرك أن الذكاء الاصطناني قد يكون "ذكياً" ولكنه "هش". إنه يشبه الموسيقي البارع الذي يعزف ببراعة حتى تغير الإضاءة أو الميكروفون، وعندها يبدأ في عزف النوتات الخاطئة. نحن بحاجة إلى إيجاد الطريقة الصحيحة لطرح الأسئلة لاستخراج عبقريته الحقيقية.
غارق في أبحاث مجالك؟
تصلك نشرة يومية بأحدث الأبحاث المطابقة لكلماتك البحثية المفتاحية — مع ملخصات تقنية، بلغتك.